机器学习预测博物馆观众与展品的互动时间

在一项概念验证研究中，教育和人工智能研究人员证明了可以使用机器学习模型来预测某个博物馆内观众与特定展品的互动时间。这一发现为许多新工作打开了大门，这些工作主要针对加强用户与非正式学习工具之间的互动。

“教育是大多数博物馆使命宣言中的重要部分，”该研究的共同作者北卡罗来纳州立大学教育信息化中心（CEI）的研究科学家乔纳森•罗（Jonathan Rowe）说，“人们与展品互动的时间可以作为衡量参与度的指标，帮助我们评估在博物馆环境中学习体验的质量。毕竟这和学校里不一样，不能让参观者参加考试。”

“如果我们能够确定人们将在某个展品上花费多长时间，或者经过多久人们对某个展品失去兴趣，我们就可以利用这些信息合理地策展和布展，顺应用户行为规律，保持观众的参与度，”本研究的第一作者北卡罗来纳州立大学博士生安德鲁•艾默生（Andrew Emerson）说。

为了确定机器学习程序如何预测用户的交互时间，研究人员密切监测了85名博物馆观众与一个环境科学交互展品中的互动情况。具体来说，研究人员收集了研究参与者的面部表情、姿势、观看展品屏幕的位置以及触摸屏幕位置等数据。

之后将这些数据输入5个不同的机器学习模型中，确定哪些数据和模型的组合能得出最准确的预测。

“我们发现，一个叫做‘随机森林’（random forests）的机器学习方法效果非常好，甚至只使用姿势和面部表情数据就能得出很好的结果。”艾默生说。

研究人员还发现，人们与展品互动的时间越长，模型的效果越好，因为这给模型提供了更多的数据。例如，模型几分钟后做出的预测会比30秒后做出的预测更准确。就这次研究来看，用户与展品的互动时间长达12分钟。

“我们对此感到很兴奋，因为它为研究观众在博物馆中学习的新方法铺平了道路，”罗说，“我们希望最终利用技术提升学习效率，让学习更有吸引力。”

这篇名为《利用多模态学习分析对科学博物馆观众参与度进行早期预测》（Early Prediction of Visitor Engagement in Science Museums with Multimodal Learning Analytics）的论文已于10月25日至29日在线举办的第22届ACM多模态互动国际会议（ACM Multimodal Interaction，ICMI '20）上发表。该论文由北卡罗来纳州立大学博士生纳森•亨德森（Nathan Henderson）、北卡罗来纳州立大学CEI研究科学家伍希敏（Wookhee Min）和李胜利（Seung Lee）、北卡罗来纳州立大学教师教育和学习科学方向副教授詹姆斯•米诺格（James Minogue）以及北卡罗来纳州立大学计算机科学杰出大学教授、CEI主任詹姆斯•莱斯特（James Lester）合著。

这项工作受美国国家科学基金会（National Science Foundation）1713545号拨款资助完成。

以下是研究摘要：

《利用多模态学习分析对科学博物馆观众参与度进行早期预测》

摘要：在博物馆和科学中心等非正式学习环境中，建立观众参与模型是一项重要的挑战。设计观众参与度的预测模型，准确预测如停留时间等观众行为的显著特征，在博物馆和科学中心合理设计学习环境、进行观众分析方面有很大潜力。本文介绍了一种多模态早期预测方法，可以模拟观众对环境科学交互展品的参与度。我们在参观者与环境科学交互展品互动过程中采集到多模态传感器数据，包括视线焦点、面部表情、姿势和交互日志数据等，利用这些数据归纳出参观者停留时间的预测模型。本文研究了几种机器学习技术（随机森林、支持向量机、套索回归、梯度提升树和多层感知机），使用85名博物馆观众的数据，归纳出观众参与度的多模态预测模型。一系列消融实验（ablation experiments）的结果表明，将额外的模态纳入观众参与的预测模型中，可以提高模型的准确性。另外，随着时间的推移，模型显示的预测性能有所提高，表明随着模型从观众与环境科学交互展品的互动中获得越来越多的数据，它可以对观众停留时间作出越来越准确的预测。这些发现凸显了多模态数据对博物馆展品观众参与度建模的积极作用。

来源：译自北卡罗来纳州立大学网站

翻译：湖南省博物馆编译 杜静雅 

回顾往期精彩

点击在看，关注行业最新资讯▼