当期荐读 2019年第3期 | 自然人机交互在图博档中的应用分析

Photo by stem. T4L on Unsplash.

祁彬斌  项欣  朱学芳  朱庆华
（南京大学信息管理学院，南京，210023）

摘要：

[目的/意义]探讨自然人机交互的内涵,分析其对图博档活动可能产生的影响。[研究设计/方法]对国内外现有文献进行搜集、鉴别和整理,采用案例研究方法列举出某项具体的自然交互技术或产品在图博档中应用的实际案例。[结论/发现]图博档机构所秉持的"以人为本"的理念与新型交互中"人为中心"的思想内在契合,图博档应基于"资源-服务-空间"三个递进层次,从促进馆藏实体与数字资源的融合开发、支撑特殊人群的无障碍服务、营造协作共享的知识服务形态以及创造情感和认知体验情境等四个方面推动自身的服务创新。[创新/价值]对自然交互技术的概念和特征进行了界定,详细梳理了其在图博档领域已开展的应用探索情况,并提出应用前景方面的展望。 

关键词：

自然人机交互 图博档 自然用户界面 虚拟现实 资源融合开发 残障用户服务 情感体验 认知体验 

1　引言

数据科学的兴起和智能化的技术变革给科学研究、机构转型和服务创新等带来新的视角和挑战[1]。在数据科学时代，图博档作为资源富集和信息服务的重要实体，所拥有的馆藏数据资源价值逐步凸显，提供的数字文化服务在内容和形式上亦发生着转变[2]。在当前泛在信息环境下，纸质文献、实体文物以及数字资源等共同构成图博档机构的数据基础，并借助于实体场馆、通信网络等方式形成对公众的知识传播和群体间的信息流转。伴随着时代的迅速变革和发展，公众的学习和知识的需求发生着渐进的变化：从满足于单向被动式的藏品展览到开始渴望互动、开放和多样式的情景体验，由孤立、离散、悠缓的知识吸收转向主动、探索、构建式的知识获取[3,4]。此时，日益增长的公众学习及认知需求与传统的“以馆藏为中心”的图博档知识传播及服务方式就构成了一对主要矛盾。

回顾发展历程，图博档历来是探索、应用与实践创新高新技术的先驱。新时代面对公众核心信息需求变化，利用人工智能、自然人机交互等先进信息技术变革图博档的服务就成为应有之义。以往的图博档数字文化服务中，人机交互无论是在三馆服务的提供还是馆藏资源获取上都发挥着关键作用[5]；在《新一代人工智能发展规划》中，“人机交互能力”再次受到关注，被列作关键共性技术体系中研发部署的重点。因此，随着人们步入智能时代，人机交互的重要性极可能进一步凸显。面对人机交互发展新趋势，我们希望分析其对图博档的活动可能产生的影响，并借助新型交互的优势和特点推动图博档机构的服务创新。基于此，本文将主要讨论三个问题：①上述所提到的自然人机交互的理念、特点和优势是什么？②该新型交互在图博档领域已开展的应用探索处于何种水平和状态？③自然人机交互技术已经开始或有希望应用于图博档领域的哪些方面？

2　研究述评

人机交互是人与计算机之间为完成某项任务进行的信息交互过程[6]。纵观发展历程，用户界面作为人机交互的“桥梁”，从早期的穿孔纸带开始，经历了命令行、图形界面和触屏界面的发展演变，呈现出由人适应机器到机器不断适应人的变迁趋势，以“人为中心”的自然用户界面成为未来的发展方向。本节将从自然人机交互和图博档数字化服务两个方面，对与本文密切相关的研究作简要回顾。

2.1 自然人机交互

以往的用户界面无论是命令行还是图形界面，用户都须学习系统中预先设定的操作。相比而言，自然用户界面仅需要人们以最自然的方式与机器交互。目前，由于研究人员对“自然”的理解不尽相同，因而自然人机交互尚未有统一的界定，研究者们大多基于自身认知对其进行阐述。Glonek等[7]认为自然用户界面是人机交互界面的新兴范式，通过利用新兴技术能力与感知解决方案可实现物理和数字对象之间的准确、优化的交互，进而达到用户界面不可见或交互学习过程不可见的目的，整个过程着重关注传统的人类能力（如触摸、视觉、言语、手写、动作）和更重要、更高层次的过程（如认知、创造力和探索）。Wang等[8]着眼于自然交互方式特征，认为可通过手势、言语、笔迹等单通道的自然方式（模态）进行互动，也可融合多个通道进行人机信息交流。史元春[9]认为自然人机交互是人机交互未来的发展趋势，是指在诸多场景中人们以更自然的模态（例如语音、手势、日常行为等）表达意图，同时获取可理解性与感受效果俱佳的信息反馈。得益于长期以来的计算硬件和相关软件的积淀，新兴的交互设备和技术持续涌现，自然用户界面取得较大进展，主要包括眼动控制[10]、手势交互[11]等。同时，自然人机交互逐步结合具体的应用领域，呈现出由科学专业领域向日常生活扩散的趋势。Hachaj等[12]运用手势交互构建了新型的虚拟现实教学系统，评测结果表明自然人机交互对于不同年级阶段的人群都有良好的适用性。Lahav等[13]在盲人定向行走技能的学习和训练中引入触觉交互，研究表明自然人机交互可帮助盲人构建有效的认知地图，提升其对未知空间的认知和探索能力。

2.2 图博档数字化服务

面对数字资源的海量增长以及信息需求的多元复杂，图博档等信息服务机构通过不断探索与实践，已在数字化服务方面积累了一定的成果。张晓林等[14]从信息服务模式出发，认为图书馆的数字化服务正经历着由“以馆为中心”到“以资源为中心”，再到“以用户为中心”三个不断递进和深化的发展阶段。肖秋会等[15]总结我国2007-2011年数字档案馆方面研究论文的基础上，得出数字档案馆的信息服务模式包括四类，分别是：集成服务模式、个性化服务模式、小众化服务模式以及知识服务模式。此外，图博档数字化服务融合也是研究者们的研究热点，现已取得一系列的成果[16,17]。但总体而言，图博档等机构现有的服务模式仍呈现单向、被动式的特征，缺乏双向互动和情境式体验。伴随计算机形态和应用情境的变化，研究者尝试将新的技术手段引入至图博档中，期望借此开创新型互动情境式数字服务方式。付跃安[18]对移动AR技术在图书馆中的应用进行了探索，并结合图书馆的业务实际提出移动AR技术可在方位指引、图书定位、阅读体验提升以及资源开发利用等方面发挥重要作用。移动视觉搜索作为新一代信息检索技术也在图博档领域受到关注，研究成果有基于SoLo－Mo的智慧图书馆移动视觉搜索服务研究[19]、基于移动视觉搜索的图档博资源融合服务模式研究等[20]。

3　自然人机交互：概念与特征

根据前文的分析，自然人机交互在机器维度是指构造一个更便捷、更符合人类自然感知交流的智能人机交互系统；在人的维度则是在诸多场景中人可凭借更自然的模态表达意图，并能获取可理解性与感受效果俱佳的信息反馈。“自然”从界面方面分析其体现在用户的交互知识、交互环境以及交互方式的自然性和直觉化，从认知方面则表现为用户能更快地掌握其正确的使用方法，使用时心理负担更低，以及可产生更愉快的情感体验。交互方式自然性、交互过程连续性、交互意图非精确、多通道输入和多感官并用是自然交互的标志性特征，信息交流的多样化与并行化是其重要表现形式。

相比于传统的人机交互技术，自然人机交互技术并非是指单一技术，其是以自然形式实现人机交互的技术统称，主要涉及语音识别、触摸屏、手势识别、眼动追踪、触觉交互和脑机接口等６个主要分支，主要特点和优势体现在７个方面（见表１）。自然人机交互对用户最显著的影响是交互方式，在自然交互系统中，用户无需借助鼠标、键盘等交互工具，可通过语音、姿势等自然行为与系统直接交流。相比于传统交互中以文字、图像和图形等作为信息的呈现方式，自然交互将信息模态进一步拓展至语音、表情、姿势和情感等多个方面。新型的交互方式使交互摆脱桌面计算环境的限制，能较好地支撑手持设备、穿戴设备、虚拟现实等诸多情境的应用需求，实现了从图形用户界面向自然用户界面的跨越。随着各种新型交互设备的出现，人机交互的信道进一步拓宽，呈现出多通道输入多模态输出的基本特征。同时，相比于传统交互通过系统命令实现人机交流，自然人机交互在意图理解方面转变为机器主动去理解用户自然交互行为背后的真实意图。最后，自然人机交互也突破了传统交互下单人模式，实现了对多人协调或远距离操作的支持。

4　图博档中自然人机交互应用现状

伴随自然人机交互技术的发展，国内外的图博档机构已率先开展应用尝试，构建起一批探索性项目。本文对图博档中自然人机交互应用的国内外文献进行搜集、鉴别和整理，采用案例研究方法列举出某项具体的自然交互技术或产品在图博档中应用的实际案例，从而分析出自然人机交互在图博档领域的总体应用现状，形成对其在图博档领域应用事实的科学认识。

研究的范围主要是自然人机交互技术的主要分支（手势交互、眼动交互、语音交互、触觉交互等）在图博档等具体领域的应用。文中虽会涉及到这些自然交互技术的工作原理、机制以及实现方式，但这并不是讨论的重点，超出图博档的领域也不是本文讨论的范畴。

4.1 自然人机交互在图书馆领域的应用现状

自然交互用于图书馆领域已经有较长的历史，其具体应用主要体现在馆藏书目检索、阅读体验与协作学习和残障用户服务三个方面。

4.1.1

自然人机交互在馆藏书目检索中的应用

馆藏书目检索是图书馆为读者提供纸本资源查询和获取的重要渠道。融合型书架（Blended　Shelf）[21]是德国康斯坦茨大学图书馆浏览和检索图书的重要平台，书架上的书籍以3D仿真的方式进行展示，并与实体书架实时同步。用户通过触控交互和手势操作的结合简化以往书架探索与书籍查找等工作，多点触控打破了鼠标、键盘等输入终端的操作模式，手势操作可实现点击、旋转和拖拽等交互动作，用户可基于自身的知识和习惯完成对馆藏书目浏览和快速检索。

为改善读者在智能移动终端进行馆藏检索的使用体验，惠州学院图书馆将语音交互技术引入至信息检索中，提出一种基于语音识别的图书馆馆藏书目检索系统[22]。基本思路是通过识别读者输入语音，分析获取语音的文本形式，然后将语音的文本内容作为关键词进行书目数据检索，检索结果被在线推送给用户，最终实现馆藏书目的语音检索。第二炮兵工程大学图书馆将体感交互与图书馆的应用体验平台相结合，利用体感交互设备Kinect设计出资源检索导航系统[23]。用户在使用时无需借助于外部操控设备，就可在一定区域内凭借肢体动作对馆内的新闻、数据库系统、参考咨询台等资源进行浏览。

4.1.2

自然人机交互在阅读体验和协作学习中的应用

自信息共享空间的理念在美国兴起以来，对合作、共享、交流和创新学习的支持服务陆续受到国内外图书馆学界的关注。康斯坦茨大学的人机交互团队经过调研发现，实体图书馆普遍存在着以下问题：信息阅读时纸质书本存在着注释和便签添加方面的不便，知识建构时无法直接追溯到某段引文的出处；传统的台式机、鼠标键盘等硬件设备和图形用户界面无法支持多人间交互和共享等。这些在信息阅读和协作共享方面存在的不足，严重影响了用户的学习体验、效率以及满意度。针对上述问题，该校的人机交互团队于2010年着手构建“融合图书馆”项目[24]，并在近两年引起国内研究者的关注[25]。在调研用户的知识需求和实体图书馆现存问题的基础上，团队将触控、笔式、手势等新型交互方式引入到信息处理过程中，设计出支持多点触控、社交协作和可视呈现的自然用户界面，在增强馆藏资源可利用性的同时，可有效支撑用户在实体图书馆中进行的信息搜索、协作学习等活动。

为了方便用户开展小组学习活动，该团队基于多点触控技术开发出支持用户协同学习和讨论分析的平台TwisterSearch[26]，平台采用Post-WIMP分布式界面，为每个用户分配一方桌面颜色区域，各颜色区域通过配套令牌与对应平板信息共享，方便小组内随时搜索、分享和讨论。后续针对缺乏多点触摸桌的情形，该团队又设计出装有深度相机的HuddleLamp[27]，其内部配备的深度相机能支持对桌面覆盖的手机、平板以及手位移的精确追踪，实现多用户间的跨设备交互。总体而言，融合图书馆的项目中自然交互的合理嵌入改善了用户录入、处理和获取信息的方式，并渗透到信息组织、检索、交流和知识建构等各个环节，实现了数字、物理空间的无缝衔接。

4.1.3

自然人机交互在残障用户服务中的应用

在服务残障用户方面，图书馆始终致力于为残障用户提供平等而公平的机会和途径。馆藏资源通常是以文本、音视频等形式呈现，用户经由视听通道获取知识。但对于存在视听、阅读和认知障碍等问题的特殊人群而言，这样的信息呈现方式远远不够，更丰富的信息呈现方式借助自然交互得以实现。利用增添语音、触觉等交互通道实现感官模拟，通过多通道交互、感官补偿等方式能较好地拓宽特殊人群的学习路径，降低其信息获取的难度。例如：LG上南图书馆启动的数字语音图书馆项目[28]的宗旨是为那些阅读障碍（盲人或有物理缺陷的人）提供一种舒适的信息环境。在语音图书馆的构建过程中，为提高阅读障碍人士的收听效果，图书馆通过与外界进行合作，将语音交互技术添加到阅读障碍人士使用的产品中，可为用户提供良好的知识服务环境。

4.2 自然人机交互在博物馆领域的应用现状

从文献回顾总结出自然人机交互在博物馆领域的应用活动，本文将重点讨论以下三个方面：自然人机交互在个性化服务、体验式观展以及视障人群访问中的应用。

4.2.1

自然人机交互在个性化服务中的应用

基于个体差异化提供个性化的服务已成为博物馆服务工作的重要特征，自然人机交互技术为博物馆机构创建个性化体验、改善自身的沟通服务方式提供可能。以色列海法大学的研究人员基于便携式眼动仪开发出一套博物馆观展导览系统，并应用于本校Hecht博物馆[29]。该设备通过检测用户的视觉注意力焦点，结合对用户视野内展品的识别，从而感知用户的观展情境，实现导览信息的精准推送。

语音也是具有自然交互属性的感官通道，在触觉或手势占用双手的情况下，其能很好地保证自然交互的高可用性。BaiduEye是百度公司研发的一款专注于自然用户界面的头戴式智能设备，其依靠从头势、手势、语音三个通道采集的数据进行交互，目前已成功应用于国家博物馆的现代艺术馆[30]。用户在艺术品观展时，可通过手势指向作品的细节，然后向智能语音助手提问，语音助手会反馈详细的作品解说。

4.2.2

自然人机交互在体验式观展中的应用

同为交互新技术实践的重要领域，国外博物馆也开展了一系列应用，以提升交互性和用户体验。英国伦敦的维多利亚和艾伯特博物馆利用Kinect构建起一个互动式艺术品展示空间[31]。经过设备处理，中国传统艺术品“九龙图”被投射到展示空间的墙壁地面上，参观者的站立位置与身体姿势被实时捕捉，从而与艺术品图像进行互动。譬如，靠近“明珠”，将触发“龙”与参观者“戏珠”。这种完全自然的互动不仅可展示艺术对象动态特征，还能调动观展者主观情绪，激发其观展兴趣。

2016年纽约无畏号海空博物馆开放了一场名为“铭记珍珠港”展览，举办方将国会图书馆及美国国家二战博物馆的数据进行整合，在VR环境中虚拟出战舰沉没的战场实境，并将电台广播和亲历者的口述穿插其中，融合多种感官特性营造出一种“超真实”[32]。这是在模拟真实场景基础上的进一步强化，目的是唤起用户的情感共鸣，加深用户对展示所传递含义的映像。

4.2.3

自然人机交互在视障人群访问中的应用

在用户无法感知视觉信息的情况下，提供多模态的信息呈现方式亦是自然交互的优势所在。Park等人则利用触觉交互，并结合深度相机和远程机器人，构建起基于触觉界面的远程博物馆访问系统[33]，使视障用户能够借助触觉形式远程实现对博物馆场景的探索和3D展品的触觉感知。位于西班牙首都马德里的普拉多博物馆[34]使用名为“迪杜”复制技术，将名画的细节信息数字化提取，利用3D打印技术生成立体图画供视力障碍人士触摸式“观赏”。自然人机交互的引入较好地解决特殊人群对博物馆中资源与服务的可访问性问题，保证服务提供的公平性。

4.3 自然人机交互在档案馆领域的应用现状

相比于图书馆和博物馆领域，自然人机交互技术在档案馆领域的应用案例相对较少。当前的应用主要体现在档案机构资源服务和数字记忆构建两方面。

4.3.1

自然人机交互在档案机构资源服务中的应用

国内外档案界越来越重视技术对档案事业和服务产生的重要影响。在第18届国际档案大会上虚拟现实技术受到广泛关注，2018年全国档案工作者年会也将“档案信息化新理念新技术”列为８个专题之一。其中，自然人机交互应用于档案机构服务的案例包括：米兰比科卡德利大学的研究人员提出了一种适用于档案机构的多触控桌面图像数据库浏览系统[35]。该系统的核心是一套多点触控和图像识别设备。当一张图片实体被置于工作桌面后，系统会自动检索相关图像资源并将其影像投射到图片实体周围。用户可通过触摸手势操作实体和影像，对资源进行浏览、排序和分组等实现图像档案的交互检索。

当前自然人机交互与VR呈现出深度交融的趋势，具有自然人机交互功能的VR能为档案服务增添真实感。在“月球漫步”项目中，阿波罗计划档案馆通过拼接馆藏的25张照片生成月球全景，让体验者仿佛同宇航员赛尔南、施密特一起站在月球表面上，并体验他们的各种行为。在互动过程中，多种自然交互设备的综合运用使体验者能产生感官投入、沉浸交互的感受，实现由以往的被动接受向主动交互的转变。VR环境同时也会根据用户行为做出相应反馈，这种自然交互的方式无形中拉近了用户与虚拟空间背后档案的关系。

4.3.2

自然人机交互在数字记忆构建中的应用

近年来，受联合国教科文组织对吴哥窟的数字化保护等案例的影响，自然人机交互在“城市记忆”、“文化遗产”等电子档案的应用中崭露头角，应用特色侧重于地理景观信息的自然呈现。澳大利亚“巴拉瑞特可视化地理信息数据库”[36]是一个专业化的遗产档案项目，旨在帮助多学科研究者管控城市景观的变化。针对传统景观的呈现对象单一的问题，项目突破性地将人文与自然环境整体纳入呈现范畴，并侧重对城市发展历程中景观演化的持续再现。在GIS坐标的基础上，技术人员通过对天际线、地质和道路等环境进行建模、记录，并与传统的城市遗产等自然历史景观图像衔接，经由3D投影或头戴显示器进行呈现，进而营造出四维城市历史时空场景。该应用将VR与GIS相结合，对城市自然、历史景观及环境进行精确定位、逼真记录和全景呈现，既是对传统档案资源结构及价值的重新组织和深度发掘，也是对档案服务方式更加人性化的诠释。

5　自然人机交互在图博档中应用展望

依据自然人机交互技术的优势，结合国内外的应用现状以及图博档等机构资源利用和服务需求，本文将基于“资源－服务－空间”三个递进层次对自然人机交互在图博档等领域中可能的应用前景进行探讨。

5.1 促进馆藏实体与数字资源融合开发

在“融合图书馆”项目中，德国康斯坦茨大学的融合型书架[37]将馆内的数字库与实体库中各类资源进行实时关联，实体图书借出时融合型书架上的书籍的颜色变更为半透明状。以色列海法大学的博物馆观展导览系统[38]，通过检测观展时用户的注视点实时提供展品的数字语音信息，实现数字与实体两类资源的互补呈现。这些案例体现出自然人机交互的引入可打破不同形态信息间的壁垒，促进馆藏实体与数字资源融合开发和呈现。

在泛在信息环境下，相比于数字资源的蓬勃发展，图博档机构中实体文献（包括纸质文献和实体文物）的利用却日益经受着冲击。通过分析“融合图书馆”案例，我们认为自然人机交互技术可用于提升实体馆藏资源的利用率。例如，以往在图博档馆藏资源的利用过程中，用户往往会遭遇纸质资料查找耗时严重、借阅的图书不能添加注释等问题。当新型自然交互平台引入图博档机构后，数字桌面可自动感应实体文献的标签并显示出完整图文信息，用户可利用笔式或手势等自然交互方式实现图文提取、注释添加、全文检索和引文追踪等一系列功能性需求。在解决馆藏文献阅读方面限制的同时，自然交互平台还可依据位置分布自动整合资源，协助用户构建思维导图。

在珍贵馆藏资源的利用方面，总存在着资源开发和服务共享等诸多方面的限制。AR是一种实时地计算摄影机影像的位置及角度并叠加相应图像的技术，将虚拟环境嵌入现实世界并与之发生互动，从而达到“增强”现实的目的。其作为典型的自然人机交互技术，为馆藏实体和数字资源的融合呈现提供了一条可行的路径。在用户查阅珍贵馆藏资源时，AR可突破原稿保护的限制，在原稿周围显示数字图片、文本、音视频以及图博档机构收藏的其他资料，实现各种实体和虚拟资源的有机联接。通过结合触控、语音和手势等自然输入的方式，可实现数字化典籍“放大”、“翻页”等交互操作，进而在“强化”实体资源的基础上提供虚实结合的学习体验。

5.2 支撑特殊人群的无障碍服务

长期以来，图博档等公共机构致力于为残障人士提供文化服务，以提升包容性。然而随着技术的发展，用户对信息的获取方式发生转变，数字资源与服务的可访问性迎来新的挑战。在上述案例中，“数字语音图书馆项目”、“基于触觉界面的远程博物馆访问系统”都可用于支撑图博档机构的无障碍服务，但适用的人群主要是盲人或视障人士，相对缺乏对其他残障人群的应用服务。

对视障人士而言，由于视觉受损，需要借助自身的其它感知能力来补偿受损的视觉能力。当前主流的无障碍服务方式分为听觉和触觉两种，但这两种服务方式主要是针对于文本类信息资源，面对图博档机构拥有的海量图像、图形类信息资源，现有的服务方式无论是听觉还是触觉都未能很好地解决这一问题。与语音交互、视觉交互相似，力触觉交互作为一种新型的自然交互方式，在人们信息交流和沟通中的作用日益显著。图博档机构可利用力触觉交互技术构建面向视障群体的触觉交互服务，将图像、图形等馆藏信息资源通过转换机制处理成虚拟环境中的触觉对象，视障人士可借助触觉交互设备实现对触觉对象的交互、感知和识别，帮助他们了解图像或展品的轮廓形状、材质、纹理以及展品重量等基本特征，实现虚拟环境下的真实触摸。

除了视障群体的服务工作之外，图博档机构还应能提供对其他特殊人群的无障碍服务。当前，电子查询屏和移动设备已成为图博档环境中人们获取信息的主要方式，但对于肢体残障人士而言，无法有效操作这些设备，可能引发信息获取方面的障碍。面对这样的问题，图博档机构可利用自然交互拥有的自然、便捷和多样化的信息输入方式，解决用户意图自然表达的问题。譬如：眼控交互可作为肢体残障人士表达意图的主要方式，通过将眼控交互应用于自主查询屏和移动设备中，可帮助用户通过眼控操作挑选感兴趣的信息进行浏览，消除肢体残障人士信息输入和浏览方面的障碍。在用户意图理解方面，典型的案例是：在图博档等机构的服务情境中，馆内工作人员无法理解语言障碍人士用来沟通的手语，而聋哑人士亦不能听到工作人员的口语，从而引发沟通方面的障碍。此时，图博档机构可利用手势（手语）识别和合成技术进行聋哑人士所用手语与日常口语之间的转换，从而使聋哑人士与馆内工作人员无障碍交流。

5.3 营造协作共享的知识服务形态

在康斯坦茨大学图书馆的案例[39-41]中，自然人机交互被用作支持团队的协作学习，在协同检索、团队讨论、分析整合等多个阶段实现用户间的高效互动。我们分析发现：在此过程中，自然人机交互使用户避免了对各式设备中复杂的界面和操作逻辑的记忆与理解，而能将有限的精力集中于任务本身；同时能有效支撑多用户间的互动协作，保证团队学习活动的有效开展。图博档机构服务发展的总体趋势是由信息提供深入到知识服务，基于康斯坦茨大学图书馆的案例，我们推测若能将自然人机交互嵌入到知识探索、创造、传播和服务的流程中，将有助于提升用户学习的体验和效率，营造出协作共享的知识服务形态。在发展理念方面，全面感知、立体互联和共享协同等先进的理念可被融入到我国的图博档机构智慧化建设过程中。在实践层面，图博档机构可尝试逐步地将自然交互技术和设备引进到自身场馆中，通过相应技术和设备的组合形成多模态互动的知识工作环境，为用户的协同学习和科研提供支撑。

目前图博档机构普遍采用PC机来完成多项任务，人机间的对话更多侧重于人利用机器去对信息进行管理、分析和服务。随着新一代人工智能的发展，“人机协同”渐成主旋律[42]，其在图博档机构服务中的典型应用是清华图书馆的“小图”和南大的图博档机器人“图宝”。作为智慧机器人馆员，其通过语音交互方式实现了导航指向、图书查询和参考咨询等功能[43]。虽然它们仍处于初步开发应用阶段，但是机器智能助手仍是一种可预见的应用形式。在未来的图博档服务中，若能将智能的自然交互系统引入到机构服务中，自然交互系统可借助于多通道的输入去感知服务对象的语言和行为习惯，并构建清晰的心智模型，同时与图博档内部的系统和知识库形成无缝对接，将可为科研人员或普通用户提供精准的数字化服务，协助其完成学习和研究工作，进而引发新的行为形态和服务业态。

5.4 创造情感和认知体验情境

在新形势下，智慧图书馆、创客空间等概念的提出引发了图博档等机构对“空间”环境的关注，这里的环境既包括实体空间，又涉及到虚拟情境。分析上述的纽约无畏号海空博物馆的“铭记珍珠港”展览、“利用虚拟现实技术现实月球漫步”的等诸多案例，我们认为：自然交互将交互由人类、计算机的二元拓展至人类、计算机和环境的三元维度，在环境维度上既包括物理空间，又涉及沉浸式虚拟环境和混合现实环境。

图博档等机构在关注资源收藏和功能性服务的基础上，情感体验愈发受到重视。自然人机交互有望创设出良好的情感体验情境，这将有助于图博档机构吸引大众（尤其是年轻群体）的目光，使其主动走近传统历史文化。自然人机交互使图博档机构能摆脱过去文字、图像、音视频和实体展览等单向分散式的信息传递方式，通过构建三维场景还原图书、博物、档案的历史原貌，依托丰富、多元的感知模态深入地挖掘馆藏资源的价值，从而完整表达馆藏资源蕴含的文化、时空情境等深层次信息。Chi等的研究[44]也表明：艺术作品展览过程中提供多感官信息可使用户拥有身临其境的感觉，并使抽象艺术具有更好的情感吸引力。

以往的图博档机构很难帮助用户去应对知识（概念）的深层次理解、长久记忆以及利用知识解决实际问题等难题。在图博档等机构知识服务过程中，自然人机交互可被用于构建面向用户的个性化、沉浸式的虚拟学习认知环境，帮助用户去获取感性丰富的经验。图博档机构可通过自身开发或与技术团队的跨机构合作构建出VR的认知体验情境，在线上、线下环境中展示知识的内在逻辑，模拟现实世界中可能发生的现象、发展的状态。

6　结语

展望未来，自然人机交互技术拥有巨大的发展潜力，极可能推动图博档等机构的服务变革。目前，伴随着语音识别、机器视觉以及力触觉等技术的不断发展，自然人机交互开始成功应用于医疗诊断、工业设计、数字娱乐和在线教育等诸多领域，呈现出由科学专业领域向日常生活进行扩散的趋势。在国外，自然人机交互技术在图博档中应用探索亦不断涌现。但总的来说，自然人机交互在图博档中究竟能发挥多大作用，尚有待进一步探讨，相关的理论和应用研究仍是崭新的领域。面对这样的情形，一方面，图博档等机构应采取开放的态度和长远的眼光，主动结合自身业务特点，努力探索自然交互在图博档中应用方式和服务模式；但同时也要看到，尽管自然人机交互前景广阔，但在全面实用化之前，图博档仍应保持审慎的态度，避免项目实施时盲目的经费投入和浪费。在具体实践过程中，则应在遵循由浅入深、先易后难等基本原则的基础上，贴合用户的沉浸式、探索式需求，以互动性、情境性的体验项目为切入点，有机整合图博档机构中的优质实体和虚拟资源，实现数字文化服务模式的创新。

参考文献

*本文原载于《图书情报知识》2019年第3期53-61页

版权归《图书情报知识》所有，欢迎转发到朋友圈，转载请联系后台。

制版编辑 | 姚志臻