从互联网时代到元宇宙时代，简述人机交互演变的30年

欢迎关注【Vicky Design Studio】👆

持续分享更多XR+AIGC干货

引言

从PC互联网时代到移动互联网时代再到当今的元宇宙时代，人机交互方式发生着不断的演变，本文作者主要介绍了从传统交互输入方式到新兴交互方式的演变、类型及各种交互方式体验上的优劣势，希望通过一文让大家了解到交互演变的全局概览。

交互输入方式的演进

人机交互方式的演变历史可以大致分为PC互联网时代、移动互联网时代及元宇宙时代，随着科技的演变发展，人机交互方式在内容和场景上不断进行丰富和升维。

• PC互联网时代：早期的个人计算机使用键盘和鼠标作为主要交互方式。这种方式基于命令行界面和图形用户界面（GUI）的发展，为用户提供了一种新的、更直观的方式来操作计算机。

• 移动互联网时代：随着移动设备的普及，触摸屏技术成为一种主要的交互方式。用户可以直接触摸屏幕以执行操作，这种方式提供了更直观的控制，特别适用于移动设备和平板电脑。

• 元宇宙时代：人机交互方式将产生颠覆式的创新，交互设备、交互内容、交互体验都将被带到新高度。人机交互不仅局限于手和眼睛，还可以通过肢体动作与虚拟世界进行互动，甚至还可以获得触觉、嗅觉、味觉等多维度感官体验。
  

随着AI、脑机接口等技术的进步，到元宇宙发展的高级阶段，脑机交互技术可以准确读取人脑信息，人类通过脑机接口直接将意念传递给智能体完成交互，即人类将自己的指令通过脑电波输入至虚拟世界，同时虚拟世界也将反馈传送和呈现在人的大脑中，人机交互的终极方式将从时间和空间上完全解放用户。

传统交互输入方式

在全场景的数字体验中，越来越多类型的智能终端设备分布在用户的日常生活中，比如智能手机、平板、PC、智能穿戴、电视、车机、等设备。同一应用可以在多种设备上运行或在单一设备上用户能通过多种输入方式进行操控。

根据Harmony对输入方式的归类，可将其分为基于触控的交互、基于光标的交互及基于焦点的交互。

01

基于触控的交互

基于触控的交互即设备拥有支持多点触控的屏幕，允许用户使用手指和/或手写笔进行交互。它们与屏幕的接触状态、数量以及运动行为被识别成触控手势和操作，可以支持多种交互功能和体验（例如点击、滑动、缩放、旋转）。典型的输入方式有触控手势和手写笔。

触控手势
主要适用于带屏设备且可进行直接GUI交互应用程序，如手机、平板、折叠屏、HMI、手表等设备中。触控手势操作精度较低，因此界面操作最小热区不低于44px。在现有设备中都支持点击、长按、滑动、拖动、双击、捏合、敲击等手势。

触控手势作为目前手机、平板、手表等设备的主要交互方式，在体验上有以下优劣势：

优势：

直观操作：触控手势可以通过手指动作来执行各种命令和操作，非常直观。

多点触控：多点触控手势允许多个手指同时操作屏幕，增强了交互性。

劣势：

学习曲线：某些复杂的手势可能需要用户学习，不是所有人都熟悉。

误触问题：有时手势可能被误触发，导致意外的操作。

手写笔
在触屏上，手写笔是手指精细化操作的延伸，是一种像素级精度的指点设备。主要应用于平板、手绘板等设备上。手写笔提供了一种直接的、自然的方式来进行数字内容书写、绘图和标注。目前手写笔分有无物理按键两种笔型，支持系统级一致的交互。

手写笔作为平板、手绘板的主要输入方式之一，在体验上有以下优劣势：

优势：

自然书写：手写笔模拟了自然的书写体验，适用于绘图、注释和手写输入。
高精度：手写笔通常提供很高的精度，适用于图形设计和数字签名等任务。

劣势：

依赖硬件支持：需要设备具备触摸屏和手写笔技术，不是所有电子设备都支持。
学习曲线：一些用户可能需要一些时间适应手写笔的使用，特别是对于习惯了键盘和鼠标的人。

02

基于光标的交互

当用户使用指向设备（鼠标、触摸板、隔空手势等）与应用程序进行间接交互时，光标指向的对象和光标本身应提供适当的视觉反馈以表达对象的可交互性和到达的准确性。
光标交互区别于手指触摸交互的一个重要方面是光标支持精细化操作，设计师可考虑如何利用这一特性配合特定的光标形态来简化交互任务和提升生产力。

鼠标

鼠标是一种典型的基于光标的、具备像素级精度的指向型输入方式，最为适用于对用户交互具有较高精度要求的生产力应用和高密度UI的场景，主要应用在电脑设备上。

鼠标作为PC电脑的主要输入方式之一，在体验上有以下优劣势：

优势：

直观操作：鼠标通过指针的移动来控制光标位置，这种直观性使其成为广泛应用于图形界面的输入设备。
精准选择：鼠标可精确选择文本、图标和操作元素。
多用途：鼠标还可以用于绘图和游戏等多种应用。

劣势：

空间要求：使用鼠标需要一定的工作空间，不适用于空间有限的场景。
移动限制：与键盘类似，鼠标需要平面支持，不适用于便携设备。

触控板
触控板同时具备多指触控手势输入（触屏）和精细化指向型输入（鼠标）的特性，使得触控板既适合用于基于触摸交互优化的用户界面，也适合用于对指点精度有较高要求的生产力应用。

触控板作为电脑的主要输入方式之一，在体验上有以下优劣势：

优势：

精准的控制：触控板允许用户通过手指在表面滑动和点击来精确控制光标位置，这比触摸屏更精确。
多点触控：多数触控板支持多点触控，允许用户使用多个手指执行各种手势，如缩放、旋转和滚动，提供了更多的交互可能性。
手势控制：触控板可以支持各种手势，例如两指滚动、三指拖动等，这使得用户能够快速执行不同的操作。

劣势：

学习曲线：对于一些用户来说，学习如何正确使用触控板和手势可能需要一些时间，尤其是对于初次接触的用户。
不适合所有应用：触控板并不适用于所有应用场景，例如绘图和图形设计工作可能更适合使用专业绘图板或鼠标。

隔空手势
隔空手势（非接触手势）是一种人与设备交互的新方式，用户可以在无需手持或接触设备的情况下与设备进行便捷的交互。随着技术的发展，隔空手势在手机、平板、车机、电视、音箱、AR/VR等设备上都有一定的应用。通常情况下，快捷手势通常是符合用户直觉、文化习惯或者容易操作的动作。

相较于其他基于光标的交互输入方式，隔空手势在体验上的优劣势：

优势：

直观互动：隔空手势允许用户使用手部动作来控制设备，这种方式非常直观，模拟了自然的手势和动作。
适用于特殊环境：隔空手势适用于一些特殊环境，例如在厨房中使用，避免触摸设备表面的污垢。

劣势：

有限精度：隔空手势相对于触摸板或鼠标可能不够精确，特别是对于需要精确选择和操作的任务。
学习和适应：隔空手势通常需要用户学习一系列手势，以执行不同的操作，这可能需要时间和耐心。

03

基于焦点的交互

当用户使用键盘、电视遥控器、车机摇杆/旋钮等非指向性输入方式与应用程序进行间接交互时，基于焦点的导航和交互是重要的输入手段。典型的基于焦点的交互方式有键盘、遥控器、车机物理按键等。

键盘
键盘是一种重要的生产力输入方式，优秀的键盘使用体验应允许用户快速准确地进行文本输入、双手无需离开键盘即可在系统和应用内进行导航、访问所有的功能、以及支持无障碍体验。主要应用于PC电脑设备上，提高用户输入生产效率。

键盘在体验上有以下优劣势：

优势：

高精度输入：键盘允许用户进行精确的文本输入和命令输入，特别适用于办公任务和编程。
物理反馈：键盘通常提供明显的物理按键反馈，用户可以感受到按键的按下，这有助于减少输入错误。

劣势：

学习曲线：对于新手用户，学习如何使用键盘可能需要一些时间，特别是对于那些不熟悉键盘布局的人。
限制了移动性：键盘通常是固定的，不适用于便携设备或需要移动性的场景。

遥控器
遥控器又可分为物理遥控器和传统遥控器。物理遥控器有独立的硬件承载设备，及按键触感，主要应用在电视大屏上。而软件遥控器即承载在手机上的快捷控制，以此来控制智慧屏或智能家居等。

如华为智慧屏就是依靠遥控器操作的设备，它通过焦点可以告诉用户当前聚焦的位置。因此在设计上需要考虑焦点样式及走焦规则。
遥控器在体验上有以下优劣势：

优势：

物理按钮：遥控器通常具有物理按钮，这些按钮在用户按下时提供明显的触觉反馈。这有助于减少误操作和提高用户的控制感。
简单易用：遥控器通常设计得非常简单，用户可以快速了解和使用。它们不需要复杂的学习曲线，适用于各个年龄段的用户。

劣势：

有限功能：遥控器的功能通常有限，只适用于特定设备或任务。它们不能提供复杂的交互和多用途功能。
不适用于复杂任务：对于一些复杂的任务，例如输入文本或浏览互联网，遥控器不是最有效的工具。这些任务通常需要键盘和鼠标或触摸屏等更多功能的交互方式。

总的来说，传统交互方式各自有利有弊，选择合适的方式取决于具体的应用场景、用户需求和设备特点。设计师需要根据目标用户和应用场景来权衡这些优缺点，以提供最佳的用户体验。

新兴交互输入方式

随着技术的不断发展，人机交互由PC互联网时代及移动互联网时代逐渐演变到元宇宙时代，新兴交互方式也在不断涌现，如裸手交互、眼动交互、头动交互等，为用户提供更多选择和更好的体验。
在XR领域领域，有许多种交互方式分类的方法，如是否基于视觉，是否基于手势等等，将所有分类方式归类总结后，业界比较公认的交互方式分类为三种，分别是手持式交互（Handheld interaction）、触摸式交互（Touch Inputs Interaction）和非触摸式交互（Touchless inputs interaction）。（作者之前在腾讯内部也进行过分享）

01

手持式交互

手持式交互是指使用手持控制器进行输入的交互方式，如Quest Pro的手柄，与AR眼镜相连的有线触控板，华为VR眼镜的手机操控屏等等。

目前市面上主流的VR眼镜如Quest及Pico都采用VR手柄，而手柄在体验上有以下优劣势：

优势：

沉浸式互动：VR手柄通过追踪用户的手部运动和姿势，允许用户在虚拟世界中进行沉浸式的互动。这种直观的互动增加了虚拟现实体验的真实感。
精确度和灵活性：VR手柄通常具有高度精确的追踪能力，可以捕捉手部运动的微小细节，因此可以用于各种精细的互动任务，如拾取物品、绘画和操作虚拟界面。
按钮和触摸板：VR手柄通常配备多个按钮、触摸板和扳机按钮，这些按钮可用于执行不同的操作，提供了多样化的互动选项。

劣势：

学习曲线：对于初次接触VR的用户，学习如何正确使用VR手柄可能需要一些时间。复杂的手势和按钮布局可能会引起混淆。

有限的物理反馈：尽管VR手柄提供了某种程度的触觉反馈，但它们通常不能提供与现实世界中触摸和感觉相同的强烈反馈。

02

触摸式交互

触摸式交互是指非手持的触控输入方式，其特点是有触觉反馈的存在，我们将其区分为基于设备（On-device interaction）和基于身体的（On-body interaction）触摸式交互方式；

基于设备的触摸式交互
指用户可以在各种设备的可感知表面上进行手势输入，如智能眼镜本体和外部设备的外围传感器，以此作为用户输入的增强触摸表面；常见的交互方式有基于智能眼镜，如googleglass，还有基于手部的附件指环和手套、基于腕部的附件腕带以及基于腰部的附件皮带等；

最早的谷歌眼镜有一个可触摸的眼镜框，可以在镜框上滑动手势；直接在眼镜上进行交互的方式，其优点在于不需要再配备额外的外设就可以完成对设备的简单操控，当然缺点在于对交互操作有限，不能满足较为复杂的使用场景。

随着智能眼镜尺寸和重量的减小，互补的交互方式的需求也在不断发展。外部设备可以制成各种物理形式，如指环，腕带，袖子，腰带等。

XR指环是一种通常可以用于AR、VR体验的交互设置，它带有传感器和按钮，通常戴在手指上。在体验上有以下优劣势：

优势：

支持直观的手势控制：XR指环通过追踪手指的运动和手势，允许用户在虚拟和增强现实中进行直观的手势控制。这种方式更自然，减少了学习曲线。
支持高精度和精细的操控：XR指环通常具有高精度的手部追踪，能够捕捉手指的微小动作，因此适用于各种精细的互动任务，如绘画、操作虚拟界面和拾取物品。

劣势：

适用性限制：尽管XR指环非常适用于虚拟和增强现实的互动，但对于某些任务，如游戏中较为复杂的操作，难以适用。
硬件佩戴适配问题：指环设备尺寸难以完美匹配每个用户的指围，在大幅运动时会导致指环脱落或丢失问题，造成用户不必要的麻烦。

与指环不同的是，数据手套是可以全部戴在手部的，通常具有传感器和触摸反馈技术，拥有以下体验优点：

优势：

高度精确的手部追踪：数据手套通常配备高精度传感器，可以准确追踪手部的位置、姿势和手指的动作，提供真实感的手部模拟。
自然和直观的互动：数据手套允许用户以自然的方式使用手指和手部动作进行互动，这增加了虚拟世界中的沉浸感和直观性。
触摸反馈：一些数据手套具有触摸反馈技术，可以模拟触碰虚拟物体时的触感，使用户能够感受到虚拟物体的质地和形状。

劣势：

价格较高，难以普及：数据手套通常需要高性能的硬件和传感器，因此价格相对较高，可能限制了用户的普及度。

基于身体的触摸式交互
现有许多研究都是用人类皮肤作为交互表面，当交互作用于皮肤表面式，用户可以感知到触觉提示，而触觉线索可以释放视觉注意力，实现无眼输入，这在认知或身体状况比较差或缺乏注意力的情况下非常有用。

Wagner等学者最近的一项工作研究了对上肢不同位置的皮肤输入进行了深入研究。用户偏好显示前臂是感知到的最舒适的位置(50%)，其次是手背(18.9)、手掌(17.8%)、手指(7.3%)和其他(6%)。然而，上述研究并没有考虑到面部区域的接触。面部接触高潜力,因为智能眼镜放置在用户的头,同时面部接触的智能眼镜,是一个扩展的触摸界面智能眼镜,除了好处,如直观和自然相互作用。
因此，业界基于身体的触摸式交互包含有前臂、手掌、手指、耳朵和面部相关的轻敲及触摸的交互方式。

总的来说基于身体的触摸式交互优势在于利用用户自身的身体作为输入器，减少其它物理设备的购买及携带。这种交互方式能提供更加直观和自然的操作，让用户迅速掌握并理解如何使用它，减少了学习曲线。而其最大的限制是在于基于身体的触摸式交互可能容易引发误操作，特别是对于需要高度精确性的任务。手势的精度可能受到影响，因此不适用于所有情况。

03

非触摸式交互

与触摸式交互不同的是，非触摸式交互方式不涉及触觉反馈，但触觉反馈可以通过设备来增强（如触觉手套或头戴式电脑的触觉反馈等）。非触摸式交互可以分为两类，分别是Hand-free interaction和Free-hand interaction。Hand-free interaction可以通过头部、注视和声音动作来实现，而Free-hand interaction则侧重于半空中的手部动作来进行手势输入。

Hand-free interaction
Hand-free interaction方式是当前XR设备中最流行的交互趋势，它能支持非手部的交互操作，让用户不用手就可进行控制。它包括语音识别，头部姿势和眼部追踪等.

语音识别是最早在谷歌眼镜和微软HoloLens中作为其中一种主要的输入方式，今年苹果发布的Vision Pro也将语音助手Siri应用于其MR头显中，配合眼手作为提高输入效率的重要输入方式之一。

语音交互具有以下体验的优劣势：

优势：

自然和便捷：语音交互是一种自然和直观的方式，用户可以使用口头语言进行互动，而无需学习复杂的界面或操作步骤。
多任务处理：用户可以通过语音同时执行多个任务，例如发送短信、设置提醒和获取天气信息，而无需打开多个应用程序或触摸屏幕。

劣势：

语音识别准确性：语音识别技术并不总是百分之百准确，尤其是在面临口音、噪音或复杂命令时，可能出现误识别。
环境依赖性：语音交互的性能可能受到环境噪音和语音回声等因素的影响，尤其是在嘈杂的环境中。

而眼部追踪输入就像一个选择对象的鼠标光标，可作为识别用户意图的主要方式，同时与手势一起执行对象操作，如选择、平移、旋转和缩放等。目前作为未来最有潜力的交互方式之一，目前已经在Vision Pro、Quest Pro以及HoloLens上应用。

眼部追踪具有以下体验的优劣势：

优势：

高度精确：眼部追踪交互通常提供非常高精度的输入，因为它可以准确捕捉用户的视线和注视点。
自然和直观：这种交互方式模仿了人们在现实生活中的自然眼球运动，因此用户通常能够迅速掌握并理解如何使用它。

劣势：

眼睛疲劳：长时间使用眼部追踪交互可能导致眼睛疲劳，特别是在需要长时间注视屏幕的情况下。
环境依赖性：眼部追踪交互的性能可能受到环境光照、眼镜或镜片反射等因素的影响。
隐私问题：眼部追踪交互需要监测用户的视线和注视点，这引发了一些隐私和安全问题。

除此之外，头部运动交互也被常用于XR设备的输入方式中，常适用于文本输入、用户认证以及游戏控制器等。头部运动交互模仿了人们在现实生活中的自然头部动作，因此用户通常能够迅速掌握并理解如何使用它。但长时间使用头部运动交互可能导致颈部和肩部的疲劳，特别是在需要频繁头部动作的任务中。且头部运动交互的精度可能不如其他方式，如手势或眼动，因此不适合所有需要高精确性的任务。

Freehand Interaction
手势交互（Freehand Interaction）是一种通过手部动作和手势来与计算设备进行互动的方式，目前Apple Vision Pro也是主要使用裸手的方式来进行交互的。

它具有以下优劣势：

优势：

自然和直观：手势交互模仿了人们在现实生活中的自然动作和手势，因此通常较为直观。用户不需要学习新的界面元素或按键。
多模态性：手势交互通常结合了视觉、手部运动和触觉等多种感官，可以提供更富表现力的互动体验。

劣势：

学习曲线：虽然手势交互直观，但一些复杂的手势可能需要用户一些时间来学习和掌握，尤其是对于初次接触的用户。
误操作：手势交互可能容易引发误操作，特别是在嘈杂的环境中或在进行快速手势时。
有限的精度：一些手势交互系统可能在精度方面受到限制，不适合执行需要高精度的任务。

总结

人机交互方式的演变历史可以大致分为PC互联网时代、移动互联网时代及元宇宙时代，随着科技的演变发展，人机交互方式在内容和场景上不断进行丰富和升维。传统交互方式以键鼠、遥控器、触控手势的交互方式为主。

而到元宇宙时代，越来越多新兴的交互方式脱颖而出，如裸手交互、眼动交互、头动交互等。

不同种交互方式在体验上各有优劣，也影响着最后用户的最终体验。在选择产品承载形态时，我们也要结合交互方式的特性考虑是否满足用户使用场景。

参考链接

1）Harmony Developer :
https://developer.harmonyos.com/cn/docs/design/des-guides/hci-touch-based-0000001054007748 

2) Bemmann F. User Preference for Smart Glass Interaction[J]. Media Informatics Proseminar, 2015. 

3）Lik-Hang L, Pan H. Interaction methods for smart glasses[J]. ACM Comput. Surv, 2017, 1(0). 

4）Yang L I, Huang J, Feng T, et al. Gesture interaction in virtual reality[J]. Virtual Reality & Intelligent Hardware, 2019, 1(1): 84-112. 

5）Badi H S, Hussein S. Hand posture and gesture recognition technology[J]. Neural Computing and Applications, 2014, 25: 871-878. 

6）《Brave NUI World: Rise of touch-less gesture control》:
https://uxplanet.org/brave-nui-world-rise-of-touch-less-gesture-control-882be077cdfa

欢迎关注【Vicky Design Studio】👆

持续分享更多XR+AIGC干货