浅析人机交互技术的发展进程与专利概貌
摘要
随着科学技术的进步，人机交互逐步改变了人们的生活方式，其经历了键盘、鼠标、触控、多媒体和虚拟现实5个发展阶段。本文桉照人机交互技术的发展进程对每一代交互技术进行介绍，并从专利角度对人机交互技术的发展趋势进行分析，最后提出其未来发展方向。
“打开电脑。”“打开邮箱。”“我想要一份麦当劳的麦辣鸡腿汉堡套餐。”“最近的茶餐厅在哪里？”……用户只需坐在家里对着电脑说出自己的需求，电脑就能帮助你实现，这种曾经出现在科幻片中的场景，如今已逐步成为现实。而实现它的主要技术即是人机交互技术。
人机交互（Human一Computer Interaction,HCI）技术研究的是人与计算机之间的信息交互。自1982年ACM（美国计算机协会）成立人机交互专门兴趣小组SIGCHI以来，人机交互技术已走过了30年历程，在这30年间，人机交互的每次变革都深刻地改变了人们的生活方式。可以说，人机交互是改变人类生活的重要发明之一。
人机交互的模式主要经历了5个重要发展时期，每个时期都有对应的里程碑：键盘，鼠标，触控技术，多媒体技术，虚拟现实技术。本文将按照人机交互技术的发展进程对每一代交互技术进行介绍，并从专利角度对人机交互技术的发展趋势进行分析，最后提出人机交互的未来发展方向。本文中的专利数据检索截止于2013年4月16日。
一、第一代人机交互技术：键盘
人与机器最初的交互缘于打字机，由此诞生了键盘。1878年，美国发明家克里斯托夫·拉森·肖尔斯（Christopher Latham Sholes）获得了第一个"QWERT”键盘专利，其作为电脑的基本输人设备一直被沿用至今。
根据键盘的开关Switch设计，可以将键盘分为4类：机械式（mechanical）、塑料薄膜式（membrane）、橡胶导电式（conductive)、电容式（capacitive)。随着21世纪触控技术的快速发展，虚拟激光投影键盘、虚拟键盘也随之出现，虚拟键盘主要应用于手持式电子设备上，如PDA、手机、iPad等。
笔者在WPI数据库中以G06F3/01、G06F3/02+为分类号，以“keyboard”（键盘）为关键词进行检索，共得到19091件关于键盘的专利申请。以10年为期进行统计。键盘从20世纪70年代诞生起，直到21世纪初，一直是研究的热点，2010年以后其研究逐渐趋于平缓。如今，键盘的改进大多在外观，大小、便携性、舒适度方面。
键盘的出现，将人类带人了字符用户界面时代，其可称为第一代人机交互技术。
二、第二代人机交互技术：鼠标
1964年，第一台计算机鼠标随着图形用户界面的出现而被发明出来。美国的道格·恩格尔巴特（Doug Engelbart)于1970年获得该项专利US3541541。其主要用来控制显示屏上光标的移动，其工作原理是由它底部的小球带动枢轴转动，继而带动变阻器改变阻值来产生位移信号，并将信号传至主机。
随着人们对鼠标的准确度、灵敏度、舒适度的要求增加，光电鼠标、激光鼠标、蓝光鼠标相继问世。多点触控技术的出现，促使苹果公司于2009年推出新鼠称Magic Mouse，其技术内容记载于专利US20090273570A1中，其把所有鼠标按键、滚轮都拿掉，只以一整片多点触控板就能提供等同一般鼠标的左、右键，以及360度滚轮功能，并能让使用者以两指操作更多手势功能。
鼠标的出现与发展，与图形用户界面的发展密切相关，其可称为第二代人机交互技术。
笔者以G06F3/033为分类号，以“mouse”（鼠标）作为关键词在WPI数据库中进行检索，得到13241件关于鼠标的专利申请。
从图3和图6可以看出，在21世纪初期，键盘和鼠标的相关专利申请量大增。产品的发展通常与市场脱离不开，由此可见，这一时期的键盘和鼠标的市场需求量很大，这与21世纪初期互联网的飞速发展密不可分。
三、第三代人机交互技术：触控技术
鼠标和键盘的结合，从PC时代一直延续到互联网时代，并无太大改变，直到智能手机和多点触控技术出现，其带领人机交互进入指尖时代，改变了传统的键盘和鼠标的交互方式。触摸屏技术是该时代的推动力。从第一个触摸屏惠普PC-150诞生至今，触摸屏技术经过近30年的发展，历经了电阻式、电容式、红外、表面声波技术的演变，其中每种技术都有各自的优缺点，所以新技术的诞生没有淹没旧技术。为了突破这4种技术的缺陷，光学触摸技术应运而生，能够让用户的应用更轻快、流畅、准确，其也成为触摸屏技术研究的新热点。笔者在WPI数据库中以“touch screen”、“touch pad”、‘touch panel"（触摸屏）、"resistive"（电阻）、"capacitive"（电容）、"infrared"（红外）、"acoustic"一（表面声波）、"optical（光学）作为关键词进行检索，得到5种触摸屏相关的专利申请量情况。
由于光学触摸屏突破了其他4种触摸屏的缺陷，其自然成为研究的热点。通过对5864件光学触摸屏相关专利申请进行分析，得出其国家/地区分布情况。日本的光学触摸技术专利申请量最多，这与日本先进的光学技术是分不开的。
随着触摸屏技术的发展，触控技术也发生了翻天覆地的变化，从传统的单点触控进入了多点触控（Multi-touch）时代。多点触控技术的出现，给人机交互领域带来了新一轮变革，彻底改变了人们的生活方式，由此带来的商机也引发了著名的苹果三星专利战。从发展趋势来看，多点触控技术会往大尺寸屏幕的相关领域靠近，用于展览展示、互动会议、商场以及娱乐KTV等场合，多点触控屏幕会取代原有的显示产品，键盘、鼠标将被摈弃。
触控技术的发展使得人能够直接操纵用户界面，高效地辅助人与机之间进行信息交流，是实现人机自然交互的重要途径。其是第三代人机交互的一个重要形态，也引领着人们走入第四代人机交互时代。
四、第四代人机交互技术：多媒体技术
20世纪80年代以来，多媒体技术的迅速发展为人机界面的进步提供了契机，话筒、摄像机、喇叭等多媒体输入输出设备也逐渐为人机交互所使用。随着认知心理学、人工智能、图形图像处理等新兴学科的兴起与发展，基于多媒体的多通道人机交互也逐渐成为研究的热点。多媒体技术的引入，极大地丰富了计算机的表现形式，用户可以交替或同时利用多个感觉通道，提高了用户感知信息的效率。图10示出了基于多媒体的多通道人机交互技术的交互过程。
多通道交互（Multi一Modal Interaction，MMI）是一种使用多种通道与计算机通信的人机交互方式，采用这种方式的计算机用户界面称为多通道用户界面。这里的“通道”(Modality）一词源于心理学的概念，涵盖了用户表达意图、执行动作或感知反馈信息的各种通信方法，如言语、眼神、脸部表情、唇动、手动、手势、头动、肢体姿势、触觉、嗅觉和味觉等。
这一领域的新技术大多数来自军事或者游戏领城。2006年任天堂公司发布的WII产品革新了游戏机的传统操作模式。自WII打开了体感互动的大门之后，索尼公司也推出了Playstation3，以CM0S感侧影像辅以LED光球定位，精细度比WII更上一层楼。2010年8月5日，微软公司的专利申请W02010/088032A2公布了一种新型体验游戏方法，其即是随后出现的Kinect产品的原型。该方法利用深度图像和人体姿态模型进行游戏的动作识别和控制，实现了3D动作识别技术。Kinect产品的出现，掀起了第四代人机交互的技术革命。
多通道人机交互领域的专利检索，由于涉及各个应用领域以及各种输入控制方法，在IPC中没有比较准确的分类号可以概括其涉及的所有专利文献。笔者在WPI教据库中以“gesture”（姿势；手势）、"pose"（姿势）、”recognize”（识别）、“track”(跟踪）、“identify”（识别）及其词性变形词作为关键词进行检索，发现共有3063篇专利文献与手势、姿势识别或跟踪相关。然后对这3063篇专利文献进行分类号的统计，发现其中涉及G06F3/00、G06K9/00、G06T17/00、G06T15/00、H04N13/02、G06F3/033、G06T7/20等42个分类号。而人机交互涉及的不仅仅是手势、姿势的识别技术，还有唇语、语音识别、触觉、嗅觉等多个领域，根据目前的分类体系还不能比较准确地统计出当前所有的人机交互领城专利申请。故笔者以人机交互涉及的领域为关键词在WPI数据库中进行检索，以了解各个领城当前的专利申请状况，检索策略如表中所示。根据表中的统计数据可知，气味识别领域当前的专利申请量最少，这也意味着该技术还处于研究与发展中，仍有很大的进步和应用空间。
五、第五代人机交互技术：虚拟现实技术
虚拟现实技术（VirtualReality,VR）是一种可以创建和体验虚拟世界的计算机系统，它利用计算机技术生成一个逼真的，具有视、听、触等多种感知的虚拟环境，用户通过使用各种交互设备，同虚拟环境中的实体相互作用，从而产生身临其境感觉的交互式视景仿真和信息交流，是一种先进的数字化人机接口技术。它的出现将改变人类的生活方式。笔者在WPI数据库中以“virtual reality"（虚拟现实）为关键词进行检索，得到4165篇专利文献，对其国家/地区分布情况进行统计，得出美国的相关专利申请量最多，其次是日本；我国的相关专利申请量相对较少，为438件，其中348件为大学的申请，占了近80%。
六、总结与展望
人机交互技术经过30年的发展，从最初的人适应计算机，逐渐步入计算机适应人的阶段，最后将达到人机交互的和谐阶段。人机交互技术的每次变革，都对人们的生活方式产生了重要影响。同时人类对于当前人机交互的反馈也促进了人机交互技术的再次变革，使得人机交互的方式越来越贴近人的思想理念。随着科学技术的不断进步，虚拟现实和多通道用户界面将成为未来人机交互的主要发展方向。我们期待人机交互将我们带入科幻的多维世界。
文章来源：国家知识产权局专利局专利审查协作北京中心电学部