香港理工马源等Device展望文章：触觉技术——推动沉浸式元宇宙体验的新纪元 | Cell Press论文速递

物质科学

Physical science

近日，香港理工大学马源助理教授团队与西湖大学、北京航空航天大学、上海交通大学、新加坡科技研究局材料研究与工程研究所、澳门大学等多所高校、研究机构合作，发表了一篇前瞻性文章“Advancing Haptic Interfaces for Immersive Experiences in the Metaverse”。该文章登载于Cell Press细胞出版社旗下Device期刊，系统总结了触觉反馈技术在虚拟现实（VR）和增强现实（AR）中的挑战，并展望了该技术应用于元宇宙的发展前景，为相关领域的研究者和开发者提供了宝贵的洞见。

▲长按图片识别二维码阅读原文

研究背景

触觉技术可以让我们在元宇宙、VR和AR感受到更加沉浸的体验。但当前触觉反馈设备在渲染能力、技术成熟度和成本等方面仍面临诸多挑战：

1.渲染问题

触觉渲染通过在用户身体特定位置传递特定频率、强度的触觉感受来实现。但复杂的几何形状和表面性质对触觉信息的实时刷新产生挑战。

2.延迟问题

触觉提示的传递需要最小化延迟以实现真实感。元宇宙应用通常需要总延迟低于20毫秒，因此需要协调通信、硬件和软件的延时。

3.真实再现

表面纹理的真实再现对于增强触觉感知至关重要。将纹理渲染集成到触觉算法中面临诸多挑战，需要精确可靠的测量技术和设备来捕捉表面特性并重现表面纹理。

4.功耗问题

触觉设备要求体积紧凑、反馈效果明显。目前，小型电磁执行器、如介电弹性体等常在功耗和反馈效果间难以平衡。高驱动电压也是一个较大的挑战，压电器件、静电粘附摩擦力调控、介电弹性体的工作电压在几百到几千伏之间。高压驱动电压不仅需要额外的屏蔽和电压转换器，也会显著增加设备的体积。

5.设备耐久性及性能一致性

触觉设备的一致性和长久耐用性都是其商业化成功的关键。例如，湿度会极大地影响基于静电粘附的表面触觉设备的反馈效果；用户的皮肤状况和皮肤表面形貌也是影响反馈效果的重要因素。此外，材料的机械性能，如疲劳和耐磨性，以及屏幕表面污染物的存在与累积也对会对设备性能产生影响。上述都是我们今后研究中需要重点关注和解决的问题。

6.制造成本

触觉设备与视觉显示器类似，依赖于单个“像素”传递用户的局部感觉，并且存在与更密集和更小的像素相关的材料，设计和制造成本。

研究方向展望

材料科学、界面力学、微电子学等领域的发展，为解决触觉界面相关挑战指明了解决方向：

1.触觉设备界面及材料设计

最新研究显示，界面温度、湿度、皮肤特性及出汗率等因素对触觉反馈有显著影响。对触觉界面的合理设计可以有效增强触觉反馈效果。之前研究发现，多物理界面耦合建模，可以在微/纳米尺度上设计表面纹理，以提升静电粘附效果和性能一致性。对于可穿戴反馈设备的材料和结构设计，通常采用聚二甲基硅氧烷为基底，而基于焦耳热的柔性可拉伸材料以及基于帕尔帖效应的热电聚合物也可应用于给用户传递温度信息。智能纺织品通过整合气动装置或形状记忆材料，极大地提升了触觉设备的集成度与灵活性。值得一提的是，利用独特的编织和编结技术，可以使纺织品具有更卓越的结构性和适应性。

另外，柔性压电设备、电磁体和电触觉系统的材料创新，也为可穿戴触觉设备的发展注入了新动力，这些进步不仅增强了设备的功能性，也极大地丰富了用户的体验。

图1 应用于表面和可穿戴触觉反馈的材料的设计。

2. 多点触觉界面

多点触觉技术通过多指互动，提供了更丰富和真实的触觉体验。静电粘附设备通常采用电极阵列来产生局部触觉反馈。为了减少信号串扰和设备小型化的限制，可以采用时间多路复用技术来选择性激活特定电极线。

3. 不同驱动机制的集成

结合不同驱动机制可以显著提升触觉设备的性能。例如，将静电粘附与振动相结合，可以开发出主动侧向力反馈技术，增强用户对力的感知，这种多模态集成在增强触觉真实感方面展现了巨大潜力。本文图2展示了结合不同驱动机制的触觉设备设计，包括集成静电粘附和超声振动、静电粘附和液体控制、静电粘附和温度调控等多驱动机制相结合的触觉设备，对触觉反馈效果的提升。

图2 结合不同驱动机制的触觉设备设计。

4.新一代通信技术

将触觉设备与VR/AR系统集成时，计算资源和电力管理是主要挑战。新兴的6G无线网络通信技术具有超低延迟和足够带宽，可以分担处理过程中的负担，克服通信瓶颈，这对于实时远程控制和操作至关重要，是将触觉反馈集成到VR/AR中的关键技术。

提高真实感的多模态触觉反馈

触觉感知不仅涉及机械感受器和神经末梢传递的机械感觉，还包括温度感受器和神经末梢提供的温度感觉。为了实现真实的触觉再现，需要构建包含多维度反馈的界面，这可以通过集成温度、变形和电驱动模式来实现。多种触觉反馈的整合能够显著提升触觉反馈的真实性。

触觉和动觉集成界面

为了再现虚拟物体与人手接触的真实感，需要同时提供触觉和动觉输出。动觉设备提供精确的力输出，而触觉显示则用于模拟物体的纹理。例如，在机器人辅助手术中，结合方向提示和运动感觉信息，能够提高手术远程操作的精确度和保真度。此外，也有许多研究探讨了人类的感觉统合，特别是视觉-触觉和听觉-触觉系统之间的统合，以及触觉-嗅觉的相互作用。多种感官的整合能提供更为完整的感知，将多种感官提示与环境动态相结合能够进一步增强虚拟互动的真实感。

图3 多感官线索结合的触觉反馈设备示意图。

结论与展望

触觉技术将在融合数字和物理领域方面发挥关键作用，为用户带来全面沉浸式的体验。虽然这项技术在渲染效率、技术成熟度和成本控制方面仍面临挑战，但最新的界面和材料设计、驱动机制以及触觉提示的集成等技术的发展，为克服这些难题提供了可能性。持续的技术创新将进一步推动触觉设备的发展，并在娱乐、游戏、医疗和教育等多个领域找到更广泛的应用机会。

相关论文信息

论文原文刊载于Cell Press细胞出版社旗下期刊Device，点击“阅读原文”或扫描下方二维码查看论文

▌论文标题：

Advancing Haptic Interfaces for Immersive Experiences in the Metaverse

▌论文网址：

https://www.sciencedirect.com/science/article/abs/pii/S2666998624001728

▌DOI：

https://doi.org/10.1016/j.device.2024.100365

▲长按图片识别二维码阅读原文

1974年，我们出版了首本旗舰期刊《细胞》。如今，CellPress已发展为拥有50多本期刊的全科学领域国际前沿学术出版社。我们坚信，科学的力量将永远造福人类。

CellPress细胞出版社

推荐阅读

▲长按识别二维码关注细胞科学