手语翻译手套：人工神经网络辅助的全纤维纱线传感器

点击蓝字 · 关注我们

纱线传感器由于其形状适应性、良好的柔韧性和可编织性，在可穿戴电子产品中显示出广阔的应用前景。然而，如何以工业可扩展的方式开发结构稳定、响应快、机械性能鲁棒的全微纤维纱线传感器仍是挑战。在此，采用连续、可量产、结构可编程、低成本的纺纱技术，设计制造了一种具有负泊松比的全纤维拉胀交织纱线传感器(AIYS)。基于独特的超细纤维交错结构，AIYS同时具有负泊松比、鲁棒的力学性能和快速的训练阻力响应，增强了对人体的适形性，并快速将人体关节弯曲和/或拉伸转化为电信号。同时，利用AIYS阵列，利用人工神经网络开发了一种超快全字母手语翻译手套，在消除交流障碍方面具有显著的潜力。

Full-Fiber Auxetic-Interlaced Yarn Sensor for Sign-Language Translation Glove Assisted by Artificial Neural Network

Ronghui Wu,Sangjin Seo,Liyun Ma,Juyeol Bae&Taesung Kim*

Nano-Micro Letters (2022)14: 139
https://doi.org/10.1007/s40820-022-00887-5

本文亮点

1. 通过计算机包纺技术实现全纤维拉胀交织纱线传感器的连续和大规模制造。

2. 全纤维拉胀交错纱线传感器的泊松比最大可达-1.5，具有优异的机械性能(0.6 cN/dtex)和快速的抗阻训练响应能力(响应时间约为0.025 s)。

3.开发了一种新型的手语翻译手套，可识别完整的英语字母表，并将佩戴者的手语翻译成文本。

内容简介

用工业方法大规模生产结构稳定、机械性能优异的纱线传感器对探索新型可穿戴电子产品具有关键意义。蔚山科学技术院的Taesung Kim教授课题组开发了一种全纤维拉胀交织纱线传感器，将其用于制作可以覆盖人手和手腕整个活动关节的智能手套，并通过人工神经网络进行校准和校正，以实现对26个英文字母的精准识别。该工作采用电脑包纱的方法，首先通过压纱机制备了具有相反方向的导电聚酰胺纱线内/外护套层，随后将鞘纱对称地缠绕在PU芯纱上，制备了具有特定互锁结构的纱线传感器(AIYS)，接着将传感器通过平针缝在针织手套的选定位置上，开发了用于手语智能识别的翻译手套。研究发现，纱线传感器中的残余扭矩和集中应力得到了有效控制，基于纱线设计的AIYS具有高电阻应变响应性，泊松比最低达到-1.5，具有显著的拉胀效应，有助于在将电子纺织品穿在人体上时自我膨胀，从而获得更好的身体顺应性。基于人工神经网络的AIYS阵列嵌入式智能手套可以实现对26个英文字母的快速分类，总体准确率达到99.8%，平均识别时间小于0.25s。此外，该手套可以作为一个可移动的穿戴式键盘，自由输入并将复杂的句子和常见的对话实时翻译成文本或语音。全纤维拉胀交错纱线传感器在智能柔性可穿戴领域展现出潜在的应用前景。

图文导读

I 基于拉胀纱线传感器阵列的手语翻译手套的实现过程

由于AIYS优异的机械性能和拉胀性能，使用AIYS构筑的智能手套能够实现手语翻译功能。如图1(a)所示，这款手套是通过在针织手套的手指和手腕的活动关节上缝制一个包含16个纱线传感器的阵列制成的。传感器阵列与多通道数据采集系统相连，从而获取手势运动数据，并将其输入人工神经网络算法以训练深度学习模型，从而实现从手势到可读可听文本的实时翻译。图1(b)展示了AIYS传感单元独特的互锁结构，可以使AIYS获得高电阻应变响应和负泊松比。如图1(c)所示，全纤维AIYS采用连续、可大规模生产的纺丝技术制造，工作效率高、成本低。对于包芯纱，首先从下到上依次通过张力控制器、正辊、皮圈、两个包络区引入包纱机，随后由槽筒驱动的收集筒管收集。对于内鞘纱，将其喂入第一包缠区，并在包芯PU包芯纱表面以顺时针方向加捻，得到Z捻螺旋结构。对于外鞘纱，将其在第二包覆区的Z捻螺旋纱表面以逆时针缠绕方向加捻，形成交织结构。通过此制造工艺可以在 1 小时内在单环线轴上获得大约2400 m的AIYS。

图1. (a)实时手语翻译示意图，显示了从 AIYS 阵列嵌入式智能手套到手语翻译的信号采集、数据处理和深度学习路径；(b)AIYS 的结构及其应变响应和拉胀效应的说明；(c)连续包纱技术示意图。

II AIYS传感单元的几何结构和机械性质
由于精心设计的交错互锁结构，AIYS具有独特的稳定性和负泊松比性能。如图2(a)和2(b)所示，在AIYS中，两根鞘纱以相反的缠绕方向缠绕，并在芯纱表面形成紧密的互锁结构。这种结构赋予了AIYS独特的负泊松比性能，如图2(b)和2(c)所示，在拉伸过程中，AIYS径向轮廓直径的变化大于螺旋拉胀纱径向轮廓直径的变化。图2(d)和2(e)显示，随着初始包角θ从69.1°减小到45.7°，样品的几何径向直径变化更加显著，具有更大的负泊松比效应，最大能达到-1.5。机械性能方面，如图2(g)所示，由于PU芯纱的高弹性和鞘纱的包裹几何形态，AIYS具有良好的循环稳定性和在0-10％应变范围内的弹性恢复力。图2(h)展示了基于交织芯壳纱结构建立的两个理论粘弹性模型，可以更好地描述和预测 AIYS 的机械性能。图2(h)中进一步地用两个弹簧来描述两个鞘纱，建立了一个四元素模型。新的力学本构模型充分考虑了AIYS的结构分布和非线性力学行为，对于更好地了解智能纱线传感器的力学行为，为电子纺织品的参数设计提供指导。
图2. (a)AIYS的横截面和侧视图；(b)AIYS伸长率为0%、30%和50%时显示出负泊松比；(c)交织螺旋和单螺旋拉胀纱之间泊松比的比较；(d)不同包角下AIYS径向应变的变化；(e)不同包角的AIYS的泊松比；(f)AIYS 在伸长率为0到200%之间的拉伸和恢复过程中的典型机械行为；(g)AIYS在伸长率为0-10%间的循环机械拉伸性能；(h)模型I和模型II描述的AIYS的实验和理论粘弹性力学行为的比较。
III AIYS传感器的传感性能
为了进一步探究AIYS在传感方面的性能，对其电阻等传感特性进行了分析。图3(a)展示了AIYS在应变传感方面表现出的良好性能，在拉伸过程中电阻发生显著变化。根据导电PA护套的几何结构，细丝束在一起，以一定的角度θ缠绕在PU芯纤维上。传感机制依赖于鞘纱螺旋单元之间的接触电阻和拉伸过程中纤维束的挤压。此外，在 AIYS 的拉伸过程中，两个鞘纱层之间的接触面积减小，会导致鞘纤维之间的接触电阻增加。当初始包角很大时，由于节距减小，部分鞘包纤维初始相互连接；因此，在拉伸过程中，螺旋单元之间会产生间隙，从而增加 AIYS的整体电阻。包角较小的AIYS在轴向应变下表现出更好的响应性，这归因于其在拉伸过程中显著的几何变形和拉胀效应。图3(c)显示，传感器在高速加载和卸载15%应变情况下的响应时间约为25ms，具有快速响应的功能。图3(c)和3(d)还显示了当应力释放时AIYS具有的良好的电阻恢复性，这是由于包芯PU纱的高弹性和鞘纱的几何包裹形态。图3(e)中，我们对AISY进行了连续多轮洗涤，水洗8次后，AIYS形态没有明显变化，表面电镀银层依然均匀，具有优秀的可洗性。AIYS在8000 次拉伸和恢复过程中也表现出优异的循环稳定性，如图3(f)所示。图3(g)是AIYS 在原始状态、洗涤8次和循环8000次后的光学和SEM图像，与原始 AIYS 相比，洗涤后的AIYS表现出性能的一致性。如图3(h)所示，志愿者眼部佩戴AIYS时，传感器能够精准检测到轻微的眨眼或咳嗽的运动信号。图3(i)中，将AIYS 附着在针织手套的食指关节部分，可以针对不同的关节弯曲信息产生不同的信号。
图3. (a)拉伸过程中AIYS的电阻相对变化；(b)拉伸至15%应变时AIYS传感器的响应和恢复时间；(c)高速加载和卸载15%的应变到传感器并保持 5 秒，传感器的响应和恢复情况；(d)AIYS在0.05-5 Hz频率范围内的响应；(e)连续洗涤测试后AIYS的电阻变化；(f)AIYS传感器拉伸和恢复8000次的循环电性能；(g)AIYS 在原始状态、洗涤8次和循环8000次后的光学和SEM图像；(h)志愿者眼角佩戴AIYS时检测到的人类眨眼信号；(i)嵌入AIYS的手套在快弯、慢弯、保持、释放行为后的实时感知性能。

IV 智能手套全字母手语识别

将AIYS嵌入针织手套中以实现可识别手语的智能手套。如图4(a)所示，14个AIYS垂直分布在5个手指的活动关节上，1个AIYS水平连接在食指和中指之间，其余传感器垂直缝在手腕部分。在对每个传感器进行数据归一化后，对每个字母的弯曲和拉伸情况进行计数和分析，得到如图4(b)的信号矩阵。图4(c)中，基于t-分布随机邻域嵌入的可视化数据集组降维技术，将传感器手势信息进行数据投射，大致生成了26个类别。数据集之间没有明显的重叠，表明智能手套对26个字母的可区分性。

图4. (a)智能手套实物展示；(b)当智能手套做出从“a”到“z”的手语手势时传感器弯曲情况的信号矩阵；(c)使用16个AIYS阵列的手套记录的字母信号数据集的t-SNE图。

V 基于ANN 架构的智能手套手语分类方法

图5(a)说明了使用ANN架构进行手语分类的全过程，AIYS 阵列的多通道电阻信号在归一化后输入深度学习算法。从每个志愿者获得的传感器信号，通过个体的最小 (Mint) 和最大(Maxt)信号进行归一化。随后，从采集的信号中随机选取1560个数据点(占数据集的60%)作为训练集，并以520个数据点(占数据集的20%)作为验证集。剩余的520个数据点(数据集的 20%)用作测试集。训练集用于训练 ANN，神经网络由两个隐藏层组成，每层有 100 个节点。使用经过训练的ANN构建实时手语分类模型。分类结果的混淆矩阵如图5(b)所示，整体的分类准确率达到99.8%，手势的平均识别时间小于0.25s。图5(c)显示了从句子“How are you”中收集的标准化数据。AIYS智能手套在手语字母识别方面表现出的优异性能，使得其成为有望消除听障者和健康个体之间沟通的现有相关障碍的新方法。

图5. (a)ANN架构及对于26个字母识别和翻译系统的训练和实时过程；(b)对所有字母进行个体识别的混淆矩阵，总体准确率高达 99.8%；(c)用智能手套展示“how are you”时收集的实时标准化数据；(d)穿戴智能手套的志愿者通过手语演示实时输入功能；(e)使用者在手语翻译手套的帮助下与他人交流。

作者简介

Taesung Kim

本文通讯作者

韩国国立蔚山科学技术院 教授
▍主要研究领域
微/纳米流体学，电动力学，非传统微纳制造技术。

▍Email：[e-mail]

撰稿：《纳微快报(英文)》编辑部
编辑：《纳微快报(英文)》编辑部

关于我们

Nano-Micro Letters《纳微快报(英文)》是上海交通大学主办、在Springer Nature开放获取(open-access)出版的学术期刊，主要报道纳米/微米尺度相关的高水平文章(research article, review, communication, perspective, highlight, etc)，包括微纳米材料与结构的合成表征与性能及其在能源、催化、环境、传感、电磁波吸收与屏蔽、生物医学等领域的应用研究。已被SCI、EI、PubMed、SCOPUS等数据库收录，2021JCR影响因子为 23.655，学科排名Q1区前5%，中科院期刊分区1区TOP期刊。多次荣获“中国最具国际影响力学术期刊”、“中国高校杰出科技期刊”、“上海市精品科技期刊”等荣誉，2021年荣获“中国出版政府奖期刊奖提名奖”。欢迎关注和投稿。

Web: https://springer.com/40820

E-mail: [e-mail]

Tel: [phone]

扫描上方二维码关注我们

点击阅读原文/扫描上方小程序码在免费获取英文原文