王禄生：情感计算的应用困境及其法律规制
在人工智能的视域下，情感计算是感知、识别、模拟、影响人类情感状态的各类智能技术的统称。尽管该技术已经在医疗、教育、商业、就业、执法等领域获得应用，但仍然面临法律、伦理与技术的多维困境。从法律上看，情感计算的应用可能与个人信息权、隐私权、人身自由权等形成冲突；从伦理上看，情感计算的终极目标与道德哲学领域对情感自主性的强调不相兼容；从技术上看，情感计算仍然面临着基础理论与实际成效的质疑。为了推动情感计算应用的良性发展，需要从两方面展开法律规制：一是以“轻推”为限度，调和情感自主性与情感计算终极目标之间的张力；二是以风险为基础，按照比例原则对不可接受、高风险、中风险和低风险四类应用实施从完全禁止到行业自律的不同规制。
关键词：情感计算 情绪识别 情绪智能 人工智能 比例原则 法律规制
近年来，情感计算技术越来越多地走进公众的日常生活。商店使用情感计算来感知客户的情绪与兴趣、学校使用情感计算衡量学生在课堂的快乐程度与参与程度，雇主使用情感计算评估求职者的情绪反应并监控员工在工作时的面部表情。随着情感计算应用的日益扩展，公众对情感计算的态度开始悄然转变。大致以2019年为转折点，域外在伦理、技术和法律层面对情感计算的批评以及要求强化治理的呼声日益高涨。同年召开的情感计算会议ACII首次增加了关于情感计算技术滥用的专题研讨。2021年4月21日欧盟委员会向欧洲议会和欧洲理事会提交的《关于人工智能（人工智能法案）的协调规则和修改某些联盟立法法案的条例的提案》（以下简称《欧盟人工智能协调规则的提案》）第52条明确规定“情绪识别系统”使用者的告知义务。同时，按照该提案，情感计算的诸多应用属于“高风险”应用，需要接受从“摇篮到坟墓”全生命周期的严格监管。
我国是世界范围内情感计算技术最为主要的研发与应用国之一。人脸识别、语音识别等感知智能技术的大面积应用为情感计算技术在近年来的迅速发展铺平了道路。目前，我国情感计算领域的发明专利申请数接近1200项，其中67%是在2018年之后申请，仅2020年的申请量就接近总量的1/4。在情感计算的技术谱系中，情绪识别是最为重要的领域。有媒体乐观估计仅“多模态情绪识别技术”的市场可以达到千亿元人民币的量级。良好的发展前景吸引了企业的投入，目前直接带有“情绪识别”业务标签的企业达到43家，相关企业各类“情绪识别”的软件著作权、专利为757项。实践中，情感计算已经在我国教育、交通、医疗、执法等多个领域投入应用。该技术在我国的迅猛发展态势引发了多个域外研究机构的关注，其中不乏尖锐的批评之声。相较迅猛发展实践而言，我国法律界对于这一技术的关注尚不充分，因此有必要对其技术逻辑、实践应用、现实困境和法律规制等重要方面展开专门探讨。
由于技术发展路径的多元属性，“情感计算”及其相关概念层出不穷，并在内涵与外延上具有不确定性。除了情感计算之外，与之密切相关的概念还有情绪识别、情绪智能、情感识别等。与此同时，在诸多文献中，“情感计算”还广泛地与人脸识别、语音识别、人工智能等各类技术交叉混用。对于公众而言，可能会直接产生如下疑问：情感计算都是人工智能技术吗？情感计算中的“情感”与情绪识别中的“情绪”具有同一指涉性吗？“计算”和“识别”是不同的过程亦或是同一行为的不同表达？人脸识别、语音识别与情感计算之间是何种技术逻辑关系？因此，在展开正式论证之前，有必要对本文“情感计算”指涉的内容作一个必要的交待，以便不同背景的参与者能够在同一基础上展开讨论。一般认为，情感计算由罗莎琳德·皮卡德在1997年正式提出，意指“与情绪或其他情感现象有关的、产生于或有意影响情绪或其他情感现象的计算”。从语词原意来看，“情感”包括“情绪”“心情”两个部分，前者主要是短期的，可以通过表情来体现，如愤怒、恐惧、悲伤、愉悦、恶心和惊喜；后者则具有一定的延续性，比如好心情、坏心情。所以，“情感计算”实际上是一个宽泛的概念，它包括任何与个人情绪、心情状态相关的计算机程序。从这个意义上说，“情绪识别”是“情感计算”的有机组成部分。情感计算产生之初并非都与人工智能有关。测谎仪的工作原理就是一种情感计算，即通过仪器对呼吸、血压、脉搏等信息进行监测，并分析其对应的紧张、恐惧、焦虑等情感状态，进而判定受测者是否说谎。随着人工智能技术的发展，情感计算日益与AI结合。典型的比如“AI+情绪识别技术”之后形成的“情绪智能识别技术”。该技术利用人脸识别、语音识别等“远程生物特征识别系统”提取表情、语音、步态、姿势等各类生物特征信息，从而识别对象的情绪状态。也正是在这个意义上，情感计算技术与人脸识别等感知智能技术产生关联——后者是前者进行情绪识别的前置技术环节。可见，按照严格的标准，情感计算并不必然采用人工智能的路径。不过，在人工智能泛在和泛化的发展趋势之下，情感计算通常被视作一种人工智能技术。举例而言，《欧盟人工智能协调规则的提案》第3条给“情绪识别系统”的定义就直接与人工智能关联——一种人工智能系统，用于根据自然人的生物特征数据识别或推断自然人的情绪或意图。事实上，近年来对情感计算技术的诸多批评也主要集中在人工智能的技术框架内（如人脸识别）。笔者正是在人工智能的视域下探讨情感计算技术，意指感知、识别、模拟、影响人类情感状态的各类智能技术的统称。
情感计算在技术逻辑上与人工智能技术紧密绑定，大致可以分为感知、识别、模拟、影响四个环节。具体而言，情感计算的第一步是通过各类传感器实现对自然人各类生物信息的“感知”，这种感知可以通过非接触式的远程识别的方式实现（如摄像头、话筒），也可以通过接触式的传感器实现（比如血压仪）。现阶段情感计算在感知阶段的数据源具有多样性，主要是声音、表情、肢体语言、姿势等各类生物信息。人脸识别、语音识别等感知智能技术的成熟为情感计算的“感知”环节提供了扎实的支撑。在完成各类信息感知的基础之上，情感计算技术进入“识别”环节。“识别”要借各类情感识别模型。现阶段，识别模型的生成主要采用有监督深度学习的方式。具体而言，就是依托各类基本情感理论，人为地将特定的生物信息与情感状态关联。在实操层面即通过人工标注，为各类“提取特征”添加情感标签，如语速快速、响亮可能对应恐惧、愤怒或喜悦的情感状态，语速缓慢、低音调则可能对应疲劳、厌倦或悲伤的情感状态。在完成了足够多的标注之后，深度学习技术（包括但不限于卷积神经网络CNN、递归神经网络RNN、区域候选网络RPN）可以通过模型训练形成与各类自然人生物信息特征相对应情感的识别模型。这种典型的大数据智能范式也被称作“鹦鹉（学舌）模式”，也就是不断为人工智能“填喂”大量做好标注的“语料”，人工智能在学习足够多的情感“语料”后就能总结规律，逐步形成特定情感状态的识别模型。在此基础上，当有新的声音、表情等生物信息进入系统后，系统可以根据情感识别模型进行识别。从本质上看，情感识别模式的运作机理是对各种情感的概率分析。因此，该过程更大程度是一种“计算”而非真正意义的“识别”，或者说“识别”是通过“计算”的方式实现。
当然，“识别”只是初级的应用。按照皮卡德对“情感计算”的原初定义，该技术实际上分为三类：“与情感相关的计算”“产生于情感的计算”以及“有意影响情感的计算”。换言之，该类技术的终极目标是在“识别”基础之上使计算机具备“模拟”自然人情绪的能力，并且能够根据不同情境采取相应策略来“影响”自然人的情绪。也就是让机器具备情感智能，能够以最佳的方式识别和调节（自己或他人）情感的能力。从这个意义上说，“识别”只是“情感计算”技术逻辑中的有机组成环节。以情感计算领域潜在的应用机器人教师为例，在理想的设计方案中，机器人教师可以通过视线、瞳孔大小、语气、韵律、姿势甚至是皮肤电导、肌肉电位、心血管测量、脑电位等感知对学习者的情感状态进行识别，如兴趣水平、动机、理解力、热情以及学习中被认为重要的其他因素。在对学习者回应时，机器人教师可以保持眼神交流，并改变自己面部表情来提供反馈。此种设想就涵盖了情感计算中感受、识别、模拟、影响的所有流程。
情感计算应用的实质是通过感知、识别、模仿和影响人们的情感状态来更好地作出决策、提供服务、提升幸福感。主流应用有两类：其一是情感计算的结果作用于被识别者本人，通过改变其情感状态而治疗疾病、提高体验，典型的例子是利用情感计算治疗自闭症；其二是情感计算的结果作用于被识别者之外的第三人，提供各类决策辅助，比如在招聘环节使用情感计算。当前，情感计算技术正在被迅速商业化并在医疗、教育、商业、就业、执法等领域获得应用。
许多心理和生理状况，包括自闭、抑郁和中风，都会影响理解、控制或交流情感的能力。情感计算已被用于评估和治疗各种疾病，并改善与情感有关的交流。一家名为Affectiva的公司开发了一款“谷歌眼镜”式的设备，可以帮助自闭症患者解读与他们互动的其他人的社交和情感线索。还有研究人员通过脑机接口和热像仪，根据人体检测到的数据进行情绪分析，并用以辅助治疗自闭症或抑郁症患者。除此之外，医疗情感聊天机器人也被认为具有广泛的应用前景。所谓的医疗情感聊天机器人其实是一种包含信号分析和自动语音识别、语义分析和对话策略、响应生成和语音合成组件的自主系统，可以使用情感计算技术与病人进行交互，以检测情感，确定并模拟情感答案。
在教育领域，利用情感计算技术，计算机可以通过面部表情的识别来判断学习者的学习状态。与此同时，该技术还可以让教师了解学生的内心感受，从而制定更具个性化的教学方案。随着在线教学的日益扩展，情感计算被认为可以提升师生互动质量，改善因为缺乏传统课堂学习氛围而导致的厌学情绪。总部位于波士顿的BrainCo公司正在研发一种头带，通过检测大脑活动来监测和量化学生的注意力水平。实际上，我国智慧教育建设中对情感计算的使用已经走在世界前列。浙江部分中学推行的“智慧课堂”项目可以通过教室前端的三个摄像头识别七种情绪（恐惧、快乐、厌恶、悲伤、惊讶、愤怒和中性）和六种行为（读、写、听、站、举手、趴在桌子上）。系统每隔30秒会进行一次扫描，实时分析出学生们在课堂上的状态。新东方推出“AI双师课堂”可以通过“慧眼系统”对每个学生的面部进行情绪识别，除了可以识别学生是否认真听讲，还可以辨别出“高兴、悲哀、惊讶、正常、愤怒”等情绪，老师可根据学生的情绪表现，掌握学生对于课程内容的真实反馈，以对教学内容作进一步精炼与提升。
就业领域情感识别的使用也出现了激增，在求职者或员工不知情的情况下进行工作能力判断。HireVue和VCV等公司提出对求职者进行“勇气”等品质的筛选，并追踪他们微笑的频率。其中HireVue开发的系统利用求职者的电脑或手机摄像头分析他们的面部表情、用词和说话声音，然后根据自动生成的“就业能力”得分将他们与其他求职者进行排名。据称已有超过100家雇主使用该系统，其中不乏国际知名企业，并且已经对100万名名以上的求职者进行了分析。此外，根据韩国经济研究所（KERI）的数据，该国排名前131位的公司中有近1/4正在使用或计划使用AI进行招聘。
商业领域的情感计算应用旨在根据情感的识别为顾客提供更为优质的服务。2019年8月，亚马逊宣称其Rekognition面部识别软件可以评估包括恐惧在内的8种情绪。零售是该软件潜在的应用场景，商店可以通过该软件分析购物者的实时图像，以检测情感，进而有针对性地提供服务。Kairos公司也推出一款销售视频分析摄像机，声称可以检测人脸，并将其归类为愤怒、恐惧和悲伤的情绪。Kairos主要向赌场、餐馆、零售商人、房地产经纪人和酒店行业销售该产品，并承诺将帮助这些企业了解其顾客的情感情况。情感计算还被应用到聊天机器人之中，Cogito和Empathath两款程序就使用语音分析算法监控客户的反应，并在他们听起来很沮丧时向呼叫专员发出信号，以提醒专员转变对话策略。中国公司EmoKit通过语音采集数据，根据音频、音色、音调等数据输出人的情绪类型。EmoKit产品正式在一家金融机构的线下门店和APP上线，用以评估用户骗贷的可能性，作为其风控的最后一个环节。2019年长城汽车宣布推出“智能安全系统（Collie）”，包括情感识别的功能，当该系统检测到司机“愤怒”时会自动播放更欢快的音乐。
情感计算也开始应用于边境检查、案件侦查等执法领域，利用对不特定公众情绪的识别，发现异常情况、锁定嫌疑人。例如，美国和英国的警察正在使用检测软件Converus，该软件通过检查眼球运动和瞳孔大小的变化来识别潜在的欺骗行为。iBorderCtrl是在匈牙利、拉脱维亚和希腊试用的一种预先筛选的人工智能系统，它的摄像头在游客回答边境安全人员的问题时，扫描识别脸部表情以发现可能撒谎的人员。中国在各地推动的智慧城市和智慧司法建设中也开始采用情绪识别技术。比如，“阿尔法鹰”的情感计算技术基于前庭情感反射理论，通过摄像头采集的人体面部视频流，分析头部和颈部微小肌肉振动的频率和振幅，计算出个人压力、侵略性和焦虑度等参数，甄别有自体原发性焦虑紧张状态的潜在可疑危险人员以辅助安检人工排查。还比如，“灵视多模态情绪研判系统”通过非接触式的视频对话，发现测试人的实时情绪，针对特定关键问题的情绪变化，采集包含微表情、微动作、声强、心率与体温五种模态，集合在审讯场景下的定制化算法，可以挖掘被讯问人对相关问题的反应程度，掌握被讯问人心理和生理反应，用以突破其心理防线，获得供述。又比如，“太古人工智能”推出的“无感知情绪监测分析系统”主要面向审讯场景，结合视频图像处理、并行计算、深度学习等技术，采用非接触的生理信号采集、微表情识别方法，保证在对象无感知的基础上建立量化情绪模型，实现情绪监控和分析。
情感计算技术的底层依据来自“基本情感理论”（Basic Emotion Theory, BET），该理论由心理学家保罗·埃克曼（Paul Ekman）在1970年提出，认为人们可以从面部表情中可靠地辨别出情绪状态，并且此种表情与情绪的关联具有跨文化上的普遍性。依据该理论，情感计算的应用是建立在三个假设之上：（1）可以从一个人的外在表达来衡量一个人的内在情感（如面部表情、声音、姿态等各类生物信息）；（2）这个内在情感的外在表达在世界范围内既离散又统一，用技术话语来解读就是具有提取特征上的普遍性；（3）这种挖掘（推论）足够可靠，可以用来作出决策。不过，在情感计算的发展过程中，对上述三个假设的质疑始终存在。尽管乐观者认为情绪识别等技术可以不断迭代优化，但极端的批评者则认为，情感计算没有强有力的科学证据支持，并以不道德和不负责任的方式被应用，是一种伪科学。
第一，外在表达与内在情感之间的关联存在不确定性。情感计算在技术逻辑上的根本问题在于它是基于反向推理，即一个特定的生理信息被用来表示一种情绪体验。从计算的角度来看，所有这些来源都是生理信号，具有分析和解释上的共同困难。一方面，相同的生理信息可能表达了不止一种情绪，而实际上理解情绪需要更多的情境细节支撑。有实证研究揭示，所有六种情绪平均上只与面部表情有微弱的联系。另一方面，在强烈刺激的环境下，受试者的生理信号和情绪之间可以建立较为明确的关联。但对于情感计算而言，如果要在评估可用性或推动互动中广泛使用心理生理学和相关的传感技术，则它们必须能够检测出用户对细微的刺激反应。现有技术尚未证明在细微和自然的情况下可以确定地检测到这种反应。整体而言，心理生理数据非常复杂，难以证明其与情绪之间的因果关系。
第二，外在表达与情感之间的关联在世界范围内存在差异性。有学者回顾了上千项关于情绪表达的研究后发现，人们在不同文化、不同情况下，甚至在同一情况下，在沟通他们的情绪状态时，存在着大量的差异。因此，无论计算算法多么复杂，利用这项技术来得出情感结论还为时过早。与此同时，正如本文第一部分所强调的那样，情感计算采用的有监督学习范式，需要人工对情绪进行标注。该过程的主观性也加剧了表达与情感之间关联的差异性。
第三，该技术在应用结果上具有不可靠性。正是因为外在表达与内在情感之间的不确定性、多样性、数据标注的主观性，这使得现阶段情感计算技术在准确性上难以充分保障。例如，ProPublica报道称，美国部分学校、监狱、银行和医院安装了由Sound Intelligence公司开发的情感计算应用软件，旨在暴力爆发前检测压力和攻击性。但“攻击性检测器/主动探测器”并不可靠，它可能将咳嗽这样的粗糙、高音调的声音误判为攻击性。另一项研究发现Face++和Face API两款软件分配给特定人群更多消极情绪得分，不管他们笑得多开心。前文提及的iBorderCtrl系统也因为评估结果的“假阳性”以及歧视性的潜在风险而在试用后短期内被撤回。
当前，我国对于情感计算技术的法律规制体系尚未构建。一方面，这为该技术的迅猛发展提供了宽松的制度环境；另一方面也为技术应用引发的多维风险埋下隐患。情感计算技术的应用需要有公众信任作为支撑，其面临的伦理、法律和技术困境无疑会侵蚀公众的信任度。因此，从推动情感计算技术良性发展的视角来看，势必需要对其应用进行合理的法律规制，以应对法律、伦理、技术三个维度的困境。具体而言，就是以“轻推”为限度设定情感计算应用的底线。在此基础上，对符合底线要求的应用再根据风险等级进行差异化的规制。
正如本文第三部分论及的那样，基础伦理学与实用伦理学均高度重视情感，将其视作影响道德判断和人的主体性的重要因素。因此，人们应当尊重他人控制其情绪状态的自主权；获得有关个人情感状态信息施加了一种责任，即不得滥用该信息并利用该人的脆弱性。在此背景下，情感计算应用的法律规制需要调和伦理学对情感自主性的强调与情感计算以影响情感为终极目标之间的张力。简言之，就是在综合考量伦理困境与技术困境的基础上，通过法律设定情感计算技术对个人情感影响的限度，进而有效避免情感计算技术被滥用风险。笔者认为，可以借鉴行为经济学与行为科学成熟的理论框架，以“轻推”为限度构建一套情感计算应用的底线规制体系。
“轻推”对应的英文“nudge”的原始含义是指轻轻推某人，尤指用肘轻轻推某人，以引起他们的注意。诺贝尔经济学奖获得者理查德·泰勒和美国最伟大的法学家之一卡斯·桑斯坦在2008年共同提出了“轻推”的理论。它是指通过正向强化和间接建议，影响群体或个人的行为和决策，但个人仍然有选择自由。众所周知，个人并非绝对意义上的理性经济人，会受到各种偏见的影响，有时候作出的决策往往是一种本能反应，而人往往对这种本能反应过于自信，引发大量的错误决策，此时就必须“轻推一把”，让人意识到错误并走上正轨。关于何为“轻推”，理查德·泰勒和卡斯·桑斯坦将其概括为“自由主义的温和专制主义”。具体而言，私人和公共选择设计者所作的并不仅仅是要极力追踪或者实现人们所期待的选择，他们更加可以追求的是通过改变人们的行为方式从而使他们生活得更好。他们使用的是一种助推。“轻推”指的是这种选择体系的任何一方面，都不通过强制的方式，而是以一种预言方式去改变人们的选择或者改变他们的经济动机及行为。
按照上述理论框架，应通过法律明确规范情感计算技术对人类情感的干预限度和方式：（1）情感计算应用中施加的影响情感措施只能以“轻推”为限度，不得直接“操纵/控制”情感。简言之，“轻推而不控制”是法律规制的核心内容。那种通过脑机接口（BCI）的方式直接作用于神经进而影响情感的方案与“轻推”的法律要求根本冲突。（2）情感计算应用中施加的影响情感措施不得妨碍人们的自由选择，不禁止其他选项。举例而言，智能驾驶系统在识别司机情绪不佳时播放舒缓的音乐，如果用户仍然有选择的自由，则是一种轻推；但如果用户只能听舒缓的音乐，则是一种命令，因为它排除了用户的自主选择。（3）情感计算应用中施加的影响情感措施不能显著增加选择者的负担，并且可以通过低成本的方式轻易避免。（4）情感计算应用中施加的影响情感措施原则上只能是“积极助推”，禁止“负面助推”。（5）对于未成年人、精神病人、残疾人等易受伤害人群，作为法律保留事项，需要更为严格的限制和专业指导。一言以蔽之，“轻推”可以用自由选择与适当引导两个关键词来概括。通俗来讲，情感计算的“轻推”就是发现特定主体情绪存在一定问题，用各种策略“轻推一把”让他/她能够回归正轨。当然，在特定情况下，比如医疗领域应用情感计算时，可以适当超越“轻推”的范畴，但需要更加谨慎的态度和专业的论证。综上所述“轻推”为情感计算的应用范围和方式设定了底线。
与绝大多数科学技术相同，情感计算技术是一把“双刃剑”。从正面来看，情感计算智能技术的应用能够有助于更好地理解和控制情绪与情感状态，可以改善生活质量、挽救生命、提高人机交互体验等；从负面来看，情感计算则可能对个人权利造成诸多侵害。因此，情感计算技术的法律规制，除了以“轻推”为底线之外，还应当按照以风险为基础的比例原则构建一套法律规制体系。申言之，就是根据情感计算应用可能产生的风险强度来动态调整法律规制的类型与内容。一方面，要合理考虑情感计算应用对权利与伦理的影响强度与范围；另一方面，严格按照风险的等级差异，等比例提供规制方案，高风险对应高规制强度、低风险对应低规制强度。如表1所示，首先将情感计算应用的风险分为“不可接受”和“可接受”两大类，将那种触碰伦理基本底线的情感计算应用（如作恶）归并为“不可接受的风险”。在此基础上，根据风险的差异化表征进一步将“可接受的风险”划分为“高风险”“中风险”“低风险”，并分别对应差异化的规制方案。
表1 情感计算应用的风险类型、风险表征与规制方式
所谓的“不可接受的风险”，是指触碰伦理禁区和价值底线的情感计算应用。根据该技术现有的发展态势来看，主要有以下三种情形：（1）试图直接操纵、控制他人情绪的情感计算应用。在底线规制的构建中笔者已经指出，按照道德哲学的基本要求，情感的自主性具有极高的伦理地位，因此干预情感应该以“轻推”为限度。超越该限度直接控制情感的做法既属于伦理禁区也属于法律禁区。（2）追求不正当目的的情感计算应用。比如旨在激起特定人群积极情绪（暴力、好战）的应用，又比如雇主通过情感计算技术来控制雇员情绪，使其总是处于积极工作的情绪之中。（3）滥用技术，利用人性的弱点，比如未成年人、精神病人在年龄、身体或精神上的脆弱性从而扭曲个人情感的情感计算应用。上述三种情形的情感计算应用产生的风险在法律上属于“不可接受”的范畴，因此应当完全禁止。
所谓“高风险”，是指那种可能严重影响个人权利，尤其是教育、健康、安全等基本权利的情感计算应用。这里的“严重影响”，是指基于情感计算的结果直接决定个人教育、社会保障、医疗、就业、安全、健康等基本权利的有无。也就是说，情感计算结论成为“剥夺”个人基本权利的直接依据。具体而言，此类应用表现为公私机构利用情感计算技术对个人进行评估，在此基础上形成评分或者分类标签，进而决定特定个人能否进入教育机构、享受特定的保险待遇、获得特定的工作机会等。按照情感计算技术发展的趋势来看，主要有以下四种情形：（1）在教育系统中使用情感计算技术，用于确定进入教育机构的资格，或将对特定人群情绪控制能力的评估作为接受教育的一部分或者前提；（2）在就业领域使用情感计算技术，用于人员的招募和甄选，决定晋升或解雇；（3）在公共服务领域使用情感计算技术决定个人是否获得和享受某些必不可少的公共服务，如获得公租房、电力、电信服务等；（4）在执法领域使用情感计算技术判断特定公众的危险程度或供述的可信度，以决定是否采用非羁押措施、缓刑等。前文提及的基于情感计算技术在就业、执法等领域应用中就有此类情形。此类应用可能会对个人的教育、职业等权利产生极为深刻和广泛的影响。加之情感计算在技术上的不稳定性，对其应用还可能导致特定群体被排斥在享受特定基本权利之外。这实际上侵犯了尊严和不歧视的平等与正义价值观，导致特定群体在整个社会交往环境中处于特别被动的地位，并将此种歧视以技术形式固化。对于这类“高风险”应用需要严格限制，原则上被禁止，只有公共服务机构基于公共利益而展开，且需要配合以全流程的监管措施。
所谓的“中风险”，是指那种中度影响个人权利的情感计算应用。具体而言，就是对个人权利产生实质影响，但并不决定特定权利有无的状态。尽管如此，考虑到对个人权利影响的实质性以及现有技术的不稳定性，仍然需要将他们归并为“中风险”应用。比如，智慧教育中基于学生的情绪识别而采用差异化的教学策略虽然影响了不同学生的受教育权，但却并未作为教育的准入资格条件而存在。对于“中风险”的情感智能技术，原则上可以应用，但是要构建一套全生命周期的监管措施。除了符合已有法律规范的相关要求之外，笔者认为，可以参考《欧盟人工智能协调规则提案》的相关规制体系并结合我国的实践确定如下流程监管措施：（1）风险管理机制：构建完备的情感计算应用风险评估系统，从伦理、法律和技术三个维度综合审查已经发生或者可能发生的各类风险，并对各类风险发生的应对措施作提前预案。同时，风险评估要在全生命周期内不断迭代与更新。（2）数据治理机制：构建数据获取、标注、训练的治理机制，将风险和歧视的结果降至最低。比如，在情绪识别的样本选择时需要考虑不同性别的人群构成，保障训练样本的代表性；在数据标注时需要统一培训，按照一致的标准。（3）技术保障机制：情感计算应用的开发者应当保障技术具有实现开发目的的准确性、稳定性与安全性。要引入独立第三方对各项技术的性能指标进行充分的测试与验证。（4）流程备份机制：对应用的全过程进行记录以保证可追溯性。（5）信息透明机制：使用者应当向用户提供清晰、充分的信息，包括技术的现有准确性、安全性等内容都需要在使用说明中明确声明。（6）信息备案机制：将应用的相关信息提交相关主管机构备案。在应用发展过程中，要及时更新。
所谓的“低风险”，是指轻度影响或者不影响个人权利的情感计算应用。比如，在情感聊天系统中，根据对用户情绪的识别自动调整聊天方式。对于低风险的应用，法律在原则上不施加明显的规制，只是作出最基础的透明义务要求，比如明确告知用户正在与具备情感识别功能的系统交互。就好比电话中涉及录音时会提醒“本次通话可能被录音”一样，在涉及情感计算时需要提示“你的情绪可能被检测”。在此基础上，相关企业可以按照企业自律的方式合理选择全流程监管措施中的一项或者多项，以提升企业的合规能力。
我国对于技术规制的路径通常是采用回应型的立法，即在技术发展已经无处不在并已经暴露现实风险时再考虑规制。在此之前，给予特定技术以充分的发展空间。对于即将迅猛发展且可能比人脸识别更具侵入性的情感计算技术而言，对其规制可能需要采取更具前瞻性的“先发制人”立法。尤其在“不可接受风险”的应用已经处于研发状态、“高风险应用”已然现实存在的背景下，对于情感计算应用的有效规制就显得尤为必要。唯有如此，方能有效避免对公民个人权利带来不成比例的损害。当然，本文只是对情感计算的法律规制提出了初步的方案。对于情感计算与个人信息保护规范之间的衔接、全生命周期监管方案还有待在后续研究中进一步细化。
上海市法学会欢迎您的投稿
fxhgzh@vip.163.com
相关链接
《东方法学》2021年第4期目录王利明：论正常经营买受人规则杨立新｜自甘风险：本土化的概念定义、类型结构与法律适用曹权之：民法典“自甘风险”条文研究胡凌｜理解技术规制的一般模式：以脑机接口为例来源：《东方法学》2021年第4期（总第82期）。转引转载请注明出处。
责任编辑：孙建伟 金惠珠