百度重磅发布业界首个集可信分析和增强于一体的可信AI工具集-TrustAI
5月20日，在深度学习开发者峰会（WAVE SUMMIT 2022）上，百度发布首个集可信分析和增强于一体的可信 AI 工具集-TrustAI，帮助 NLP 领域开发者了解神经网络模型的预测机制，构建更加可信、效果更强的模型，助力神经网络模型更安全、可靠地落地于实际应用中。
开源地址：
https://github.com/PaddlePaddle/TrustAI
随着 AI 技术的发展，神经网络（NN）模型广泛落地于行业应用中，但由于 NN 模型的黑盒性质，降低了使用者对其信任度，阻碍了 AI 技术更大规模的落地，尤其是对模型可靠性和安全性要求比较高的领域，如金融、医疗等。因此模型的可解释性、鲁棒性、安全可控等问题受到广泛关注。
模型的可解释性，是指其预测机制是可解释的，开发者能够诊断模型的问题所在并提出优化方案。模型的鲁棒性，要求模型预测结果不受数据中的无关干扰影响。模型的安全可控，需要控制模型从数据中学习歧视、欺诈等不良行为，降低模型应用中的不确定性风险，防止其影响使用者做出正确决策。
百度为 NLP 领域开发者提供一套可探索模型预测机制并可增强模型效果的可信学习技术与工具，助力 NLP 领域开发者构建效果更强、更加可信的模型。
TrustAI 集可信分析和增强功能于一体
可信分析：提供了特征级和实例级两种证据分析方法，以及覆盖底层预训练模型和多个 NLP 具体任务的可信评测数据，多维度分析和评测模型的预测机制。
可信增强：提供了基于可信分析的模型和数据缺陷识别方法，也同时提供多种低成本的模型增强策略。
图2 首个集可信分析和增强于一体的可信 AI 工具集
接下来，本文将详细介绍 TrustAI 的功能。
1.可信分析方法
TrustAI 提供特征级证据和实例级证据分析方法，全方位解释模型的预测，帮助开发者了解模型预测机制，以及协助使用者基于证据做出正确决策。
实例级证据分析：从训练数据中找出对当前预测影响较大的若干数据作为预测证据，如图4中蓝色底色内的训练数据，即为支持当前测试文本的证据。开发者基于实例级证据可对训练数据中的问题进行分析，如识别训练集中的脏数据、识别数据稀疏等。
图4 实例级证据分析
当前，TrustAI 提供了3种常用的特征级证据分析方法和2种实例级证据分析方法。近期，TrustAI 还将提供更多的证据分析方法，供开发者使用。
2.可信评测数据
自然语言理解任务可信评测数据
TrustAI 提供了情感分析、相似度计算、阅读理解等3个任务的可信评测数据。针对每一条评测数据，TrustAI 提供了人工标注证据和扰动数据。以图5中原始输入“环境可以，房间一般，温泉就是个噱头”为例，人工标注证据为红色字体部分，支持负向情感判断。同时，TrustAI 针对每一条原始数据提供了其对应的扰动数据，见图5“扰动数据”实例。扰动数据用来评估模型的鲁棒性。
图5 情感分析任务的数据与使用示例
预训练模型评测数据
TrustAI 提供了从语法、语义、知识、推理、计算等5个维度标注的可信评测数据集，全方位地评测预训练模型的预测能力和预测机制，示例详见图6。
以图中第一条实例为例，模型在预测“篇”时应具备语法能力，即根据名词“文稿”和数词“200”预测其量词“篇”。
图6 预训练模型可信评测数据
可信评估指标
根据模型在原始数据和扰动数据上的预测表现，TrustAI 评估模型的基础准确率和鲁棒性。
此外，根据模型预测依赖证据，TrustAI 能从合理性、稳定性和忠诚性三个维度对模型的预测机制进行评估，三个评估维度的具体评估内容如下：
合理性评估模型提供证据是否符合人的认知。 稳定性评估模型在扰动下预测机制的一致性。 忠诚性评估模型提供证据对预测结果的实际影响度。
图7 TrustAI 提供的多维度评估指标
3.可信增强
TrustAI 提供基于可信分析结果识别模型及训练数据缺陷的方法，可以帮助开发者根据分析结果改进模型。
基于特征级证据分析方法：TrustAI 提供基于伪相关证据分析识别训练数据偏置，及基于不合理证据分析识别预测困难数据的方法。
基于实例级证据分析方法：TrustAI 提供识别训练数据中标注质量差的脏数据，及识别训练数据中有效数据的方法。
开发者可基于这些识别的缺陷，设计增强策略来提升模型能力，如数据均衡、数据修正、数据增强等方法。
图8 基于证据分析的模型和数据缺陷识别
目前，TrustAI 已经开源，支持 pip 一键安装，欢迎大家了解更多技术详情和使用方法，并贡献你的 Star 和 Fork！！！
TrustAI 项目地址：
https://github.com/PaddlePaddle/TrustAI