兰德公司报告《评估人工智能系统在情报分析中的有效性》
兰德公司近日发布题为《评估人工智能系统在情报分析中的有效性》的报告，中文译文约5万字。报告从国家安全的角度，衡量人工智能系统在实施识别、验证、测试和评估（VVT&E）活动方面的有效性，并为美情报界提出建议。
报告称，美情报界和国防部均对开发和部署支持情报分析的人工智能系统抱有极大兴趣，认为它既提供了利用新技术的机会，也提供了解决数据过剩的办法。然而，与所有其他系统一样，人工智能系统令人印象深刻，但并不完美。情报机构需要了解部署该系统的风险、价值及其运作方式，以确保在预算有限的条件下更好地利用该系统和技术支持情报工作，而非仅是开发一套复杂的算法来筛选社交媒体数据。因此，有必要建立可行且有效的评估指标和方法，以衡量人工智能系统对情报分析活动的实际价值、应用性能和安全。
报告指出，目前存在多种描述人工智能系统性能的标准方法，包括通常被称为“精确度”、“召回率”和“准确率”等指标，但这些标准并未提及该系统对其所支持任务的影响。在准确率与情报任务成功之间没有明确关联的情况下，只能依据情报任务的完成水平对系统有效性作出临时判断。基于此，报告作者将人工智能系统在情报分析过程中可发挥的功能分为四大类，分别评估每项功能的错误输出可能会对结果产生的影响，从而理解“人工智能系统性如何影响情报分析的有效性”。
按照情报周期的组织过程，报告将人工智能系统可在该过程中发挥的作用分为四大“系统功能模块”，分别是提供评估支持、自动分析、优先信息和收集支持。报告为每个功能模块设计了函数模型，以详细推演其在情报过程中的作用。
通过对“从任务到系统”的追溯性推演评估，报告得出两个一般性结论：首先，在部署人工智能系统前，制定与符合实际情况优先级的情报监测指标十分重要，这一工作应以评估系统部署的实际影响力为指导；其次，系统的有效性不仅取决于系统属性，还取决于如何使用。
报告最后向情报界提出四点建议：第一，应了解系统的使用方式，设计符合实际任务情况的具备优先级的系统模型；第二，应定期对系统性能和使用环境进行评估，以反映不断变化的优先次序；第三，应创建完善的系统性能衡量指标，以帮助使用人员和开发人员的沟通；第四，应进一步开发和改进评估AI系统有效性的方法。
报告各章节情况如下：
第一章 介绍
第二章 从任务到系统的效力追踪
第三章 衡量绩效和有效性
第四章 结论
附录 推导和技术细节
| 参考智库机构用户可在信息平台参阅报告译文。
请联系我们
电话：
（010）88051911
邮箱：
zhiku@cankaoxiaoxi.com
编辑 | 李赛
审校 | 李溯
终审 | 刘华