美国联合人工智能中心发布AI测试与评估信息请求
The following article is from 防务快讯 Author 朱虹
电话：010-58330898 手机：18501361766
微信：tech99999 邮箱：qianyanjun@techxcope.com
来源：防务快讯
作者：朱虹
简介：为了加速美国国防部采用人工智能技术的进程，美国联合人工智能中心（JAIC）正在创建一个联合通用基础（JCF）平台。为此，JAIC/国防信息系统局（DISA）/国防信息技术合同组织（DITCO）于2020年4月13日发布了信息请求（RFI），要求开发AI测评软件、创建AI测评流程和最佳实践，由供应商提供AI测评服务。
JAIC由美国国防部首席信息官（CIO）主管，该中心旨在加速整个国防部采用人工智能（AI）技术的进程。各军兵种对AI技术的需求不断增长，以求增强作战人员执行重复和/或危险任务的能力。AI有潜力为作战人员提供及时和关键的支持，提高作战节奏，从而在战场上提供优势。JAIC已经建立了几个关键的任务倡议（MI）（如图1所示），其中，AI可以增强跨军种作战。
图1 JAIC的任务倡议
为了促进AI技术的采用，JAIC正在创建一个联合通用基础（JCF）平台。如图2所示，JCF将发现、开发和测试AI问题的解决方案，并作为任务倡议开发的AI技术的主要平台。
图2 JAIC联合通用基础平台
为了确保每个任务倡议都能生产出安全有效的产品，JAIC设有一个测评（T&E）办公室，专门负责在JCF上提供测试服务。利用算法测试、系统测试和操作测试，该办公室负责评估所有JAIC产品，并独立提供AI性能的分析。
JAIC是国防部的AI卓越中心。JAIC测评团队负责开发国防部范围内的AI测评流程、工具和标准。为了实现这一目标，该团队将在JCF上开发和托管AI测试设备，以供更广泛的国防部机构使用。此外，该团队还需要成为AI测评主题专家的集中联络点。
2020年4月13日，JAIC测评办公室发布信息请求，包括开发AI测评软件、创建AI测评流程和最佳实践，由供应商提供AI测评服务。该团队的主要需求如下：
1）测试技术及工具
JAIC 测评办公室寻求为各种AI应用获取测试技术和工具。按照预期，AI测评聚焦于开发测评能力支持国防部的全频谱新兴AI技术，包括机器学习、深度学习、神经网络。其重点包括：
（1）使用语音自动转化为文本的对话界面应用程序。
（2）为国防部应用和系统提供语音产品和服务。
（3）图像分析，测试基于深度学习的视觉搜索和图像分类器。
（4）支持自然语言处理（NLP）的产品和服务。
（5）通过机器增强人类的能力，包括人机界面和衡量作战人员认知和身体负荷的改进方法，具体包括增强现实（AR）和虚拟现实（VR）测试服务。
（6）自主系统。
2）测评服务
JAIC测评团队正在寻求政府、学术界和工业界组织的服务，以协助任务倡议或其他国防部工作人员进行技术测评，具体需求如下：
（1）数据集开发/管理：每个任务倡议或国防部AI项目都有独特的数据，针对这些数据，必须以一定的方式进行获取和管理，以便能够被现代AI软件系统使用。这些工作包括但不限于数据质量评估、图像注释和数据覆盖分析。
（2）测试工具开发：创建自动的、封装的、支持云的测试工具，以帮助将数据自动导入到封装的AI模型中，并汇总结果。
（3）模型输出分析：需要专业分析知识/软件来评估由任务倡议开发的AI模型结果质量。这方面的工作包括开发封装的、基于云的分析软件，以及创建特定场景、与操作相关的性能指标。
（4）测试计划、文档和报告：测试专家为AI算法创建测试生命周期（算法测试、系统测试和操作测试）所需的文档。包括但不限于，创建测评主计划（TEMPS）、测试计划，创建测试报告，记录结果，以及管理测试计划。
（5）测试服务：对AI产品进行测评的服务和专业知识，包括但不限于，在算法测试、系统测试、开发测试和操作测试等所有测评领域对AI算法和/或AI使能系统进行测试。
| 一网打尽系列文章，请回复以下关键词查看： |
|---|
| 创新发展：习近平 | 创新中国 | 创新创业 | 科技体制改革 | 科技创新政策 | 协同创新 | 科研管理 | 成果转化 | 新科技革命 | 基础研究 | 产学研 | 供给侧 |
| 热点专题：军民融合 | 民参军 | 工业4.0 | 商业航天 | 智库 | 国家重点研发计划 | 基金 | 装备采办 | 博士 | 摩尔定律 | 诺贝尔奖 | 国家实验室 | 国防工业 | 十三五 | 创新教育 | 军工百强 | 试验鉴定 | 影响因子 | 双一流 | 净评估 |
| 预见未来：预见2016 |预见2020 | 预见2025 | 预见2030 | 预见2035 | 预见2045 | 预见2050 |
| 前沿科技：颠覆性技术 | 生物 | 仿生 | 脑科学 | 精准医学 | 基因 | 基因编辑 | 虚拟现实 | 增强现实 | 纳米 | 人工智能 | 机器人 | 3D打印 | 4D打印 | 太赫兹 | 云计算 | 物联网 | 互联网+ | 大数据 | 石墨烯 | 能源 | 电池 | 量子 | 超材料 | 超级计算机 | 卫星 | 北斗 | 智能制造 | 不依赖GPS导航 | 通信 | 5G | MIT技术评论 | 航空发动机 | 可穿戴 | 氮化镓 | 隐身 | 半导体 | 脑机接口 | 传感器 |
| 先进武器：中国武器 | 无人机 | 轰炸机 | 预警机 | 运输机 | 直升机 | 战斗机 | 六代机 | 网络武器 | 激光武器 | 电磁炮 | 高超声速武器 | 反无人机 | 防空反导 | 潜航器 |
| 未来战争：未来战争 | 抵消战略 | 水下战 | 网络空间战 | 分布式杀伤 | 无人机蜂群 | 太空战 | 反卫星 |
| 领先国家：美国 | 俄罗斯 | 英国 | 德国 | 法国 | 日本 | 以色列 | 印度 |
| 前沿机构：战略能力办公室 | DARPA | 快响小组 | Gartner | 硅谷 | 谷歌 | 华为 | 阿里 | 俄先期研究基金会 | 军工百强 |
| 前沿人物：钱学森 | 马斯克 | 凯文凯利 | 任正非 | 马云 | 奥巴马 | 特朗普 |
| 专家专栏：黄志澄 | 许得君 | 施一公 | 王喜文 | 贺飞 | 李萍 | 刘锋 | 王煜全 | 易本胜 | 李德毅 | 游光荣 | 刘亚威 | 赵文银 | 廖孟豪 | 谭铁牛 | 于川信 | 邬贺铨 |
| 全文收录：2017文章全收录 | 2016文章全收录 | 2015文章全收录 | 2014文章全收录 |
| 其他主题系列陆续整理中，敬请期待…… |