开源芯片、AI和大数据国际测试标准预研会成功举办

摘要：2019年9月9日-10日，国际测试委员会（BenchCouncil）在北京成功举办开源芯片、人工智能和大数据国际测试标准预研会。近40家国内外单位代表参会，研讨了HPC、数据中心、IoT 和Edge四个领域的人工智能、大数据及开源芯片基准测试和其他标准，并形成了初步的工作组意见。

2019年9月9日-10日，由国际测试委员会（BenchCouncil）主办的开源芯片、人工智能和大数据测试标准预研会在北京成功举办。本次研讨会吸引了近40家国内外单位的代表参会，他们主要来自国家海洋预报中心、航天一院、OPPO公司、泰尔实验室、北京大学、中国科学院大学、中国计量科学研究院、中科院深圳研究院、华东师范大学、中国人民大学、普林斯顿大学、俄亥俄州立大学、中国信息通信研究院、赛迪研究院、上海大学、中科院计算所、中科院软件所、BAT、华为、微软亚研院、京东、网易、58同城、字节跳动、中科云达、云天励飞、联想、PayPal、中科曙光、涛思数据、中国移动研究院、墨奇科技、北京智源人工智能研究院等机构。在为期两天的会期里，与会嘉宾围绕着智能超算、数据中心、IoT 和Edge四个领域的人工智能和大数据以及开源芯片展开了学术交流、标准研讨，并初步形成了相关工作组，为进一步的标准制定奠定了基础。

参加第一天会议的部分代表合影

本次研讨会由国际测试委员会（BenchCouncil）联合中科院计算技术研究所和北京尖峰新锐信息科技研究院共同举办。目的是研讨开源芯片，HPC、数据中心、IoT 和Edge四个领域的人工智能和大数据测试标准，征集在美国丹佛举办的国际基准测试与标准大会(Bench 19)的特邀报告，讨论向BenchCouncil执行委员会提交基准测试标准草案以及性能榜草案。

两天的研讨会期间，共举办了以智能超级计算机测试标准、数据中心AI测试标准、IoT AI 测试标准、Edge AI测试标准、大数据测试标准、科学大数据测试标准、开源芯片标准、测试指标和测试方法学、BenchCouncil性能榜为讨论主题的共计22个报告。

本次研讨会就工作组和标准构建两方面达成了初步共识。与会人员认为应针对不同的领域成立相应的工作组，并针对领域的特性进行规范的定义和考量。另外，测试标准的推广需要国内和国际联动，结合标准协会和行业标准的推动，同时结合两岸的力量和国际的力量，在学术方面通过发表顶级会议论文和组织研讨会增大影响力；在工业方面加强企业的参与度和联合度。从测试标准的构建方面，与会人员认为测试标准的核心算法和数据集非常重要，同时测试标准需要结合计量的特性，通过测试床Testbed等方式实现技术的验证和结果的复现，满足测试的可溯源性、一致性和重复性，从而达到测试标准的公信力。

为了更好的促进开源芯片、人工智能和大数据的良好发展和测试标准的建立，BenchCouncil拟成立多个测试标准工作组，旨在定义领域规范并构建测试标准。开源芯片工作组主要面向开源芯片相关的规范，包括指令集和软件接口相关的定义；时间序列数据库工作组主要面向时序数据库的测试规范制定和标准构建；工业级AI工作组主要面向互联网服务等领域的应用建模和端对端测试标准的构建；智能超级计算机工作组主要面向高性能计算和人工智能结合的应用场景抽象和测试标准的构建；智能边缘计算工作组主要面向边缘计算人工智能的应用建模和测试标准的构建；智能IoT工作组主要面向人工智能IoT的应用建模和测试标准的构建；大数据工作组主要面向大数据的测试规范定义和测试标准的构建。BenchCouncil组织鼓励公司、研究所、组织、个人广泛参与到工作组的建设中，同时也鼓励提交相关基准测试提议并成立对应的测试标准工作组。

研讨会邀请了中科院深圳先进技术研究院魏彦杰研究员、中国人民大学陈跃国教授、中国计量科学研究院武彤主任、崔伟群主任、杨琨博士、泰尔实验室解谦高工、华东师范大学钱卫宁教授、中科院软件所薛云志研究员、中科院计算技术研究所包云岗教授、俄亥俄州立大学Xiaoyi Lu教授、普林斯顿大学贾禛博士、涛思数据创始人陶建辉、上海大学刘悦教授、中科院大学徐俊刚教授、58同城AI部负责人詹坤林、智源人工智能研究院李贵柯等专家围绕人工智能、大数据和开源芯片的创新与发展做了报告。

中科院计算所研究员&国科大岗位教授 詹剑锋介绍 研讨会目标

中国人民大学陈跃国教授报告《时间序列数据库评测基准》中国计量科学研究院杨鲲博士报告《从计量角度看Benchmark研究》中科院计算所包云岗教授报告《面向下一代的开源芯片与敏捷开发》中科院计算所汤飞博士生报告《AIBench》

58同城AI Lab负责人詹坤林报告《58同城深度学习平台架构实践》

中国移动研究院严东荣报告《大数据集群在中国移动的测试和应用实践》联想研究院谭崇康高级研究员报告《AIOPS on Kubernetes》

郭静报告《阿里数据中心的现状、需求和挑战》

中科院计算所刘宏副研究员报告《基于智能芯片的病理图像分析程序设计指南》

中科院计算所王向东高级工程师报告《基于智能芯片的汉字与盲文双向翻译程序设计指南》

中国计量研究院崔伟群主任报告《Edge AI测试中的软件计量》中科院软件所薛云志研究员汇报《AI可信任性测试》中科院计算所郝天舒博士生报告《Edge AIBench》中科院计算所江梓涵博士生报告《HPC AI500》

中科曙光的韩孟之高工报告《高性能异构计算机性能评测方法及需求》

中国信息通信研究院解谦高工报告《移动智能终端AI性能基准测试探索》

涛思数据的潘方博士报告《TDengine性能测试》

研讨会每个专题报告结束后，中国计量科学研究院武彤主任、中国科学院计算技术研究所高级工程师王磊博士和高婉铃博士分别组织了Panel环节，组织参会人员讨论并形成了初步的工作组意见。中科院计算所博士生戴绍鹏和北京尖峰新锐信息科技研究院戴嘉慧经理参与组织了会议。

最后，BenchCouncil执行委员会主席、中科院计算技术研究所詹剑锋教授对本次研讨会进行了总结，感谢参会的诸位嘉宾，以及负责此次会议组织的各位老师和同学们。詹老师表示，此次会议非常成功，增进了学术界和工业界关于人工智能和大数据测试标准的交流，为进一步的工作奠定了基础。

BenchCouncil 简介

BenchCouncil全称是International Open Benchmarking Council，是非营利性的国际研究机构，由中国科学院、哈佛大学、俄亥俄州立大学和得克萨斯大学奥斯汀分校的知名教授联合创立，其使命如下：

• 促进人工智能和开源芯片等新技术的评价、验证、研讨、孵化和推广

• 在全球范围内倡导新技术的产业规则

• 以Benchmark（测试标准）为主的标准制定

• 发布性能榜，促进产业健康发展

• 通过发展实验床(Testbed)，促进新技术（基础和主干的技术创新）的验证和推广，举办国际竞赛。

BenchCouncil网站：

http://www.benchcouncil.org/

请长按识别下方二维码访问链接

BenchCouncil组织的会议

国际智能计算机大会 (BenchCouncil International Symposium on Intelligent Computers)

2019年6月27-29日，国际智能计算机大会在深圳召开，大会主题是“拥抱智能、计算未来”。中央委员、军事科学院长杨学军致开幕词，深圳市王立新副市长到会祝贺。大会注册参会专业人士700多人，第一天现场参会近千人。大会三天，录播平台线上观看突破30万人次。

深圳市科创委梁永生主任做了题为《深圳市科技创新政策与环境》的大会报告。科创委钟海副主任、南山区练聪副区长出席大会。李国杰院士、杨学军院士分别围绕智能计算与超级计算、机器人操作系统等主题报告了相关探索与进展。大会主席、国家超算深圳中心主任冯圣中研究员，中国计算机学会监事长、清华大学教授和鹏城实验室党委书记杨士强教授分别主持了第一天上午的报告会。 近百名专家（包括30多位杰青和长江学者）分别在围绕智能展开的15个分论坛做报告。

国际基准测试标准大会 (BenchCouncil International Symposium on Benchmarking, Measuringand Optimizing ， 简称Bench )

Bench是国际上唯一一个以基准测试和标准为主题的大会。大会每年在美国举办。在国际超计算大会的同一地点的前三天举办。

Bench 19举办地点为：The Courtyard Denver Airport, 6901 TowerRoad, Denver, CO. 

时间为：2019年11月14日-16日。

Bench 19网站：

http://www.benchcouncil.org/bench19/index.html

请长按识别下方二维码访问链接

Bench 19大会注册标准

Bench19会议在线注册地址：

https://eur.cvent.me/0QG1

请长按识别下方二维码进行注册

Bench 19 演讲嘉宾

BenchCouncil 成就奖获得者：

该奖项授予在基准测试、度量和优化领域做出长期贡献的资深演讲专家。获奖者自动成为BenchCouncil Fellow。

BenchCouncil 系统奖获得者团队代表：

该奖项授予对state-of-the-art或者state-of-the-practice系统的设计、实现和优化做出贡献的一组科学家和工程师团队。今年该奖项授予对智能超级计算机系统做出贡献的团队。

• Prof. Lizy Kurian John，University of Texas at Austin, IEEE Fellow, 负载分析领域国际学科带头人。

• Prof. D. K. Panda, The Ohio State University, IEEE Fellow, HPC 通讯领域国际学科带头人。

• Dr. Dan Stanzione, 美国最大的高校超算中心 TACC的掌门人。

• Dr. Gilad Shainer, Mellanox, Senior VP

Bench 19 大会亮点事件

亮点事件1、BenchCouncil 颁发成就奖、系统奖、贡献奖和最优论文奖

评奖委员会成员

• Prof. Lizy Kurian John，University of Texas at Austin, IEEE Fellow, 负载分析领域国际学科带头人

• Prof. D. K. Panda, The Ohio State University, IEEE Fellow, HPC 通讯领域国际学科带头人

• Prof. Geoffrey Fox, Indiana University， IEEE/ACM Fellow

• Prof. Jianfeng Zhan, ICT, Chinese Academy of Sciences, and University of Chinese Academy of Sciences

亮点事件2、人工智能大赛（包括寒武纪、RISC-V、国产X86和云天励飞）颁奖及报告。

亮点事件3、BenchCouncil发布国际上第一个工业标准的人工智能测试标准，国际上第一个由真实应用和数据集构成的智能超级计算机测试标准。

亮点事件4、BenchCouncil 发布开放的人工智能实验床，包括保护数据隐私的data store, 数据集，算法库和自动测试系统。

亮点事件5、BenchCouncil 发布AI排名。

亮点事件6、BenchCouncil主导的人工智能标准研讨会。

亮点事件7、主会录取论文报告。