AI治理必修第19刊|人脑给AI打工?大模型能自己"写"论文了,还带公式和参考文献!AlphaZero 的黑箱打开了!

AI治理必修-11月(下)第19刊发布！

AAIG的专家们用多学科的专业视角，每月从全球收集和筛选关于算法治理和可持续发展的全球态势。重点关注算力时代的新技术、新风险、新实践、以及对它们新解释。

11月(下)共22篇文章4881字,分【本月洞察、行业动态、前沿技术、产业实践】四个板块展开。

10年前，AlexNet和ImageNet联手开启了人工智能的深度学习时代。在这之前神经网络普遍都很小（LeNet），训练数据集也都不大（CIFAR），训练还不一定能够稳定收敛，传统的机器学习方法霸占了几乎所有知名数据集的榜单。甚至在很长一段时间里，被计算机领域的其他学科吐槽是伪科学，没有理论基础，不能提供performance guarantee，完全是黑箱操作、不可解释。可以说，AlexNet带领深度学习走出了至暗时刻，扛住了时间的挑战，获得NeurIPS的时间检验奖实至名归。

历史总是惊人的相似。10年后的今天，在学术界、产业界和资本市场都在质疑深度学习是否遇到瓶颈的时候，通过对大数据的探索、做大模型，深度学习再次给出了答案。现在的大模型能写诗、能作画、能讲故事，能写论文，甚至能写代码、预测蛋白质的结构。OpenAI最新发布的ChatGPT更是火爆全网，拥有一个ChatGPT账号已经成为一种科技时尚，备受追崇。

大模型在商业模式上，也越来越清晰，相信在商业和技术双轮驱动下，能够带着社会走向更好的未来。众多商业模式中，MAAS和AIGC是这里面的两颗最闪耀的新星，代表的明星创业公司分别是HuggingFace、StabilityAI。他们都在近期获得了上亿美金的融资，野心勃勃、蓄势待发。这其中有一个非常有意思的现象，这两家公司的崛起都和开源有关。良好地社区生态给他们的技术发展带来了灵感和用户基础。可以说，开源的风暴正在吞噬AI界，未来AI的繁荣离不开开源。

每一次互联网技术革命都会改变人们和数据的交互形式。深度学习爆发的第一个10年给不少行业带来了改变，但往往只是效率上的提升。深度学习的第二个10年，正如OpenAI创始人奥特曼说的：“AI 已经成为下一个真正的技术基础平台，并且是自移动互联网后又一个全新的基础平台”。相信新一代的IO范式正在被慢慢开启！

点击题目即可查看全文

2021年12月，中国发布《关于规范人工智能军事应用的立场文件》，呼吁各方遵守国家或地区人工智能伦理道德准则。共4部分：1.监管2.研发3.使用4.国际合作。

面对蓬勃发展的数字科技和数字经济以及新出现的类脑特征，存在两个值得探讨的重要问题：数字科技和数字经济的发展规律是什么？数字科技和数字经济领域与脑科学是什么关系？

为了解决数据割裂、数据孤岛等问题，杨强带领的微众银行AI团队在国内系统性提出联邦学习理论。能够保证各企业在自有数据不出本地，不违规的情况下进行联合建模，提升机器学习建模效果。该团队陆续发表的3篇联邦学习论文，分别从理论、实践、规模化、工程化等不同的角度，对可信联邦学习进行了全面探索。

数据出境安全评估结论为“最终结论”则造成了理论困惑。解决模式一是将“最终结论”解释为安全评估具有不可诉性。解决模式二是将“最终结论”限缩解释为网信部门的最终结论，相对人可以行政复议与行政诉讼，但现实中有难以逾越的实质性困难。在此模式下，安全评估应免于行政复议，行政诉讼救济则基于国家安全不宜审查其实质正当性，但仍可审查其程序合法性。

NeurIPS 2022官方公布了各类奖项的获奖论文。时间检验奖颁给了论文《ImageNet Classification with Deep Convolutional Neural Networks》，又名AlexNet论文。获奖理由：该研究作为第一个接受ImageNet 挑战训练的CNN，远远超过了当时最先进的技术，它对机器学习社区产生了巨大的影响。

阿里安全和滑铁卢大学基于扩散网络提出了故事插图生成模型AR-LDM，从故事可视化和故事延续入手。这一设置解决了故事可视化中的一些问题（泛化问题和信息限制问题），允许模型生成更有意义和连贯的图像。

Meta AI的研究团队提出了一种新的大型语言模型Galactica，可以存储、组合和推理科学知识。该模型在大量的论文、参考资料、知识库和许多其他来源的科学语料库上进行训练的。它的性能在一系列科学任务上优于现有模型。除了文本生成，Galactica还可以执行涉及化学公式和蛋白质序列的多模态任务。这将为药物发现领域做出贡献。

智源研究院大模型研究团队开源最新双语AltDiffusion模型：1.支持精细长中文 Prompts 高级创作；2.无需文化转译，从原汁原味中国话直达形神兼备中国画；3.且在绘画水平上达到低门槛中英对齐原版Stable Diffusion级震撼视效，可以说是讲中文的世界级 AI 绘画高手。

AlphaZero的作者与DeepMind的同事以及谷歌大脑的研究员合作了一项研究，在 AlphaZero的神经网络中找到了人类国际象棋概念的证据，展示了网络在训练过程中获得这些概念的时间和位置，还发现了AlphaZero与人类不同的下棋风格。

IDEA CCNL研发了模型生产工具GTS乾坤鼎引擎以及GTSfactory模型自动生产平台，其基于封神榜开源模型体系，提出了首创的GTS训练体系，通过「用 AI 生产 AI」的方式，以自动化生产的模型在中文语言理解权威评测基准FewCLUE榜单上分别取得了第一名及第三名的好成绩。该模型用13亿参数规模的Erlangshen-BERT进行训练，而GTSfactory模型自动生产平台则搭建Generator、Teacher及 Student协同训练的体系，最终生产出可以落地部署的轻量级小模型。

本文提出了新的框架——DiffusionDet，它将目标检测制定为从噪声框到目标框的去噪扩散过程。

本文对知识增强预训练语言模型(KE-PLMs)进行了全面的综述，以提供对这一蓬勃发展的领域的清晰洞察。分别介绍了自然语言理解(NLU)和自然语言生成(NLG)的适当分类法，以突出自然语言处理的这两个主要任务。

将单流Diffusion扩展为多流网络，称为Versatile Diffusion，这是第一个统一的多流多模态Diffusion框架，是迈向通用生成性人工智能的一步。VD及其基础框架具有以下优势：1.可以以具有竞争力的高质量处理所有子任务。2.支持新的扩展和应用，如图形风格和语义的分离、图像-文本双引导生成等。3.通过这些实验和应用，为生成的输出提供了更丰富的语义洞察力。

1. 《人工智能治理与可持续发展实践白皮书》

阿里巴巴集团联合中国信通院编写了《人工智能治理与可持续发展实践白皮书》，全面总结了阿里巴巴在人工智能治理与可持续发展领域的实践。

1.大数据杀熟引起定价机制的信任危机2.淘宝价格机制公开的实践方案。

1.严格落实主体责任，支撑政府提升监管治理效能。2.积极参与标准制定，联合行业组织共促行业自律。3.积极参与标准制定，联合行业组织共促行业自律。4.加强产学研用联动，打造人工智能人才培养通道。5.联合产业治理力量，守护清朗健康网络生态环境。

1、治理“硬技术”筑底2、伦理“软规范”引领3、就人工智能治理形成广泛共识4、促进人工智能更好的应用于更广泛的场景。

2.《追AI的人》

《追AI的人》是一档由阿里巴巴人工智能治理与可持续发展研究中心（AAIG）联合高校和产业界发起的AI治理交互栏目。重点关注分享人工智能新技术、AI治理新观点、可持续发展新风向。

1.绿色低碳更灵巧的人工智能2.知识数据双驱动的人工智能3.人机物融合的混合人工智能4.可信可靠可解释的人工智能5.非深度神经网络的人工智能6.开放环境自适应的人工智能。

阿里巴巴和清华大学联合主办的NeurIPS AI安全论文分享会，以围绕更加安全可靠的智能技术为主题，分享在NeurIPS中包括对抗学习、贝叶斯深度学习、异常检测、鲁棒评估、噪声学习、 鲁棒动态图学习、偏微分方程求解等方向上发表的一些论文工作。

本文中，来自阿里巴巴AAIG的研究团队在模型鲁棒性问题上进行了研究，包括对抗鲁棒、分布外泛化性等。他们提出了一种即插即用的离散化对抗训练的方法增强视觉表征。该方法在图像分类、目标检测和自监督学习等多个任务上都进行了验证，并且都有显著提升。

最新中文语言理解领域权威榜单CLUE，诞生了一项新的纪录：来源于阿里通义大模型系列的AliceMind，一举在4项任务中超过了人类水平，获得了超越人类成绩的86.685高分。主要靠两个关键技术：1.基础模型迭代升级2.Finetune。

本文提出了一种可定制Recall@N优化损失（CROLoss），用于直接优化Recall@N指标。所提出的CROLoss函数空间涵盖了传统的交叉熵损失、triplet loss和BPR loss作为特例。为了实现进一步改进，设计了一种基于梯度Lambda方法以进一步提高系统性能。

InnerEye将脑电信号识别为“目标”和“非目标”，这些目标可以是任何训练有素的人类大脑能够识别的东西，除了开发安全筛选，还包括检测医学图像中的肿瘤，识别病害植物，发现产品缺陷等等。因为人类的大脑对于分类数据跟AI相比有着非常明显的优势，因为人类大脑会总结归纳，形成新的知识。InnerEye提出要把人类专业知识与人工智能结合起来的观点，这种结合提高了人们的工作效率，也让工作变得更轻松。

11月(上)第18刊点击查看👇

往期精彩推荐点击标题查看文章● 第六章|总结与展望《人工智能治理与可持续发展实践白皮书》




更多人工智能治理和可持续发展好文
点击下方名片关注和星标【阿里巴巴人工智能治理与可持续发展研究中心】👇AAIG课代表，获取最新动态就找她

 关注公众号发现更多干货❤️

有启发点在看喔👇