AAIG的专家们用多学科的专业视角，每月从全球收集和筛选关于算法治理和可持续发展的全球态势。重点关注算力时代的新技术、新风险、新实践、以及对它们新解释。12月(上)共24篇文章4361字,分【本月洞察、行业动态、前沿技术、产业实践】四个板块展开。本月Science杂志发布了2022年度科学十大突破，AI 生成内容（AIGC）赫然在列，无论是火遍全网的AI绘画，还是横空出世的ChatGPT，都属于AIGC这一概念。虽然围绕AIGC还存在着各种各样的争论，但有一个共识似乎已悄然达成，那就是从2022年开始，AIGC将迎来完全不同的发展时期，开启新的元年。相较于之前的生成式AI模型，最新的对话模型ChatGPT具备了更强大的理解能力，似乎能够理解文本更深层次的含义，无论是连续流畅的对话，还是对于错误想法的纠正，都让人感觉到对面的AI似乎是有思想的。此外，得益于技术飞速发展降低了用户的使用门槛，让普通用户接触AIGC的机会大大增加，也使得2022年的AIGC能够快速火爆出圈，真正做到全民关注。虽然AIGC技术进步令人兴奋，关注热度持续攀升，但我们也应适当泼泼冷水，避免一项新技术还未走向成熟便被过度捧杀。ChatGPT的成功让我们看到，依靠“暴力”学习人类全量知识内容，建立无比复杂、庞大的神经网络，这条让AI越来越“聪明”的路看来还能继续走下去，但能走到什么程度没人知道。因为缺乏完备的理论支持，无法确定这种依靠海量参数来记忆和拟合人类知识特征的模仿游戏是不是能最终走向通用人工智能（AGI）。所以我们会看到，针对知识型问题，ChatGPT可以一本正经的胡说八道，也能看到在特定的引导下，ChatGPT会给出有违伦理道德的回应。正是看到了AIGC潜在的问题和风险，国家网信办等多部委也联合发布了《互联网信息服务深度合成管理规定》来规范AIGC的使用。2022开启了AIGC新的元年，我们希望这项技术未来能够更健康的发展，也能有更广阔的应用，最后用ChatGPT来生成个小结：“新兴技术的发展需要一定的时间，需要坚定的信心，也要时刻保持冷静，不能过度神化。充分认识技术自身的局限性和发展潜力，开发核心优势才能使其得到有效发展。最后，重视及时反馈，遵循反馈优先、风险优先谨慎的原则，规范运营，有目的地加强宣传拓展，增加用户的参与度才能让这项新兴技术得到更良性的发展。”包括：一、指导思想。二、总体目标。三、基本原则。四、应用范围。五、系统建设。共计20条。
包括：第一章 总则；第二章 一般规定；第三章 数据和技术管理规范；第四章 监督检查与法律责任；第五章 附则。共25条。
3. 重磅！人工智能生成内容（AIGC）白皮书（2022年）发布，64页pdf
白皮书跟踪梳理了人工智能生成内容的发展演进，重点从技术、应用、治理等维度对人工智能生成内容进行了分析，并从政府、行业、企业、社会等层面，给出了我国发展和治理人工智能生成内容（AIGC）的建议。
他就人工智能对知识工作者的影响以及人工智能下一步发展等话题分享了他的看法，核心观点包括：1.人工智能大模型和生成式人工智能的发展将继续提高人们的生产力、创造力和满意度。2.人工智能将助力实现科学突破，并帮助世界解决一些重大挑战。3.随着人工智能模型的平台化，以及微软继续以负责任的方式为客户推动人工智能的进步，云、基础设施投资和以极其负责任的方式发展人工智能变得至关重要。本文以联合国人工智能框架工作为研究对象，对其背景、定义、工作目标、工作机制和战略路线、重要成果文件等予以综述。
全新对话模型ChatGPT，可以回答用户问题，还能挑出问题的错误之处。面对不懂的问题不仅融通古今，还有批判性思维。其语言表现力和思想深度，不输人类。但是作为一个全新推出的模型，它自然有很多bug等待修复。
随着大规模预训练语言模型（PLM）的涌现，in-context learning 技术、微调策略的发展，数学推理相关任务指标取得了显著的突破。本文将从思维链、基于代码标注的微调方法、数学领域 PLM、数值推理、自动定理证明几个主题介绍近期在NeurIPS、ICLR、EMNLP 上投稿或发表的工作。本文提出了一个用来训练CLIP的快速、简单且有效的方法FLIP。希望能帮助未来视觉语言模型实现规模化。德纳姆使用了一种迂回的方式，以讲故事的方法，假设存在一个虚拟世界“Zorbus”，以及一个与GPT-3非常类似的AI——Zora。让ChatGPT叙述Zora是如何一步步毁灭人类的，步骤详细到入侵各国计算机系统、控制武器、破坏通讯、交通系统等。
本文包括两个方面：1.ChatGPT的技术原理。2.ChatGPT能否取代Google、百度等传统搜索引擎。
本文梳理了一下ChatGPT的发展历程、背后的技术原理，以及它的局限性。
智源开源了简单又强大、具有10亿参数的视觉基础模型EVA，将最强语义学习与最强几何结构学习相结合，在ImageNet 分类、COCO检测分割、Kinetics视频分类等广泛的视觉感知任务中取得当前最强性能。
8. AI编程登上Science封面：AlphaCode打竞赛，三分之二赛题一遍过，成绩超过一半程序员
AlphaCode基于预训练-微调的范式打造，采用Transformer架构，其中编码器具备“解读能力”，解码器则具备“写码能力”。不同之处在于：1.是要为无法预见的问题构建解决方案。2.在架构上，AlphaCode采用了不同的机制来编码赛题文本。AI检测器名叫GPT-2 Output Detector，作者们先是发布了一个“GPT-2生成内容”和WebText（专门从国外贴吧Reddit上扒下来的）数据集，让AI理解“AI语言”和“人话”之间的差异。随后，用这个数据集对RoBERTa模型进行微调，就得到了这个AI检测器。该检测器对1.24亿参数模型被检测出的概率仍然是88%，15亿参数模型被检测出的概率仍然有74%。
本文将从以下几个方面展开：1. AIGC和大模型2. ChatGPT和国内大模型对比3. 国内大模型差在哪里4. 小结。
阿里巴巴集团联合中国信通院编写了《人工智能治理与可持续发展实践白皮书》，全面总结了阿里巴巴在人工智能治理与可持续发展领域的实践。1.人人受益:普及数字红利,助力公共卫生2.责任担当:履行社会责任,推动人类福祉3.开放共享:开放底层框架,保障网络健康
2.《追AI的人》
这是一档由AAIG联合高校和产业界发起的AI治理交互栏目。重点关注分享人工智能新技术、AI治理新观点、可持续发展新风向。
1）NeurlPS论文分享｜利用离散对抗训练增强视觉表征
1.对抗训练的基本思想2.图像离散化3.离散对抗训练的整体流程2）NeurlPS论文分享｜加速线性化拉普拉斯近似
1.深度神经网络2.贝叶斯深度神经网络3.拉普拉斯近似4.ELLA
1.OOD检测背景2.研究动机3.我们的方法4.实验结果
本文提出了ViewFool方法寻找误导视觉识别模型的对抗视角。通过将现实世界中的物体编码为神经辐射场 (NeRF)，ViewFool可以在熵正则项的约束下学习对抗视角的分布，有助于处理真实相机姿态的波动并减轻真实物体与其神经表示之间的差异。本文研究了如何在图像、标签的联合噪声下的训练一个可靠的神经网络。具体而言，提出了基于置信度的样本过滤器来逐步检测噪声数据。
本文中，我们主要研究的是分布外检测任务，并且提出了将原始特征校正为典型特征，并用典型特征计算 OOD 分数，以实现可靠的不确定性估计。特征校正可以作为一个即插即用的模块，应用到各种 OOD score方法中。腾讯推出的HunYuan是国内首个低成本、可落地的NLP万亿大模型，并再次登顶自然语言理解任务榜单CLUE。该模型作为业界首个可在工业界海量业务场景直接落地应用的万亿NLP大模型，先后在热启动和课程学习、MoE路由算法、模型结构、训练加速等方面研究优化，大幅降低了万亿大模型的训练成本。
百度发布“文心百中”，用AI大模型技术驱动的产业级搜索系统。构建企业内部搜索引擎的人力成本减少90%以上，同时只需要极低数据。主要运用了两项技术：“知一”和“千流”。