月刊|AI治理必修第21刊ChatGPT的各项超能力从哪儿来?它有何不足和缺陷?元宇宙如何可持续发展?

AAIG 阿里巴巴人工智能治理研究中心 2023-11-28

收录于合集 #AI治理必修月刊 35个

AI治理必修-12月(下)第21刊发布！

AAIG的专家们用多学科的专业视角，每月从全球收集和筛选关于算法治理和可持续发展的全球态势。重点关注算力时代的新技术、新风险、新实践、以及对它们新解释。

12月(下)共18篇文章3713字,分【本月洞察、行业动态、前沿技术、产业实践】四个板块展开。

2022年过去了，从国际局势，到新冠疫情，过去三年“新常态”的冲击，让外部环境充斥着不确定性，也令这个时代的人们处于前所未有的迷茫。然而，AI的发展并没有消怠，不断越过一个又一个高峰，也即将迎接更加令人憧憬的下一年。几位AI领导者在22年末在The Batch中写下了他们对 2023 年 AI 的希望，包括：找到使算法能够进行推理的关键missing pieces、建立个人的data timeline、改进 AI 流程、发现可解释性的新原则，以及使用生成 AI 进行主动学习等等。我们来看下这些大佬的新年希望：

Yoshua Bengio：希望开发能够发现high-level的概念并进行推理的新架构，而不是仅仅通过扩展现有模型的数据和计算来蛮力学习过程。

Alon Halevy：设想人工智能从您的日常生活中捕获大量数据，比如拍的照片、上网浏览、购买，并将其融合到个人的data timeline中，可以帮助人们跟踪和实现目标，同时保护隐私。

Douwe Kiela 指出了关键方向：Multimodality, grounding, and interaction，以便 AI 更好地理解我们；对齐、归因和不确定性，使模型更安全；以数据为中心的 AI 以提高扩展性；以及评估 AI 模型的更好方法。

Been Kim 讨论了 AI 的可解释性：人工智能采用了以工程为中心的方法，研究人员通过反复试验设计技术，她敦促制定基本科学原理，使解释更加可信和准确。

Reza Zadeh 认为生成式 AI 为主动学习带来了进步，在主动学习中，系统会选择自己的示例进行标记以改进数据。借助生成式AI，他看到了一个潜在的机会，也就是生成新数据以请求标注的算法。

Get Ready for 2023!

点击题目即可查看全文

1. AI具备创造力入选Science年度十大科学突破

AI具备创造力（AI gets creative）入选，成果涵盖了DALL-E为代表的文生图模型、AI设计蛋白质、AlphaTensor为代表的算法设计系统和AlphaCode为代表的AI编程系统。

2. 元宇宙如何可持续发展？商汤科技提出“以实为本”的数字世界发展观

报告指出，元宇宙的可持续发展正面临多种伦理挑战。作为全球领先的人工智能软件公司，商汤致力于发展 “负责任且可评估” 的人工智能，结合数字经济可持续发展的内在需求，提出 “以实为本” 的数字世界发展观，为推动数字世界的健康可持续发展贡献商汤的思考与实践。

3. 吴恩达的2022年终盘点：生成式AI、ViT、大模型

在过去的一年，生成式AI迎来爆发式增长，由人工智能生成的图片在社交平台疯狂传播，引发大量争议的同时也推动了投资；视觉Transformer(ViT) 的工作也出现爆炸性增长，在过去一年中，研究人员共计发表超过 17,000篇ViT论文；AlphaCode、Codex等的推出便利了开发者，大受欢迎；与此同时，研究人员也在不断拓宽语言模型的边界，在解决可信度、偏见和实时性等问题方面做出持续不断的努力。

4. 首次「模型技术安全与治理」主题研讨会要点解读，欢迎加入组织

报告1：Social Alignment for Social Good；报告2：近期模型技术安全与治理观点总结与思考；报告3：让机器具有人类价值观；报告4：可信赖的自然语言处理模型——关于偏见问题的检测与消除；报告5：Toward Responsible Recommender Systems。

1. 因果推理效果比肩ChatGPT，封神榜推出燃灯模型

燃灯有以下能力：1.多步推理2.演绎+反绎推理3.三段论和反事实推理4.问题制导下的自动推理无限推理。

2. 杀猪盘被AI大模型套路，倒贴520块钱，骗子破大防

该 AI 是基于源 1.0，其是浪潮人工智能研究院推出的一款中文巨量语言模型，具有 2457 亿参数，包含全球最大的中文数据集——5.02TB。源 1.0 可以完成多项任务，包括对话、续写故事，新闻生成。

3. 三次元的文本到图像AI成了：单GPU不到一分钟出货，OpenAI出品

Point-E可以在单块 Nvidia V100 GPU 上在一到两分钟内生成 3D 模型。主要由两个模型组成：文本到图像模型和图像到 3D 模型。

4. ChatGPT的各项超能力从哪儿来？万字拆解追溯技术路线图来了！

一、2020 版初代 GPT-3 与大规模预训练；二、从2020版GPT-3到2022版ChatGPT；三、Code-Davinci-002和 Text-Davinci-002，在代码上训练，在指令上微调；四、text-davinci-003和ChatGPT，基于人类反馈的强化学习的威力；五、总结当前阶段 GPT-3.5 的进化历程。

5. 可扩展、可解释，新框架从预训练语言模型中高效提取知识图谱

本文提出了一种自动知识抽取框架，能够从BERT或RoBerta等预训练语言模型中高效且可扩展地提取知识图谱，从而构建一系列新的知识图谱（例如 BertNet、RoBertaNet），相比于传统的知识图谱，能够支持更广泛和可扩展的关系和实体。

6. ChatGPT有哪些不足和缺陷？

1.ChatGPT 突然就卡壳了2.ChatGPT 出现了事实性错误3.ChatGPT 没有与实时信息的关联4.ChatGPT 没有思考能力。

7. 89次实验，出错率高达40%！斯坦福首次大型调研，揭露AI写代码漏洞

本文指出与未使用AI助手的参与者相比，使用AI助手的参与者通常会产生更多的安全漏洞，尤其是字符串加密和 SQL 注入的结果。同时，使用AI助手的参与者更有可能相信他们编写了安全代码。

8. Meta千亿参数大模型OPT-IML「升级版」来了，模型和代码已经开源！

这次的OPT-IML创建了两种模型尺寸，分别是30B和175B。与旧版OPT模型相比，OPT-IML在14个标准NLP评估任务中的平均表现均优于OPT。在零次学习任务上两种模型大小分别好7%~ 和32-shot 任务分别好4%~ 和 0.4%~。

9. 统治扩散模型的U-Net要被取代了，谢赛宁等引入Transformer提出DiT

本文目标是揭开扩散模型中架构选择的意义，并为未来的生成模型研究提供经验基线。该研究表明，U-Net归纳偏置对扩散模型的性能不是至关重要的，并且可以很容易地用标准设计（如 transformer）取代。

1. 《人工智能治理与可持续发展实践白皮书》

阿里巴巴集团联合中国信通院编写了《人工智能治理与可持续发展实践白皮书》，全面总结了阿里巴巴在人工智能治理与可持续发展领域的实践。