科技与AI
Vol.22 还是 OpenAI 敢想，设计一个 AI 来帮助 AI 和人类对齐
Super Intelligence
看看周围特别是国内的新一轮AI领域，总的来说还是雷声大、雨点小，天天看到媒体上各种 AI 的新闻，但是实际真的拿出来的靠谱好用的产品仍然是极其稀有。
能够观察到的大部分应用和创业的想法，其实还是老三样：
基础模型或者垂直领域的模型 提升各种效率的 AIGC 的B端应用 偏向娱乐陪伴的C端聊天机器人
总是看到这样的项目，有时候也会觉得有些无趣。
🔗 https://openai.com/blog/introducing-superalignment
不过，最近 OpenAI 又开始搞动作了，成立了一个新的 Superalignment 的团队，由 IIya 自己带队。说是要用 OpenAI 20%的算力，用于解决AI的“对齐”（Alignment）问题。
IIya 延伸阅读
关注AI炼金术，公众号：AI炼金术Vol.17 OpenAI 创始人 Ilya 伊利亚 的 5 个关键演讲
而之所以把“对齐”这件事情看得那么重要，据说是因为 OpenAI 觉得在2030年之前我们就会有 Super Intelligence。
要注意，这里 OpenAI 提的不是AGI（通用人工智能），而是认为会出现超越通用人工智能的“超级智能”。
从侧面角度来说，如果事实真的如此，就更容易理解 OpenAI 并没有花很多精力去进一步优化 ChatGPT 这样的C端产品，也没有针对像 character.ai 这样活跃度和用户增长很快的“陪伴型”聊天机器人，做出任何产品和技术层面的投入。
因为这些所谓的商业成功和“超级智能”这种皇冠上的明珠比起来，都显得太小儿科了。
而且，这一次解决 Super Intelligence 和人类对齐的思路，不再只是和之前我们看到的 InstructGPT 论文里的那样，主要靠人工标注数据来做强化学习了。
OpenAI 把这个团队的目标定义成了，创造一个人类级别的“自动对齐研究员”。也就是说，OpenAI想要创造一个AI，让这个AI来研究我们可以怎么让 AI 的价值观和智能和人类的需求一致。
这个话听起来有点像是套娃，但是从逻辑上来说又是非常合理的。如果是已经能够远超过一般人的“超级智能”，靠一堆肯尼亚外包大学生来标注数据显然是不合理的。毕竟我们肯定期望“超级智能”并不再是给我们的自媒体写点文案，而是真的能尝试解决科学、社会上我们原来解决不了的问题的。
不过不得不说 OpenAI 还是敢想敢干，即使那么多人看到 OpenAI 在 AGI 上的野心、决心和信心之后，还是容易回头去做老三样的基础模型、B端效率应用和C端陪伴聊天。
有时候会让人觉得，是不是那么多向 AGI 做出的突破都白瞎了。
在所有人听说 Agent 是未来的时候，大部分人想的还是让 AI Agent 解决简单的问题。但是 OpenAI 直接指向了一个让 AI 超越人类的方向：他们不是要让AI只是让我们从繁重的日常劳动里面解脱出来，而是更近一步，想让AI能把世界再向前推一步。
如果回看 任鑫 写的关于 Agent 的文章：
关注AI炼金术，公众号：AI炼金术Vol.21 不要做 AI 应用！要设计自主智能体生态
我想所有现在号称在做AI创业的公司，都应该开始尝试做一件事情：
尝试利用 ChatGPT ，开始为公司增加AI员工。
比如，作为一个AI创业公司，大家都需要写代码，那么我们能创建一个测试工程师AI吗？如果没有 AI 员工，而只是 AI Copilot，那么我想这样的 AI 创业团队，还是陷入了上一个时代的镣铐里了。