这款AI产品为你提供一个游戏搭子，用Agent的方式在《我的世界》挖钻石
“
AI will completely reshape how games are played and made. The future is one where game creation is democratized, and makers are limited only by their imaginations.
——a16z
AI 将彻底颠覆游戏创造和消费的方式。未来将是一个人人都能创造游戏的时代，创作者们唯一的限制将是他们的想象力。
“
Sense 思考
- 游戏是生成式 AI 绝佳的试验田，允许天马行空的想象，幻觉成为带来趣味体验的 feature。
- 生成式 AI 在游戏中的应用解锁了无限可能，从加速游戏设计流程、提升游戏体验，到激发创意、推动个性化，生成式 AI 彻底改变了游戏的开发与消费方式。
- LLM 在游戏中的应用，将不止影响游戏。娱乐的边界将被打破，影视和游戏将融合提供体验。我们对数字内容的消费方式、对数字世界的参与方式都将重塑。
本篇正文共 2949 字，仔细阅读约 9 分钟
AI Native 产品分析
47
Altera
1. 产品：Agent
2. 产品上线时间：February 2024
3.创始人：杨光宇（Guangyu Robert Yang），Altera 公司的联合创始人及 CEO，曾任麻省理工学院大脑与认知科学部助理教授，专长于计算神经科学。他在纽约大学获得相关博士学位，并在哥伦比亚大学从事博士后研究。杨博士在神经网络模型开发方面的深入研究，为他在 Altera 开发具有人类特质如同理心的 AI 代理技术提供了理论基础和实践经验。
另外三个联合创始人分别是 CSO Dr.Andrew Ahn (MIT Math Phd, 擅长深度学习理论)；CTO Shuying Luo (8 年 google 工作经验，其中 4 年专注于 workspace AI)；CBO Nico Christie (其创业公司已经实现了百万收入，MIT MBA 辍学发起 Altera)。
4. 产品简介：Altera 致力于构建能和我们一同生活、爱和成长的数字人类。从游戏领域开始，目前的第一款产品是首个能像朋友一样和你一起玩 Minecraft 游戏伙伴，目前开放申请。于此同时，公司正在建设多 agents 世界。未来期望能创造出人类所需的品质，将 co-pilot 转换为 co-workers，探索一个数字人类被赋予物理形态的世界。
Waitinglist: https://3eb882yfjir.typeform.com/ALTERA
5. 融资情况：
- 2023 年 12 月，关闭了在 MIT 的 Lab 并成立 Altera
- 2024 年 1 月，Pre-seed 轮融资超过 $2M 主要来自 Andreessen Horowitz
- 2024 年 2 月，创造首个可以玩“我的世界”的 agent
- 2024 年 4 月，Seed 融资 $9M，Patron 和 First Spark Ventures 领投，还包括其他投资者入 A16Z Speedrun、Vamos Ventures 和 Alumni Ventures，以及资深投资人 Mitch Lasky、Stephen Lim 等。
01.
Altera 入局，
你的 AI 游戏搭子已上线
埃森哲在其 2024 年 Trends Reports 中表示，接下来的几年将迎来 agents 生态的蓬勃发展。如何创造更像人类、有个性、有想法，能积极响应、和人类交互的个体成为重点。
First Spark Ventures 的创始合伙人 Aron Sisto 提到，AI 伙伴蕴藏着巨大的潜力，然而目前的 AI 缺乏同理心、具身体验、个人驱动等关键人类特性，阻碍了我们与他们建立有实感的长期链接。
这也正是 Altera 的切入点——创造更像人类的虚拟伙伴，致力于构建能和我们一同生活、爱和成长的数字人类。相比 co-pilots，Altera 认为未来的数字人类更应该像一个 co-workers ，成为你的玩伴，与人类一起探索虚拟世界。
在 Altera 之前，也曾有有一款产品风靡我的世界(Minecraft)，那就是 Voyager —— 第一个在Minecraft 以连续方式探索世界并获得 Diamont Tool的由 LLM 驱动的 agent。
和 Voyager Minecraft bot 类似，Altera 自主 agents 也能像人类一样完成建筑、工匠、农业、交易、挖矿、攻击、装备、交谈和移动等任务，有自由的思想意志和决策能力，能够让你在游戏过程中有更丰富的体验。目前第一款产品为和你一起玩 Minecraft 的游戏伙伴，已经开放测试申请。
Altera项目来自华人创业者杨光宇（Guangyu Robert Yang）。Robert 本科就读于北京大学物理学专业，随后又依次在耶鲁大学、纽约大学、哥伦比亚大学攻读神经科学领域 PhD 并完成博士后研究。
本次创业前，Altera 在 MIT Silverman 实验室带领 15 人研究团队从事大脑“多系统神经网络模型”的研究，并发表有关低成本互动社交代理的研究论文。2024 年 2 月，Robert 正式关闭 MIT 的实验室，投身 Altera 的创业中。
02.
Altera vs Voyager，
Agent 的实现思路有何不同？
不少人好奇，Altera agents 和 Voyager bots 的区别和提升。简而言之，Altera 能够用更低的成本、更少的 LLM 依赖实现游戏中的复杂高阶的目标。创始人 Robert 号称 Altera 对比 Voyager 能够节约 10-20 倍的成本、可以通过更便宜的大模型（GPT-3.5）来完成任务、并实现了 agents 的完全自治。
各 agents 在 Minecraft 中的表现对比，来源 Robert twitter
Voyager 实现解析
Voyager 通过三个关键组件来满足 agents 达到人类玩家水平需要的三个能力：
1. 最大探索的自动课程表来实现 agents 能够以自主驱动的方式持续探索世界，并寻找新任务；
2. 可以存储和检索复杂行为、可增长的技能库实现 agents 根据环境调整技能并迁移的能力；
3. 通过迭代提示机制来满足 agents 能够根据当前技能水平和世界状态提出合适任务的能力。
Voyager 原理架构图
Voyager 实现了无需人工干预，能够在 Minecraft 以连续方式探索世界、获得多样技能并进行发现的 LLM-driven agents。Voyager 在 Minecraft 中能够持续发现新物品、解决技能树、穿越多样的地形并将其学习的技能库应用于未见过的任务。但 Voyager 的三个关键组件均对高成本模型 GPT-4 有较深的依赖，尤其是依赖 GPT-4 的代码生成能力。
尽管引入迭代提示机制，但仍存在无法生成正确技能的不确定性。另外大模型的幻觉会导致在自动课程提出无法实现的任务，代码生成过程中偶尔会调用 API 不存在的函数导致代码执行错误。
Altera 实现解析
在 创始人 Robert 实验室的研究论文（Lyfe agents）中，我们可以窥见 Altera 的实现原理，研究通过采用层级选择-行动框架、不断总结和遗忘的记忆机制尽量减少对于 LLM 的召回，能够较低成本的情况下实现 agents 目标一致性并具有行为自发性和一定的社会性。
研究中展示，通过一个高层次的总控、三个组件架构实现 agents 目标导向来获取、传递、推理信息的能力，类人的情绪和反思决策能力。
Lyfe agents 原理架构图
a. 整体架构中输入由感觉模块处理，并输出给 agent 内部状态并指导行动；agent 内部状态通过外部输入和内部循环处理持续更新，并与记忆系统联动。
b. Lyfe agents 采取类似大脑前叶层次化的方式决策行动，高层次的认知控制器接受信息，通过 LLM 输出一个行动选项和一个子目标指导下一层行动。
c. 自我监控模块，不断整合旧的总结和 agent 状态，针对新颖的、目标相关信息进行总结。在提高 agent 的目标遵循和行为一致性基础上，减少了信息处理的计算成本。该模块保持与行为模块异步执行，允许 agents 深思熟虑不影响及时的行动。
d. 记忆的关键不仅在于存储和检索，更重要的是识别到对有价值的信息、有选择性的决定信息的去留。Summarize-and-Forget 记忆机制，通过 Embedding 不断对信息进行聚合、评估和筛选，仅保留关键信息。
Lyfe agents 自主社交代理
实验在三个模拟的社会场景（谋杀、社团、病患紧急事件）中展现如上能力并完成最终目标：
在谋杀场景中 agent 在包含人类、其他 agents 的多角色交互中收集信息并推理出最终凶手；在社团选择场景下，agent 的选择倾向会受到社交关系中其他 agents 的偏好、决策影响。
值得一提的是，模拟的场景均为 3D 环境，允许 agents 实体化、具身化；agents 具有人类的邻近响应特性允许群聊场景发生；每个 agent 具有自己独特的个性和背景并在过程中不断积累形成自己独特的记忆。
目前 Altera 处于内测阶段（申请入口见前文），正与 750 名 Minecraft 的玩家测试中，预期在夏末正式发布。
不过，Minecraft 对于 Altera 来说只是一个起点，他们计划将模型引入更多游戏和虚拟体验中。他们正在积极开发 APIs 和 SDKs 为未来更大范围的使用打下基础。至于为什么选择游戏作为出发点，创始人说到“我们在游戏领域看到了构建 agents 的巨大潜力，这里有热切的用户，我们可以采集更多数据、更快地迭代产品，并且在游戏里，这些即兴的行为更是一个特性而不是 bug”。
03.
AI 在游戏中的应用盘点
盘点 AI 在游戏中的重要应用，我们发现生成式 AI 已经在游戏场景解锁了不少可能性，从加速游戏设计流程、提升游戏体验，到激发创意、推动个性化，生成式 AI 彻底改变了游戏的开发与消费方式。
- Generative agents
模拟类游戏在上个世纪 90 年代开始兴起，生成式 AI 地使用让 agents 更加鲜活，以即兴的社会行为大幅度推进模拟游戏的发展。在 Voyager 和 Altera 之前，微软更早开始尝试在 Minecraft 游戏中引入 agents。在斯坦福和谷歌的最新研究中，利用 LLM 创建具备深度交互能力的游戏代理，这些代理不仅增强了游戏的沉浸感和趣味性，甚至有机会提供就像《楚门的世界》那样非预设剧本的观赏性，并打开 AI 陪伴的新纪元。
Generative Agents: Interactive Simulacra of Human Behavior
- 个性化
角色扮演游戏旨在提供独特的游戏体验，从“龙与地下城”到“原神”，游戏通常允许玩家选择角色外观、性别和职业。
当今 LLM 和 Midjourney 让玩家能够创建高度个性化的角色，如 Spellbrush 的“箭术师”允许玩家定制人物风格和战斗技能。此外，AI 的加入使 NPC 可以根据玩家历史行为动态生成对话和故事，大幅增强了游戏的沉浸感和重玩价值。
Arrowmancer
- AI 叙事
对于一款优秀的游戏，除了具备拟人 NPC 和精美场景外，更关键的是有一个引人入胜的故事。《龙与地下城》是个性化故事讲述的典范，其通过地下城主即兴创造独特的游戏体验。
应用 LLM 于游戏故事创作提供了无限可能，例如 Hidden Door 训练特定故事模型允许玩家在建立的IP宇宙中探险，同时 NovelAI 的 Clio 模型帮助作家克服创作障碍，展现AI在故事叙述中的潜力。
Hidden Door
- 动态场景
AI 叙事和栩栩如生的游戏场景共同塑造沉浸式体验。科幻小说《安德的游戏》中描述的心灵游戏能根据玩家兴趣实时变化，展示了生成式 AI 在游戏中创造独特世界的潜力。
未来，游戏可能通过 AI 在运行时实时生成每个场景，如同NVIDIA 的 DLSS 技术已能实时生成高分辨率游戏帧，朝着动态生成世界的方向迈进，但成功的游戏体验还需结合个性化和故事叙述。
Echoes of Somewhere - Jussi Kemppainen
- 音效
音效对于电影和游戏中营造沉浸式体验至关重要。生成式 AI 技术，如 AudioCraft 和 Jukebox，利用深度学习算法创造与游戏动作同步的音乐和声效，提高了游戏的个性化和玩家沉浸感。这些工具还能根据游戏直播的节奏和情绪定制音乐，提供版权自由的音乐，帮助内容创作者避免版权问题。
Suno.AI
- Copilots
Copilots 在游戏中的应用极大地丰富了玩家的互动和体验，它们不仅帮助新手玩家上手复杂游戏，还能在游戏中提供策略建议和动态交互。公司如微软和 Roblox 已利用生成式 AI 如 DALL-E 和 Github Copilot，使玩家通过自然语言直接创造游戏内容。随着游戏逐渐演化为下一代社交网络，这些智能伙伴预计将在增强游戏社交性和个性化体验中扮演关键角色。
Fortnite
04.
To be Continued
我们还处在AI 应用的早期，还面临着许多现实问题和技术障碍需要克服。但可以看到的是，AI 在包括游戏在内的虚拟世界领域的发展引起巨大的开发者和玩家的兴趣。
有许多像 Altera 一样才华横溢的团队，正在加紧开发创新产品和体验，构建全新类型的虚拟世界，这些 AI 代理既有趣又独特，并且能够跨平台持久存在。
参考材料
1. https://altera.al/#products-section
2. https://a16z.com/the-neverending-game-how-ai-will-create-a-new-category-of-games/
3. https://mp.weixin.qq.com/s/jwHiYvP-6HbBN6kUSiBGug
4. ixie：https://www.ixiegaming.com/blog/generative-ai-in-game-design/
5. twiiter：https://twitter.com/tkexpress11/status/1671879727395774464?s=20
6. twiiter：https://x.com/GuangyuRobert/status/1768720216413098350
7. Voyager: https://zhuanlan.zhihu.com/p/632887127
8. Lyfe Agents: Generative agents for low-cost real-time social interactions：https://arxiv.org/pdf/2310.02172
9. ACCESSWIRE: https://www.accesswire.com/860870/altera-closes-9m-seed-round-to-build-digital-human-beings-and-redefine-ai-agents
10. TechChurch: https://techcrunch.com/2024/05/08/bye-bye-bots-alteras-game-playing-ai-agents-get-backing-from-eric-schmidt/
转载请联系公众号后台
欢迎加入 Sense AI 共创计划
如果你对研究海外最新的 AI 产品感兴趣，并且愿意写出并分享自己的思考和观察，无论你是什么职业（投资人、创业者、产品经理、开发者、学生等等），都欢迎加入 SenseAI 的共创计划。
您可以填写下方的报名问卷，我们会在筛选后邀请您进入我们共创计划社群。SenseAI 的主理人们会在群内分享最新的海外 AI 产品和动态，同时也欢迎每一位参与共创计划的同学分享他们看到有意思的AI动态。
共创计划会以周为单位，每位参与者每周选择一款 AI 产品进行研究并写出相应的文章，每两周会组织一次集体的线上讨论或者线下的深度交流，一块研究前沿的 AI 趋势，特别是对海外 AI 市场动态的实时掌握。每四周调整一次参与成员，维持整个共创计划活跃度和高质量。
福利时间：
SenseAI 已经运营了有一段时间，相信大家可以从每篇文章开头的 Sense 思考和文章内容中感受到我们希望在海量的 AI 信息中蒸馏沉淀深思考。
欢迎进入「SenseAI 深度交流群」，提供对推文内容讨论、AI 产品探索交流、线下面基和认识新朋友的机会。为保证交流质量，我们采取问卷申请制，请先扫描下面二维码填写问卷并后台回复【已填写】入群。已填写问卷但未进群的朋友，也请后台回复【已填写】入群。
欢迎关注我们
关注全球 AI 前沿，走进科技创业公司，提供产业多维深思，我们是创业者/产品/投资人，这里是最有 AI-sense 的 SenseAI。