AI观察20240724：META的LLM路径
AI观察系列是共识粉碎机与久谦咨询的共创研究项目，除了在公众号内定期更新的内容外，企业客户可以联系文底久谦销售同事试用和采购以获得更多服务和详细资料。
内容较久谦官方小程序会有一周不等的延后，也会根据实际情况有部分删改。
最近Meta有两个非常Impressive的工作公开，也揭示着未来大模型可能的一些发展方向。
一个是Meta的全新生成式DLRMs（Deep Learning Recommendation Models）论文，Actions Speak Louder than Words: Trillion-Parameter Sequential Transducers for Generative Recommendations，很欣慰看到核心作者基本都是华人，一作更是传说中的大牛。在当今的信息时代，推荐系统无疑是科技公司获取用户粘性和商业价值的重要工具。然而，随着用户数据和特征的不断增加，传统的深度学习推荐模型（DLRM）在面对高维度特征时显得捉襟见肘，难以扩展和优化。尤其在处理海量数据和多样化的用户行为时，这些模型往往消耗大量计算资源，却未能带来显著的性能提升。于是，开发能够在大规模数据和实时推荐环境下高效运行的模型架构，成为了一个迫切的需求。这次Meta通过引入生成式推荐系统，彻底改变了推荐系统的设计范式（堪比上一次Deep Leaning替代了Rule based推荐系统），将推荐系统建模为Generative Model问题，利用用户历史的action预测未来的行为，比传统的基于特征工程的推荐算法有了革命性的升级。相比Baseline模型，性能上最高提升了65.8%，同时引入新的优化算法M-FALCON，速度比传统Transformers模型快了5.3倍到15.2倍。此外，通过多次线上A/B测试，生成式DLRMs模型在关键指标上提升了12.4%，并成功部署到拥有数十亿用户的多个平台上。展示了推荐系统中应用Scaling Law的可能性，类似于语言模型GPT-3的革命性时刻。同时，流式信息+个性化，确保用户获得最新、最相关的内容推荐，增强了用户体验和平台粘性。更高效的推荐系统不仅能更好地满足用户需求，还能增加用户留存率和商业价值。
Meta的这个工作，显示了Scaling Law在更多场合落地的可能性，除了LLM、多模态，在推荐模型、具身智能、自动驾驶等领域，更大更全面的模型，都能带来更好的效果，可能未来所有的机器学习算法，都可以用Scaling Law再重新做一遍，这对于算力的需求是巨大的。另外，更好的个性化，应用在Meta巨大的user base和收入体量，即使是1%的性能提升，也能有Bn USD级别的收益。同样的思路也正被苹果应用，通过Personal Agent + 海量用户实际使用的反馈，更加智能和个性化的Apple Intelligence，有可能成为苹果的下一个iPhone moment。
另外一个工作，自然是万众瞩目的Llama 3.1 405B，Meta用16000张H100 GPU，把全世界的大模型水平拉到了接近GPT4的水平，实现了大模型平权。Llama 3.1 提供了 8B、70B 和 405B 三个尺寸，最大上下文扩展至 128K，不仅支持多语言，还能处理复杂的推理任务。在基准测试中，Llama 3.1 405B 在大多数测试中超越了 GPT-3.5 Turbo，甚至在一些指标上超过了 GPT-4。这标志着开源大模型首次在参数和性能上达到了闭源大模型的水平。Llama 3.1 的开放性是其一大亮点。Meta 提供了免费的模型权重和代码，许可证允许用户进行微调和模型蒸馏（赛博菩萨），并支持在任何地方部署。此外，Llama 3.1 提供了 Llama Stack API，便于集成使用，支持调用外部工具。
小扎对于类似IOS的垄断深恶痛绝，因此极力倡导大模型平权，将先进的 AI 技术民主化，使更多企业能够利用这些工具提升业务能力和竞争力。不再需要完全依赖外部供应商提供的专有模型，从而降低了成本和技术依赖。这种自主性和灵活性，也使得企业能够更迅速地响应市场需求和用户反馈，完成产品的快速迭代。开源模型的平权还将助力端侧模型的进化。通过模型蒸馏等技术，小模型的性能将达到较高水平。出于成本和隐私保护等方面的考虑，未来大部分任务可能会在端侧完成，大模型的生态将被“端侧+硬件入口”所取代。对于像苹果这样具有软硬一体、场景明确、用户庞大的公司来说，大模型平权带来了绝对的竞争优势。在云侧，苹果将进一步减少对第三方模型能力的依赖，并在SOTA模型多家并立+开源的竞争格局下，拥有强议价能力与选择灵活性。在端侧，苹果可以凭借其自有硬件、系统和软件生态，完成更深层次的集成与适配，优化部署并减少工程成本。凭借其庞大的用户数据和明确的应用场景，苹果能够发挥“入口”优势，实现快速落地与用户反馈-个性化能力闭环。
关于苹果的Personal Agent和端侧模型的进一步详细分析，将在最新的一篇研究中披露。
最后我们随便聊聊我们刚做（7月24日）的META和MSFT的季度调研和Preview，两个业绩看起来都非常的Mixed，比上个季度的难度要大很多。我们上个季度Preview非常清楚的提过MSFT的业绩会好，META的业绩会很有风险。
META的问题包括AI ROI边际递减，最近CPM下降以及对三季度指引的担心。但同时也看到Creative产品取得了非常好的效果，TEMU与SHEIN的投放看到了变化。
MSFT的问题包括Azure AI占比进入高基数，其API售卖上也有波折。但同时其他业务表现不错。
我们正在发售一篇报告，其内容是：
AI手机以及Personal Agent场景
尚有两篇报告正在调研中，其内容是：
AI客服的进展与影响
AI咨询行业
在过去的四个月，我们已经发售了七篇报告：
算力需求场景测算
AI与GPU在META中的应用
微软Copilot进展、GenAI售卖场景以及如何影响公有云选择
北美算力租赁厂商近况及供需平衡情况
互联技术以及未来发展趋势
美国数据中心与电力情况
2Q24季度调研：META与MSFT
除了报告外，我们也承接定制化的投研需求。
对报告感兴趣，有定制化投研需求，或者对我们的日常调研纪要（每月超过50篇AI调研纪要）感兴趣的请联系下面的久谦销售同事，或者点击共识粉碎机底栏菜单页的投研服务：
大模型未来三年的十个假设
Data Infra：大模型决战前夜