特斯拉的Scaling Law是什么？
我们之前针对Robotaxi和FSD的scaling law，有过深度的分析，这次earning call也把我们的很多结论进一步证实和强化了。特斯拉从2023年中开始采用H100训练端到端的V12模型，随着训练算力的不断提升（也包括模型参数、架构和数据的指数级提升），模型的性能显著提升。最早的V12是在大约几千H100上训练的，而V12.5则是在约数万H100训练的，按马斯克的说法，已经比V12提升百倍。到今年底，特斯拉还会有额外五万H100，基于此训练的V13也会有更大的性能提升（按照马斯克的说法，是5-6倍miles between intervention的提升），2024年总共的性能提升会超过3个数量级。明年，随着更多的H100，和GB200的引入（传闻有10万+的booking），模型能力会进一步提升，直到超过人类平均水平。相信这也会进一步提高FSD软件的Adoption。
那么，接下来还有哪些scaling的方向呢？首先是HW5.0的引入。HW4.0的算力只有百T级别，是很低的，如果HW5.0能把算力提升到1000T甚至2000T以上，模型的能力能够进一步跨越。其次，是类似ChatGPT o1，强化学习+合成数据，system1+system2。o1本质上通过强化学习+合成数据，解决复杂任务reasoning数据不足问题，而FSD目前由于太过于优秀，corner数据出现的频率太低，这一点和reasoning数据的缺乏是类似的。
最后，与XAI模型的结合，进一步提升模型能力。XAI目前在GPU infra领域的进展是世界第一的，马斯克也提到XAI的Infra技术，已经对于特斯拉的超大规模集群有很大的帮助了。未来可以期待有更多的合作。
如果想进一步讨论特斯拉的FSD和robotaxi的scaling law，欢迎联系我们的销售！
我们正在发售一篇报告，其内容是：
3Q24季度调研：MSFT、META、AMZN
尚有数篇报告正在调研中，其内容是：
AI咨询行业：PLTR、AI、ACN
ASIC调研与技术趋势
3Q24季度调研：NVDA
AI客服的进展与影响：NICE、FIVN、NOW
我们已经发售了十篇报告：
算力需求场景测算
AI与GPU在META中的应用
微软Copilot进展、GenAI售卖场景以及如何影响公有云选择
北美算力租赁厂商近况及供需平衡情况
互联技术以及未来发展趋势
美国数据中心与电力情况
2Q24季度调研：META与MSFT
AI手机
草莓与前沿大模型进展
Robotaxi与FSD的Scaling Law
除了报告外，我们也承接定制化的投研需求。
对报告感兴趣，有定制化投研需求，或者对我们的日常调研纪要（每月超过50篇AI调研纪要）感兴趣的请联系下面的久谦销售同事，或者点击共识粉碎机底栏菜单页的投研服务：
算力租赁崩了吗？
解密OpenAI高管集体离职与o1模型十问十答续