不卷算力了？
最近幻方悄悄上线了DeepSeek V3，作为量化巨头，幻方一向是中国大模型价格战的发动者，当时DeepSeek v2出圈也是因为做到好用又便宜，盛传幻方是中国持有高性能GPU最多的公司。
有人做了初步评测，结论就是：已经与GPT-4o、Claude-3.5-sonnet推理能力相当，甚至编程媲美最领先的3.5 Sonnet，超过GPT-4o。
今天出圈并对市场有所扰动的信息是是：这个参数量高达 671B 的大型语言模型的预训练过程竟然只用了 266.4 万 H800 GPU Hours，再加上上下文扩展与后训练的训练，总共也只有 278.8 H800 GPU Hours。相较之下，Llama 3 系列模型的计算预算则多达 3930 万 H100 GPU Hours—— 如此计算量足可训练 DeepSeek-V3 至少 15 次。
几乎所有投资者圈层都在问：幻方Deepseek v3只用了2048卡的H800，训练两个月就完成了。你们公司买了10万张卡，单集群万卡，都搞出什么成果来了？有人质疑OpenAI干什么去了。
目前有这么几个解释：
-训练只有一次，推理是无数次。推理需求实质上远大于训练需求，尤其是用户基数大了。
- Deepseek是站在巨人的肩膀上，使用大量高质量合成数据。
- Deepseek这个统计口径只计算了训练，但数据的配比需要做大量的预实验，合成数据的生成和清洗也需要消耗算力。
- Deepseek的模型的MoE每个专家都可以单独拿出来训练，本身相比于dense架构就是省力一些的方案。
- Deepseek采用FP8训练，而FP8的训练本身就不怎么耗资源，相比FP16或BF16，FP8的Tensor Core可提供两倍的TFlops算力此外，FP8的数据类型占用的比特数更少，可以降低内存占用消耗在实际测试中，FP8训练吞吐对比BF16性能可提升30%至50%。
- 所谓节省90%算力还能和chatgpt匹敌的这个大模型不太行，噱头为主。
-人人都超越了GPT 4o，llama 3天天被踩在脚底下，消费者和企业界实际使用用的最多的还是这两个模型。这些宣传的成绩未必可靠。
另一个出圈的是小米ALL in AI：12月26日，界面新闻独家获悉，小米正在着手搭建自己的GPU万卡集群，将对AI大模型大力投入。
而DeepSeek开源大模型DeepSeek-V2的关键开发者之一罗福莉将加入小米，有望加入小米AI实验室领导大模型团队。
- AI基础：金山云
- AI生态：人车家全生态
- AI应用场景：小米AI智能lOT+小米AI手机+WPS AI+小米AI智驾
为什么要做万卡集群？
本质上是加速强化自身大模型，对模型能力的补强。海外对标的大厂包括Google、Meta、微软都是软硬件结合，预期25年开始国内大厂都会对标海外、平推大模型各个环节。小米原先在硬件制造/供应链上通过手机、耳机等系列智能终端中完成了能力储备，但是对于“软”的部分（大模型）还有所欠缺。
为什么要对AI生态平推式的进入？
究其根本是在于追求下一代互联网时代的入口，强化自身模型能力，且不能放过任何一个可能成为下一代终端的产品——包括手机/耳机/眼镜
对于小米当前宣布万卡集群的看法？
在当前国内各大厂平推的进入大模型领域，我们对于小米抱有比较乐观的态度，一来是我们觉得在跨终端互联的交互方式下，小米此前IOT方面的布局较广，是字节等大厂还需要一定时间才能追赶的，此外在供应链当中以当前小米的出货量来看，占比较高，有一个卡位优势。
- 金山云：小米AI核心云基础设施。充分利用小米与金山生态独特的机遇。从电动车（EV）、AIoT游戏、大型语言模型到WPS AI，24Q3来自该生态系统的收入同比增长了36%。
- 金山办公：小米大模型•核心应用载体。推出WPS灵犀，灵犀，是WPS推出的一个带有AI搜索的应用，可以实现搜索/总结/整理/创作等，从实现的功能上，类似于豆包/Kimi等Chatbot。25年收入65亿元左右，目前市值1300多亿元。
- 比亚迪电子：深度合作的ODM之一，公司目前正在跟小米谈服务器组装业务。
- 思特威：手机CIS和安卓其余品牌商有望达成合作，hw内部份额预期持续提升；比亚迪智驾下沉放量，车载CIS在环视有望取得份额。
- 恒玄：小米耳机和小米手环主控芯片核心供应商，BES2800芯片+外挂ISP方案后续有望在小米眼镜中搭载，25年与AI眼镜相关的项目总计超过10个
- 艾为电子：国内消费电子模拟IC龙头，手机营收占比超70%，其他泛消费电子终端AIOT占比20%，与小米深度战略合作，多款产品导入小米手机，IOT，汽车领域。
小米AI产业链：爆发在即
小米AI产业链是继字节产业链后非常好的投资机会，因为小米是国内终端侧布局最领先公司，手机、汽车、小米智家是AI最好的三大天然载体。小米有望通过AI从一个薄利的硬件的公司升级成AI应用、订阅的生态巨头，产业链标的挖掘潜力大。
1）小米正在着手搭建自己的GPU万卡集群，将对AI大模型大力投入。小米大模型团队在成立时已有6500张GPU资源。此前12.20据报道，DeepSeek开源大模型DeepSeek-V2的关键开发者之一罗福莉将加入小米，有望加入小米AI实验室领导大模型团队。这一战略举措标志着小米在AI领域的深入布局。据悉，该计划已经施行数月之久，雷军为重点领导角色，强调小米在AI硬件领域的核心关注点是手机。
2）11.12小米官方宣布大模型已经实现了从一代到二代（MiLM2）的升级迭代，包括：1）参数规模同时向下和向上扩充，实现了云边端结合，参数尺寸最小为 0.3B，最大为 30B；2）语言能力相比于第一代模型平均提升超过 45%；3）端侧部署上支持 3 种推理加速方案，包括大小模型投机、BiTA、Medusa，并且自研量化方案相比于业界标准高通方案，量化损失降低 78%；4）支持的最长窗口为 200k（第一代为 4k）。
3）2023年，小米成立了大模型团队，并将“轻量化、本地部署”定为小米大模型技术的主力突破方向，公司在AI产品上的布局非常广泛，涵盖了从智能手机、AIoT、自动驾驶、智能制造到机器人等多个业务领域。除了AI端侧硬件为最核心的战略方向，在自动驾驶方面，小米汽车智能驾驶系统在半年内经历了三次重大升级，从高精地图+模块化架构到无图+模块化架构，再到端到端大模型架构，快速追赶其他车企三代研发步伐。
4）通过手机、汽车、AIoT生态的全线布局，小米的除了技术突破外，更核心的是打造“人车家”融合的完整智能生活场景，在多样化场景中形成闭环生态，有望成为AI软件+硬件应用中最核心的玩家之一。