Groq技术新突破：Mixtral 8x7B模型实现每秒500个tokens的生成速度

今天看到的最火的AI产品就是Groq。

多神奇，强烈建议先登录Groq官网，问个问题。

https://groq.com/

472的T/s什么概念，就是目前最强。

Groq 之所以运行速度极快，是因为他们自主设计了一种专门的硬件——LPU（语言处理单元），以及用来对这种硬件进行编程的编译器工具链。

Groq 正在努力成为通用人工智能 (GenAI) 推理速度的领先标准，致力于让实时 AI 应用在当下世界快速成型并投入使用。

Groq是一家专注于开发人工智能（AI）芯片的公司，由前谷歌员工Jonathan Ross 创立。

Jonathan曾是谷歌TPU的核心团队成员。TPU是谷歌专为AI计算设计的处理器，旨在优化机器学习算法中常见的张量运算执行过程，提高速度和能效。

Jonathan 在2016年离开谷歌，创立了Groq。Groq的关键成员也曾参与TPU的开发。

有网友这样评价Groq

Groq提供3种模型的API

我将GPT-3.5的价格和Groq的Mixtral 8x7B SMoE对比，后者要便宜很多。

除了在Groq官网体验，Groq支持API接入，10天免费试用。

还可以在Poe上体验Groq

https://poe.com/Mixtral-8x7b-Groq

Groq生成速度快，我认为一是可以应用在快速翻译，二是可以实现实时AI对话。

之前我在OpenAI API 文字转语音本地运行程序分享文章里分享了将文字转语音的过程，实际使用过程中，直接将文字通过API生成语音是非常快的。

在使用GPT的移动版进行语音对话时，我们注意到GPT回答问题的速度较慢，这主要归因于其生成文本的速度不足。

如果切换到Groq的技术，我们有望达到真正的即时AI语音对话体验。

Groq的合作伙伴里的Vapi引起了我的注意。

Vapi 是一个用于快速构建、测试和部署语音机器人的平台，整个过程仅需几分钟，而非传统的数月时间。

https://vapi.ai/

还有博主迅速使用Groq做了个闪电般快速的 AI 答案引擎。

https://6de65e58-cada-45e9-bf39-a6c8eb226591-00-1rsd2y84t464l.worf.replit.dev/

试了下，效果不错。

最后值得一提的亮点是，Groq公司公开了详尽的技术文档，便于用户深入理解其产品与技术。

https://wow.groq.com/docs/

---

精选历史文章，请看这里：