智能晚报｜OpenAI携Sora入驻TikTok；Groq芯片推理速度是英伟达10倍，英伟达股价跌超6%…
撰文：陆彦君、杨秋秋、王怡然
编辑：王杰夫
Key Points
Groq发布推理速度是英伟达10倍的AI芯片，英伟达股价一度跌超6%；
OpenAI携Sora入驻TikTok，已有10万粉丝；
欧盟将对TikTok展开正式调查；
植入Neuralink的患者可以通过思维控制鼠标；
Adobe推出AI助手，可搜索和汇总PDF；
北汽电动汽车今年将推出首款由华为智选支持的轿车。
Groq发布推理速度是英伟达10倍的AI芯片，英伟达股价一度跌超6%
近期，AI芯片初创公司Groq开放了基于自研LPU（Language Processing Unit：语言处理器）芯片的大模型免费试用。从试用结果来看，模型采用LPU的推理速度接近500 token/s，远远超过采用GPU时的推理速度（GPT-4的推理速度为40 token/s），Groq希望借此让更多AI公司选择LPU芯片用于大模型推理。
Groq是什么？
Groq于2016年在加利福利亚成立，是一家AI芯片初创企业，主要提供低延迟的AI推理解决方案。Groq称自己的愿景是构建生成式AI推理速度的标准，以实现生活中的即时AI应用。创始团队中有多人曾参与Google TPU处理器的开发，其中创始人兼CEO Jonathan Ross更是参与设计并制作出了第一代Google TPU芯片的核心元件，完成了其中20%的研发工作。
在融资方面，Groq目前已经完成了3轮融资，共计融资总额达3.67亿美元。Groq于2021年4月完成了最新C轮融资，共筹集资金3亿美元，由老虎环球基金和D1 Capital领投。
为什么Groq一夜爆火？
不同于业内AI公司都在用英伟达GPU做大模型的训练和推理，Groq在最新的公开测试中使用了自研芯片LPU做大模型的推理工作，所以这其实是一次对LPU芯片性能的公开演习。（训练与推理：训练指的是一个初始神经网络通过不断优化自身参数，来让自己变得准确；推理指的是利用成熟的神经网络基于给定的数据去预测结果）
Groq的LPU芯片GroqCard。
在Groq的宣传中，LPU包含数百个核心的并行处理器，专门为AI推理而设计。与英伟达GPU的工作原理不同，LPU采用了时序指令集计算机（Temporal Instruction Set Computer）架构，在提高效率的前提下能消耗更少的能源，而这两点恰恰都是目前采用GPU做大模型推理时会遇到的问题。
为了实现高效低能耗，LPU不依赖于高速数据传输，而是将数据存储在更快但体积更小的SRAM存储器中，而GPU需要频繁从内存中加载数据，运行速度主要由HBM的读取速度决定。这就使得LPU的速度比GPU使用的高带宽存储器（HBM）快约20倍。
LPU具体的参数性能如何？
今年1月AI应用平台Anyscale的测试显示，在基于700亿参数的模型上，Groq的LPU推论引擎吞吐量为185token/s，远远领先第二名Anyscale的66token/s——输出的吞吐量越大，大模型的反应速度就越快。
在本次公开试用中，Groq提供的只是一个模型启动器。根据Groq官网的信息，Groq是用Mistral 8x7B-32k和Llama 270B-4k两个开源模型做推理。Mistral 8x7B可以达到480 token/s，价格为0.27美元每百万token，而Llama2 7B最高可实现750 token/s，售价为0.10美元每百万token。目前，Groq为用户提供了100万token的免费试用。
LPU的出现意味着什么？
Groq公司宣称，通过强大的芯片和软件，LPU有望在推理任务中取代GPU的角色。目前，Groq可支持多种用于模型推理的机器学习开发框架，包括PyTorch、TensorFlow和ONNX。
LPU的出现，为AI公司提供了一种可选项来缓解算力紧张的问题。目前，由于AI算力需求热潮，英伟达的AI芯片供不应求，价格也是水涨船高，A100的价格高达1万美元，H100甚至被炒到4万多美元。不仅如此，相比GPU，LPU对于存储速度的要求更低，避免了GPU集群中常见的瓶颈问题，简化了大规模AI模型的硬件需求，使开发者能够更容易地扩展应用。
然而，Groq LPU目前的配置优势并不明显。首先，LPU目前仅可以用于推理，并不支持大模型训练。如果AI公司需要训练大模型，仍然需要购买英伟达的GPU芯片。其次，LPU的成本暂时还不具备优势。据阿里巴巴原首席AI科学家贾扬清发布的社交平台帖子，以运行Llama-2 70b模型为例，由于内存容量的限制，需要用到的LPU数量远远大于H100的数量，这意味着在同等吞吐量下，Groq的硬件成本是H100的40倍，能耗成本是10倍。
周二，就在即将发布财报的前夕，英伟达股价盘中曾跌逾6.7%，收跌近4.4%，跌破700美元关口。
参考链接
https://groq.com/
OpenAI携Sora入驻TikTok，已有10万粉丝
2月16日，OpenAI推出文生视频模型Sora。与此同时，OpenAI还入驻短视频平台TikTok，五天内发布了20条Sora生成的视频，每一条都标记了内容由AI生成。截至目前，OpenAI账号涨粉10.5万，获得点赞数51万。
OpenAI发布的第一条东京雪景视频，播放量达到78万，评论有一千多条。其他视频也各有特色：戴墨镜跳舞的袋鼠、咖啡杯里的海盗船、土豆王国、下棋的猴子……这些视频引发了热议，网友惊叹视频效果的逼真，也有人感慨艺术已死；有人担忧动画领域的工作机会受威胁，也有人认为Sora可作为辅助工具为电影技术提高水平。
评论区还有人拜托Sora生成「威尔·史密斯吃意面」的视频，这个「整活」其实是一项测试，此前，Runway、Pika等公司用AI生成的史密斯形象扭曲，视频效果翻车。2月20日，演员威尔·史密斯亲自表演吃意面，还自称视频是AI生成的，网友们竟然相信了——Sora生成的视频太过逼真，使得威尔·史密斯的玩笑骗过了大众。视频内容的真伪性令人担忧，因此评论区也有不少人呼吁加强立法方面的监管。
欧盟将对TikTok展开正式调查
2月19日，欧盟委员会已启动正式程序，评估TikTok在未成年人保护、广告透明度、研究人员数据访问以及成瘾设计和有害内容的风险管理等方面是否违反了欧盟的《数字服务法案》（Digital Services Act，DSA)。欧盟委员会内部市场委员Thierry Breton表示，「我们对TikTok展开调查，原因是它涉嫌违反透明度和保护未成年人的义务：令人上瘾的设计和屏幕时间限制、兔子洞效应、年龄验证和默认的隐私设置。」
调查将重点关注哪些领域？
调查将重点关注TikTok系统设计已经产生或者可预见的负面影响，包括可能会刺激用户的行为成瘾，或者该系统可能导致「兔子洞效应」（注：互联网用户被引导进无穷尽的信息世界，深陷其中无法脱身）。调查还关注TikTok是否采取了适当的措施保护未成年人的高水平隐私和安全。除了未成年人保护，欧盟委员会还在研究TikTok是否遵守DSA规定的义务，在平台上提供可靠的广告数据库。
程序正式启动后，欧盟委员会将继续收集证据，例如通过发送额外信息请求、面谈或检查。DSA没有设定结束正式程序的任何法定期限，深入调查的持续时间取决于几个因素：案件的复杂程度、公司与委员会的合作程度以及辩护权的行使。如果TikTok被判违反DSA规则，TikTok的母公司字节跳动可能会面临高达其全球营业额6%的罚款。
TikTok的回应：
TikTok表示，将继续与专家和业界合作，确保年轻人在其平台上的安全，并期待向欧盟委员会详细解释这项工作。TikTok 发言人表示，「TikTok开创了保护青少年并阻止13岁以下儿童使用平台的功能和设置，这是整个行业正在努力解决的问题。」
《数字服务法》（DSA）是什么？
DSA监管在线平台，例如市场、社交网络、内容共享平台、应用商店以及在线旅行和住宿平台，其主要目标是防止网上非法活动，遏制虚假信息的传播，确保用户安全。自2024年2月17日起，DSA适用于所有在线平台，特别要求大型在线平台和搜索引擎采取更多措施来应对非法在线内容和公共安全风险。
欧盟委员会对TikTok的调查，是继去年12月对马斯克的社交媒体平台X发起调查后的又一起调查。欧盟委员会表示，TikTok在欧盟拥有1.359亿月活跃用户，并于2023年4月25日被指定为超大型在线平台（VLOP)。被指定为VLOP4个月后，TikTok必须开始遵守DSA规定的一系列义务。
参考链接
https://ec.europa.eu/commission/presscorner/detail/en/ip_24_926
植入Neuralink的患者可以通过思维控制鼠标
当地时间2月19日，特斯拉CEO伊隆·马斯克在社交平台X上表示，首位植入了Neuralink公司脑芯片的人类患者「似乎已经完全康复。患者已能够通过思维在屏幕上移动鼠标」。马斯克表示，Neuralink正试图让患者通过思考按下尽可能多的按钮。「我们目前正在研究的是：你能否控制鼠标左键、鼠标右键和鼠标的上下。我们想要的不只是两个按钮。」
马斯克没有透露更多关于手术的细节，也没有提供有关手术结果的证据。Neuralink公司官方尚未对外发布正式消息。
Neuralink公司于2016年由马斯克成立，旨在短期内帮助那些患有瘫痪和神经系统疾病的人，并从长远来看降低人工智能对人类的风险。该公司的使命是开发治疗各种脑部相关疾病的脑机接口，最终目标是创建一个能够更紧密地连接生物和人工智能的全脑接口。
2023年5月，Neuralink 通过美国 FDA 人体临床测试批准。公司此前曾试图获得批准，但因安全问题和其他「缺陷」而被FDA拒绝。2023年9月，公司开始招募患者进行首次人体临床试验。今年1月，马斯克在社交媒体上宣布Neuralink 首次将其芯片植入人体，操刀的是公司自主研发的机器人外科医生，受试患者恢复良好。
马斯克当时表示，公司的首款产品将被称为Telepathy，其最初的使用者将是那些失去四肢的人。「让史蒂芬·霍金的沟通速度比打字员或拍卖师更快。这就是我们的目标。」
参考链接
https://www.reuters.com/business/healthcare-pharmaceuticals/neuralinks-first-human-patient-able-control-mouse-through-thinking-musk-says-2024-02-20/
，
Adobe推出AI助手，可搜索和汇总PDF
2月20日，Adobe在其Reader和Acrobat应用程序中推出了人工智能助手，可以生成PDF文档的摘要并回答有关PDF文档的问题。AI助手可以生成内容概要来帮助用户消化篇幅较长的PDF，还可以通过「对话界面」回答有关文档中信息的问题，并预测用户可能提出的有关文件的问题。不仅如此，Adobe表示，该助手还可以生成引文，让用户可以验证工具答案的来源，也可以生成例如电子邮件、演示文稿和报告等各种格式的文本。
不同于ChatGPT等其他人工智能模型要求用户上传PDF，Adobe的AI助手是一项内置功能，不会将PDF上传到云服务处理器，能够实现Adobe首席执行官Shantanu Narayen所宣称的「民主化访问」的目标。据悉，该AI助手目前已经在Acrobat中提供，并会在未来几周内在Reader中上线。此外，Adobe宣布计划在该工具结束测试后发布具体的订阅计划和定价。
参考链接
https://www.cnbc.com/2024/02/20/adobe-launches-ai-assistant-that-can-search-and-summarize-pdfs.html
，
北汽电动汽车今年将推出首款由华为智选支持的轿车
近日，北汽蓝谷在投资者互动平台回应投资者的相关问题，明确表示与华为智选模式合作的首款车型「享界」计划于今年投放市场。据称，该合作车型将定位中高端智能纯电动轿车市场，旨在填补市场上中高端纯电动轿车相对稀缺的空白，与传统燃油车型竞争。
此前，在华为与北汽智选车项目供应商大会上，双方计划新建智能工厂，智能工厂项目建成投产后将要生产的车型预计就是北汽与华为合作的智选品牌享界的首款车型。北汽蓝谷公司表示，后续双方的合作进展情况将适时对外披露。
北汽蓝谷与华为的合作最早可以追溯到2017年。当时，双方签署合作协议并共同组建HBT项目组，华为的工程师团队也在北汽蓝谷总部常驻办公。2021年，北汽蓝谷联合华为推出的极狐阿尔法S HI版，引起了业界的广泛关注。
北汽蓝谷方面，公司目前整体业绩压力明显。2020年至2022年，北汽蓝谷归母净利润已连续3年亏损超50亿元。与华为智选模式合作将成为扭转当下不利局面的重要突破点。
华为智选车方面，华为与赛力斯合作的AITO问界品牌将于2024年上半年推出新M5，2024年下半年推出全新车型问界M8。此外，华为与奇瑞合作的智界品牌第二款车型将于2024年下半年推出，内部代号EHY。
-END-