首页
下载应用
提交文章
关于我们
🔥 热搜 🔥
1
百度
2
今日热点
3
微信公众平台
4
贴吧
5
opgg
6
dnf私服
7
百度贴吧
8
知乎
9
dnf公益服
10
百度傻逼
分类
社会
娱乐
国际
人权
科技
经济
其它
首页
下载应用
提交文章
关于我们
🔥
热搜
🔥
1
上海
2
习近平
3
新疆
4
鄂州父女瓜
5
乌鲁木齐
6
疫情
7
H工口小学生赛高
8
习明泽
9
芊川一笑图包
10
印尼排华
分类
社会
娱乐
国际
人权
科技
经济
其它
”FAN某”的离婚财产分割判决书(全文)
”FAN某”的离婚财产分割判决书(全文)
刑讯逼供、管辖异议,唐山杨立国涉黑案争议
大瓜!找工作太难了:私募大佬白嫖95后小姐姐事件刷屏!
深度 |台积电断供大陆芯片,任正非罕见感谢特朗普,美霸权摇摇欲坠
生成图片,分享到微信朋友圈
8月23日 上午 2:55
8月23日 上午 5:31
8月23日 上午 6:40
8月23日 上午 7:48
8月23日 下午 8:40
8月23日 下午 9:39
8月23日 下午 10:39
8月23日 下午 11:37
8月24日 下午 1:21
8月24日 下午 2:22
8月24日 下午 3:21
8月24日 下午 4:19
8月24日 下午 5:20
8月24日 下午 6:21
8月24日 下午 7:20
8月25日 上午 8:51
8月25日 下午 10:02
8月25日 下午 11:47
8月26日 上午 1:01
8月26日 上午 2:21
8月26日 上午 3:30
8月26日 上午 4:38
8月26日 上午 5:48
8月26日 上午 6:58
8月26日 上午 8:07
8月26日 上午 9:17
8月26日 上午 9:25
8月26日 上午 10:40
8月26日 上午 11:47
8月26日 下午 12:53
8月26日 下午 2:03
8月26日 下午 3:20
8月26日 下午 4:32
8月26日 下午 5:46
8月27日 上午 7:28
8月27日 上午 8:29
8月27日 上午 9:29
8月27日 上午 10:28
8月27日 上午 11:30
8月27日 下午 12:36
8月27日 下午 1:55
8月27日 下午 3:11
8月27日 下午 4:44
8月27日 下午 6:25
8月27日 下午 8:04
8月27日 下午 9:50
8月27日 下午 11:45
8月28日 上午 1:38
8月28日 上午 3:36
8月28日 上午 5:28
8月28日 上午 7:23
8月28日 上午 9:12
8月28日 上午 10:13
8月28日 上午 11:59
8月28日 下午 1:30
8月28日 下午 3:08
8月28日 下午 4:44
8月28日 下午 6:08
8月28日 下午 7:22
8月29日 上午 9:13
8月29日 上午 10:25
8月29日 上午 11:36
8月29日 下午 12:48
8月29日 下午 1:55
8月29日 下午 3:06
8月29日 下午 4:14
8月29日 下午 5:26
8月29日 下午 6:36
8月29日 下午 7:49
8月29日 下午 9:01
8月29日 下午 10:11
8月29日 下午 11:22
8月30日 上午 12:41
8月30日 上午 1:51
8月30日 上午 3:02
8月30日 上午 4:20
8月30日 上午 5:29
8月30日 上午 6:36
8月30日 上午 7:44
8月30日 上午 8:55
8月30日 上午 9:34
8月30日 上午 10:45
8月30日 上午 11:59
8月30日 下午 1:09
8月30日 下午 2:15
8月30日 下午 3:25
8月30日 下午 4:36
8月30日 下午 5:44
8月31日 上午 7:32
8月31日 上午 8:34
8月31日 下午 10:22
8月31日 下午 11:21
9月1日 上午 12:22
9月1日 上午 1:22
9月1日 上午 2:21
9月1日 上午 3:22
9月1日 上午 4:22
9月1日 上午 5:20
9月1日 上午 6:16
9月1日 上午 7:16
9月1日 上午 8:18
9月1日 上午 9:19
9月1日 上午 9:40
9月1日 上午 10:44
9月1日 下午 10:21
9月1日 下午 11:55
9月2日 上午 1:25
9月2日 上午 2:52
9月2日 上午 4:19
9月2日 上午 5:34
9月2日 上午 6:44
9月2日 上午 7:50
9月2日 上午 8:45
9月2日 上午 9:32
9月2日 上午 10:23
9月2日 上午 11:15
9月2日 下午 12:13
9月2日 下午 1:02
9月2日 下午 1:54
9月2日 下午 2:44
9月2日 下午 3:34
9月2日 下午 4:25
9月2日 下午 5:26
9月2日 下午 6:26
9月3日 上午 7:14
9月3日 上午 8:03
9月3日 下午 9:15
9月3日 下午 10:04
9月3日 下午 10:52
9月3日 下午 11:40
9月4日 上午 12:29
9月4日 上午 1:20
9月4日 上午 2:13
9月4日 下午 3:54
9月4日 下午 4:54
9月4日 下午 5:41
9月4日 下午 6:32
9月4日 下午 7:21
9月4日 下午 8:10
9月4日 下午 9:03
9月5日 上午 10:33
9月5日 上午 11:21
9月5日 下午 12:14
9月5日 下午 1:14
9月5日 下午 2:07
9月5日 下午 3:07
9月5日 下午 4:11
9月5日 下午 5:13
9月5日 下午 6:22
9月5日 下午 7:34
9月5日 下午 8:45
9月5日 下午 9:54
9月5日 下午 11:02
9月6日 上午 12:04
查看原文
其他
微软掏空Inflection,对GPT-5和OpenAI先留一手 | 笔记
Original
未尽研究
未尽研究
2024-08-23
最近微软对Infleciton的动作,把两位联合创始人和公司大部分员工招至麾下,再与Infleciton签署一项模型使用授权协议。微软为此支付的6.5亿美元,用来补偿Infleciton其他主要投资人。Inflection去年6月估值达到了40 亿美元,微软是最大的股东,领投了13亿美元。
纳德拉这一招,在硅谷被称为Aquihire (英文并购与招聘的合成词——编者)的基础之上,又有创新。
让人想起了在去年底OpenAI的董事会政变期间,
纳德拉一度想干的事情
:把被董事会解职的CEO奥特曼和总裁布洛克曼,以及签名请愿的约700名OpenAI员工中的很多技术骨干,以OpenAI同样的开价,招到微软,为他们成立一个独立的AI实验室。
微软也会为Inflection的团队成立一个独立的业务部门:Microsoft AI,由Inflection的联合创始人和CEO苏莱曼(Mustafa Suleyman )担任CEO。将整合Copilot, Edge和Bing,这是微软承载GPT-4应用的主要产品。
这个团队加入微软,是为了推动微软建立对外统一的个人AI体验。
如果你用过Inflection的对话应用Pi,其聊天功能中所体现的“情商”,是一大特点。Inflection称之为第一款个人AI产品。它的使命正是为每个人提供个人智能 。
Inflection最近才推出2.5版本,它将托管在微软的Azure云上,并且开放API。与OpenAI与微软的授权协议不同的是,Infletion还可以与其也的云厂商合作。
那剩下的Inflection呢?还有一名共同创始人霍夫曼( Reid Hoffman),并且新招了一名科技老将但并没有较强AI背景的怀特 (Sean White)担任CEO。霍夫曼还是微软的董事会成员,也是Inflection的投资者。
实际上,今年以来SOTA大模型已经形成了GPT-4、Gemini、Claude三足鼎立之势,其他闭源大模型已经前景暗淡,要么等待被收购,要么向特色应用领域发展。Inflection就是这样的处境。
微软挟OpenAI快速加持其主要产品,但除了云服务和股价取得收益,微软的核心产品,并没有撼动谷歌。尽管谷歌也有自己的问题,但谷歌在面C端部署AI的领域,依然对微软保持着显著的优势。
大模型如果不能走向个人AI,将无法实现规模化。微软在想尽一切办法创造个人AI体验,将Windows操作系统与Copilot深度集成,把GPT-4嵌入到微软的浏览器和搜索上,但在市场份额上几乎没有任何起色。微软还把Copilot装入自产的笔记本电脑Surface。所有这些产品组成的Copilot,有一种拼凑感,并没有建立起一体化的个人AI体验。
生成式AI大模型主导了用户体验,也激发起用户的期待。微软需要真正成功做出过一流大模型和AI产品的领军者加入其团队,而不仅仅是获得OpenAI的独家技术授权,才有可能将其技术与产品的整合尽快推进下去。Inflection的联合创始人苏莱曼和西蒙尼扬(Karén Simonyan),系出DeepMind。苏莱曼曾经是DeepMind的联合创始人和首席产品官,而西蒙尼扬曾领导了AlphaZero的开发团队,并且担任Inflection的CTO。
从长远来看,走向个人AI,以及更加广泛的应用领域,微软与OpenAI之间竞争的一面将会凸显。
微软总共投资了三家大模型公司,闭源的OpenAI、Inflection和开源的Mistral。对于前两者,微软采取了实际控制的方式。正如纳德拉在OpenAI董事会政变期间所说、后来又被
马斯克的诉状中所强调的那样
:
“我们拥有(OpenAI)所有知识产权和所有能力。如果OpenAI明天消失了,老实说,我不希望我们的任何客户为此担心,因为我们拥有继续创新的所有权利。这不仅仅是为了服务这个产品, 我们之间合作所做的事情,我们自己都可以去做。我们拥有人员,我们拥有计算能力,我们拥有数据,我们拥有一切。”
微软与OpenAI之间的这种合作关系,至少有两个方面正在引发监管层和市场的关注,第一个是反垄断当局的关注,第二个是对于微软这种把投资再用于其云计算的使用,从而导致其云计算业务增长、股价上涨的操作方式的合理性的关注。所以微软这次对Inflection采联了“招聘”和“技术授权”的方式。
微软也需要多留几手,万一OpneAI靠不住了呢?OpenAI非营利架构的一面,始终是个潜在的是非点。最近Claude3的推出,在许多方面已经超过了GPT-4,证明OpenAI的护城河也并不是那么深。如果大家都说OpenAI之所以领先,是因为有那么多的算力和数据,那这不正是微软提供的吗?
最近亚马逊的AWS强势推Claude3,谷歌除了推出Gemini大模型足以与GPT-4抗衡之外,还推出了开源模型Gemma;又传出谷歌与苹果正在密谋把Gemini设置为苹果设备上的默认模型,就像谷歌搜索那样,这将为谷歌大模型迅速获得一个面对20亿设备和10亿用户的入口。也许让微软更加感到不安的是,苹果也在与OpenAI接触。
夏季的GPT-5
最近传出GPT-5可能在夏季推出,将是GPT-4的10倍,20万亿参数,似乎与呼应了老黄祭出的算力“核弹”B200,号称构建的集群能训练出参数27万亿的模型。
扩展法则依然有效,但其性价比可能已经不是最好。在老黄与Transformer 八子在GTC活动上的对话中,他们承认依然牢记“
苦涩的教训
”,但都提到了Transformer架构的不合理性,例如用大算力去做非常简单的推理,以及迫切需要用更少的数据进行更准确的推理。我们在
去年底的预测
中认为GPT-5单纯的“扩展法则”的边际效益会下降。如果说会有明显的提升的话,一定还需要GPU和大模型的配套技术的发展。
例如对GPU更好的利用,需要解决存储墙的问题,集群需要更快连接。准确性的提升,可能更重要的是依靠其他手段,而不仅仅是更多的参数,甚至也不一定是更多的数据。例如智能体(Agent)的作用,以及把模型小型化并向边缘扩展,用本地的数据进行训练、微调和检索,帮助形成更加准确的推理,这就需要更好的相应的工具,以及RAG (增强检索生成)等技术。
在数据发生的地方进行推理是最有效的,这就需要层层的工具把大模型下沉到应用场景中去,边缘和终端那里去。
今年大模型更大规模的应用,已经比更大规模的大模型更重要。而应用不能再仅仅指望大模型的智能“涌现”了,只有更多基础设施和工具组件的配套,才能把现有大模型的推理和规划能力发挥出来,把外部的应用和知识调动起来。
吴恩达认为:
今年
AI
代理
工作流
将推动巨大的AI进步——可能甚至超过下一代基础模型的进步。
这是一个重要趋势,我敦促所有在AI领域工作的人关注它。
如今,我们大多数情况下都是在零样本模式下使用大型语言模型(LLM),让模型一次性地逐个生成最终输出,而不对其工作进行修订。这就像要求某人一气呵成地撰写一篇文章,从头到尾打字,不允许回退,却期望获得高质量的结果。尽管这很难,大型语言模型在这项任务上表现得惊人地好!
然而,有了代理工作流,我们可以要求LLM多次迭代处理一个文档。例如,它可能会采取如下一系列步骤:
规划大纲。
决定是否需要进行网络搜索来收集更多信息。
编写初稿。
仔细阅读初稿,找出不合理的论点或多余的信息。
根据发现的弱点修改草稿。
等等。
这种迭代过程对于大多数人类写作者来说是编写好文本的关键。对AI而言,这样的迭代工作流产生的结果比一次性写作要好得多。
Devin的亮眼演示最近在社交媒体上引起了很多关注。我的团队一直在密切关注编写代码的AI的演变。我们分析了多个研究团队的结果,重点关注算法在广泛使用的HumanEval编码基准测试中的表现。你可以在下面的图表中看到我们的发现。
GPT-3.5(零样本)的正确率是48.1%。GPT-4(零样本)表现更好,达到67.0%。然而,从GPT-3.5到GPT-4的改进与引入迭代代理工作流的改进相比相形见绌。实际上,嵌入在一个代理循环中,GPT-3.5的正确率可达到95.1%。
修改于
继续滑动看下一个
轻触阅读原文
未尽研究
向上滑动看下一个
您可能也对以下帖子感兴趣
{{{title}}}
文章有问题?点此查看未经处理的缓存