扬奇智能社区

其他

微软小模型击败大模型:27亿参数,手机就能跑

challenge、SIQA)、语言理解(HellaSwag、OpenBookQA、MMLU(5-shot)、SQuADv2(2-shot)、BoolQ)数学(GSM8k(8
2023年12月14日
其他

用活人脑细胞造AI系统!语音识别已成功,可无监督学习|Nature子刊

本文转自:量子位由真实人脑细胞构建的“迷你大脑”和微电极组成的AI系统,已经能够进行语音识别——从数百个声音片段中准确认出某个特定人的声音的那种。最近,一项颇为前沿的类脑研究登上了Nature子刊。这个特别的AI系统甚至可以进行无监督学习:研究人员只是一遍遍播放音频片段,不提供任何形式的反馈来告诉系统答对还是错。最终,该系统在两天的训练之后,准确率直接从最初的51%升到了78%。这,究竟是怎么实现的?类器官神经网络来了发明该系统的主要目的,是解决硅芯片的高能耗等问题。一般来说,这个问题的解题思路都是靠类脑计算。但这种思想下设计的“传统”类脑芯片大多数都是直接基于数字电子原理,完全模仿大脑功能的能力着实有限。在此,该研究直接用上了一个叫做“类器官”的东西:它指的是能够在实验室中利用人的干细胞培养出的微型器官,包含其代表器官的一些关键特性。具体而言,研究人员将活体脑细胞组成的脑类器官(形状类似小团球)和高密度微电极阵列进行连接,构建出一个叫做“Brainoware”的系统。微电极在Brainoware中的作用一是向类器官发送电信号,达到传送信息到“脑”中的目的;二是检测大脑神经细胞的放电响应,然后交给外部设备进行读取和解析。这样的系统可以表现出类似神经网络的功能,并可以进行无监督学习。将它连接到特定硬件,就可以被训练于语音识别。具体任务中,研究人员将8个人说日语元音的240个音频片段转换为信号序列,然后发送给系统,让它识别出某个人的声音。最开始,Brainoware的准确度只有30%-40%。但经过两天的训练之后,它就可以78%的准确率识别出特定说话者。作者在此强调,所谓的训练只是重复音频片段,不给予任何反馈,也就是所谓的无监督学习。不过,需要注意的是,目前Brainoware只能识别谁在讲话,但听不懂任何讲话内容。而在该实验之后,研究人员试着用一种药物来阻断脑类器官中神经细胞之间形成新的连接。结果发现,这样操作之后,系统的准确率就不会有任何改善了。作者解释,这说明Brainoware的学习能力取决于神经可塑性。未来的计算机会是由大脑组成的吗?今年三月份,该团队其实就是已经用该系统来尝试预测Hénon图了(数学领域中一种可表现出混沌行为的动力系统)。结果Brainoware也是在无监督学习了4天之后(每天代表一个训练周期),被发现它能够比没有长短期记忆单元的人工神经网络预测得更准。相比之下,后者可是经过了至少50个训练周期。而再往前一点,澳大利亚一家科研团队则试图教“盘中大脑”打乒乓球游戏,结果它5分钟内就学会了,速度比AI还快17倍。那么未来,计算机会由大脑组成吗?还不好说。如本文作者介绍,他们这个研究目前属于概念验证,后面还有很多问题要解决:例如,Brainoware系统的性能还能提高,但最重要的问题是类器官只能存活一到两个月。并且,Brainoware本身虽然不需要太多功耗,但维持它运转的外部设备的功耗水平并不低。诸如一系列等等问题。总的来说,有科学家预测,真正的通用生物计算系统可能需要几十年的时间才能创建。但不管怎么样,它的研究对我们进一步理解人脑的学习奥秘等问题都有帮助。参考链接:[1]https://www.nature.com/articles/s41928-023-01069-w[2]https://www.newscientist.com/article/2407768-ai-made-from-living-human-brain-cells-performs-speech-recognition/[3]https://www.genengnews.com/topics/artificial-intelligence/brainoware-organoid-neural-networks-inspire-brain-ai-hardware/—
2023年12月13日
其他

8x7B开源MoE击败Llama 2逼近GPT-4!欧版OpenAI震惊AI界,22人公司半年估值20亿

MoE是第一个开源MoE大模型的说法,有人出来辟了谣。在Mistral放出这个开源的7B×8E的MoE之前,英伟达和谷歌也放出过其他完全开源的MoE。曾在英伟达实习的新加坡国立大学博士生Fuzhao
2023年12月12日
其他

SantaGPT登场!GPT-4助力,为你解锁完美圣诞

本文转自:新智元【导读】圣诞将近,OpenAI推出SantaGPT,AI助力挑选礼物,彻底解决选择困难!2024的最后一个月,来自圣诞老人GPT的暖心陪伴不知不觉间,已经到了2024年的最后一个月。作为今年科技界版本之子的OpenAI,也是一刻都不能离开人们的视线。前段时间的董事会风波还没散尽,OpenAI就在12月的开头自己搞了波热度,——新推出了SantaGPT来迎接圣诞节的脚步。SantaGPT可以理解为穿上了圣诞老人衣服的ChatGPT,可以为用户提供个性化的关于圣诞节的各种建议。节日送礼物通常是一件让人头疼的事,这时SantaGPT将针对不同的对象,为你提供合适的建议。当然了,类似于讲一个和圣诞节相关的小故事,或者策划一下圣诞节的活动也不在话下。SantaGPT不但是圣诞老人版的ChatGPT,而且是由更强版本的GPT-4提供支持,所以有更强大的分析能力。——最重要的是,有了生成图片的能力之后,这个圣诞老人提供的建议会显得更加形象而有趣。SantaGPT一经推出就热度拉满,下图是某网站在当时统计的,各种应用调用次数的排名:SantaGPT直接登顶,只能说,不愧是OpenAI。面对如此火爆的SantaGPT,小编也尝试提问:今天的圣诞惊喜是什么?SantaGPT送了我一个玩具机器人,画得很可爱——不知道这个像素风是不是特意为我准备的?今天的圣诞惊喜是一个迷人的玩具发条机器人,披上了节日的色彩!如果你受到这个小机器人的启发,不妨考虑探索一下机器人的迷人世界——这是激发创造力和学习技术的绝佳方式。别忘了,节日期间是通过向有需要的儿童捐赠玩具来传递欢乐的最佳时机。寻找当地的玩具捐赠活动或慈善机构,与他人分享节日的快乐!感谢SantaGPT的建议,通过探索机器人的世界来激发创造力,至于学习技术我尽力而为吧......也感谢SantaGPT所传递的正能量,在喜庆的节日中也要想到分享快乐,尤其是那些需要关怀和爱的孩子们。下一个问题:给咱讲一个暖心的圣诞故事。很久很久以前,在一个神奇的圣诞夜,在一个白雪皑皑的小村庄里,住着一个名叫尼古拉斯的老玩具商。他的作坊里摆满了最迷人的玩具,但他最开心的事还是每年都会偷偷地把一个特别的玩具送给村里的一个孩子。有一年,他选择了一个名叫艾玛的小女孩,她全心全意地相信圣诞节的魔力,却从来没有一个属于自己的玩具。圣诞节的早晨,艾玛在圣诞树下发现了一个做工精美的木头娃娃,上面写着:「相信圣诞的魔力,它就会永远相信你」。这个简单的善举在村里引发了一个传统。每年,村民们都会匿名向有需要的人赠送一些特别的礼物,将欢乐和给予的精神传播开来。这个村子成了远近闻名的圣诞奇迹发生地,这一切都要归功于尼古拉斯和一个相信他的小女孩。小编不知道这个故事是怎么来的,只是觉得很温暖,传递善举的大家,留下了这个奇迹,在寒冷的冬夜,愿每颗心灵都能得到温暖。之后小编搜索了一下,圣诞老人是基督教的圣人圣·尼古拉斯的衍生形象,SantaGPT讲的这个故事算是既暖心、又贴切。如果想为你的那个ta送一件礼物,SantaGPT又会如何推荐呢?为你的伴侣准备一份能记录珍贵回忆的个性化礼物如何?一本定制相册,里面装满了你们一起冒险的照片,或者一件象征着你们共同经历的特殊时刻的艺术品。这就像用节日的喜悦包裹着你的一片心意!不得不说,这确实是一个很好的建议,载满回忆的相册,共同走过的日子,记忆中的美好时光,多年后再次翻起,依然感动。最后,为圣诞节的孩子们准备一个填色游戏吧!这是给孩子们的圣诞填色页!他们可以用自己喜欢的颜色把这个神奇的场景变为现实。涂色快乐,手工快乐!SantaGPT的答案都是个性化生成的,除了上面属于小编自己的答案,也有网友晒出了自己的答案:相比于小编的像素风机器人,这位网友得到了粘土风格的圣诞帽小狗,节日氛围拉满,还有一点糖果乐园的感觉。SantaGPT还不忘传达一下对狗狗的爱:「如果你有兴趣在狗狗收容所做志愿者,或者你家里有一只毛茸茸的朋友,我可以与你分享自制狗饼干的食谱。」AI的世界也给圣诞节赋予了无尽的想象空间,比如SantaGPT也给网友绘制了这样的图片:洁白的天地间,透露着温暖和节日的喜庆,我们似乎能听到远处小屋中的欢声笑语。也许,AI时代的童话会是这样的:「告诉孩子们,这是你寄信的地方,你在这里输入的任何东西都会在树下」。当然了,SantaGPT虽然温暖而美好,但毕竟是GPT-4加持的应用,需要ChatGPT
2023年12月11日
其他

OpenAI承认GPT-4变懒:暂时无法修复

本文转自:量子位对于越来越严重的GPT-4偷懒问题,OpenAI正式回应了。还是用的ChatGPT账号。我们已收到相关反馈!自11月11日以来没有更新过模型,所以这当然不是故意造成的。模型行为可能是不可预测的,我们正在调查准备修复它。也就是段时间内还修复不好了。然而网友并不理解,“一遍一遍使用同一个模型,又不会改变文件”。ChatGPT账号澄清:并不是说模型以某种方式改变了自己,只是模型行为的差异可能很微妙,只对部分提示词有劣化,员工和客户需要很长时间才注意到并修复。更多网友反馈,赶快修复吧,一天比一天更糟糕了。现在不但更懒,还缺乏创造力,更不愿意遵循指令,也不太能保持角色扮演了。GPT-4偷懒,网友花式自救此前很多网友反馈,自11月6日OpenAI开发者日更新后,GPT-4就有了偷懒的毛病,代码任务尤其严重。比如要求用别的语言改写代码,结果GPT-4只改了个开头,主体内容用注释省略。对于大家工作学习生活中越来越离不开的AI助手,官方修复不了,网友也只能发挥创造力自救。比较夸张的有“我没有手指”大法,来一个道德绑架。GPT-4现在写代码爱省略,代码块中间用文字描述断开,人类就需要多次复制粘贴,再手动补全,很麻烦。开发者Denis
2023年12月10日
其他

RAG+GPT-4 Turbo让模型性能飙升!更长上下文不是终局,「大海捞针」实验成本仅4%

本文转自:新智元【新智元导读】RAG或许就是大模型能力飙升下一个未来。RAG+GPT-4,4%的成本,便可拥有卓越的性能。这是最新的「大海捞针」实验得出的结论。在产品中使用LLM的下一阶段,重点是让它们生成的响应/回复更加「超前高速化」(hyper-specific)。也就是LLM需要按照不同的使用情况,针对数据集、用户、使用案例,甚至包括针对特定调用,生成完全不同的响应。这通常是通过
2023年12月9日
其他

专访谷歌CEO皮查伊:Gemini只是起步,微调还能让它更强

郝博阳美国当地时间周三,谷歌发布了其最新一代的人工智能模型Gemini。这个新模型体现了谷歌首席执行官桑达尔·皮查伊(Sundar
2023年12月8日
其他

微软Copilot史诗级更新!GPT-4 Turbo免费用,必应深度搜索30秒精准解答

Interpreter)能力,并在未来几周推出。另外,必应还开始了AI「深度搜索」功能的内测,可以把简单问题瞬间转化为详细的提示,不会prompt也不用怕了。如此看来,你还有必要买ChatGPT
2023年12月7日
其他

谷歌深夜放复仇杀器Gemini,最强原生多模态史诗级碾压GPT-4!语言理解首超人类

Play和Android等数十亿用户提供服务。它们还帮助了世界各地的科技公司经济、高效地训练大模型。除了Gemini,谷歌在今天还发布了迄今为止最强大、最高效,并且可扩展的TPU系统——Cloud
2023年12月7日
其他

五倍吞吐量,性能全面包围Transformer:新架构Mamba引爆AI圈

模型都必须是时间和输入不变的,这样才能提高计算效率。为此,研究者采用了一种硬件感知算法,通过扫描而不是卷积来计算模型,但不会将扩展状态具体化,以避免在
2023年12月6日
其他

计算机视觉GPT时刻!UC伯克利三巨头祭出首个纯CV大模型,推理惊现AGI火花

token。图1可以显示出,各种数据源是如何划分为视觉序列的。单张图像单张图像本身代表了视觉序列的最简单形式一一{图像,EOS}。研究人员使用了LAION
2023年12月5日
其他

AI震撼材料学!谷歌DeepMind新研究登Nature,一口气预测220万种新材料

本文转自:量子位只用一个AI,就获取了人类接近800年才能搞出来的知识成果!这是谷歌DeepMind新研究的一种材料发现工具,论文已经发表在Nature上。仅凭这个AI工具,他们发现了220万种理论上稳定的新晶体材料,不仅将预测材料稳定性的准确率从50%拉高到80%,而且38万种已经投入测试中。谷歌DeepMind表示,鉴于过去10年才发现28000种稳定材料,这项研究相当于近800年的知识积累。进展之神速着实让业内专家大开眼界了。据《金融时报》介绍,MIT教授Bilge
2023年12月4日
其他

《纽约客》万字长文还原OpenAI“宫斗”内幕

Sutskever)也公开谈论过不受约束的人工智能的危险。2023年3月,在OpenAI发布其迄今为止最强大的人工智能服务GPT-4后不久,包括“硅谷钢铁侠”埃隆·马斯克(Elon
2023年12月4日
其他

OpenAI宫斗终极揭秘!内鬼女董事被曝抢先开除Altman,微软反成最大赢家

Toner内鬼身份基本坐实,微软开启ABC三重plan,最终顺利摘桃成最大赢家。OpenAI动乱终极原因,疑似被揭秘!外媒纽约客长文曝出动乱始末,起因疑似是Altman和女董事Helen
2023年12月3日
其他

AI诊疗或更准确,来自顶刊新研究!大模型搞医疗现状:在CPU上成功落地

本文转自:量子位当大模型踏入医疗行业与人类医生一较高下时,它能达到什么水平?就在最近,医学顶刊BMJ便给出了这样一个结论:在遵循公认的临床抑郁症治疗标准方面,先进大模型可能比医生要强!从研究结果上来看,大语言模型(LLM)在轻度和重度抑郁症治疗方面,已经达到了公认的治疗标准。不仅如此,它们还不会被患者的外在因素所影响(包括性别、社会阶层等等),这就比人类初级医生还要强上一点了。这是否就意味着类LLM选手们现在可以“持证上岗”了呢?非也,非也。考虑到抑郁症治疗的持续性和患者病情的多样性,这项研究认为,真正的治疗过程还是需要人类医生来进行。不过研究同样指出,LLM对于现阶段医疗可以起到辅助决策的帮助:有可能加强初级卫生保健的决策,提高精神卫生服务的质量和公正性。毕竟自从LLM热潮以来,包括谷歌在内的众多AI玩家,都致力于推动其在医学领域中的作用。甚至像“男孩阅医无数,最后竟被AI成功诊出病因”这样的新闻也是频频被曝出。那么问题来了——LLM在现实中的医疗领域,到底走到了哪一步?LLM,已然深扎医疗一直以来,医疗行业都被视为AI落地的重要领域。在深度学习浪潮刚刚兴起之时,深度学习三巨头之一Hinton就说出了名言:5年内AI可以取代放射科医生。尽管这个表达有些激进,但它揭露了一个事实,至少在科研层面,AI和医疗的结合是非常被看好的。在过去一段时间以来,AI医疗场景不断开拓,比如利用CV算法识别病灶、检测心电图等。科技巨头们都紧跟趋势,如微软、谷歌、IBM等都在持续投入资金,推进AI医疗落地。尤其在ChatGPT趋势到来以后,LLM更强的学习能力、更好的迁移能力以及更深的理解能力,都为AI医疗落地打开新局面。而且这会是一个很确定的趋势,因为技术、应用落地和行业发展都准备好了。首先技术方面,今年是大模型爆发的一年,目前国内已经形成“百模大战”格局。诸多大模型厂商都主打To
2023年12月2日
其他

年终王炸!Amazon Q重磅登场,云巨头开创企业级生成式AI新赛道

Generator未来可能被证明是AI驱动内容创作中,新应用的催化剂。通过提供强大的工具和法律保障,亚马逊云科技有望在人工智能图像生成领域留下浓墨重彩的一笔。文本模型同步上新除了Amazon
2023年12月1日
其他

英伟达GPU一战成神!黄仁勋押注人工智能,建起万亿美元显卡帝国

本文转自:新智元【新智元导读】AI的火爆使得英伟达的市值水涨船高,成功跻身万亿美元俱乐部,作为公司的灵魂人物,黄仁勋一路走来经历了哪些故事?这位皮衣客又是如何一步步建立了他的显卡帝国?从神经网络AlexNet、到ChatGPT,再到生成式AI的大爆发,英伟达的GPU功不可没。在这场AI淘金热中,英伟达的市值水涨船高,成功进入万亿美元俱乐部,成为全球第6大市值最高的公司。若说英伟达的成功背后,一定离不开这位灵魂人物——黄仁勋。人人皆知乔布斯、盖茨等科技巨人的故事,而一直不愿意抛头露面的老黄,除了一身皮衣,更多的经历鲜有人知。这次,纽约客的最新采访深挖了老黄创业历程、管理方式、以及如何带领英伟达走向成功的过程。老黄早年那些事黄仁勋出生于1963年的台湾,九岁时,他和哥哥被送往美国,在肯塔基州的奥奈达浸信会学院(
2023年11月29日
其他

比尔盖茨:GPT-5不会比GPT-4好多少,生成式AI已达到极限

本文转自:量子位比尔·盖茨一句爆料,成为机器学习社区热议焦点:“GPT-5不会比GPT-4好多少。”虽然他已不再正式参与微软的日常运营,但仍在担任顾问,并且熟悉OpenAI领导团队的想法。消息来自德国《商报》(Handelsblatt)对盖茨的采访。盖茨表示,OpenAI内部包括奥特曼在内的很多人,都相信GPT-5将明显优于GPT-4。但他认为,有很多理由相信,当前生成式人工智能已经达到极限。(不过他也承认自己可能是错的)不知道盖茨看到了多少OpenAI内部未公开的信息,但至少可以肯定的是,GPT-5已经在开发了。在上周的风波之前,奥特曼也在接受英国《金融时报》采访时也承认了这一点,不过他没有透露任何发布时间表。另外GPT-5的商标也由OpenAI的运营子公司早早在各国申请好。盖茨更看好Agent关于GPT-5,奥特曼曾透露它需要更多数据进行训练,数据将来自互联网上公开可用的数据集以及公司的专有数据的组合。OpenAI最近呼吁其他组织提供大规模数据集,这些数据集“目前还无法方便地向公众在线访问”,特别是任何格式的长篇写作或对话。虽然GPT-5可能比其前身更加复杂,但奥特曼表示,从技术上来说很难准确预测该模型可能具有哪些GPT-4没有的新功能。“在我们训练该模型之前,这对我们来说就像一个有趣的猜谜游戏。”在盖茨看来,AI的幻觉问题几年内将大幅改善,成本也会快速下降,从而使新的、可靠的应用程序成为可能。但能力已经达到上限,不会再有像GPT-2到GPT-4那样重大的飞跃。那么下一个突破会是什么?盖茨认为是可解释AI,但预计要到下一个十年(2030-2039)才能实现。另外他还表示英伟达在AI芯片上并没有占据绝对优势,微软谷歌亚马逊包括OpenAI自己都在开发或考虑开发自己的AI芯片。好,那么问题来了——如果盖茨对GPT-5这条路径没那么有信心的话,现在的AI发展路,他又看好哪一条呢?答案是:AI
2023年11月28日
其他

OpenAI神秘Q*毁灭人类?爆火「Q*假说」竟牵出世界模型,全网AI大佬长文热议

Fan:Q*可能的四大核心要素Nathan在我之前几个小时发布了一篇博客,并讨论了非常相似的想法:思想树+过程奖励模型。他的博客列出了更多的参考文献,而我更倾向于与AlphaGo的类比。Jim
2023年11月26日
其他

iOS 18将成第一代AI原生系统?苹果真加急把AI装进系统,迎来史上最大更新

18新功能的开发,以专注于修复错误。暂停功能开发对于苹果来说是不太寻常的事件,尽管时间只有一周。这也许表明了苹果对于新的iPhone系统的重视,以及对于未来的野心。Gurman称,苹果内部将iOS
2023年11月25日
其他

OpenAI新模型曝重大飞跃:AGI雏形或威胁人类,也成Altman被解雇导火索!

,而最近一次,就是在过去几周内。在拨开无知的面纱和探索未知的边界时,我有幸在场,
2023年11月24日
其他

OpenAI首席科学家:ChatGPT已经出现意识,人类未来将与AI融合

Altman称Sutskever为世界上最受尊敬的研究人员之一,」Caldwell说。「他认为Sutskever能够吸引很多顶尖的人工智能人才加入。他甚至提到,Yoshua
2023年11月24日
其他

被OpenAI带火的Agent如何解放人力?清华等发布ProAgent

Automation(APA),结合大模型智能体帮助人类进行工作流构建,并让智能体自主处理工作流中涉及复杂决策与动态处理的环节,进一步提升自动化的程度,提高效率,将人类从繁重的劳动中解放出来。
2023年11月22日
其他

用AI大模型「改造」QQ浏览器搜索,腾讯独家揭秘

发布之后,各大互联网公司纷纷开始布局生成式大模型,作为其最匹配的应用场景之一,搜索引擎也受到了广泛关注,各大引擎都在积极尝试如何将自研的生成式大模型应用到搜索引擎系统之中。样本生成如图
2023年11月20日
其他

宇宙尽头是「计算」!AI大佬Wolfram最新演讲:LLM自主在计算空间探索,奇点降临就是现在

3.5只有200亿规模的参数?最新微软的论文暴漏OpenAI的ChatGPT-3.5的参数规模远低于1750亿!6.ChatGPT王炸升级!更强版GPT-4上线,API定价打骨折,发布现场掌声没停过
2023年11月19日
其他

AI+区块链终将改变世界

3.5只有200亿规模的参数?最新微软的论文暴漏OpenAI的ChatGPT-3.5的参数规模远低于1750亿!6.MIT学者独家撰文:ChatGPT的瓶颈与解药|甲子光年
2023年11月18日
其他

微软深夜放大招:GPT-4 、DALL·E 3、GPTs免费用,自研大模型专用AI芯片

3.5只有200亿规模的参数?最新微软的论文暴漏OpenAI的ChatGPT-3.5的参数规模远低于1750亿!6.MIT学者独家撰文:ChatGPT的瓶颈与解药|甲子光年
2023年11月17日
其他

MIT学者独家撰文:ChatGPT的瓶颈与解药|甲子光年

系列为代表的大语言模型就是这条“暴力美学”路线的产物。这条路现在看来是成功的,但也存在一定的局限性。从人工智能诞生的第一天起,计算机科学家们一直在比较以神经网络为代表的经验主义
2023年11月16日
其他

最强AI芯片英伟达H200深夜发布,Llama2-70B推理提速90%,2024年二季度发货

相互兼容,这意味着已经使用先前模型进行训练的人工智能公司将无需更改其服务器系统或软件即可使用新版本。H200
2023年11月15日
其他

保姆级自定义ChatGPT教程,无需任何代码!

3帮你生成一个助手头像,如果不喜欢可以自行修改,这一点非常人性化。然后点击“Configure”页面进行详细功能配置,是否需要添加
2023年11月14日
其他

谷歌DeepMind力证:GPT-4终局是人类智慧总和!Transformer模型无法超越训练数据进行泛化

本文转自:新智元Transformer模型是否能够超越预训练数据范围,泛化出新的认知和能力,一直是学界争议已久的问题。最近谷歌DeepMind的3位研究研究人员认为,要求模型在超出预训练数据范围之外泛化出解决新问题的能力,几乎是不可能的。LLM的终局就是人类智慧总和?论文地址:https://arxiv.org/abs/2311.00871Jim
2023年11月13日
其他

Sam Altman : 摩尔定律适用于一切

翻译自:https://moores.samaltman.com/作者:Sam
2023年11月12日
其他

ChatGPT王炸升级!更强版GPT-4上线,API定价打骨折,发布现场掌声没停过

本文转自:量子位ChatGPT,今天裂变成无数个GPT。OpenAI在首届开发者日上,正式公布自定义GPT。还将上线“GPT商店”,与创作者分享收入。CEO山姆·奥特曼现场登台演示,3分钟不到,只凭几步操作做好一个“创业导师GPT”。接下来,“创业导师GPT”就可以根据奥特曼本人过去的演讲内容,回答创业相关问题。刚刚出炉的新GPT,可以在公司内部共享或对所有人公开。从此,“GPT开发者”像“iOS开发者”一样成为了新的职业,让AI替你赚钱的梦想成真了。与此同时,现有的GPT-4也迎来一大波更新。新版本GPT-4
2023年11月8日
其他

刚刚!马斯克重磅宣布:xAI 的大模型Grok来了!为了人类的终极理解~(内附白名单申请地址)

且相同提示下进行评估。必须注意的是,我们没有为此评估而进行任何调优努力。这个实验作为一个在数据集上从未明确调优过的“现实生活”测试。我们在模型卡片中提供了Grok-1[1]的重要技术细节摘要。xAI
2023年11月6日
其他

图灵三巨头激战持续升级!吴恩达痛批美国AI禁令扼杀开源,马斯克都下场了

本文转自:新智元关于AI风险监管的大佬论战,还在不断升级。整个晋西北已经乱成一锅粥了!而美国政府刚刚发布的关于人工智能系统的首个法规,也正是导火索之一。图灵三巨头关于AI监管必要性的大混战不断升级中,还引来了吴恩达的下场。上一次看到几大巨头纷纷正面对峙的盛况,还是在上一次!相对Hinton、Bengio等人呼吁加强对AI技术监管,否则可能引发危险的「AI末日论」,LeCun和吴恩达坚决站在另一边——与其担心「AI引发世界末日」这种虚无缥缈的风险,AI强监管所带来的巨头垄断,才是从业者和政策制定者该真正关心的问题。现在,各位支持AI末日论的大佬们,已经被划分派别了:马斯克属于救世主情结;Hinton被划为世界级的怪人;Bengio则是无可救药的天真理想主义者。Sam
2023年11月5日
其他

怎么让幻觉降低30%?

关键概念指的是MLLM的输出中最可能存在幻觉的存在性目标,例如上图描述中的“自行车;垃圾桶;人”。我们可以Prompt大语言模型来提取出这些关键概念,这些关键概念是后续步骤进行的基础;问题构造:
2023年11月3日
其他

比特币将成为人工智能的首选货币

Hayes将阐述为什么中本聪的创造将成为人工智能的首选货币。作者将把他的论点作为一系列逻辑结论来提出,这些结论相互基础,以「证明」人工智能将选择比特币作为其经济行为的计价货币。原文作者:Arthur
2023年11月2日
其他

ChatGPT 3.5只有200亿规模的参数?最新微软的论文暴漏OpenAI的ChatGPT-3.5的参数规模远低于1750亿!

本文来自DataLearnerAI官方网站:https://www.datalearner.com/blog/10516986725946652022年11月底发布的ChatGPT是基于OpenAI的GPT-3优化得到的可以进行对话的一个产品。直到今年更新到3.5和4之后,官方分为两个产品服务,其中ChatGPT
2023年11月1日
其他

刚刚,百川智能Baichuan2-192K发布,上下文窗口全球最长!一次读完《三体》,拿下7个SOTA

本文转自:新智元全球最长上下文窗口来了!今日,百川智能发布Baichuan2-192K大模型,上下文窗口长度高达192K(35万个汉字),是Claude
2023年10月31日
其他

做情绪识别,有必要用LLM吗?

卷友们好,我是尚霖。情绪识别在各种对话场景中具有广泛的应用价值。例如,在社交媒体中,可以通过对评论进行情感分析来了解用户的情绪态度;在人工客服中,可以对客户的情绪进行分析,以更好地满足其需求。此外,情绪识别还可以应用于聊天机器人,通过实时分析用户的情绪状态,生成基于用户情感的回复,从而提供更加个性化的交互体验。对话情感识别(Emotion
2023年10月30日
其他

Midjourney重大升级,网页版正式上线!生成图像真实清晰

本文转自:新智元AI图像Midjourney进行了重大更新,将其服务完全迁移到浏览器上,以提供更多功能和改善用户体验。就在昨天,AI图像Midjourney进行了一波重大升级,计划将其服务完全迁移到浏览器上!这次更新的主要目的是为了提升用户体验,使用户能够轻松地享受更多的服务。全新的Midjourne网站的第一版已经正式上线。用户可以根据需求使用图像搜索和提示的功能。从此,被Midjourney用户不用再忍受Discord那样迷宫一般的用户界面,能够专心享受Midjourney生成的高质量图片。并且也能更快速地查看图像,我们直接在浏览器就能生成完美的图片,并完美地融入到UI界面。Midjourney提到,此次更新的的功能将继续延续下来,用于下一个版本。那么,Midjourney新版本的推出意味着什么呢?Midjourney网站上线Midjourney在Discord上运行得非常成功,而此次更新,给用户带来更好的交互体验,生成与查找都能在网页端完成!以往生成的图片都可以展示出来。全新的Midjourney网站具有时尚、快速和优雅的特点。在这里,你可以找到来自社区的创意灵感和提示。不仅如此,你还可以与其他用户分享自己创造的作品,例如分享一张漫画风格的蜘蛛侠鞋子图片。而其他用户可以根据这个创意生成类似钢铁侠风格的鞋子图片。或者是绿巨人风格鞋子的图片。你还在网站上可以看到各式各样的创意和灵感。「银屏秋烛冷画屏,轻罗小扇扑流萤。」这为创作者提供了一个展示作品的平台,同时也为观众提供了一个欣赏和互动的机会。这个平台的多样性和创意丰富度将使每个人都能找到自己感兴趣的内容。例如,下面这张图片呈现了漫画风格的田野景观,收到了大量点赞和喜爱。Midjourney在Discord上运行得非常成功,但是用户可能因为复杂的聊天软件望而却步。因此,提供一个更简便的浏览器版本为初创公司带来了增长机会,使更多用户能够轻松访问和使用这个出色的工具。更高质量的图像不仅如此,就在前几天,Midjourney发布了新版本的4倍分辨率图像生成器,清晰度得到了进一步提升。用户还可在放松模式(relax
2023年10月29日
其他

腾讯混元大模型开放文生图;微软AI投资重心或转向应用和业务;国产大模型10月榜单公布丨AIGC大事日报

Tokens,降本增效成果显著。该模型已全面开源,支持免费商用。据悉,元象XVERSE于2021年初在深圳成立,致力于打造AI驱动的3D内容生产与消费一站式平台,其创始人姚星是前腾讯副总裁和腾讯AI
2023年10月27日
其他

GameGPT进军游戏制作!全自动生成游戏,时间可缩百倍

本文转自:新智元GameGPT出世,多代理多线程完美再现游戏制作流程!不得了了!GPT技能树再成长,现在直接连游戏都能做了!?要知道,现在这个时代,已经不是过去那个做个小游戏就可以抢占市场的时代了。如今的游戏开发流程超级复杂。先说人力,每个游戏团队的人员都是数以几十甚至上百来记。有人负责编程,有人负责美工,有人负责维护,等等。每个游戏还都有庞大的代码库、素材库。结果就是,开发一款优秀的游戏大作,需要大量人员,投入大量时间才能完成。而这个时间周期,往往要长达数年。更直观的,就是钱。游戏团队开发一款能让人们记住并且爱玩儿的大作,预算动不动就要超过1亿美元。要不然怎么说,游戏制作算是一种用爱发电呢。现在,情况有变!有研究人员开发了一个叫GameGPT的模型,GameGPT可以整合多个AI智能体(agent)来自动完成游戏开发中的部分流程。而不同的智能体各司其职,工作起来井井有条。有智能体负责审查游戏的设计计划,并进行相应的修改和调整;有的负责将任务转化为具体的代码;有的负责对上一步生成的代码进行检查,对运行结果进行审核;还有智能体负责验证全部的工作是否符合初始预期。如此这般,通过细化分解工作流程,GameGPT就可以简化AI智能体的工作。这种各司其职会更加有效率,实现起来也比一个全能型的智能体完成一切要简单得多。研究人员表示,GameGPT可以简化传统游戏开发流程中一些重复和死板的内容,比如代码测试。大量开发人员就可以从繁杂的检验工作中解放出来,专注于AI所不能替代的,更有挑战性的设计环节。当然,这篇论文目前还处于一个比较初步的阶段。目前还没有任何具体的结果或者实验来证明性能上的提高。换句话说,还没人用GameGPT真的开发过游戏,这个模型目前还处在概念形成阶段,在有具体的应用结果以及可量化的数据之前,咱也不好评估。不过,总归是个努力的方向。有网友表示,人们对LLM的想法是有一定偏差的。现在,研究人员有了一种能够100%解决NLP问题的工具,而人们却只关心如何实现某些工作流程的自动化。举例来说,想象一下如果游戏世界对你的决定做出的反应,要比你在五分钟内判断出基于规则的硬编码引擎的反应更正常,那将会是怎样的情景。再想象一下,如果一款游戏能根据你做出的决定(比如在路上随机屠杀你看到的敌人等),为你临时安排一些支线任务,那会是什么场景。而开发者在创建这样一个系统时,会使用提示工程来指导LLM,而不是编码这些东西。但是,这样做的目的不是为了节省成本,而是为了在以前无法制作更多游戏的阶段制作游戏(是不是有点拗口)。GameGPT首先,让我们来看看GameGPT模型的大框架——全流程。可以看到,作者将每个智能体拟人化,更生动地展示了他们是如何各司其职的。流程最左侧是用户端,向GameGPT输入prompt,然后开发经理和审核进行初步计划。接着,再把需求发送给开发工程师,以及游戏引擎工程师,来执行具体的任务,生成代码。最后检查一下有没有遗漏,有的话发回左侧,再跑一遍。没有就继续向右,由负责检查的工程师来进行testing。AI开发游戏??实际上,AI开发游戏历史的雏形也许可以追溯到更早。AI在游戏开发中的应用可以追溯到「星际争霸」和「暗黑破坏神」等经典游戏。在当时,开发人员需要用AI系统来制作交互式的虚拟世界和角色。而这些系统已成为此类互动平台开发的标准配置。早期和游戏开发AI相关的研究强调控制非玩家的角色(NPC),而随着自然语言处理(NLP)技术的发展,出现了一些利用深度学习技术生成关卡的开创性工作。其中代表作是MarioGPT,它通过微调的GPT-2模型成功生成了「超级马里奥兄弟」中的部分关卡。而众所周知,LLM又在今年取得了巨大进步,在NLP和计算机视觉(CV)领域都取得了不错的成绩。我们知道,LLM的训练是一个多阶段的过程。初始阶段包括在广泛的语料库中训练这些模型,促进基本语言能力的获得。随后就是更重要的阶段了,通过指令(instruction)生成各种NLP任务的数据对模型进行微调。这种指令调整,增强了模型在广泛应用中的泛化能力,从而可以让LLM能够在之前训练中没有执行过的任务中取得零误差的性能。最后,人类反馈强化学习(RLHF)阶段保证了模型的结构完整性和可靠性。这里还有一点需要注意——RLHF阶段能让模型生成模仿人类风格的内容,从而增强其作为智能体的多功能性。此外,LLM的进步还促进了智能体在软件开发过程中的自动化。许多研究都曾经把目光放在过这个问题上——如何开发一个基于LLM的智能体,用来执行不同的任务。比方说AutoGPT就曾经采用LLM智能体来处理现实世界中的某些决策任务,而HuggingGPT则采用的是单个LLM作为一种控制器,来协调完成更加复杂的AI任务。虽说这些方法都依赖于唯一的LLM智能体,但它们都加入了一个审核者(就是上面流程图里的reviewer)来完善决策。还是拿AutoGPT举例,模型会从监督学习器中获取一些辅助性的意见来提高自身性能,HuggingGPT也可以接入GPT-4,弄成一个reviewer,来评估决策的准确性。还有一些别的例子,比方说MetaGPT就引入了一个多智能体框架,可以用于各种软件的自动化开发。而回到我们今天讨论的游戏开发,我们要知道,与一般的软件开发不同,游戏开发行业的运作需要紧跟潮流,因此整个开发过程必须更加精确和简洁,以达到最佳效率。此外,在没有幻觉和高精度的情况下,调整和使用单个LLM来服务于游戏开发的整个开发周期是不切实际的,而且成本高昂。因此,游戏开发AI的框架需要多个reviewer参与,这样就能有效缓解语言模型所固有的幻觉倾向。研究人员还发现,在游戏开发中,语言模型还有另一个局限性——冗余性。LLM在游戏生成时,可能会生成不必要的、无信息量的任务或代码片段。为了有效解决幻觉和冗余问题,今天的主角——GameGPT战略性地采用了多种方法来解决这个问题,包括双重协作、通过内部词汇库进行指令调整以及代码的解耦。值得我们关注的是,双重协作涉及到LLM与小型深度学习模型之间的互动,以及负责执行的智能体与reviewer智能体之间的协作参与。研究人员表示,这些协同作用已被证明,在减轻GameGPT的幻觉和冗余方面是有效的。方法介绍接下来,研究人员从全流程剖析一下GameGPT的创新。首先,在游戏设计阶段,在收到用户请求后,GameGPT的任务包括生成整个游戏的开发计划。这个计划阶段是关键步骤之一,极大地影响了整个开发过程的无缝进展。这个阶段由基于LLM的游戏开发经理策划,先提出一个初始计划,随后分解成任务列表。值得注意的是,由于LLM固有的局限性,这个初始计划经常会出现幻觉,从而产生意想不到的任务,包括没有信息或不必要的冗余任务。为了应对这些问题,研究人员提出了四项可以减轻这些难题的策略,这四种策略相互正交的,并且可以分层执行以获得更好的效果。方案一:对传入请求进行分类,目的是辨别游戏的类型。目前,GameGPT框架支持五种不同游戏类型的开发,即:动作、策略、角色扮演、模拟和冒险。对于每种类型,研究人员都会提供标准化的计划模板,指导游戏开发经理智能体使用相关信息完成模板。通过采用这种方法,冗余任务的频率显著降低,同时减少了幻觉发生的可能性。策略二:涉及计划审查员智能体的参与,这是另一个基于LLM的代理。这个智能体通过精心设计的prompt进行操作,以此来对任务计划进行全面的审查。它的主要目标是尽量减少幻觉和冗余的发生。该智能体评估计划并提供反馈,旨在改进并提高其准确性、效率和简洁性。同时,这一部分生成的指令可以作为游戏开发经理智能体的新输入,使任务计划更加准确和完善。策略三:通过专门的指令来调整游戏开发经理智能体的LLM本身,以便更好的进行游戏开发层面的规划。这个微调过程的目的就是让模型能生成一个既准确又简洁的计划。为了方便起见,研究团队收集并整合了一个内部数据集,其中包括许多输入输出的搭配。虽然这些组合在长度或结构上不符合标准格式,但它们都围绕着游戏开发的要求。这部分固定搭配由业内的开发人员提供。通过采用这种方法,研究人员有效地弥合了LLM的一般语言能力与游戏开发规划能力之间的差距。策略四:规划阶段的「安全网」。在整个计划过程中,游戏开发经理智能体始终在前端界面上与用户分享中期结果,使其余的智能体能够随时了解正在进行的开发是什么。为了增强这一点,研究人员集成了一种交互式方法,使用户能够根据他们的期望积极地审查、纠正和增强计划。这种方法也保证了设计计划和用户需求之间的一致性。说完了这些策略,我们来看看GameGPT的优越性。首先,这个模型中的任务分类过程要求在识别任务类型及其对应参数方面具有很高的准确性。因此,研究人员为了确保这一阶段的准确性,创建了一个名为游戏开发工程师的智能体。该智能体由两个模型共同组成,它们协同参与任务分类的流程。这种协作方法提高了任务识别的准确性和有效性。同时为了避免LLM幻觉的出现,提高任务分类的准确性,研究人员提供了游戏开发中可能出现的任务类型列表。为了对此进行更好的分类,他们采用了BERT模型。BERT模型已经用内部数据集进行了完整的训练。该数据集包含针对游戏开发任务所量身定制的各项数据条目。而输入则是从预定列表中绘制任务,而输出对应的则是任务的指定类别。任务类型和参数的审阅都在这个阶段进行,引入一个叫做任务审阅人员的智能体,主要负责每个类别的识别和参数是否合理。评审(review)的过程包括审核任务类型是否在预定范围内,是否是最适合的任务。同时,它还会检查参数列表,看看它是否与任务一致。某些场景下,比如一些基于上下文任务信息的,或者用户请求无法推断参数的情况,GameGPT采用了一种主动的方法来解决。Reviewer通过在前端界面上启动提示,并请求参数所需的附加信息来吸引用户注意。这种交互方法的好处在于,即使在自动推理不足的情况下也能确保论证细节的完整性。此外,还有另一个智能体负责识别任务之间的依赖关系,并构造一个封装这些关系的图表。在建立该图之后,再采用算法来对该图进行遍历筛选,由此产生一个确定的任务执行顺序。这个过程确保了模型可以按照任务的依赖关系有序和系统地执行,从而产生连贯和结构化的开发流程。另一个问题是,使用LLM生成冗长的代码会带来更大的幻觉和出现冗余的风险。为了解决这个问题,研究人员引入了一种新的方法来解耦游戏设计中出现的代码,简化了LLM的推理过程,从而极大程度减轻了幻觉和冗余。这个方法也并不难理解——研究人员会将预期的脚本划分为许多长度更短的代码片段,以供LLM处理。这种解耦方法大大简化了LLM的工作。还有一种叫做上下文学习的有效推理方法,也可以有效地减轻幻觉。此外,GameGPT中应用的另一种消除幻觉的技术,包括为每个任务生成一组K个代码的代码片段。这些代码片段随后会在虚拟环境中进行测试,并同时呈现给用户。测试过程和用户反馈都被用来识别和消除有问题的代码片段,最终只留下最可行的选项来执行。这种方法同样有助于进一步减少幻觉的发生。此外,研究人员还有一个内部的库,包含为游戏开发设计的大量代码片段。每一个代码片段都由标签器进行了注释,提供了明确说明其预期目的的说明。概括一下就是,为了让代码不冗余,不幻觉,开发人员做了两手准备,事前的和事中的。同时,上面提到的这个库也是对模型进行微调的宝贵资源。代码审查和改进在游戏引擎智能体生成代码之后,代码审查智能体会对代码库进行彻底的审查和检查。该智能体会进行全面的评估,努力找出任何可能会偏离原始请求的实例,或代码中出现的意外幻觉。经过彻底的审查,智能体不仅能标记出潜在的差异,而且还能据此提供改进代码的建议,最终产生更为合理的版本。在审查过程之后,修改后的代码以及智能体的反馈都将通过前端界面与游戏引擎工程师智能体和用户共享。如果用户认为有必要,可以直接通过前端界面提供代码修改建议。之后这些建议会继续传递给代码审查智能体,它会进行评估,并有选择性的合并这些建议,从而进一步生成一种协作和迭代的方法来增强代码。最后,一旦代码生成完毕,该干的也都干完了,责任就落到了游戏引擎测试智能体的身上,由这个智能体来负责执行生成的代码。在这一阶段,该智能体还会遵循在前一阶段所制定的执行顺序。具体的执行过程包括将每个单独任务的代码发送到游戏引擎,进行执行,并在执行期间持续跟踪,生成日志。在完成执行序列中指定的所有任务后,智能体会合并整个执行过程中生成的所有日志。最终,这种编译生成了一个简洁而全面的摘要,再通过前端界面呈现给用户。此外,测试工程师智能体还会识别并报告在执行过程中观察到的任何回溯情况的出现。这些回溯会作为关键的指示器,指示AI对执行流程或代码进行更进一步的调整,使整个过程得以细化,并有助于生成一个完美的最终产品。最后,再来看下多个代理同时工作的框架公式:首先,在GameGPT中,每个代理都有一个私有的记忆系统,并且它们可以访问共享的公共内容,以获取必要的信息来指导其决策过程。对于时间步长为t的代理i来说,这一过程可表示为:其中pθi对应的是和代理i相关的LLM或专家模型,Oit表示代理i在时间步长为t时的产出或可交付成果,Mit和Pt分别指截至时间步长t内,所有的私人记忆和必要的公共记录。由于游戏开发行业的特殊性和大语言模型的局限性,在GameGPT中,具有不同角色的多个代理的存在至关重要。鉴于游戏开发周期通常长达数月,如果只依赖一个拥有全面记忆和上下文信息的单个代理,语言模型(包括LLM)的效率将大打折扣。而随着时间的推移,项目变得越来越复杂,这种方法也会带来可扩展性方面的挑战。此外,考虑到LLM所处理的标记数量的限制,在大型游戏开发项目中使用具有全面内存的单独代理并不实用。还有,在LLMs中观察到的幻觉和冗余等固有问题凸显了多个代理之间协作的重要性,尤其是那些具有批判性角色的代理。这种协作对于减轻LLM幻觉和冗余带来的挑战意义重大。因此,GameGPT才利用一系列不同的角色来促进其运作,包括整个游戏开发周期的职责。这些角色包括上文提到的游戏内容设计师、游戏开发经理、计划审核员、游戏开发工程师、任务审核员,还有游戏引擎工程师、代码审核员和游戏引擎测试工程师。在整个游戏开发过程中,每个角色都承担着不同的任务。参考资料:https://arxiv.org/pdf/2310.08067.pdf推荐阅读58同城:《智能客服留资机器人对话算法实践》字节跳动《文本归一化与中文纠错》浙大滨江研究院《NLP的矛与盾》网易伏羲《图神经网络在游戏场景中的研究与落地》滴滴《三维技术发展与实践》网易云音乐
2023年10月27日
其他

文心大模型 4.0 发布!李彦宏:相比 GPT-4 毫不逊色

原生应用才是大模型的价值所在。大会上,李彦宏宣布“我们的搜索、如流、地图、网盘、文库等,都将以一个全新的面目与大家见面,”并表示,分享上述这些应用的目的,是为了拓展想象力、激发更多人做出更惊艳的
2023年10月19日
其他

需要多少GPU显存才能运行预训练大语言模型?大语言模型参数规模与显存大小的关系估算方法~

开源大语言模型的发展非常迅速,其强大的能力也吸引了很多人的尝试与体验。尽管预训练大语言模型的使用并不复杂,但是,因为其对GPU资源的消耗很大,导致很多人并不能很好地运行加载模型,也做了很多浪费时间的工作。其中一个比较多的问题就是很多人并不知道自己的显卡支持多大参数规模的模型运行。本文将针对这个问题做一个非常简单的介绍和估算。大模型消耗的显存简介大模型预训练阶段的显存消耗大模型微调阶段的显存消耗估算大模型推理阶段的显存消耗大模型消耗的显存简介在详细说明大模型需要消耗的显存大小之前我们需要先明确几个概念。一个就是大模型在不同阶段对显存的消耗是不同的。但是大致可以分为三个阶段或者说三个场景。即大模型预训练阶段、大模型微调阶段和大模型推理阶段。在预训练阶段,大模型通常选择较大规模的数据集获取泛化能力,因此需要较大的批次等来保证模型的训练强大。而模型的权重也是从头开始计算,因此通常也会选择高精度(如32位浮点数)进行训练。需要消耗大量的GPU显存资源。在微调阶段,通常会冻结大部分参数,只训练小部分参数。同时,也会选择非常多的优化技术和较少的高质量数据集来提高微调效果,此时,由于模型已经在预训练阶段进行了大量的训练,微调时的数值误差对模型的影响通常较小。也常常选择16位精度训练。因此通常比预训练阶段消耗更低的显存资源。在推理阶段,通常只是将一个输入数据经过模型的前向计算得到结果即可,因此需要最少的显存即可运行。下面是针对大模型在不同阶段消耗的显存的详细估算。大模型预训练阶段的显存消耗大模型在预训练阶段需要加载完整的模型结构和大量预训练数据,所以显存需求很大,通常需要几十GB到上百GB。常见的预训练数据集如ImageNet图片数据集、维基百科文本corpus等都比较大。预训练大模型的显存消耗估算涉及多个因素。以下是一个简化的步骤来估算显存消耗:模型参数每个参数通常是一个32位浮点数(float32),需要4字节的存储空间。如果模型有P个参数,那么参数的总大小为:P×4字节中间激活对于每一层,都会有一些中间的激活值。这些激活值的数量通常与模型的宽度和输入数据的大小有关。假设每层的激活需要A个浮点数,那么激活的总大小为:A×4字节梯度每个模型参数在反向传播时都会有一个对应的梯度。梯度的总大小与模型参数的总大小相同:P×4字节优化器状态一些优化器(如Adam)为每个参数存储额外的状态信息。例如,Adam存储每个参数的动量和梯度的平方值。对于Adam,状态的总大小为:2×P×4字节批次大小批次大小会影响中间激活的数量。假设批量大小为B,那么激活的总大小为:B×A×4字节其他因素正则化、Dropout、Batch
2023年8月23日
其他

【干货篇】58同城:智能客服留资机器人对话算法实践(附视频回放+PPT下载)

RNN无法处理长距离的依赖的问题,还能够解决神经网络中常见的梯度爆炸或梯度消失等问题,在将其应用于文本分类,可以获得更好的句子级别全局信息。(3)问答模型之DSSMDSSM即Deep
2022年6月27日
其他

【干货篇】浙大滨江研究院:NLP的矛与盾(附视频回放+PPT下载)

分享嘉宾:韩蒙,浙江大学滨江研究院数智融合研究中心主任整理出品:扬奇智能社区PPT下载及视频回放:https://www.jancsitech.net/#/community导读本次分享主要针对NLP领域有关的对抗攻击和对抗防御问题,面向文本数据离散难优化、扰动易感知、可用性难保持等挑战,介绍白盒和黑盒条件下针对最先进的文本分类系统生成高质量对抗文本的通用框架以及相应的一套完整的防御方案。作为君同智能的联合创始人,韩博士还分享了他们团队有关NLP智能算法评测系统的一个现场Demo以及该团队有关的人工智能安全方面的最新进展。嘉宾介绍:韩蒙,浙江大学滨江研究院数智融合研究中心主任,君同智能联合创始人。毕业于美国佐治亚理工学院&佐治亚州立大学,获计算机博士及MBA学位,IEEE资深会员,入选浙江省“海外高层次”人才计划。专注于从事人工智能安全、数据驱动的智能、以及数据安全和隐私保护问题的有关研究。截止2022年,韩蒙博士共计发表学术会议及期刊论文,图书章节等出版物60余篇,获得2个优秀期刊论文奖,3个国际会议最佳论文奖和2个国际会议最佳论文候选奖,研究项目获得美国联邦政府,州政府等多个基金项目的资助。韩博士在人工智能安全及隐私保护有关的研究成果获得了多个相关的产业转化,有关成果在涂鸦、木链等多个企业得到了转化并服务了超千万级别的智能终端设备和百余家单位。今天分享下我们团队在自然语言处理方面的研究工作以及产业落地过程中跟NLP有关的实践型应用。今天主要分享机器学习对于自然语言处理的有关工作,近年来机器学习的使用已越来越广泛,像基于机器深度学习的文本理解、信息提取、情感分析等一系列任务。与此同时,我们也看到各个公司也在不断推出他们具有代表性的机器学习服务,aws、Google、IBM,包括国内的百度、腾讯、阿里都提供了一些相应工作。我今天讲“自然语言的矛与盾”,稍有不同是我们从可靠、不可靠的角度去看待自然语言处理。本质上自然语言处理仍是一个机器学习的模型,机器学习在图像、语音很多研究工作中有一系列的对抗攻击案例。具体在这个场景下,比如左侧是Goodfellow最早期在ICLR的一篇文章,在图像上增加一些噪音,图像像素不发生巨大变化的前提下,图像无法再被原有的机器学习模型所准确的识别出来,这是一个非常经典的场景。右侧是当我们问How
2022年6月13日
其他

【干货篇】字节跳动:文本归一化与中文纠错(附视频回放+PPT下载)

分享嘉宾:于倬浩,字节跳动抖音算法部门整理出品:扬奇智能社区PPT下载及视频回放:https://www.jancsitech.net/#/community导读中文纠错技术是实现中文语句自动检查、自动纠错的一项重要技术,其目的是提高语言正确性的同时减少人工校验成本。纠错模块作为自然语言处理最基础的模块,其重要程度不言而喻。在日常生活中,我们经常会在微信、微博等社交工具或公众号文章中发现许多错别字。我们在几个方面对文本出错概率进行了统计:在新媒体领域中,文本出错概率在2%左右;在语音文本识别ASR/OCR领域中,出错率最高可达10%以上。近期的顶级会议上,也有一些优秀的工作,本次分享会上,也会对其中较为有趣的工作进行覆盖,和大家探讨。嘉宾介绍:于倬浩老师,字节跳动抖音算法部门,就读于中国人民大学,目前在字节跳动抖音算法部门。大学期间获得ACM-ICPC竞赛金牌,曾获得NOI全国信息学奥林匹克竞赛银牌。中文纠错技术是一项非常基础的NLP技术,实现中文语句自动检查、纠错,由于用户无意或者有意产生的,所以这个问题任务也存在一个对抗的问题,尽管现在已经有很多成熟的方案。这个任务本身的应用场景,除了对文本本身进行纠错,改善文本的质量外,还在一些其他应用场景比如说有搜索引擎或者说ARS和OCR文本的纠错,或者是内容安全相关的风控场景,都有一定需求。因为这也是一个相对来说比较成熟的任务,所以有挺多优秀的开源实现。比如在shibing624/pycorrector这个项目也有超过3000
2022年5月27日
其他

【干货篇】网易伏羲:图神经网络在游戏场景中的研究与落地(附视频回放+PPT下载)

分享嘉宾:赵明浩,网易伏羲用户画像研究员整理出品:扬奇智能社区PPT下载及视频回放:https://www.jancsitech.net/#/community导读近年来,作为一种高效地学习非欧式空间数据表征的神经网络图神经网络(GNN),在学术界以及工业界均取得广泛的研究进展与落地价值。另一方面,游戏中丰富多元的推荐与社交玩法,也为GNN提供了广泛的应用场景。本次分享将结合网易伏羲用户画像研究组在GNN的研究与落地项目,简要介绍图神经网络的基础概念以及在游戏帮会推荐、社交推荐等场景中的应用。嘉宾介绍:赵明浩,网易伏羲用户画像研究员硕士毕业于浙江工业大学(省优秀毕业生),师从宣琦老师,对图神经网络,推荐系统以及组合优化等领域感兴趣,目前已在TKDE、
2022年4月20日