查看原文
其他

Talk预告 | 卡内基梅隆大博士生侯博涵:MLC-LLM-机器学习编译与在大语言模型上的应用

让创新获得认可 将门创投
2024-08-23

本期为TechBeat人工智能社区516线上Talk北京时间7月26(周三)20:00 卡内基梅隆大博士生—侯博涵的Talk将准时在TechBeat人工智能社区开播!他与大家分享的主题是: “MLC-LLM-机器学习编译与在大语言模型上的应用”届时将与大家探讨在消费级设备上部署大语言模型的原因、挑战、优化策略等方面的问题。
Talk·信息
主题:MLC-LLM-机器学习编译与在大语言模型上的应用
嘉宾:卡内基梅隆大博士生 侯博涵
时间:北京时间 7月26日(周三)20:00
地点:TechBeat人工智能社区
http://www.techbeat.net/

 长按识别二维码,一键预约TALK!


Talk·介绍
自ChatGPT发布以来,大语言模型(Large language model, LLM)就成了AI乃至整个计算机科学的话题中心。学术界,工业界围绕大语言模型本身及其应用展开了广泛的讨论,大量的新的实践层出不穷。
由于LLM对计算资源的需求极大,有能力部署大语言模型的公司和实验室一般通过搭建集群,然后开放API或者网页demo的方式让用户可以使用模型。在人们纷纷发挥想象力尝试各种prompt与模型对话的时候,我们也注意到在一些应用场景中,出于定制化、个性化或者隐私性的目的,人们想要自己在各种终端设备中本地运行大语言模型,不需要/不希望连接互联网或者依赖于服务器,例如
  • 智能汽车的终端可以对驾驶员的操作习惯定制化
  • 智能家居的终端可以对户主的生活习惯定制化
  • 手机游戏,或者主机游戏中NPC的对话可以根据玩家的行为而改变
  • PC端的应用希望本地部署聊天机器人,但是用户的显卡可能是N卡,A卡,或者集成显卡,安装了CUDA/Vulkan/OpenCL驱动
我们希望能够让每个人都可以开发,优化和部署AI大模型,让它工作在每个人都能方便获得的设备上

Talk大纲

1、为什么我们需要在消费级设备上本地部署大语言模型
2、在消费级设备上部署大语言模型的挑战
3、在消费级设备上部署大语言模型的优化策略
4、 MLC-LLM使用的机器学习编译器框架:TVM Unity
5、MLC-LLM demo展示

Talk·预习资料

论文链接:

https://arxiv.org/abs/2207.04296

repo:

https://github.com/mlc-ai/mlc-llm

https://github.com/mlc-ai/web-llm

Talk·提问交流

在Talk界面下的【交流区】参与互动!留下你的打call🤟和问题🙋,和更多小伙伴们共同讨论,被讲者直接翻牌解答!

你的每一次贡献,我们都会给予你相应的i豆积分,还会有惊喜奖励哦!

Talk·嘉宾介绍


侯博涵

卡内基梅隆大博士生

卡内基梅隆大学Catalyst实验室博士研究生,本科毕业于上海交通大学,研究方向包括深度学习编译器,机器学习系统等。曾以第一作者身份在ASPLOS上发表相关研究。参与开发了WebLLM,MLC-LLM等开源项目。

个人主页: 

https://www.techbeat.net/grzytrkj?id=33082


 长按识别二维码,一键预约TALK!


-The End-


如果你也想成为讲者

 自荐 / 推荐 
单人Talk | 团队专场 | 录播or直播 | 闭门交流多种方式任你选择!推荐讲者成功也有奖励哦~


关于TechBeat人工智能社区

TechBeat(www.techbeat.net)隶属于将门创投,是一个荟聚全球华人AI精英的成长社区。我们希望为AI人才打造更专业的服务和体验,加速并陪伴其学习成长。期待这里可以成为你学习AI前沿知识的高地,分享自己最新工作的沃土,在AI进阶之路上的升级打怪的根据地!

更多详细介绍>>TechBeat,一个荟聚全球华人AI精英的学习成长社区


点击“阅读原文”,⤵一键送你进入Talk页面
继续滑动看下一个
将门创投
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存