首页
下载应用
提交文章
关于我们
🔥 热搜 🔥
1
法明传[2024]173号
2
中共中央
3
起源 解读 龚
4
南京李志
5
赵紫阳
6
中美友好合作故事
7
写小说
8
妈 分享 回
9
百度
10
今日热点
分类
社会
娱乐
国际
人权
科技
经济
其它
首页
下载应用
提交文章
关于我们
🔥
热搜
🔥
1
法明传[2024]173号
2
中共中央
3
起源 解读 龚
4
南京李志
5
赵紫阳
6
中美友好合作故事
7
写小说
8
妈 分享 回
9
百度
10
今日热点
分类
社会
娱乐
国际
人权
科技
经济
其它
观察|官方通报陕西蒲城一职校学生坠亡:事发前与舍友发生口角和肢体冲突 认定该生系高空坠落死亡
市管干部“龚书记”免职迷局
讣告!又一知名女星在家中去世,终年54岁,曾是无数人白月光…
近视的孩子有救了!国内最新近视防控矫正技术,不手术,扫码进群即可了解!
法明传[2024]173号:1月1日起,未用示范文本提交起诉状,部分法院将不予立案
生成图片,分享到微信朋友圈
查看原文
其他
奇绩潜空间活动报名 | 李卓翰—— vLLM : 构建高效的开源 LLM 推理引擎
Original
奇绩创坛
奇绩创坛
2024-10-10
【奇绩潜空间】第四季第一期我们邀请到的嘉宾是
vLLM 创始团队成员——
李卓翰
,他将给我们带来《vLLM : 构建高效的开源 LLM 推理引擎》(vLLM:Building Efficient Open-Source LLM Inference Engine)的分享。
奇绩潜空间是 GenAI 时代冲得最快的一批科研学者/从业者/创业者聚集的 AI 人才社区,我们定期邀请大模型前沿创业者分享产品实践探索,邀请前沿科研学者分享最新技术进展。除嘉宾分享外,每期在北京和上海线下都设置了
【匹配合伙人 Cofounder Matching】
环节。在这里你可以和 GenAI 时代最有活力的创业者和研究者线下面对面交流(
往期参与者大多是来自大厂的算法工程师、架构师、AI 产品经理、创新战略部经理及创业者们
)。这是一个能让你拓展人脉、碰撞思维火花、共同探索创新之路的平台。你可以在这里找到一起讨论相同研究方向、解决技术问题的伙伴,甚至有机会找到志同道合、有共同创业梦想的朋友。
此外,我们创建了「大模型推理创业者交流群」,欢迎添加小助手进群交流互动。
活动介绍
【分享嘉宾介绍】
李卓翰是 vLLM 创始团队成员,加州大学伯克利分校博士生,专注于机器学习系统的研究,研究的主要内容涉及优化系统以提高机器学习算法和模型的执行速度,以及如何在大规模场景下实现更高效的多任务并行处理。李卓翰在计算机科学和人工智能领域有着丰富的背景和经验,尤其在优化和提升大型语言模型的性能方面有显著贡献,目前主要负责 vLLM 的高层框架设计与开源社区管理。
vLLM 从加州大学伯克利分校的一个 Demo 项目成长为全球范围内最受欢迎的开源大模型推理加速框架之一,发展迅速。其作为一个开源的大模型推理加速框架,以 PagedAttention 为核心算法,突破了模型部署常常受到推理速度过慢、GPU 利用率过低的阻碍,已经可以支持 30+ 生成式大语言模型,能够做到与 Hugging Face Transformers 相比 24 倍的吞吐量,不断突破 AI 技术的极限。
【活动时间】
北京时间:9 月 28 日 10:00 - 13:30
【活动地点】
北京线下 / 上海线下 / 线上 均有场次
(具体见活动短信/邮件)
【活动报名】
扫描下方二维码,填写信息完成报名
(找到奇绩校友帮忙推荐,可增加报名成功率)
(提醒:报名的小伙伴联系小助手获取往期潜空间嘉宾分享笔记)
加入 #奇绩创业社区#
扫描创业营二维码,提交奇绩创业营申请表,即可【免费】加入社区,【滑动】查看并免费领取创业社区独家资源:
左右滑动查看更多资源
修改于
继续滑动看下一个
轻触阅读原文
奇绩创坛
向上滑动看下一个
您可能也对以下帖子感兴趣
{{{title}}}
文章有问题?点此查看未经处理的缓存