大模型在推荐系统中的应用及挑战
大模型推荐有哪些成功的落地经验?
稀疏大模型训练推理如何优化?
推荐系统的特征工程如何做?
多源序列建模怎么搞?
融合排序的多目标寻优怎么玩?
6月22日,邀请您参加DataFunSummit2024: 推荐系统架构峰会,共同探讨大模型时代,推荐系统的前沿技术与最新落地经验,感兴趣的小伙伴欢迎识别二维码免费报名,收看直播:
扫码免费报名,收看直播
峰会日程
专家寄语:
"经历二十余年的发展,推荐系统仍然是当今最有价值的人工智能应用领域之一。随着近年业界算法的极致探索、核心架构的理念更新以及算力硬件的飞速发展,推荐系统已经进化到了相当成熟的阶段。
推荐系统向来具有快速吸纳各类算法所长的能力,国内丰富的产品业态也让推荐系统有机会去结合NLP和CV等领域的最新算法。最近大模型算法及应用风生水起,推荐界嗅觉灵敏人士已经开始做了不少研究和落地。
基于上述背景,DataFun 适时举办了此次峰会,邀请到了非常广泛且在业界极具代表性的专家,在训练推理、核心架构、大模型推荐和推荐算法各模块上都准备了丰富的前沿进展报告,非常值得大家关注。"
—— 黄帆 腾讯专家研究员
"推荐系统作为人工智能领域的重要分支,已经成为日常生活中不可或缺的技术。不仅极大地提升了用户体验,也为各行各业带来了革命性的变革。近年来,随着大模型技术和硬件计算的快速发展,分层架构范式,冷启动建模、多场景联合建模等方向都在探索演进。
此次峰会,也希望为大家呈现最新的推荐系统核心架构、训推优化、模型创新,以及与大模型结合的实践经验,推动行业技术的交流互通。"
—— 王志勇 小红书搜推工程负责人
详细介绍:
① 推荐系统训练与推理论坛
出品人:姜碧野 阿里巴巴 高级算法专家
个人介绍:碧野博士毕业于加州大学伯克利分校, 目前就职于阿里巴巴,在阿里妈妈广告,高德视觉中心均参与过各类机器学习系统的搭建和优化。曾参与举办icmlviz深度学习可视化,dlp-kdd高维稀疏数据的深度学习workshop。
袁镱 腾讯 专家工程师
个人介绍:袁镱博士,腾讯公司专家工程师,负责无量系统和一念LLM等机器学习训练和推理框架研发。
演讲题目:大语言模型推理加速
演讲提纲:
1. 基本逻辑:大语言模型推理基本逻辑和常规深度学习推理的差异
2. 性能瓶颈分析:大语言模型推理特定的性能瓶颈
3. 性能优化:业界主要的优化方法,结合腾讯开源的一念LLM分析推理系统的技术选型
听众收益:
1. 系统地了解大语言模型推理的基本逻辑和优化方法
2. 在一个简单的分析框架下,了解当前多种多样的方法是在哪些维度上优化
李健 京东 算法应用工程师
个人介绍:17年加入京东广告研发部,在算法架构方向深耕7年,先后参与了两代京东广告模型系统的架构建设。主导了大规模稀疏模型训练&推理等能力建设,助力多项算法创新落地,并多次获得京东零售级别奖项。目前作为广告算法架构方向架构师,带领团队建设新一代广告异构算法架构体系。
演讲题目:京东广告稀疏大模型训练与推理GPU优化实践
演讲提纲:从京东广告算法场景出发,介绍稀疏大模型训练&推理的GPU吞吐优化实践,具体包括:
1. 京东广告推荐场景介绍
2. 京东广告训练场景GPU优化实践
3. 京东广告推理场景GPU优化实践
听众收益:
1. 高并发、低延时场景如何高效利用GPU资源?
2. CPU与GPU异构资源场景如何分别最大化计算资源利用率?
3. 推荐领域大模型如何优化IO吞吐?
程孟力 阿里云 高级算法专家
个人介绍:主要负责图像OCR,推荐排序算法,多模态相关的模型研发和效率优化工作。
演讲题目:EasyRec 推荐算法训练推理优化
演讲提纲:
1. EasyRec 推荐算法框架
2. EasyRec 训练优化
3. EasyRec 推理优化
听众收益:
1. 了解推荐算法中常见的训练和推理优化技巧
2. 了解 EasyRec 算法框架的使用方法
3. 了解 EasyRecProcessor 的使用方法
陈玉祥 陌陌 算法工程专家
个人介绍:15年吉林大学计算机学院本科毕业,曾在去哪儿网,负责过机票事业部的机票搜索报价、售后服务系统研发。先后在陌陌,负责过推荐系统的推荐引擎研发和推荐模型训练与推理系统研发。目前是陌陌的机器学习平台负责人,希望打造高效的机器学习系统。
演讲题目:HugeCTR 在陌陌推荐系统的实践
演讲提纲:
1. 推荐系统在陌陌的应用
2. 推荐系统模型训练挑战
3. HugeCTR 与陌陌实践
4. 总结讨论 & OneMoreThing
听众收益:
1. 推荐系统模型特点
2. 高性能推荐系统模型训练方法
申晗 快手 AI编译器& 大模型推理异构 Tech Lead
个人介绍:申晗,清华本硕毕业,目前在快手担任 AI 平台编译器 & 大模型推理异构技术负责人,从0到1搭建推搜广的编译技术体系,负责推搜广模型在GPU上的训练性能优化,同时为快手大模型探索AI infra在英伟达之外的芯片可能性。过往职业经历: 快手之前经历过跨国公司Cisco 、自动驾驶独角兽地平线、早期GPU软件初创公司趋动科技,主要涉猎的技术方向包括框架性能优化(训练/推理/编译)、GPU性能优化、CV算法等。
演讲题目:快手推搜广的计算引擎优化实践
演讲提纲:本次分享将介绍快手AI平台过去在推搜广半精度训练、编译优化方面的技术探索,介绍内部基于OpenXLA的 KaiCompiler编译器,以及展望将来推搜在多元硬件上的可能性。
听众收益:
1. 如何在Tensorflow上做fp16、bf16的混合精度训练及在推荐业务落地成果
2. 编译优化在推搜广训练加速上的作用,有哪些落地场景
3. 快手AI业务在多元硬件的一些实践成果,有哪些难点
② 推荐系统核心架构论坛
出品人:班超 小红书 推荐架构负责人
个人介绍:北京邮电大学硕士毕业,小红书推荐工程架构负责人,主要负责小红书推荐系统基础架构建设,成本优化,效能优化。曾担任优酷推荐工程架构负责人,在大数据、推荐系统等领域有10多年的架构探索和工程实践,对推荐系统的在线架构建设有丰富的经验。
刘国强 阿里云 高级开发工程师
个人介绍:浙江大学计算机学院硕士,阿里云计算平台事业部-人工智能平台(PAI)高级开发工程师。
演讲题目:智能时代的数据炼金术:从特征工程到组件化建模
演讲提纲:
1. 特征工程构建流程
2. 组件化建模分享
听众收益:
1. 如何构建特征工程,降低特征工程复杂度,支持跨平台,减少工作量,保证一致性。
2. 如何灵活搭建模型,实现组件复用,提升迭代效率。
曾鸣堃 小红书 训推计算引擎负责人
个人介绍:小红书训推计算引擎负责人,17年毕业于中国科学技术大学,目前负责搜广推场景下的模型训练和推理引擎侧研发工作。
演讲题目:小红书训推异构引擎的设计与应用
演讲提纲:
1. 训推一体的异构引擎实践
2. 面向未来的 HPC 训练框架
3. AI 编译器小红书的实践
康晖/刘仕杰 NVIDIA 计算专家
个人介绍:
康晖,于2022年加入NVIDIA Devtech团队,专注于推荐系统embedding部分的开发,参与了HugeCTR embedding,SOK的等开发工作,主要负责SOK工程开发与性能优化工作。
刘仕杰,于2020年加入NVIDIA Devtech 团队,专注于推荐系统训练。他是 HugeCTR embedding 部分的主要开发者之一,曾多次参与 MLPerf Training DLRM 优化工作。目前主要负责 HugeCTR 训练优化工作。
演讲题目:大规模 Embedding 训练优化实践分享
演讲提纲:本次分享主要是分享在主流框架中优化大规模 recsys 模型训练的实践经验,内容主要分为两个部分:
1. 在 TensorFlow 中利用 SOK 加速 Embedding 训练。
2. 对 Pytorch TorchRec 性能优化相关策略实践分享。
听众收益:
1.了解基于TensorFlow的Embedding Plugin的SOK基本特性,学习如何使用SOK进行大规模Embedding的训练
2.分享基于 TorchRec 的性能优化实践,最终 E2E 性能提升 2.25x
③ 推荐算法创新论坛
出品人:文亮 奇虎360 资深算法专家
个人介绍:2016年硕士毕业于电子科技大学信息与软件工程,《推荐系统技术原理与实践》作者,拥有超过8年的模型优化经验,硕士期间发表5篇论文,其中3篇被EI收录。在大模型方向拥有丰富的技术背景,参与过千亿大模型训练和优化。目前主要负责大模型后训练,COT优化以及通用技能优化。
王原 淘天集团 算法专家
个人介绍:博士,美国纽约大学,18年毕业加入阿里巴巴,先后负责淘宝“关注”信息流和日销超10亿元的私域商品搜索推荐算法。
演讲题目:无需等待:电商领域重排模型在线学习可以先于用户反馈
Do Not Wait: Learning Re-Ranking Model Without User Feedback At Serving Time in E-Commerce
演讲提纲:推荐系统在电子商务中得到了广泛的应用,重排序模型在该领域发挥着越来越重要的作用,它显式利用了宝贝间的影响并决定着最终的推荐列表。在线学习方法不断使用最新的可用样本更新已部署的模型,以捕获电子商务中底层数据分布的变化。然而,传统在线学习方法强依赖真实用户反馈,在电商领域中,核心的购买反馈可能会延迟数小时甚至数天,从而导致模型增强的滞后。
我们提出了一种用于重排模型的新颖在线学习方案,该方案可以作为传统在线学习方法的有效补充,我们称其为LAST(Learning At Serving Time)。LAST使用代理模型提供重排模型改进所需的指导性信号,以此规避对用户反馈的强依赖。收到在线请求后,LAST首先进行在线探索,寻找到模型参数改进并应用该改进后,再生成推荐结果。值得注意的是,LAST的模型改进是即抛型的。一个改进通过拟合当前请求的上下文来提升当前请求的推荐效果。完成当前请求后,该请求的模型改进将被立刻丢弃。这有助于防止错误传播并稳定在线学习过程,因为代理模型的预测可能不准确。最重要的是,作为基于反馈的在线学习方法的补充,LAST可以无缝集成到现有的在线学习系统中,以创建更具适应性和响应性的推荐体验。离线和在线的综合实验证实,LAST 优于最先进的重排序模型。
听众收益:
1. 没有在线工程支持,重排模型是否可以在线训练?
2. 重排模型在线更新是否可以先于用户反馈?
3. 如何将重排模型的训练与适配做到request粒度?
陈立国 奇虎360 高级算法专家
个人介绍:毕业于中国科学院大学,硕士学历,18年入职360,目前负责图文、视频等多个入口流推荐场景优化工作。
演讲题目:多源序列信息使用以及目标一致性优化
演讲提纲:主要介绍在序列建模过程中遇到的一些问题,分析产生的原因以及针对性的解法,包括多源序列融合问题、召回阶段如何保证目标一致性问题等。
1. 为什么将序列作为继续优化的方向。
2. 位置信息的使用以及遇到的问题。
3. 召回侧如何针对性引入数据,如何解决融合导致的信息丢失。
4. 如何做到端到端,并提升目标一致性。
听众收益:
1. 如何在复杂场景中理解用户行为?
2. 如何提升链路一致性?
徐传宇 阿里1688 算法专家
个人介绍:19年研究生毕业入职阿里,曾负责首图个性化和销量预测等工作。目前负责首页为你推荐场景算法全链路工作。
演讲题目:推荐级联全链路去偏
演讲提纲:在线模型需要从亿级商品中筛选出topK商品,而离线训练集的曝光商品仅有几百万,离在线存在巨大的GAP。需要我们从全链路对齐消偏,发挥算法最大的效能。
听众收益:
1. 如何通过重构转化概率范式,消除主链路样本选择偏差。
2. 如何引入评估器,构造反事实信号,获得最优序列。
④ 大模型推荐论坛
"随着互联网应用的发展,推荐系统在满足用户个性化需求方面变得越来越不可或缺。尽管推荐系统领域已取得了丰富的成果,但传统推荐模型仍存在一些局限性,例如缺乏开放领域的通用知识,对于用户潜在偏好的理解不够准确等。与此同时,大语言模型在各种自然语言处理任务上展现出了较强的通用智能和类人能力,这主要源自大语言模型广泛的开放世界知识,逻辑和常识推理能力。因此,如何有效利用大语言模型优势来提升推荐的效果成为一个业界和学界共同关心的问题。
本次论坛中,我们将系统性讨论大语言模型在推荐系统的应用和对齐策略,并从工业应用的角度讨论在推荐系统中应用大语言模型的方案和流程。"
出品人:刘卫文 华为诺亚推荐搜索实验室 主任研究员
个人介绍:刘卫文,华为诺亚推荐搜索实验室主任研究员,2020年博士毕业于香港中文大学。主要负责大语言模型在推荐系统中的应用及AI Agent能力构建。在信息检索顶会(KDD,SIGIR,WWW,ICDE等)发表论文五十余篇,担任PC/SPC,担任GenRec@WWW24,GenRec@CIKM23,DLP@RecSys23研讨会主席。
唐燕琳 奇虎360 资深算法专家
个人介绍:毕业于浙江大学,在奇虎360负责广告算法相关工作,专注于智能创意、商品推荐和oCPX效果广告等算法方向。
演讲题目:从Bert到LLM:360广告推荐业务中语言模型的应用探索
演讲提纲:本次分享主要介绍了语言模型助力下推荐系统的发展进化,以及在广告推荐场景下的应用探索。具体内容包括:
1. 广告推荐业务的需求
2. 语言模型如何助力推荐系统,分为3大类方案
3. 根据业务背景和语言模型的进化,逐步进行应用方案演进
4. 总结和展望
听众收益:
1. 了解语言模型在推荐系统中应用方案的演进和对比
2. 在广告业务中如何利用语言模型训练范式实现跨域推荐
3. 使用语言模型训练范式用户行为的稀疏性如何解决
王文杰 新加坡国立大学 研究员
个人介绍:王文杰,新加坡国立大学研究员,主要研究方向为推荐系统、大模型和因果推理。2023年从新加坡国立大学获得博士学位,师从Chua Tat-Seng教授。 曾在SIGIR, KDD, WWW, WSDM, ACMMM和TOIS等高水平会议和期刊上发表论文30余篇,担任SIGIR、WWW、TPAMI、TOIS等会议和期刊的审稿人。曾获ACM MM 2019最佳论文候选、谷歌博士奖学金、NUS 院长奖学金等。
演讲题目:大模型推荐系统的构建和对齐
演讲提纲:最近大语言模型LLMs用于推荐任务(称为LLM4Rec)引起了广泛的关注,包括利用LLMs进行生成式物品排序,以及探索适用于多种开放式推荐任务的通用型LLM4Rec。这些发展可能改变传统推荐模式,提供更多未来研究的可能性。在本次报告中,我们将简要回顾LLM4Rec的发展,介绍推荐系统如何从LLMs中受益。此外,我们将讨论这一新兴领域的关键挑战和未解决的问题,例如可信推荐、效率和模型重训练等问题。最后,我们将总结以往工作中的重要结论,并展望未来的研究方向。
听众收益:
1. 如何让大模型理解推荐任务?
2. 如何提高大模型推荐训练效率?
3. 如何实现可信推荐大模型对齐?
4. 推荐智能体的未来发展?
王奕超 华为诺亚方舟实验室 高级工程师
个人介绍:毕业于北京大学,目前在华为诺亚方舟实验室从事推荐系统算法研究相关工作,负责推荐算法在华为广告场景的落地。研究方向为多场景,多任务,大语言模型辅助推荐等方向等,在 KDD,SIGIR,AAAI,WWW,IJCAI,WSDM,CIKM 等会议发表多篇论文。
演讲题目:大语言模型在推荐系统中的探索与应用
演讲提纲:介绍近期大语言模型在华为推荐系统中的探索和应用。
听众收益:了解当前大语言模型在工业界推荐系统的一些探索现状已经未来方向。
胡斌斌 蚂蚁集团 算法专家
个人介绍:胡斌斌,本科和硕士毕业于北京邮电大学,现在蚂蚁集团担任算法专家。研究方向为图学习和大语言模型以及在搜推广常见的应用,在KDD、WWW、ICDE等相关学术会议上发表论文40余篇。
演讲题目:基于大模型的推荐算法及应用
演讲提纲:
1. 传统推荐过渡到大模型推荐的原因和难点。
2. 基于大模型的推荐方法介绍
3. 基于大模型的推荐方法在实际场景的落地
听众收益:
1. 了解当前的大模型推荐方法
2. 如何设计可以在实际场景落地的大模型推荐方案
⑤ 推荐策略论坛
出品人:祝帅 小红书 应用模型组算法专家
个人介绍:2013年开始,历任百度凤巢CTR模型组,百度Feed流推荐召回组,粗排组技术负责人,目前在小红书担任模型中台应用模型组算法专家。在百度工作期间,参与或领导建设了Mio-Learner/Abacus大规模离散DNN流式训练框架,2017百度最高奖汉诺塔粗排双塔DNN项目,以及2023年最高奖候选项目推荐大模型等。研究兴趣包括搜索广告系统,推荐系统,LLM的应用等。
程引 快手 资深算法专家
个人介绍:上海交通大学博士。在滴滴出行、BizReach、Smartnews 长期从事推荐算法工作,目前在快手从事直播推荐的工作。
演讲题目:融合排序的多目标寻优
演讲提纲:
1. 推荐系统的融合排序公式简介
2. 迭代融合公式面临的挑战和难点
3. 贝叶斯自动寻优技术
4. 融合公式自动寻优工具与应用
听众收益:
1. 融合公式如何设计
2. 融合公式如何调参
3. 业务多目标如何权衡
苏睿龙 小红书 应用模型算法负责人
个人介绍:小红书应用模型算法负责人,15年毕业于上海交通大学计算机系APEX实验室,师从俞勇教授,研究方向为推荐系统。前国内顶尖围棋AI团队核心成员,曾在云栖大会打败人类围棋世界冠军,担任过欢聚时代直播和短视频方向Tech Lead。在推荐、AI、广告等方面深耕多年,尤其在内容推荐领域有着丰富的实战经验。曾任小红书主站推荐召回负责人,兼任商城&直播推荐技术负责人,现负责通过应用模型算法支持社区主站推荐和信息流广告全链路模型优化,支持社区搜索模型迭代,推动多模态技术在推荐、广告和交易的应用。
演讲题目:小红书去中心化内容分发技术
演讲提纲:
1. 推荐系统常见的中心化分发问题的原因分析
2. 小红书对去中心化分发的问题拆解
3. 小红书去中心化分发的技术实践和未来方向
听众收益:
1. 如何分析中心化分发的系统瓶颈
2. 如何将中心化分发问题拆解到系统的各个模块
3. 优化中心化分发问题的一些可行技术
钟灵 阿里云 高级算法专家
个人介绍:阿里云高级算法专家,具有多年搜索推荐场景的算法和工程实践经验,为上百家阿里云客户提供场景优化建议和效果优化。负责PAI-REC推荐和FeatureStore特征平台,帮助开发者和企业用户更好的使用云上产品,做好大规模的AI训练和推理服务,解决业务问题。
演讲题目:推荐系统降本增效探索实践
演讲提纲:本演讲将阐述在降本增效的时代,如何通过工程化手段提升推荐系统建设效率,并分享真实业务案例。主要内容包括:
1. 通过推荐算法定制、特征工程精细化控制特征、降低开发成本
2. 通过组件化的模型搭建加快新的推荐模型的实验
3. 通过模型训练优化和推理性能优化来降低离线训练和在线服务的成本
4. 通过实验AB平台加快迭代速度
5. 通过特征平台简化特征管理
听众收益:
1. 开源的推荐引擎和算法框架,帮助用户快速搭建推荐系统
2. 免费的特征管理平台
3. A/B算法迭代经验
4. 性能优化经验
赵单栋 小红书 实验平台Leader
个人介绍:当下在小红书负责实验平台。之前在谷歌做过DS,统计学PhD。
演讲题目:推荐业务在AB方向的挑战
演讲提纲:
1. 小红书AB实验框架
2. 实验难点:
· 流量精度不足
· 读数口径不统一
· 结果可复现性不高
听众收益:
1. 怎么汇报团队整体收益
2. 怎么把北极星指标拆解到 Actionable 实验决策指标当中来
3. 怎么高效率地做实验迭代
⑥ 推荐冷启动与多场景多任务论坛
联合出品人:余瑶 阿里飞猪 高级算法专家
个人介绍:余瑶,阿里飞猪高级算法专家。本科毕业于华中科技大学,硕士毕业于浙江大学。先后在百度大搜和阿里巴巴飞猪事业部从事搜索、推荐、营销与经营决策相关的算法研发工作。对推荐系统、因果推断、时序预测等算法有丰富的算法经验,在www、cikm、kdd等会议发表多篇文章。
联合出品人:肖玄基 前Shopee 内容电商算法负责人
个人介绍:毕业于中科院软件所,之前在Shopee负责电商直播为主的内容电商算法,曾在腾讯,阿里,百分点工作过。主要研发方向包括推荐,内容生态,用户增长,营销等。
苟延杰 腾讯 高级算法研究员
个人介绍:本硕毕业于四川大学。2022年加入腾讯,负责预训练相关技术在游戏推荐领域的落地,提升游戏体验、商业化等效果。曾在KDD、EMNLP等顶会发表多篇论文。
演讲题目:腾讯游戏推荐中的预训练大模型与冷启动
演讲提纲:精准感知游戏玩家兴趣,对提升游戏各个领域的个性化推荐水平至关重要。腾讯游戏用户数量庞大、玩家行为复杂,用户的兴趣变迁就沉淀在用户自身的数据当中。如何深刻挖掘游戏数据,是当下核心的数据命题之一。我们将预训练技术应用到游戏数据上,生成通用表征并结合生成式推荐,在多个游戏推荐场景上完成了技术落地。本次分享的主要内容包括:
1. 游戏推荐系统演进介绍
2. 游戏用户通用表征:强大的特征抽取器
3. 游戏生成式推荐:更高质量的推荐决策
听众收益:
1. 如何结合数据特点生成用户通用表征?
2. 如何结合多行为进行生成式推荐?
3. 预训练技术如何缓解冷启问题?
周佳良 阿里闲鱼 推荐算法专家
个人介绍:本科毕业于北京航空航天大学电子信息工程学院,硕士毕业于浙江大学信电学院。曾就职于拼多多推荐算法组做Rank方向,目前在阿里巴巴闲鱼推荐算法部门,负责精排模型、重排和流量机制等,阿里在职期间和同事共同一作在WWW2024(CCFA)发表一篇关于C2C推荐的工作并作为Oral Paper:MetaSplit: Meta-Split Network for Limited-Stock Product Recommendation。
演讲题目:基于闲鱼特色的C2C孤品推荐模型探索
演讲提纲:闲鱼团队提出了一种名为MetaSplit的网络,用于解决C2C平台中浅库存商品(孤品)的推荐问题。传统推荐模型在处理这类商品时因交互数据稀疏而困难,MetaSplit通过序列拆分、元学习网络和辅助Loss提升模型对孤品Emb的建模能力,并在商品下架后仍能够保持更新。此外,还探讨了用户、商品近邻扩展方法,通过图像和文本相似性提高孤品建模准确性。「MetaSplit」+「近邻扩展」方案已在闲鱼首猜取得显著收益并推全,尤其对新品和浅库存商品的提升更加显著。关于孤品序列建模的工作已被WWW24接收并作为Oral Paper:MetaSplit: Meta-Split Network for Limited-Stock Product Recommendation,arxiv地址:
https://arxiv.org/abs/2403.06747
听众收益:
1. 什么是C2C平台的孤品推荐问题?
2. 如何更好地建模孤品的表征?
3. 如何通过近邻扩展提升模型对孤品的预估能力?
江益靓/詹建州 腾讯音乐 天琴实验室高级研究员/高级算法工程师
个人介绍:
江益靓,腾讯音乐天琴实验室高级研究员,硕士毕业于复旦大学,主要负责智能歌唱评价与音乐信息检索技术的研发与应用。参与多项MIR技术的落地,推动音频内容理解技术应用在全民K歌、酷狗唱唱、QQ音乐多个场景发挥业务价值。致力于用音乐科技帮助用户更好地享受音乐。
詹建州, 腾讯音乐数据科学中心高级算法工程师, 硕士毕业于汕头大学数据挖掘方向, 曾任职于滴滴网约车MPT, 21年加入腾讯QQ音乐, 主要负责歌曲/歌单投放算法, 歌曲生态推荐算法, 歌曲自动播放推荐算法, 致力于让更多的用户发现好音乐, 享受音乐带来的乐趣。
演讲题目:音频表征大模型在音乐冷启的应用
演讲提纲:本次分享主要围绕音频表征大模型在QQ音乐与全民K歌上歌曲投放与推荐的实践探索心得展开。
一、音频表征大模型
1. 音频表征背景与应用
2. 音频表征发展与现状
二、音频表征在音乐冷启动场景的应用
1. 音频表征冷启动落地的现状与难点
2. 音频表征在歌曲投放的应用
3. 音频表征在歌曲推荐的应用
听众收益:
1. 音频表征的最新发展
2. 音频表征的落地应用
3. 音频表征在推荐&投放场景的实践分享
王诗佳 网易云音乐 资深算法工程师
个人介绍:18年硕士毕业加入网易云音乐,目前负责音乐在线推荐系统与首页场景的算法优化。
演讲题目:多场景多任务统一建模在网易云音乐的算法实践
演讲提纲:
1. 网易云音乐的歌曲推荐系统介绍
2. 多场景和多任务建模的难点介绍
3. 双翘翘问题的分析和优化思路
4. 统一建模的落地与思考
听众收益:
1. 了解多任务建模的技术要点
2. 了解多场景建模的跷跷板问题解决
3. 如何解决多任务、多场景的耦合冲突建模问题
⑦ 图与推荐论坛
"推荐系统中存在很多图数据,包括点击转化关系、用户关系网络、知识图谱等。有效地利用好图数据,可以显著提升推荐系统的多方面性能,比如鲁棒性和冷启动。然而,与图数据结合的推荐系统具有较大的挑战,特别是应用效果不显著、图数据分布不均匀、存储和计算复杂度较高等。
针对这些问题,本论坛将介绍这里面的一些关键技术,包括将社交影响力应用到推荐系统中、基于社群发现的推荐算法、基于图大模型的推荐系统等。"
—— 林文清 腾讯IEG 社交算法团队负责人
出品人:林文清 腾讯IEG 社交算法团队负责人
个人介绍:IEG公共数据平台部社交算法团队负责人,研究方向是社交网络推荐算法和图数据挖掘分析,主要负责大规模游戏社交网络方面的技术研发与应用。2014年博士毕业于新加坡南洋理工大学,在国际主流会议和期刊上已发表三十余篇论文,包括KDD、WWW、SIGMOD、ICDE、PVLDB等,他的论文被评选为ICDE 2015最佳论文之一。除此之外,他还长期受邀担任IJCAI、KDD、WWW等国际会议程序委员会委员和多个学术期刊的审稿专家,曾获得CIKM 2021最佳评审奖。在腾讯工作期间获得过多个专利和奖项荣誉,包括腾讯卓越运营奖、腾讯业务突破奖、腾讯代码奖、腾讯知识奖等。
张诗奇 新加坡国立大学 博士
个人介绍:张诗奇,新加坡国立大学计算学院博士毕业。他的研究兴趣集中在随机游走邻近度和社交影响力两方面的高效计算及其实际应用。作为第一作者,他在SIGMOD、SIGKDD、WWW等CCF-A类会议上发表了5篇论文,并在IJCAI等多个国际会议上担任审稿人。他曾在腾讯互动娱乐事业群公共数据平台科研实习,并荣获月度最佳员工奖。此外,他还获得了新加坡国立大学计算机科学学院颁发的研究生研究优秀奖和研究成就奖。
演讲题目:社交传播和影响力算法在腾讯游戏中的应用实践
演讲提纲:本次学术报告将分享新加坡国立大学与腾讯互娱在游戏领域的最新研究成果,主要围绕社交传播模型和影响力算法的应用进行展开。通过对KDD2023和WWW2024两篇研究的介绍,探讨如何有效提升游戏的用户活跃度和参与度。首先,报告将介绍一种基于邀请场景的传播模型,该模型充分考虑了用户在社交网络中的行为转化过程。通过这一模型,腾讯游戏能够在熟人推荐和营销传播活动中更精准地识别和吸引潜在用户,从而提高活动的参与率和转化效果。其次,报告将展示一种影响力最大化算法变种,该算法针对熟人推荐场景进行了特别优化。通过这种算法,可以进一步扩大活动的影响力和传播范围,为腾讯游戏带来更广泛的用户基础和更高的市场渗透率。本报告将为听众提供社交传播和影响力算法在游戏行业,特别是在腾讯游戏中的应用案例和实践成果。通过这些研究成果,我们可以更好地理解社交网络在游戏推广和用户互动中的作用,以及如何通过算法优化来提升游戏的市场表现。
听众收益:
1. 社交传播模型和影响力算法在游戏场景中的应用
2. 病毒式营销算法的选择
3. 结合用户传播能力的好友排序
毕文东 腾讯IEG 高级算法研究员
个人介绍:腾讯高级算法研究员,主要研究方向为图神经网络、社交网络挖掘,中科院计算所硕士,曾获国奖、北京市优秀毕业生,一作论文发表在 KDD、WWW、CIKM、WSDM 等国际学术会议。
演讲题目:社群推荐算法在腾讯游戏的实践
演讲提纲:游戏内玩家之间复杂的交互关系构成了游戏社交网络,而社交网络中兴趣相似的人聚集在一起形成多个社群,研究表明,社群中的用户在整体上具有更高的活跃度,通过给玩家推荐合适的社群从而吸引更多玩家加入社群,利用高活跃玩家带动低活跃玩家,对提升整个游戏的用户活跃具有重要的意义。基于腾讯游戏社群推荐场景,我们提出了自适应K-Free社群挖掘算法和ComRec社群推荐算法,并在腾讯游戏社群推荐场景取得了显著效果提升,相关论文已经发表于KDD2023、KDD2024国际会议上。
听众收益:
1. 了解社群挖掘和推荐算法在腾讯游戏场景中的应用
2. KDD24论文分享:基于GNN的自适应K-Free社群挖掘算法
3. KDD23论文分享:含约束的社群推荐算法ComRec
杨雨豪 香港大学 博士研究生
个人介绍:杨雨豪同学是香港大学二年级在读博士生,导师为黄超老师。他最近的研究兴趣关注于图机器学习、大语言模型以及推荐系统。他的研究工作曾经获得SIGIR'22最有影响力论文以及WWW'23最有影响力论文。他发表在WWW'24的关于图预训练及动态微调的研究工作落地在微信的大规模工业级场景中,增强数亿用户每天的内容推荐和消费体验。
演讲题目:推荐系统的图预训练及微调
演讲提纲:
1. 一个更好的、更贴近真实落地应用的推荐系统学术研究的训练与评估范式是怎样的?
2. 在动态的真实世界工业级场景下,我们如何处理图神经网络在推荐系统上面临的动态性问题?我们如何通过巧妙的预训练和微调范式解决这样的问题?
3. 我们的研究在离线和在线A/B场景中收获了怎样的效果?
听众收益:
1. 在推荐系统的学术研究中如何更好地处理模型的训练和评估
2. 如何设计图神经网络的预训练和微调机制
3. 在真实流式推荐场景中,如何通过上述设计赋能工业级GNN推荐模型
任旭滨 香港大学 博士研究生
个人介绍:香港大学一年级博士生, 导师为黄超老师,研究方向为图神经网络,推荐系统,大语言模型。其工作曾发表在ICLR, SIGIR, WSDM, CIKM, WWW等会议上,并且担任WWW, KDD, CIKM, TOIS等会议及期刊的审稿人。开源项目SSLRec的主要贡献者。
演讲题目:如何利用大语言模型优化图推荐系统
演讲提纲:本次演讲将从两个方向角度讨论如何利用大语言模型赋能现有的推荐系统算法,第一种方式是利用语言模型获得的文本模态特征来优化图推荐系统的表征学习(RLMRec),第二种方式是利用大语言模型结合推荐算法的表征进行推荐行为的解释(XRec)。
听众收益:
1. 图推荐系统基本知识
2. 利用语言模型增强推荐算法性能
3. 利用大语言模型实现可解释推荐
⑧ 多模态推荐论坛
出品人:王国鑫,IEEE Senior Member,京东健康高级总监
个人介绍:京东健康智能负责人,负责京东健康在医疗AI领域的技术创新和商业化。人工智能领域专家,毕业于浙江大学,已发表国际论文十余篇,主要研究方向包含大规模语言模型、多模态学习和搜素系统,是医疗大模型京医千询的技术负责人和视频多模态大模型VICTOR的作者。具有10年以上人工智能的科研经历,在创新科技前沿具有丰富的实战经验并引领多项核心技术突破,覆盖大健康、电商、搜索引擎、内容推荐、互联网广告等多领域。
刘启东 香港城市大学和西安交通大学 博士研究生
个人介绍:刘启东,西安交通大学与香港城市大学联合培养博士生。现在的研究兴趣主要包括大语言模型在推荐系统中的应用、医疗垂类大语言模型、多模态推荐系统等。在SIGIR、CIKM等会议上发表论文多篇。
演讲题目:多模态推荐系统综述介绍
演讲提纲:推荐系统(RS)已成为在线服务的重要工具。通过各种深度学习技,一般的推荐系统根据标识符和属性信息来建模用户偏好。然而,随着短视频、新闻等多媒体服务的兴起,在推荐时理解多模态内容变得至关重要。此外,多模态特征对于缓解推荐系统中的数据稀疏问题也有巨大帮助。因此,多模态推荐系统(MRS)最近受到了学术界和工业界的广泛关注。在本次报告中,我们将从技术角度对MRS模型进行全面综述。首先,我们总结了MRS的一般流程和主要挑战。然后,我们根据四个类别介绍现有的MRS模型,即模态编码器、特征交互、特征增强和模型优化。此外,我们讨论了MRS的一些有前景的未来发展方向,并进行了总结。为了促进MRS的研究,我们将总结的论文及其分类、代码等开源在了在线仓库中:
https://github.com/Applied-Machine-Learning-Lab/Awesome-Multimodal-Recommender-Systems。
也欢迎阅读我们的多模态推荐系统综述论文:https://arxiv.org/abs/2302.03883。
听众收益:
1. 了解多模态推荐系统是什么,以及其一般流程
2. 了解当前多模态推荐系统的研究方向
3. 了解多模态推荐系统未来可能的研究方向
唐烨 京东集团 技术总监
个人介绍:武汉大学计算机硕士,京东搜推内容算法负责人,负责京东搜索推荐视频、直播、店铺、聚合素材业务算法工作。专注互联网搜广推行业近10年,先后在新浪微博负责粉丝经济商业化和视频推荐业务,华为云化SDN集群智能化工作。
演讲题目:京东电商内容推荐的挑战与应对
演讲提纲:
1. 京东内容推荐业务介绍
2. 京东视频推荐的挑战问题
3. 视频行为稀疏建模
4. 视频多模型信息如何应用
听众收益:
1. 电商视频推荐跟传统电商推荐的差异性
2. 用户行为稀疏在视频推荐系统中有哪些解决方式
3. 多模型信息如何应用到电商视频推荐中
扫码免费报名,收看直播