【社区开放麦】开播啦！！！技术下饭番追起来，每周一个新芝士。欢迎广大社区同学加入直播间参与讨论的同时，也非常鼓励社区同学拿起话筒登上舞台，社区知识开放麦等你来玩~本期精彩大语言模型（LLM）的发展为人工智能和自然语言处理领域带来了重大变化，使机器能理解和生成接近人类水平的语言。然而研究学者对歌曲生成这一需要高度专业知识的领域探索不足。为填补这一空白，本期开放麦，我们特别邀请香港中文大学在读博士生丁双睿为大家带来用于歌曲生成的大语言模型

直接采用公开数据源的文本和问答对，并未对其中关键信息进行修改，这些数据源可能已经包含在模型的训练语料中，使得模型可以通过“背题”或常识记忆的捷径来获得虚高的分数；#LV-Eval

【社区开放麦】开播啦！！！技术下饭番追起来，每周一个新芝士。欢迎广大社区同学加入直播间参与讨论的同时，也非常鼓励社区同学拿起话筒登上舞台，社区知识开放麦等你来玩~本期精彩2024年3月5日，Stability

【社区开放麦】开播啦！！！技术下饭番追起来，每周一个新芝士。欢迎广大社区同学加入直播间参与讨论的同时，也非常鼓励社区同学拿起话筒登上舞台，社区知识开放麦等你来玩~本期精彩从驾驶场景到室内场景，具身三维感知系统面对的是更复杂的室内语义，更多样的物体类别和朝向，以及大不相同的感知空间和需求。重新思考其中差异和数据基础，EmbodiedScan

项目链接：https://github.com/JimmyMa99/Roleplay-with-XiYouhttps://github.com/JimmyMa99/BaJie-Chat附

嵌入的方法虽然只需要一次前向推理，但也面临着挑战：它们要么需要对大量模型参数进行广泛的微调，要么与社区预训练模型不兼容，或者无法保持较高的人脸保真度。为解决这些限制，我们推出了基于扩散模型的解决方案

【社区开放麦】开播啦！！！技术下饭番追起来，每周一个新芝士。欢迎广大社区同学加入直播间参与讨论的同时，也非常鼓励社区同学拿起话筒登上舞台，社区知识开放麦等你来玩~本期精彩最新一波的人工智能生成内容（AIGC）在计算机视觉领域取得了显著的成功，无论是

随着元宵节的落幕，我们告别了充满喜庆的龙年新春。龙年春晚大家都看了吗？本届春晚除了众多令人难忘的精彩瞬间，还充满了浓厚的科技气息。春节期间，MagicMaker

2月23日，中央广播电视总台举行中国首部AI动画片《千秋诗颂》启播暨总台人工智能工作室揭牌仪式。中宣部副部长、中央广播电视总台台长慎海雄出席，并与中国工程院院士、清华大学信息科学技术学院院长、中国人工智能学会理事长戴琼海为总台人工智能工作室揭牌，和嘉宾共同为节目启播。首部中国原创的文生视频AI系列动画片《千秋诗颂》，将于2月26日起在总台综合频道（CCTV-1）播出。《千秋诗颂》共26集，每集约7分钟，从美术设计到动效生成，再到后期成片，均为AIGC辅助制作。继双方在去年7月联合推出的央视听媒体大模型，上海人工智能实验室（上海AI实验室）和总台不懈探索人工智能助力文化传媒发展的新路径。其中，《千秋诗颂》即为双方在AIGC方向的新突破之一，借助人工智能技术，高度还原了中国古诗词中的人物造型、场景和道具，呈现了一部科技与文化并重、兼具史实与中国审美的动画作品，实现了从古到今的“穿越”、从纸张到动画的飞跃。《千秋诗颂》的开播，是一场中国诗词与人工智能的双向奔赴之旅，

https://github.com/sponsors/OpenDriveLab所有赞助均用于自动驾驶相关研究新赛题：七大赛道，赛题新颖，全方位覆盖相关领域最新最热话题，充分挖掘大模型在自动驾驶及具身智能垂直领域中的应用。高奖金：总奖金池超过12万美金，单赛道最高奖金可达2.7万美金。据不完全统计，奖金额度在CVPR

创作出独特的龙形象和场景，包括文生图、文生视频等。游戏不仅包含了基础的创作挑战，还穿插了丰富的学习元素，让玩家在闯关的过程中了解并学习到大语言模型、计算机视觉、大数据、机器学习理论以及基础算力设施等

祝您龙行龘(dá)龘(dá)前程朤(lǎng)朤(lǎng)体验链接：https://magicmaker.openxlab.org.cn/home（文末点击阅读原文可直达）No.1

整合了常见的模型请求结构，支持流式和非流式输出请求，提供统一的标准化接口，您只需在配置文件里加入新模型的配置，即可邀请新朋友加入群聊。对话模式我们目前支持串行和并行（俗称群聊）两种模式。在输入框输入

智能体能力的提升，建立在研究团队对工具调用和代码解释器能力的深入理解之上。代码解释器针对代码解释器的使用，研究团队分别从基础能力和应用场景下了功夫：基础能力：代码解释器的核心基础能力还是代码，包括

【社区开放麦】开播啦！！！技术下饭番追起来，每周一个新芝士。欢迎广大社区同学加入直播间参与讨论的同时，也非常鼓励社区同学拿起话筒登上舞台，社区知识开放麦等你来玩~本期精彩SAM

1月30日，大模型开源开放评测体系司南（OpenCompass2.0）正式发布，旨在为大语言模型、多模态模型等各类模型提供一站式评测服务。OpenCompass2.0全面量化模型在知识、语言、理解、推理和考试等五大能力维度的表现，客观中立地为大模型技术创新提供坚实的技术支撑。OpenCompass2.0同时揭晓了2023年度大模型公开评测榜单，评测结果显示，GPT-4

继1月17日发布书生·浦语2.0（InternLM2）大语言模型之后，上海人工智能实验室（上海AI实验室）近日推出全面升级的图文混合创作大模型书生·浦语灵笔2.0（InternLM-XComposer2），在大模型落地应用的探索上再迈进一步。书生·浦语灵笔2.0是在书生·浦语2.0的基础上通过图文拓展训练获得的。得益于InternLM2强大的语言建模能力，浦语灵笔2.0的图文理解和创作能力显著提升，可为用户提供更精准、更个性、更丰富、更专业的图文创作体验，在12项图文能力评测中大幅领先同量级开源模型，在部分维度可比肩国际领先水平。书生·浦语灵笔2.0开源了图文创作大模型（InternLM-XComposer2-7B)和它背后的图文理解与问答模型（InternLM-XComposer2-VL-7B），均提供免费商用。开源仓库（包括模型和代码）:

Diffusion由两类AE的变种发展而来，一类是有强大生成能力却需要耗费大量运算资源的DDPM，一类是能够以较高保真度压缩图像的VQVAE。Stable

后的高层图像特征效果更好，训练也更稳定。其中更多的算法侧细节请详见论文和开源代码。基准和实验结果一些常规性量化实验结果最终我们构建了针对传统感知任务和多模态场景理解的两套基准，其中传统感知任务包括

联合新加坡国立大学、卡耐基梅隆大学、新加坡南洋理工大学、上海科技大学等海内外高校共同主办。赛事共设五大赛道，旨在探究各类自动驾驶感知模型在部署阶段时的可靠性。本届赛事重点关注以视觉为中心的

1月23日，上海人工智能实验室（上海AI实验室）开源发布新一代数学模型书生·浦语数学（InternLM2-Math）。基于书生·浦语2.0（InternLM2）强大的基础能力，InternLM2-Math仅以中轻量级参数规模，即在多项数学评测中刷新开源模型数学能力上限；此外，InternLM2-Math不仅会“解题”，更会“判题”，突破了传统数学大模型应用局限，将为数学基础研究和教学提供优质应用基座。InternLM2-Math为首个同时支持形式化数学语言及解题过程评价的开源模型，以强大内生计算和推理能力，为技术社区提供强大数学工具和模型范式。秉持“以高质量开源赋能创新”的理念，InternLM2-Math代码和模型完全开源，并支持免费商用。数学能力是大语言模型推理水平的重要体现。近日，谷歌

【社区开放麦】开播啦！！！技术下饭番追起来，每周一个新芝士。欢迎广大社区同学加入直播间参与讨论的同时，也非常鼓励社区同学拿起话筒登上舞台，社区知识开放麦等你来玩~本期精彩针对自然语言处理中的新意图发现问题，清华大学计算机系

总览自2023年7月6日，书生·浦语（InternLM）在世界人工智能大会上正式开源以来，在社区和业界形成越来越大的影响。在过去半年，大模型技术体系也在快速演进，100K级别的长上下文、代码解释、智能体等新技术不断迭代。在技术水平不断进步的同时，大模型在应用上的边界也不断拓宽。在这半年里，上海人工智能实验室与商汤科技联合香港中文大学和复旦大学也在潜心打造新一代的语言模型，近日正式发布书生·浦语2.0（InternLM2）。相比于第一代

对群组内的消息进行分类，以简化消息处理。考虑到用户不会一次性发完问题，我们设置了定时器，将多个连续的消息合并为一个。所有间隔元素都会被忽略，如表情包、群应用、语音和视频消息。2.2

个主流的多模态模型，进行了性能可视化：定性结果为了解目前的多模态模型尚有哪些不足之处，我们选取了在上图九个评测集中，所有多模态模型均无法正确答对的题目进行可视化，以下是部分结果：1.

小白，还是开发者，都可以参与游戏，边玩边学~欢迎感兴趣的同学进群，提前获取活动内测资格，赢取丰厚奖品！10万星光闪耀，共赴AI新征程！OpenMMLab社区共创荣耀时刻！2024-01-11

【社区开放麦】开播啦！！！技术下饭番追起来，每周一个新芝士。欢迎广大社区同学加入直播间参与讨论的同时，也非常鼓励社区同学拿起话筒登上舞台，社区知识开放麦等你来玩~本期精彩人体姿态估计一直是计算机视觉领域的核心任务之一。去年，RTMPose

将会继续在人工智能领域中发挥重要作用。最后再次感谢所有开发者和用户，是你们的支持和努力，让一切成为可能。我们期待着与你们一起，继续在这个激动人心的技术领域中前行，OpenMMLab

Response，向大家介绍一种高效、简洁的足式机器人运动控制框架，并揭示该框架与控制理论中经典的内模原理之间的联系。论文：https://arxiv.org/abs/2312.11460

音频任务，诸如多模态控制的音效生成和音乐生成。分享内容语音与音频生成的常见任务与方法语音与音频生成最新研究趋势Amphion：一个语音、音频与音乐生成开源系统分享时间北京时间2024

demo（快来找假期彩蛋）：https://openxlab.org.cn/apps/detail/zhangyiming/PiaPia02算法库重要更新MMEngineMMEngine

微调而非完全冻结并不会导致图像特征提取的退化，相反，所引入的这一部分可学习参数有效增强了对图像特征的提取能力和与文本域的对齐能力，进而可以有效提升了多模态模型的整体精度。优化数据样本采样器

开发者代表分享开发经验。投票通道扫描二维码参与投票投票链接：https://tp.wjx.top/vm/hkvb2Me.aspx#（文末点击阅读原文可直达）投票截止日期

【社区开放麦】开播啦！！！技术下饭番追起来，每周一个新芝士。欢迎广大社区同学加入直播间参与讨论的同时，也非常鼓励社区同学拿起话筒登上舞台，社区知识开放麦等你来玩~本期精彩大模型的指令微调在

节课，课程内容涵盖大语言模型的综述、大模型领域入门示例、大模型知识库搭建、大模型微调、部署和评测等内容，由浅入深地帮助开发者轻松应对大模型研发及应用全链路的各个环节。具体日程营员招募：2023

获取更多信息。（文末点击阅读原文可直达）https://github.com/open-compass/opencompass如需加入年度榜单发布计划或对榜单有任何问题，请随时联系我们

【社区开放麦】开播啦！！！技术下饭番追起来，每周一个新芝士。欢迎广大社区同学加入直播间参与讨论的同时，也非常鼓励社区同学拿起话筒登上舞台，社区知识开放麦等你来玩~本期精彩每一次语言模型的更新，都代表着一次计算架构和学习范式的迭代，给对话系统的发展与演变带来了深刻的影响。从

斯威夫特唱周杰伦的稻香。这看似简单，但实际上背后的技术十分复杂，也正是由于音频领域的领域知识壁垒，工程师们上手并不容易。近日，香港中文大学（深圳）数据科学学院武执政副教授团队联合上海人工智能实验室

初冬时节的凉意，丝毫不影响大模型技术更新的如火如荼。近期，书生·浦语（InternLM）大模型迎来了一次重要的升级与优化。“理智与情感”双管齐下，一方面大幅提升对话体验，另一方面通过新增工具库

社区的贡献。众星汇聚成璀璨银河，各自独特却又共同闪耀。每一颗星辰，我们共同赞叹，每一缕光芒，我们共同颂扬。让我们一同，对这璀璨星海的每一颗星星表示感激。距离GPT-4更近一步?Mistral

【社区开放麦】开播啦！！！技术下饭番追起来，每周一个新芝士。欢迎广大社区同学加入直播间参与讨论的同时，也非常鼓励社区同学拿起话筒登上舞台，社区知识开放麦等你来玩~本期精彩时间超分辨率（temporal

GitHub：https://github.com/InternLM/xtuner/tree/main/xtuner/configs/mixtral评测同时，我们也在

HelmetDataset除此之外，我们其实也可以调整一些模型的超参数。比如说我们数据集很少的话，然后我希望其能够不那么快拟合，我们可以把学习率调得比较小，从而让其能够慢慢的学习到图像的特征。lr

中，工具的提示词会要求直接输入图像。在接收参数时，多模态接口会自动根据输入参数的模态和参数类型进行解析，如图像参数的输入是一个字符串，接口会解析为图像路径，而不是一个文本参数。由于

实验室博士，研究方向包括多模态大语言模型，多模态提示学习，场景理解等。内容详情由于大语言模型的火爆，多模态大模型（LMM）也逐渐成为一个重要的研究方向。通过借助已有大语言模型的力量，LMM

项目中，不时还接收到社区的反馈和建议。这个经验让他充满成就感，因为这是他第一次向开源算法平台做出贡献并且受到了社区的认可。他也在这个过程中学到了如何为开源项目贡献自己的代码，如何成为一名合格的

和病理切片等，为医学图像分割提供了强大支持。利用这些资源，用户可以更便捷地开展医学相关的语义分割实验。除了新增了遥感和医学两个细分方向的数据集外，MMSegmentation

量化模型随着自然语言处理领域中日益复杂的任务需求，以及人们对模型性能的不断追求，语言模型的参数量近来急剧膨胀。面对数以亿计的参数，大模型对存储以及推理带来了新的挑战。一个

【社区开放麦】开播啦！！！技术下饭番追起来，每周一个新芝士。欢迎广大社区同学加入直播间参与讨论的同时，也非常鼓励社区同学拿起话筒登上舞台，社区知识开放麦等你来玩~本期精彩大语言模型在各个方面都展现出了其强大的能力。然而，当将它们应用于高度专业化、安全关键的司法领域时，它们究竟掌握了多少法律知识以及它们是否能可靠地执行法律相关任务我们却不得而知。本期开放麦，我们邀请到宁波东方理工大学（暂名）信息学部助理教授、博士生导师，德国马克斯普朗克计算机研究所博士沈晓宇老师为大家介绍司法知识的综合评估基准

全新栏目《offer来了》终于与大家见面啦！我们会不定期精选优质的职位信息推荐给大家，希望通过这个栏目来帮助大家打破信息壁垒，探索更多的职业机会，实现自己的职业梦想。《offer来了》第4期，职位信息来自上海人工智能实验室。上海人工智能实验室是我国人工智能领域的新型科研机构，开展战略性、原创性、前瞻性的科学研究与技术攻关，突破人工智能的重要基础理论和关键核心技术，打造“突破型、引领型、平台型”一体化的大型综合性研究基地，支撑我国人工智能产业实现跨越式发展，目标建成国际一流的人工智能实验室，成为享誉全球的人工智能原创理论和技术的策源地。官网链接：https://www.shlab.org.cn/▌自然语言处理大模型工程师岗位职责：参与到大模型的训练与调优中，稳定大模型训练、提高训练效率等负责