将会继续在人工智能领域中发挥重要作用。最后再次感谢所有开发者和用户，是你们的支持和努力，让一切成为可能。我们期待着与你们一起，继续在这个激动人心的技术领域中前行，OpenMMLab

Response，向大家介绍一种高效、简洁的足式机器人运动控制框架，并揭示该框架与控制理论中经典的内模原理之间的联系。论文：https://arxiv.org/abs/2312.11460

音频任务，诸如多模态控制的音效生成和音乐生成。分享内容语音与音频生成的常见任务与方法语音与音频生成最新研究趋势Amphion：一个语音、音频与音乐生成开源系统分享时间北京时间2024

demo（快来找假期彩蛋）：https://openxlab.org.cn/apps/detail/zhangyiming/PiaPia02算法库重要更新MMEngineMMEngine

微调而非完全冻结并不会导致图像特征提取的退化，相反，所引入的这一部分可学习参数有效增强了对图像特征的提取能力和与文本域的对齐能力，进而可以有效提升了多模态模型的整体精度。优化数据样本采样器

开发者代表分享开发经验。投票通道扫描二维码参与投票投票链接：https://tp.wjx.top/vm/hkvb2Me.aspx#（文末点击阅读原文可直达）投票截止日期

【社区开放麦】开播啦！！！技术下饭番追起来，每周一个新芝士。欢迎广大社区同学加入直播间参与讨论的同时，也非常鼓励社区同学拿起话筒登上舞台，社区知识开放麦等你来玩~本期精彩大模型的指令微调在

节课，课程内容涵盖大语言模型的综述、大模型领域入门示例、大模型知识库搭建、大模型微调、部署和评测等内容，由浅入深地帮助开发者轻松应对大模型研发及应用全链路的各个环节。具体日程营员招募：2023

获取更多信息。（文末点击阅读原文可直达）https://github.com/open-compass/opencompass如需加入年度榜单发布计划或对榜单有任何问题，请随时联系我们

斯威夫特唱周杰伦的稻香。这看似简单，但实际上背后的技术十分复杂，也正是由于音频领域的领域知识壁垒，工程师们上手并不容易。近日，香港中文大学（深圳）数据科学学院武执政副教授团队联合上海人工智能实验室

初冬时节的凉意，丝毫不影响大模型技术更新的如火如荼。近期，书生·浦语（InternLM）大模型迎来了一次重要的升级与优化。“理智与情感”双管齐下，一方面大幅提升对话体验，另一方面通过新增工具库

社区的贡献。众星汇聚成璀璨银河，各自独特却又共同闪耀。每一颗星辰，我们共同赞叹，每一缕光芒，我们共同颂扬。让我们一同，对这璀璨星海的每一颗星星表示感激。距离GPT-4更近一步?Mistral

GitHub：https://github.com/InternLM/xtuner/tree/main/xtuner/configs/mixtral评测同时，我们也在

HelmetDataset除此之外，我们其实也可以调整一些模型的超参数。比如说我们数据集很少的话，然后我希望其能够不那么快拟合，我们可以把学习率调得比较小，从而让其能够慢慢的学习到图像的特征。lr

中，工具的提示词会要求直接输入图像。在接收参数时，多模态接口会自动根据输入参数的模态和参数类型进行解析，如图像参数的输入是一个字符串，接口会解析为图像路径，而不是一个文本参数。由于

项目中，不时还接收到社区的反馈和建议。这个经验让他充满成就感，因为这是他第一次向开源算法平台做出贡献并且受到了社区的认可。他也在这个过程中学到了如何为开源项目贡献自己的代码，如何成为一名合格的

和病理切片等，为医学图像分割提供了强大支持。利用这些资源，用户可以更便捷地开展医学相关的语义分割实验。除了新增了遥感和医学两个细分方向的数据集外，MMSegmentation

量化模型随着自然语言处理领域中日益复杂的任务需求，以及人们对模型性能的不断追求，语言模型的参数量近来急剧膨胀。面对数以亿计的参数，大模型对存储以及推理带来了新的挑战。一个

【社区开放麦】开播啦！！！技术下饭番追起来，每周一个新芝士。欢迎广大社区同学加入直播间参与讨论的同时，也非常鼓励社区同学拿起话筒登上舞台，社区知识开放麦等你来玩~本期精彩大语言模型在各个方面都展现出了其强大的能力。然而，当将它们应用于高度专业化、安全关键的司法领域时，它们究竟掌握了多少法律知识以及它们是否能可靠地执行法律相关任务我们却不得而知。本期开放麦，我们邀请到宁波东方理工大学（暂名）信息学部助理教授、博士生导师，德国马克斯普朗克计算机研究所博士沈晓宇老师为大家介绍司法知识的综合评估基准

全新栏目《offer来了》终于与大家见面啦！我们会不定期精选优质的职位信息推荐给大家，希望通过这个栏目来帮助大家打破信息壁垒，探索更多的职业机会，实现自己的职业梦想。《offer来了》第4期，职位信息来自上海人工智能实验室。上海人工智能实验室是我国人工智能领域的新型科研机构，开展战略性、原创性、前瞻性的科学研究与技术攻关，突破人工智能的重要基础理论和关键核心技术，打造“突破型、引领型、平台型”一体化的大型综合性研究基地，支撑我国人工智能产业实现跨越式发展，目标建成国际一流的人工智能实验室，成为享誉全球的人工智能原创理论和技术的策源地。官网链接：https://www.shlab.org.cn/▌自然语言处理大模型工程师岗位职责：参与到大模型的训练与调优中，稳定大模型训练、提高训练效率等负责

SDPA（scaled_dot_product_attention）进行了实验，研究的重点是注意力机制。一般来讲，原生注意力机制在时间和内存上随序列长度呈二次方扩展。PyTorch

框架开展比赛。在比赛过程中，我们使用了一些对高分辨率图中关键点检测的十分有效的解决方案：采用超分辨率的思路，在原分辨率上进行热图的回归，减少定位误差；模型选择和方法方面我们使用了

对酒当歌，人生几何！潮平两岸阔，风正一帆悬。明月别枝惊鹊，清风半夜鸣蝉。杨花落尽子规啼，闻道龙标过五溪。四面边声连角起，千嶂里，长烟落日孤城闭。安得广厦千万间，大庇天下寒士俱欢颜，风雨不动安如山！......这些高中时代朗朗上口的古诗词，如今你还记得多少？近期，小红书上流行一种“搭子”文化，考研搭子、健身搭子、追剧搭子、甚至是发疯搭子......一字一句绘山河，一诗一词见天地。这些曾经在高中默写、翻译过一遍又一遍的字句，这些让无数人细寻过万千滋味的古诗词，如今又有了新的角色：和「AI

"finish_reason":"length"，这表示回话长度超过最大值。如需调整会话支持的最大长度，可以通过启动api_server时，设置--session_len参数大小。当服务端显存

quantizer_type='weight_fake_quant')model_mqbench(torch.rand(1,3,640,640).to(device))#

库定义。该机制为模型、数据集、优化器、学习率调度器、数据预处理转换、分词器等组件提供了一个注册表，注册表实现了字符串到具体类的映射。这意味着用户可以避免复杂的

使用说明以及开发者指南等介绍的内容。（https://mmdeploy.readthedocs.io/zh_CN/latest/get_started.html）

【社区开放麦】开播啦！！！技术下饭番追起来，每周一个新芝士。欢迎广大社区同学加入直播间参与讨论的同时，也非常鼓励社区同学拿起话筒登上舞台，社区知识开放麦等你来玩~本期精彩星语天文大模型是一种基于人工智能技术的大型语言模型，专门针对天文领域的研究和应用而设计，具有强大的天文知识表示和推理能力。通过训练大量天文领域的文本数据，星语天文大模型能够理解、生成和处理天文专业术语、概念和关系。本期开放麦我们邀请到中国科学院国家天文台银河系三维结构组博士生，国家天文台人工智能工作组成员李瑀旸，为观众揭开星语天文大模型的神秘面纱。分享内容基础学科模型的训练背景与动机星语模型训练概况-

篇文章、在顶尖实验室做科研助理的喜悦。对于很多人而言，选择科研也是选择了一条孤独的路。在这条漫漫长路中，梁明健的探索伴随着自省和目标方向的调整，而对知识与共鸣的渴望贯穿始终，这也是他成为

data/COCO128/coco/annotations/instances_train2017.json运行时会给出图片信息、类别信息：如种类数目、名称等。但是在复用时，不需要。2.2.2

https://github.com/InternLM/lmdeploy，动态资讯第一时间掌握！OpenAI首届开发者大会，短短45分钟，如何再次让AI圈一夜未眠2023-11-07

开发者大会上的产品升级，再次告诉人们，距离每个人都能有一个甚至多个专属私人助理、使用自然语言就能开发软件、还能像浏览应用一样，付费/免费购买流行的私人助理，这样的一个未来，正在加速向人们走来。从

【社区开放麦】开播啦！！！技术下饭番追起来，每周一个新芝士。欢迎广大社区同学加入直播间参与讨论的同时，也非常鼓励社区同学拿起话筒登上舞台，社区知识开放麦等你来玩~本期精彩大型语言模型（LLM）的出现为角色扮演等复杂任务铺平了道路，角色扮演通过使模型能够模仿各种角色来增强用户交互体验。然而，目前最先进的大模型如

周边好礼！无论你是技术小白还是写作高手，只要你怀有学习与分享的热情，我们都欢迎你的加入！免费参与，机会难得，千万不要错过！现在就点击报名，与我们一同书写技术文章的魅力吧！识别下方二维码

提出了中文医疗模型评估基准，其中包括了适用于不同临床职业、不同职业阶段的多项选择题（CMB-Exam）和基于真实病例的复杂临床诊断问题（CMB-Clin）。通过其进行的测评实验发现：GPT-4

本文入选【技术写作训练营】优秀结营作品，作者：林天文20世纪初期，「人工智能」作为崭新的概念进入了人们的视野……20世纪后期，计算机技术快速发展……但难以满足优化算法的理论论证21世纪初期，随着算力的质变发生，神经网络为首的优化算法得到了一轮轮创新和检验……21世纪20年代，神经网络已经含苞待放，只待一轮大模型应用热潮撒下花开的春天……从一开始的荒芜到现在的勃勃生机，人工智能在引领人们进入更迅速的发展轨道。然而，大家都不知道舆论憧憬的“未来”是虚还是实，大家都在想。技术奇点是否真的到来，又是喜还是忧……🔥回顾从

在日常使用各种大语言模型的过程中，我们常需要与模型进行多轮对话以达到我们的目的。然而，并非所有模型都能够顺利完成这一过程。在使用过程中，我们发现一些大语言模型在多轮对话中存在包括但不限于以下问题：大语言模型遗忘数轮对话之前的

【社区开放麦】开播啦！！！技术下饭番追起来，每周一个新芝士。欢迎广大社区同学加入直播间参与讨论的同时，也非常鼓励社区同学拿起话筒登上舞台，社区知识开放麦等你来玩~本期精彩LLM

一同成长。在此，特别感谢所有参与者的辛苦付出和贡献，这对于整个社区的发展都是极为重要的。同时，我们也向成功完成任务的所有开发者表示祝贺。作为奖励，我们将为他们提供

近年来，大型语言模型展现出了令人惊叹的语言理解和处理能力，引起了学术界和工业界的广泛兴趣。研究者开始深入探讨这些模型是否具备解决专业领域任务的潜力，例如在医疗和司法领域提供专业的问题解答。近期，中文法律领域涌现出越来越多的司法大模型，它们具备一定的理解法律文本和解决法律问题的能力。然而，当前仍缺乏一个全面的评估标准，以定量评估这些模型的实际性能表现。为了弥补这一领域的空白，南京大学和上海人工智能实验室联合构建了

微调示意图大语言模型微调时显存占用主要包括三部分：权重参数、权重梯度、优化器状态。其中，权重参数一般为静态占用，并不随训练变化，而权重梯度、优化器状态则是训练时占用。LoRA

月线下活动的入场券！10月24日-10月31日期间，领取任意任务并在11月20日前完成（合并入分支或文章发表）10月24日之前已经领取过任务，并在10月24日-10月31日内完成（合并入分支）🎁

驱动的多模态代理的未来趋势。我们快速介绍了自动图像设计和生成领域的一个初步探索，展示了如何强大的理解模型可能为生成模型提供有用的反馈信号，从而得到更好的生成结果。相关工作资料：MM-REACT:

InternLM-20B。活动参与方式本次活动有两种参与方式，可以展现自己的奇妙想象，也可以成为分享官为大家助力，我们为大家都准备了丰富奖品，只等你来！选择以下两种方式参与活动：1.脑洞大开创作基于

来学习条件信息，并对预训练好的文生图模型做有效的控制，使其适配到图像修复任务。除此之外，我们还借鉴盲图像超分领域中的退化设计和底层视觉骨干模型来完成真实场景得退化去除。总的来说，DiffBIR

等缺点也引起了不少社区用户的吐槽。整个社区也缺乏一个简洁易拓展的智能体代码库用于上手和学习。为了简化大语言模型接入智能体系统的流程，提升智能体系统的易用性和拓展性，上海人工智能实验室研发了

之前，我的刻板印象常告诉我通用大模型就是少数几个顶级科技公司才能玩得起的技术，仿佛训练吞电站，调用费千百。直到看到朱毅老师亲自讲解并演示怎么部署和变着花样调戏

VOC。由于图像检索和注释成本高昂，这些数据集主要由在网络上找到的图像组成，并不能代表实际建模的许多现实领域，例如卫星、显微和游戏等，这使得很难确定模型学到的泛化程度。为此，我们特意支持了

写在前面大家好，我是刘聪NLP。目前很多机构都投身于基座模型训练、chat模型训练领域，要在这个领域中做到比别人更好的效果，需要相当多的财力、物力。所幸整个大模型领域中，除了微调训练外，还是有很多亟待解决的问题，例如大模型的应用研发、大模型的评测等。今天给大家带来一篇来自邱震宇大佬（知乎@邱震宇）的大模型的评测分析。知乎：https://zhuanlan.zhihu.com/p/652688939有关大模型的评测，想必大家经常会看到相关新闻。因为每次有一个开源或者闭源的大模型发布出来，必然会发布自己在某某评测上的效果。或者有一些机构会专门做一些大模型的榜单，从多个不同维度来对大模型进行打分排名。目前大部分的企业机构受限于成本、数据隐私合规等因素，不会使用GPT4的服务，也无法自己训一个强力的基座模型，只能依赖于开源模型。然而当前模型的可选择面太多了，究竟选择哪个成了非常头疼的问题。通常来说，我们选择前会参考各大评测榜单的结果，因此了解市面上的大模型评测模式是很有必要的。另外我们也希望能够搭建一套自己的评测工具，目前市面上开源出来的评测工具似乎只有一家——OpenCompass。因此，本文先简要介绍大模型评测的模式，随后将详细介绍对OpenCompass的分析和一些看法，希望能给各位从事大模型方向的同僚提供一些参考。大模型评测的模式首先，目前常见的大模型评测模式可以大致总结为以下三种：1、做题打分。主要是收集各种各样的评测数据集，然后把数据集分为不同的维度能力。通过设计一些prompt让大模型去做这些数据集的任务，与标准答案进行对照计算分数。典型的如OpenCompass，huggingface的openLLM

《offer来了》栏目更新啦！我们会不定期分享求职经验、精选优质的职位信息推荐给大家，希望通过这个栏目来帮助大家打破信息壁垒，探索更多的职业机会，实现自己的职业梦想。本期职位信息来自上海人工智能实验室上海人工智能实验室是我国人工智能领域的新型科研机构，开展战略性、原创性、前瞻性的科学研究与技术攻关，突破人工智能的重要基础理论和关键核心技术，打造“突破型、引领型、平台型”一体化的大型综合性研究基地，支撑我国人工智能产业实现跨越式发展，目标建成国际一流的人工智能实验室，成为享誉全球的人工智能原创理论和技术的策源地。官网链接：https://www.shlab.org.cn/多模态大模型青年研究员职位描述直接参与多模态大模型的研发工作，包括多模态大模型的设计、训练、调优等；开展多模态前沿算法研究工作，包括但不限于多模态2D/3D感知、图文生成等；开展大模型训练基础理论研究工作，包括但不限于模型设计、训练策略、优化算法、模型压缩等。职位要求计算机或人工智能相关专业博士学历，有多篇顶会顶刊论文发表；对