探索未知：LLM Agent 应用开发的全新时代

【社区开放麦】开播啦！！！技术下饭番追起来，每周一个新芝士。欢迎广大社区同学加入直播间参与讨论的同时，也非常鼓励社区同学拿起话筒登上舞台，社区知识开放麦等你来玩~

本期精彩

LLM Agent 是指基于大型语言模型（LLM）构建的智能体，具有强大的学习，推理以及行动生成能力，能够在复杂环境中自主地执行任务。当前基于 LLM Agent 的方式来构建各类应用已经成为一个非常热门的 AI 应用落地方向，本次分享邀请到观远数据联合创始人周远带来 LLM Agent 核心概念介绍，包括记忆、逻辑推理、环境互动等，构建基于 LLM Agent 的应用中的各类挑战与应对技巧以及对 LLM Agent 相关的前沿研究概览与未来展望。

分享内容

• LLM Agent 核心概念介绍，包括记忆，逻辑推理，环境互动等

• 构建基于 LLM Agent 的应用中的各类挑战与应对技巧

• LLM Agent 相关的前沿研究概览与未来展望

分享时间

北京时间

2023 年 11 月 2 日（周四）

20: 00 - 20: 40（分享）

20: 40 - 21: 00（Q&A）

分享嘉宾

周远

观远数据联合创始人，研究方向包括 MLOps、可解释机器学习、大语言模型应用等。

内容详情

Prompt engineering

如何将每次预测一个 token 输出的语言模型转化为一个具有复杂推理计划行动能力的 agent，prompt engineering是最基础的一环。我们将从 LLM 的原理出发，介绍设计开发 prompt 的重要原则，以及如何在实际应用开发中对 prompt 进行评估，版本管理与持续的迭代改进。

Agent 很重要的一块能力来自于逻辑推理，通过 prompt 也能极大地提升模型的推理能力，例如数学/代码能力往往能通过一些 prompt 技巧从 10% 的准确率迅速提升至 70% 以上。我们也将介绍一系列促进模型推理能力的 prompt 方法，例如 chain of thoughts, tree of thoughts, ReAct 等。

但在实际应用中，agent 计划推理的准确性与收敛性问题饱受诟病，我们也将介绍在应用落地中的一些折中方案。

Retrieval augmented generation

在应用中，最令人头痛的问题莫过于大模型的“幻觉”。当前最有效的解决方案莫过于检索增强生成（ RAG, Retrieval-augmented generation），因此也成为各类应用中最广泛使用的一种模式。在应用这种模式过程中，会碰到很多挑战，例如简单的向量检索召回往往准确率不佳、query key & value 不在相近的向量空间内等。

如何有机结合外部知识与模型内部知识？我们将会介绍对应的一些优化经验，例如多路信息召回与混合排序、结合元数据进一步优化搜索效果、RAG 与 LLM 逻辑推理能力的结合等。

基于 LLM 进行工具构造与使用

与真实世界连接是从 LLM 迈向 agent 的关键一步。如何从仅仅生成一系列文本，到可以在复杂环境中“采取行动”？我们将介绍基于 LLM 进行工具构造与使用的巧妙方法。这部分涉及到了很多代码生成的需求，在实际应用中经常碰到生成的格式或代码有误的问题。我们将从 LLM 的可控生成与针对工具使用的模型优化两个方面来介绍应对方法，提升整体的可靠性和准确性。

多智能体协作

就跟人类社会一样，多个个体基于各自擅长的技能，进行决策动作的可信度加权，往往能够在整体上取得远超个体的结果，也就是俗话说的“三个臭皮匠，顶个诸葛亮”。多智能体协作就是在单一 agent 基础上，进一步构建多 agent 的个性化背景设定，记忆系统，技能工具库，通过它们之间的交互协作来完成更庞大复杂的现实世界任务。例如最近比较火的一些关于软件开发 agent 群体的工作 MetaGPT、ChatDev 等。我们也会在此基础上讨论一下未来 Agent Network 的发展前景，以及这个方向对于各种技术基础设施的需求。

最后我们将简单展望一下未来，聊聊多模态 foundation model、强化学习与 LLM 的结合、life-long learning、alignment 等探索方向，提出一些 promising 的研究方向供大家参考交流。

相关工作

AutoGPT 与 LLM Agent 解析：

https://zhuanlan.zhihu.com/p/622947810

LLM 应用开发全栈指南：

https://zhuanlan.zhihu.com/p/629589593  https://zhuanlan.zhihu.com/p/633033220

LLM 可控生成初探：

https://zhuanlan.zhihu.com/p/642690763

交流群

同时为了方便大家交流沟通，我们建立了 LLM Agent 相关方向交流群，提供与大佬 1v1 的机会，扫码即可入群~

往期回顾

上期开放麦我们邀请到微软高级研究员杨征元为大家带来了多模态 Agents 的深度解读。

分享内容包括：

• 多模态学习范式转变，通用 Agent —— MM-ReAct

• 多模态涌现能力评估: MM-Vet 评价数据集

• 从大语言模型到多模态大模型，初步工作及未来展望

感兴趣的同学，可以通过直播回放学习一下哦~

2023-10-25