Alpaca-CoT：多接口统一的 LLM 轻量级指令微调平台

【社区开放麦】开播啦！！！技术下饭番追起来，每周一个新芝士。欢迎广大社区同学加入直播间参与讨论的同时，也非常鼓励社区同学拿起话筒登上舞台，社区知识开放麦等你来玩~

本期精彩

大模型的指令微调在 NLP 领域中已成为重要研究主题。然而，针对大模型的指令微调存在三个层面的门槛：1. 数据层面：指令微调的数据选择和整合；2.计算效率层面：LLM 指令微调需要较高的计算资源需求；3.模型层面：不同的开源模型有着不同的 codebase，难以简单切换和对比。

为了解决这些问题，本期社区开放麦特意邀请到 Alpaca-CoT 团队，来分享关于多接口统一的大模型指令微调平台的相关内容。

分享内容

• 大模型指令微调的前生今世

• Alpaca-CoT: 多接口统一的大模型轻量级指令微调平台

• LLM 中文指令微调的实证研究

• Alpaca-CoT 未来计划和展望

分享时间

北京时间

2023 年 12 月 28 日（周四）

20: 00 - 20: 40（分享）

20: 40 - 21: 00（Q&A）

分享嘉宾

佀庆一

中国科学院大学，信息工程研究所博士生，研究方向包括多模态，大模型，鲁棒性等。

内容详情

在数据层面， Alpaca-CoT 收集和整理了 1.2 亿条样本，涉及到 2000+任务类别，包含 CoT，中文指令数据，role playing 等，收集的部分数据集如下图所示。

在计算效率层面，Alpaca-CoT 整合进来 prompt modification (如prefix tuning)，reparameterization(如LoRA)以及 Adapter methods(如Parallel Adapter)三大类，共近 10 种参数效率方法。这三类参数效率方法的不同如下图所示。由于 Alpaca-CoT 是在 hugging face 的基础上开发而成的，所以 hugging face 支持的一些分布式方法(如 Deepspeed 的 ZeRO1,2,3)和量化方法(如 Int8-bitsandbytes)在 Alpaca-CoT 中也同样支持。

在大模型接口层面，我们集成了十数种开源 LLM，并将这些模型和上述参数效率方法双向适配，仅需要更换超参数和对应的权重路径即可更换不同的 LLM。下图展示了我们已经集成进来的所有 LLM，后续我们将持续集成更多。

Alpaca-CoT 的初衷是无限降低研究人员使用和研究 LLM 的门槛，因此是完全开源和开放的，欢迎大家加入我们，共同不断维护和改进该平台，以促进大模型研究的民主化。任何有意义的改进我们都会考虑 merge 进来，欢迎向我们发起任何有意义的 PR，成为 Alpaca-CoT 的 contributor 之一！

近几个月，开源社区对大模型的指令微调相关的工作越来越多，然而，对世界上最常用的语言—中文的指令微调系统性研究仍处于早期阶段。因此，我们基于以上 Alpaca-CoT 平台对 LLM 的中文指令微调进行了深入的实证研究，可以作为一个指南书，整理出开源社区有哪些数据，哪些效率方法，哪些 LLM 分别表现如何，擅长哪些能力，为有效定制能够更好地响应中文指令的 LLM 提供有价值的发现。具体来说，我们系统地探讨了不同 LLM、参数效率方法和不同指令微调数据类型（三个最重要的元素）的影响。此外，我们还开展实验来研究大模型中其他重要元素的影响，如 CoT 数据、中文词表扩充、人类价值观对齐等。我们希望这一实证研究能够为中文开源大模型做出微薄的贡献。

想了解更多精彩内容，记得订阅直播，本周四晚八点开放麦不见不散哦~

相关资料

An Empirical Study of Instruction-tuning Large Language Models in Chinese

paper: 

https://aclanthology.org/2023.findings-emnlp.269/

Code: 

https://github.com/PhoebusSi/Alpaca-CoT

交流群

同时为了方便大家交流沟通，我们建立了大模型相关的交流群，本期分享的大佬也在群里哦，可与大佬进行 1v1 沟通 ，扫码即可入群~

往期回顾

上期开放麦，我们邀请到香港中文大学的博士生王鸿儒同学以语言模型与对话系统的相互演变与进化为切入点，通过一个新的视角，解答了基于大模型的对话系统从哪里来，又到何处去的问题。

感兴趣的同学，可以通过直播回放学习一下哦~