技术 | 史上最全ChatGPT说明书

发现一篇非常详细、全面完整介绍ChatGPT背后原理的文章，因此分享给大家。

本文原文名为《From zero to ChatGPT》，转自许明老师的博客：

https://xv44586.github.io/2023/01/09/zero-to-chatgpt/

文章的全部目录见正文

点击本文左下角阅读全文，即可跳转阅读全文，适合对整个模型和技术迭代感兴趣的朋友。

https://xv44586.github.io/   欢迎关注🐇

*本文一切形式的转载必须按照规范，标明来源和所有参考文献。

作者 |  许明

主要内容

• Language Model

• 统计语言模型

• 神经网络语言模型

• 升级

• GPT-3

• Prompt engineering

• PET

• Automated Discrete Prompt

• Automated Continuous Prompt

• Multi-Step Reasong（三步走)

• CoT

• Least-to-Most Prompting

• self-ask

• 扩展测试

• Emergent Abilities

• Scaling Up

• Alignment

• Fine-tuning with human feedback

• SFT

• FeedME

• Reinforcement learning with human feedback

• Instruction-tuning

• ChatGPT

• 番外篇：

• 如何提升LLM在某个(组）特定任务上的性能

• Fine-tuning

• Fine-tuning with human feedback

• RAG

• Prompt Engineering

• Instruction-tuning

• 如何将能力从大模型迁移到小模型上

  ---

   关于头图：ChatGPT BG from ChatGPT Online: AI Advanced Chatbot by OpenAI