可能是最强的开源代码大模型！深度求索发布 DeepSeek Coder
成立半年后，DeepSeek 带着代码大模型与大家见面了。免费商用，完全开源。
DeepSeek 智能代码助手
Talk is cheap, show me the code
进入 DeepSeek Coder 对话界面，输入：用 Python 写一个贪吃蛇游戏，随着屏幕快速输出跳跃的代码，一段可直接运行的游戏代码即可生成：
贪吃蛇太简单了？两轮交互，指挥 DeepSeek Coder 修改 UI，轻松写出更难的 2048 游戏：
作为代码助手，如果只会写游戏那未免也太局限了。DeepSeek Coder 还能生成测试样例：
DeepSeek Coder 修 bug 同样是一把好手，从此告别恼人的内存泄露：
作为数据分析的好帮手，学写 SQL 也是必备技能：
你还可以从 LeetCode 挑选任意一个周赛题，让 DeepSeek Coder 帮你冲击 No.1：
目前，DeepSeek Coder 已经开放内测。
访问 coder.deepseek.com 或者扫描以下二维码，立即抢先使用。
DeepSeek 全系列已开源
Talk is cheap, show me the model
DeepSeek Coder 已开源 1B，7B，33B 全系列模型，包含 Base 模型和指令调优模型。
Hugging Face 首页：
https://huggingface.co/deepseek-ai
GitHub 仓库：
https://github.com/deepseek-ai/DeepSeek-Coder
在国际权威数据集 HumanEval 编程多语言测试上，DeepSeek Coder 在各个语言上的表现都领先已有的开源模型。
图2：Multilingual HumanEval 测评
与之前最好的开源大模型 CodeLlama 相比，DeepSeek Coder 在代码生成任务上（使用标准数据集 HumanEval、MBPP 和 DS-1000 进行评测）分别领先 9.3%、10.8% 和 5.9%。其中 DeepSeek Coder 的 70 亿参数版本在代码能力上达到了 CodeLlama 的 340 亿参数水平。经过指令调优后的 DeepSeek Coder 模型更是全面超越了 GPT3.5-Turbo。
图3：代码生成测评
除了代码能力以外，DeepSeek Coder 也展现了极强的数学和推理能力。不通过任何指令微调，DeepSeek Coder 在数学推理评测上展现了极佳的性能。
图4：基于程序的数学推理能力测评
DeepSeek Coder 如何炼成
Talk is cheap, show me the details
数据处理
步骤1：从 GitHub 收集代码数据，并利用过滤规则高效地筛选数据。
步骤2：解析同一项目中代码文件之间的依赖关系，根据它们的依赖关系重新排列文件位置。
步骤3：组织依赖文件，并使用项目级别的 minhash 算法进行去重。
步骤4：进一步过滤掉低质量的代码，例如语法错误或可读性差的代码。
图5：数据处理流程
模型训练
步骤1：使用 4K 的窗口大小在 1.8 万亿单词上进行模型的预训练。
步骤2：使用 16K 的窗口在 2 千亿单词进一步进行预训练，从而得到基础版本模型（DeepSeek-Coder-Base）。
步骤3：使用 20 亿单词的指令数据进行微调，得到经过指令调优的模型（DeepSeek-Coder-Instruct）。
图6：模型训练流程
关于 DeepSeek
DeepSeek 致力于探索 AGI 的本质，不做中庸的事，带着好奇心，用最长期的眼光去回答最大的问题。
DeepSeek Coder 是深度求索发布的第一代大模型，在不久的将来，我们还将呈现给社区更多更好的研究成果。让我们在这个激动人心的时代，共同推进 AGI 的到来！
END
DeepSeek
如果你想参与构建下一代通用人工智能（AGI），那么请不要犹豫，加入 DeepSeek，与我们共同在 AGI 征程上“深度求索”吧！简历投递邮箱：talent@deepseek.com（备注：岗位-姓名-电话）