老笔记本部署MiniCPM-2B语言模型

2024年，面壁智能推出了新的“性能新旗舰”——面壁MiniCPM。这款仅有2B参数规模、使用了1T Tokens精选数据的模型，却在多项主流评测榜单上横扫对手，其在中英文的平均成绩上超越了Mistral-7B，甚至在中文和通用能力上超过了微软的明星模型Phi-2（蒸馏GPT-4）。

模型介绍

• 该模型拥有24亿个参数，经过优化，适用于在边缘设备上进行高效部署。

• 模型的源代码是开源的，可在 GitHub 上找到，链接为：

https://github.com/OpenBMB/MiniCPM

• MTBench的基准测试结果表明，在与用户体验相关的领域，该模型优于其他流行的开源模型，如Llama2-70B-Chat和Mistral-7B。

• OpenBMB还发布了一款多模态版本，名为MiniCPM-V，它结合了MiniCPM-2B和一个名为SigLip-400M的视觉模型，从而使模型具备了文本和图像处理能力。

模型使用

• MiniCPM的表现令人印象深刻。面对诸如"临朐在哪里"这样的问题，MiniCPM不仅能给出准确的答案，还能计算出具体的差值，其速度明显优于人工搜索和计算。

• 在英文能力方面，MiniCPM同样表现出色。它能够巧妙地处理多语言混合翻译的难题，比如将一段中英文混杂的句子翻译成法语，它能够准确理解意图并输出正确答案。

• 在角色扮演方面，MiniCPM同样能够轻松应对。无论是角色扮演，还是写一封充满爱意的情书，它都能准确地把握语气和技巧。这使得它非常适合用于驱动情感类聊天机器人等端侧应用。

本地部署

1. 本地搭建torch环境，我的电脑太老了，显存只有4G。可以用下面命令测试cuda版本。

搭建torch环境

1. 运行代码app.py。

运行代码

1. 展示效果，向miniCPM提问。

向miniCPM提问

1. 如果显存不够，则会出现显存溢出。

显存溢出

总结

MiniCPM-2B是来自OpenBMB的一款中文语言模型，专为在边缘设备上进行部署而设计，并且根据基准测试结果和模型文档，其性能竞争力强，可以与更大规模的网络模型相媲美。

下载方式

点击下面「公众号：NewTech精选」卡片，进入之后对话框发送关键词：2426

往期推荐