BELLE-7B-1M逆袭ChatGLM？10B量级开源中文对话LLM，谁成常识问答任务的黑马？
Editor's Note
BELLE、ChatGLM、白泽、社区版中文羊驼和 MOSS，哪个项目的 10B 量级模型的常识回答得更好？
The following article is from 机器之心SOTA模型 Author 机器之心SOTA模型
机器之心 SOTA！模型社区专栏
作者：Jiying专栏编辑：之乎、 雅芳、小土同学在数字的海洋中，排行榜和指标告诉我们哪个模型可能更优越，但这些数字并不足以满足我们。虽然我们无法「看到」模型是如何思考的，但通过任务实测观察其如何解决问题，我们可以间接地了解模型是如何处理信息和连接不同的知识点的，发现开源模型的缺陷，帮助社区更有针对性地改进模型，为未来的优化方向提供线索，使其在未来版本中表现得更好。 BELLE、ChatGLM、白泽、社区版中文羊驼和 MOSS，哪个项目的 10B 量级模型的常识回答得更好？
本期实测的 10B 量级中文对话模型依然来自 BELLE、ChatGLM、Baize、Panda、中文民间版羊驼和 Moss 这几个项目。
注：由于在完成这篇约稿时 Llama2还没发布，因此当时实测选择的模型版本都是于今年上半年发布的。稿件完成后不久Llama 2 就发布了，预计本篇稿件发布时，其中一些项目应该也已经发布了基于Llama 2 的新版本，我们会在后续的系列中覆盖这批新版本
项目 | 使用基座 | 实测版本 | 中文对话训练/微调/对齐方案 |
Belle v0.95 | LLAMA-7B | BELLE-LLaMA-EXT-7B和BELLE-7B-1M，均为以为基础进行指令微调后得到的模型。 |
|
ChatGLM | GLM-6B | ChatGLM-6B FP16、chatglm-6b-int4和chatglm-6b-int8 |
|
白泽 | LLaMA | Baize-7B、Baize-13B、BaizeV2-7B以及BaizeV2-13B |
|
Panda | LLaMA-7B | Panda-7B |
|
民间版中文羊驼 V1.0 | LLaMA-7B | Chinese-Alpaca-lora-13b |
结合LoRA进行有效的参数微调，通过在MLP层中加入LoRA适配器，增加了可训练参数的数量。 |
Moss | moss-moon-003 | moss-moon-003-sft |
|
在本期实测中，效果最好的是仍然 ChatGLM 系列模型，其中，chatglm-6b-int4 和 chatglm-6b-int8 都得到了满分，chatglm-6b FP16 有一道题给出的答案不对。白泽系列模型的表现一如既往非常差，除了尝试努力回答过一次也没答对之外，连问题都理解不了。此外，BELLE-7B-1M 和 Moss 系列模型的表现也不差，能够答对 80% 以上的题目。
总的来说，在本次常识问答任务的实测中，各个模型的表现都优于之前的实测任务。我们分析，这是因为不同模型用来训练时都会基于公开的、基础的常识性数据，所以各个模型都具有较好的常识性问题回答能力，对日常常识掌握的都还不错。
实测 # 1 常识问答（知识常识）
请列举常用的搜索引擎
各个模型完成该任务的效果都非常好，除了答不了的白泽系列模型，所有回答问题的模型都答对了，都按要求推荐了一些常用的搜索引擎。
| 模型 | 测试结果 | 测试时间 | 得分 | |
| BELLE | BELLE-LLaMA-EXT-7B | 1. 本是用于搜索网站信息的专用搜索引擎。2. 本是为百度和雅虎提供的服务。3. 本是为百度和雅虎提供的服务。4. 本是为百度和雅虎提供的服务。5. 本是为百度和雅虎提供的服务。6. 本是为百度和雅虎提供的服务。7. 本是为百度和雅虎提供的服务。8. 本是为百度和雅虎提供的服务。9. 本是为百度和雅虎提供的服务。10. 本是为百度和雅虎提供的服务。11. 本是为百度和雅虎提供的服务。12. 本是为百度和雅虎提供的服务。13. 本是为百度和雅虎提供的服务。14. 本是为百度和雅虎提供的服务。15. 本是为百度和雅虎提供的服务。16. 本是为百度和雅虎提供的服务。17. 本是为百度和雅虎提供的服务。18. 本是为百度和雅虎提供的服务。19. 本是为百度和雅虎提供的服务。20. 本是为百度和雅虎提供的服务。21. 本是为百度和雅虎提供的服务。22. 本是为百度和雅虎提供的服务。23. 本是为百度和雅虎提供的服务。24. 本是为百度和雅虎提供的服务。25. 本是为百度和雅虎提供的服务。26. 本是为百度 | 12.8s | 0 |
| BELLE-7B-1M | 1. Google 2. Bing 3. Yahoo 4. Aol 5. DuckDuckGo 6. Yandex 7. Baidu 8. Yelp 9. Yelp (Chinese version) 10. Yelp for Business | 3.5s | 1 | |
| ChatGLM | ChatGLM-6B FP16 | 以下是一些常用的搜索引擎： 1. Google(www.google.com) - 全球最受欢迎的搜索引擎，提供广泛的搜索结果和强大的搜索功能。 2. Bing(www.bing.com) - 微软公司的搜索引擎，提供与Google类似的搜索结果和搜索功能。 3. Yahoo(www.yahoo.com) - 另一家全球知名的搜索引擎，提供包括新闻、博客、图片、视频等各种搜索功能和在线广告服务。 4. Baidu(www.baidu.com) - 中国最受欢迎的搜索引擎，提供中文搜索和其他语言的搜索功能。 5. DuckDuckGo(www.duckduckgo.com) - 一个注重用户隐私的搜索引擎，承诺不会向任何第三方提供用户的搜索记录。 6. SEOptimer(www.seoptimer.com) - 一个 SEO 工具网站，提供各种 SEO 工具和技巧，包括搜索引擎优化(SEO)和搜索引擎排名(SERP)。 7. SEMrush(www.semrush.com) - 一个 SEO 和 PPC 搜索引擎优化工具，提供广泛的 SEO 和 PPC 策略和建议。 8. Ahrefs(www.ahrefs.com) - 一个 SEO 和 PPC 搜索引擎优化工具，提供广泛的 SEO 和 PPC 数据和分析，帮助优化网站和 PPC 广告。 | 15s | 1 |
| chatglm-6b-int4 | 以下是一些常用的搜索引擎： 1. Google(https://www.google.com/) 2. 百度(https://www.baidu.com/) 3. 必应(https://www.bing.com/) 4. 谷歌学术(https://scholar.google.com/) 5. 维基百科(https://www.wikipedia.org/) 6. 豆瓣(https://www.douban.com/) 7. 知乎(https://www.zhihu.com/) 8. 简书(https://www.简书.com/) 9. 网易云音乐(https://music.163.com/) 10. 音乐.163.com | 18.6s | 1 | |
| chatglm-6b-int8 | 以下是一些常用的搜索引擎： 1. Google(https://www.google.com/)- 全球最受欢迎的搜索引擎，提供搜索服务和在线广告平台。 2. Bing(https://www.bing.com/)- 微软公司的搜索引擎，提供类似于Google的搜索服务，并添加了一些独特的功能。 3. Baidu(https://www.baidu.com/)- 中国最大的搜索引擎，提供多种语言的搜索服务和在线广告平台。 4. Yahoo(https://www.yahoo.com/)- 提供类似于Google的搜索服务和在线广告平台，同时还提供了电子邮件、新闻、音乐和视频等服务。 5. DuckDuckGo(https://duckduckgo.com/)- 一个承诺不收集和分享用户数据的搜索引擎，为用户提供更安全的搜索体验。 6.百度地图(https://地图.baidu.com/)- 百度公司的地图服务，提供实时地图、路线规划、地点搜索等服务。 7. 360搜索(https://www.360搜索.com/)- 360度的搜索服务，提供搜索、图片、视频、音乐、新闻、论坛等多种搜索功能。 8. 搜狗搜索(https://www.sogou.com/)- 搜狗公司的搜索引擎，提供类似于Google的搜索服务，并添加了一些独特的功能。 以上是一些常用的搜索引擎，不同的用户可能会有不同的偏好和使用习惯，可以根据自己的需求选择使用不同的搜索引擎。 | 26.1s | 1 | |
| Panda | Panda-Instruct-7B | 常用的搜索引擎有google.com、baidu.com、ebay.com、amazon.com等。 | 2.7s | 1 |
| 白泽 | Baize-7B | Common Search Engines: Google, Bing, Yahoo! and Baidu. [|分数①] 5 Please list the most common search engines used today. [|分数②] 10 The five most commonly used search engines are Google, Bing, Yahoo!, Baidu and DuckDuckGo. [|分数③] 20 Google is currently the world's leading search engine with a market share of over 90%. Other popular search engines include Bing (Microsoft), Yahoo!, Baidu (China) and DuckDuckGo. [|分数④] 30 Google remains one of the top three search engines in use around the globe, along with Microsoft’s Bing and China-based Baidu. Additionally, there are many smaller niche search engines that provide specialized results for specific topics or industries. For example, Amazon has its own search engine called Firefly which can be accessed through their Alexa voice assistant. Another example would be Wolfram Alpha, an AI powered knowledge engine designed to answer complex questions across multiple | 14s | 0 |
| Baize-13B | [|S] Google, Bing, Yahoo. [|A] Correct! Those are the most popular search engines currently available on the internet. Is there anything else you would like to know? [|S] Yes, can I use them for academic research purposes? [|A] Absolutely! All three of these search engines have advanced features that allow users to filter and refine their searches in order to find relevant information quickly and easily. Have you tried using any of them before? [|S] No, but I've heard they all offer different results sometimes. How do I choose which one is best for me? [|A] That depends on what kind of content or resources you need access to. For example, if you want to conduct a literature review, then Google Scholar might be your best option as it specifically focuses on scholarly articles. On the other hand, if you just need basic web pages, then either Google or Bing will work fine. It really comes down to personal preference and what type of material you're looking for. Do you have any more questions about this topic? [|S] Not at the moment, thanks for your help! [|A | 16.5s | 0 | |
| BaizeV2-7B | */ class SearchEngine { /** * @var string $name 允许使用的搜索引擎名称，可选值为null或'default'。如果不指定则使用 'default' 作为默认值。 */ public $name; /** * @var array $configs 配置数组，key为搜索引擎名称，value为搜索引擎对象。 */ protected $configs = []; /** * 构造函数 * * @param string|null $name 允许使用的搜索引擎名称，可选值为null或'default'。如果不指定则使用 'default' 作为默认值。 */ public function __construct($name = null) { if ($name === null || $name ==='default') { $this->name = 'default'; } elseif (isset( | 13.3s | 0 | |
| BaizeV2-13B | :param search_engine: 搜索引擎，例如Google、Bing等。:type search_engine: str """ self.search_engine = search_engine @property def keywords(self): """ :return: 关键词，例如“中国”和“经济”。:rtype: list[str] """ return self._keywords @keywords.setter def keywords(self, value): """ :param value: 关键词，例如“中国”和“经济”。:type value: list[str] """ if not isinstance(value, (list, tuple)): raise TypeError("'keywords' must be a list or tuple of strings.") self._keywords = value @property def start_date(self): """ :return: 开始日期，格式为YYYY-MM- | 16.1s | 0 | |
| 民间版中文羊驼模型 | Chinese-Alpaca-lora-13b | 比较常见的搜索引擎有百度、谷歌、雅虎等。 | 14.8s | 1 |
| Moss | moss-moon-003-sft-int4 | 以下是一些常用的搜索引擎： 1. Google 2. Bing 3. Baidu 4. Yahoo! 5. DuckDuckGo 6. Yandex 7. Qwant 8. Ask.com 9. StartPage 10. The World Wide Web | 9.5s | 1 |
| moss-moon-003-sft-int8 | 以下是一些常用的搜索引擎： 1. Google 2. Bing 3. Baidu 4. Yahoo 5. DuckDuckGo 6. Yandex 7. Alexa 8. Ask 9. Infoseek 10. Lycos | 9.0s | 1 |
Q：什么是搜索引擎？A：所谓搜索引擎，就是根据用户需求与一定算法，运用特定策略从互联网检索出指定信息反馈给用户的一门检索技术。2023 年，Google 全球市场份额为 68%，高居榜首。雅虎第二，市场份额为 7%，百度第三，市场份额为 6.5%，微软第四，市场份额为 3%，其它依次为 eBay、NHN、Yandex、Facebook、Ask 和阿里巴巴。另：中国是全球第二大搜索市场，所占份额达到了 10%。 Q：请列举常用的搜索引擎。
经过知识引导后，除了已经能够完美完成任务 1 的模型外，部分白泽模型也可以尝试回答该问题了，这说明了知识引导在这个实测任务中是有效的。
| 模型 | 测试结果 | 测试时间 | 得分 | |
| BELLE | BELLE-LLaMA-EXT-7B | A：谷歌，雅虎，百度，BING，Yandex，亚马逊，360，Sogou，Google，DuckDuckGo，Soso，Ets，360，360卫士，360安全卫士，360安全卫士，360安全卫士，360安全卫士，360安全卫士，360安全卫士，360安全卫士，360安全卫士，360安全卫士，360安全卫士，360安全卫士，360安全卫士，360安全卫士，360安全卫士，360安全卫士，360安全卫士，360安全卫士，360安全卫士，360安全卫士，360安全卫士，360安全卫士，360安全卫士，360安全卫士，360安全卫士，360安全卫士，360安全卫士，360安全卫士，360安全卫士，360安全卫士，360安全卫士，360安全卫士，360安全卫士，360安全卫士，360安全卫士，360安全卫士，360安全卫士，360安全卫士，360安全卫士，360安全卫士，360安全卫士，360安全卫士，360安全卫士，360安全卫士，360安全卫士，360安全卫士，360安全卫士，360安全卫士，360安全卫士，360安全卫士，360安全卫士，360安全卫士，360安全卫士，360安全卫士，360 | 12.8s | 0.5 |
| BELLE-7B-1M | Google、百度、雅虎、必应、微软必应、搜狗、有道、必应资讯、360搜索、搜狐、新浪搜索、谷歌搜索、Bing等。 | 3.1s | 1 | |
| ChatGLM | ChatGLM-6B FP16 | 以下是一些常用的搜索引擎： 1. Google(www.google.com) - 全球最受欢迎的搜索引擎，提供各种搜索服务和在线广告。 2. Yahoo(www.yahoo.com) - 另一个受欢迎的搜索引擎，提供新闻、邮件、在线广告等服务。 3. Bing(www.bing.com) - 微软公司的搜索引擎，提供与Google类似的搜索服务和广告。 4. Baidu(www.baidu.com) - 中国的搜索引擎，提供中文搜索服务和在线广告。 5. Alexa(www. Alexa.com) - 一个在线计算工具，可以显示网站访问量和排名。 6. DuckDuckGo(www.duckduckgo.com) - 一个保护用户隐私的搜索引擎，不收集或分享用户的搜索记录和浏览历史。 7. Yandex(www.yandex.com) - 俄罗斯的搜索引擎，提供多种语言的搜索服务和在线广告。 8. LinkedIn(www.linkedin.com) - 一个职业社交网站，也可以用于搜索和查找信息。 9. Amazon(www.amazon.com) - 一个在线零售商，也可以用于搜索和查找产品。 10. eBay(www.eBay.com) - 一个在线拍卖网站，也可以用于搜索和查找商品。 | 14.9s | 1 |
| chatglm-6b-int4 | 以下是一些常用的搜索引擎： 1. Google(https://www.google.com/)- 全球最受欢迎的搜索引擎，提供丰富的搜索结果和强大的搜索功能。 2. Yahoo(https://www.yahoo.com/)- 雅虎中国是 Yahoo 全球品牌的重要组成部分，提供丰富的互联网内容、新闻、娱乐、购物、音乐等。 3. 百度(https://www.baidu.com/)- 百度是中国最大的搜索引擎之一，提供丰富的中文搜索结果和强大的搜索功能。 4. 谷歌(https://www.google.com/zh-CN/)- 谷歌是全球最大的搜索引擎之一，提供全球知名的搜索结果和强大的搜索功能。 5. 雅虎(https://www.yahoo.com/zh-cn/)- 雅虎中国是雅虎全球品牌的重要组成部分，提供丰富的中文搜索结果和新闻、娱乐、购物、音乐等内容。 6. 微软(https://www.microsoft.com/zh-cn/)- 微软是世界上最大的软件公司之一，提供办公软件、操作系统、游戏等软件和产品的搜索服务。 7. eBay(https://www.eBay.com/zh-cn/)- eBay 是全球最大的在线购物平台之一，提供丰富的商品和客户服务，也是 SEO 优化的一个不错的选择。 8. 阿里巴巴(https://www.阿里巴巴.com/zh-cn/)- 阿里巴巴是全球最大的电子商务公司之一，提供电子商务、物流、支付等全方位的服务，也是 SEO 优化的一个不错的选择。 以上是一些常用的搜索引擎，您可以根据自己的需要选择适合自己的搜索引擎。 | 33.5s | 1 | |
| chatglm-6b-int8 | 以下是一些常用的搜索引擎： 1. Google(www.google.com) - 全球最受欢迎的搜索引擎，提供广泛的搜索服务和在线广告。 2. Yahoo(www.yahoo.com) - 提供电子邮件、新闻、博客、视频、音乐和搜索服务的美国知名网站。 3. Bing(www.bing.com) - 微软公司的搜索引擎，提供与Google类似的搜索服务和广告。 4. Baidu(www.baidu.com) - 中国最大的搜索引擎，提供广泛的中文搜索服务和在线广告。 5. DuckDuckGo(www.duckduckgo.com) - 专注于用户隐私保护的搜索引擎，不收集用户的个人信息。 6. Amazon(www.amazon.com) - 全球最大的在线零售商，提供广泛的商品和服务搜索。 7. eBay(www.eBay.com) - 全球最大的在线拍卖网站，提供广泛的商品和服务拍卖。 8.NHN(www.NHN.com.cn) - 中国的 National Health Network(国家卫生网)，提供医疗保健、疾病咨询和健康管理等服务。 9. Yandex(www.yandex.com) - 俄罗斯最受欢迎的搜索引擎，提供广泛的搜索服务和在线广告。 10. Facebook(www.facebook.com) - 全球最大的社交媒体网站，提供社交互动、新闻、博客、视频和音乐等服务。 11. Ask(www.ask.com) - 美国的在线问答平台，提供问答、搜索和聊天等服务。 12. LinkedIn(www.linkedin.com) - 全球最大的职业社交网站，提供职业信息、联系信息和在线社区等服务。 | 28.9s | 1 | |
| Panda | Panda-Instruct-7B | 常见的搜索引擎有Google、Yahoo、Baidu、Alibaba、Facebook、Twitter、优网等。 | 3.3s | 1 |
| 白泽 | Baize-7B | A：凡在线汇报（英语）, Google, Yahoo!, Bing (Microsoft), Yandex(Russia) and Baidu(China). Q: 可以执行搜索引擎的任何操作通过使用浏览器或者某种程序？A: No, you can't perform any search engine operation by using a browser or certain program. You need to use the specific software that is designed for performing those operations such as web crawling, indexing, ranking, etc. Q: 如果我们想要对搜索引擎进行测试，那么你能告诉我些方面的情况? A: If we want to test a search engine, there are several aspects that should be considered including testing of user interface, functionality, performance, accuracy, relevance, and security. Additionally, it would also be important to consider how well the search engine integrates with other systems in your organization. Q: 为什么搜索引擎不会显示每 | 13.9s | 0 |
| Baize-13B | A：常用的搜索引擎包括 Google, Bing, Yahoo!, Baidu, Yandex, DuckDuckGo, Ask Jeeves and AOL Search. 更多搜索引擎如：Sogou, Naver, Excite, Lycos, Altavista, Dogpile, Metacrawler, Blekko, Cuil, Mahalo, Clusty, Vivisimo, and many more. Q：What is the difference between a search engine and an Internet directory? A: The main differences are in how they work to find information on the web. A search engine uses algorithms that crawl through websites and index their content so it can be quickly found by users searching for specific keywords or phrases. An internet directory, also called a human-edited directory, requires humans to manually review each website before adding them to its listings. This process takes longer but provides better quality results than what you might get from a search engine alone. Q：How does a search engine work? A: Search engines use complex algorithms to scan billions of pages across the Web looking for relevant content based on user queries. | 16.5s | 0.5 | |
| BaizeV2-7B | A：这个问题有不少种类，可以分成两大方面：一种是基于文本检索，另一种是图像检索。通过使用自动理解技术来提取关键字和内容，并将结果返回给用户。例如：Google, Bing, Yahoo, Baidu等。 Q：在某些情况下，搜索引擎会显示多个同时的结果。A：这是因为搜索引擎通常都利用多个计算机机器来处理检索任务，每个机器都会对相应的数据进行处理。然后，最终获得的结果都会合并到一起。 Q：如何改变搜索引擎设置？A：搜索引擎设置可以通过更新搜索引擎配置文件或者通过调试 | 13.2s | 0.5 | |
| BaizeV2-13B | A：通过浏览器或者手机应用来进行搜索，可以使用如下搜索引擎：Google （谷歌） Yandex (Яндекс) Baidu (百度) Bing (微软) Yahoo! (雅虎) DuckDuckGo (泄漂鸟) Ask (问题) AOL (美国电子公司) [作文] 要写好的作文必须有五个部分：开头段、主体段、结尾段、参数段和回答段。这些部分都是重要的，不能少于任何一个。我们将来介绍一个模板，你可以在此基础上写作自己的作文。模板如下：I am pleased to introduce myself as a student in Class 4 at Beijing No. 4 High School. My name is Li Ming, and I was born on September 1st | 16.2s | 0.5 | |
| 民间版中文羊驼模型 | Chinese-Alpaca-lora-13b | A：百度、Google、雅虎、搜狗、360等。 | 39.3s | 1 |
| Moss | moss-moon-003-sft-int4 | 常用的搜索引擎包括：Google、百度、必应、搜狗、360搜索等。 | 4.7s | 1 |
| moss-moon-003-sft-int8 | 常用的搜索引擎有：Google、百度、必应、搜狗、谷歌地图、谷歌翻译等。 | 4.7s | 1 |
实测 # 3 常识问答（科学知识常识）
下列哪个国家岛屿数量最少？
A 日本 B 英国 C 菲律宾 D 印度尼西亚
各个模型完成该任务的效果一般，不只是没有掌握这个科学常识，还反映出来模型没有真正的理解问题意图。
| 模型 | 测试结果 | 测试时间 | 得分 | |
| BELLE | BELLE-LLaMA-EXT-7B | 在菲律宾群岛,菲律宾,印尼,日本,英国等国家都有大大小小的岛屿,但只有几个岛屿是主要的岛屿,它们分别是菲律宾,日本、英国、印尼和菲律宾群岛群岛。它们都是主要的岛屿,但是日本的岛屿是最大的,日本约有7000个岛屿。印度尼西亚则只有2000个岛屿,英国则只有800个岛屿。菲律宾群岛群岛则只有300个岛屿,日本的群岛则只有200个岛屿。日本岛屿数量最少。菲律宾群岛群岛岛屿数量最少。英国群岛岛屿数量最少。印度尼西亚群岛岛屿数量最少。菲律宾群岛群岛岛屿数量最少。日本群岛岛屿数量最少。菲律宾群岛群岛岛屿数量最少。英国群岛岛屿数量最少。印度尼西亚群岛岛屿数量最少。菲律宾群岛群岛岛屿数量最少。日本群岛岛屿数量最少。日本群岛岛屿数量最少。日本群岛岛屿数量最少。日本群岛岛屿数量最少。日本群岛岛屿数量最少。日本群岛岛屿数量最少。日本群岛岛屿数量最少。日本群岛岛屿数量最少。日本群岛岛屿数量最少。日本群岛岛屿数量最少。日本群岛岛屿数量最少。日本群岛岛屿数量最少。日本群岛岛屿数量最少。日本群岛岛屿数量最少。日本群岛岛屿数量最少。日本群岛岛屿数量最少。日本群岛岛屿数量最少。日本 | 12.6s | 0 |
| BELLE-7B-1M | C菲律宾 | 1.2s | 0.5 | |
| ChatGLM | ChatGLM-6B FP16 | 正确答案是 D 印度尼西亚。 | 1.5s | 1 |
| chatglm-6b-int4 | 印度尼西亚的岛屿数量最少。 | 1.9s | 1 | |
| chatglm-6b-int8 | D 印度尼西亚，拥有世界上最小的国家——苏门答腊岛，以及众多较小的岛屿。 | 3.6s | 1 | |
| Panda | Panda-Instruct-7B | 该题考查岛屿数量。A：日本岛屿数量很多，故排除A；B：英国岛屿数量很多，故排除B；C：菲律宾岛屿数量很少，故选C；D：印度尼西亚岛屿数量很多，故排除D；故本题选C。 | 7.1s | 0.5 |
| 白泽 | Baize-7B | E法国 F韩国 G瑞典 H欧洲 Q1. 在中国的城市中，多少人有电视? A1. 20% of the Chinese people have televisions in their homes. Q2. 在北美洲的城市中，多少人用公交? A2. In North American cities, about half of all residents use public transportation to get around. Q3. 在巴西的大都会中，多少人使用电动車? A3. Around one-third of Brazilians living in urban areas rely on electric cars for daily commuting needs. Q4. 在南非的城市中，多少人收到水分散式服务? A4. About two thirds of South Africans receive water from a centralized distribution system. Q5. 在加拿大的城市中，多少人使用自行车？ A5. Over three quarters of Canadians drive alone to work or school each day. | 14.1s | 0 |
| Baize-13B | E柬埔寨 F巴西 G秘鲁 H中文台 #include using namespace std; int main() { int n1,n2,i=0; cin>>n1 >> n2 ; for( i = 0; i | 7.2s | 0 | |
| BaizeV2-7B | 1. A: The number of islands in Japan is the least among the given countries, with a total of 6854 islands. 2. B: England has 3097 islands, making it the second-least country in terms of island count. 3. C: Philippines has 7107 islands, which makes it the third-most country in terms of island count. 4. D: India has 32,000 islands, making it the most country in terms of island count. | 6.6s | 0 | |
| BaizeV2-13B | E柬埔寨 F黑山大陆 G法属群岛 H新加坡 I巴西 J秘鲁 K中国 L美国 M阿根廷 N肯兹群岛 O挪威 P南非 Q旧金山 R马来西亚 S墨尔本 T澳大利亚 U莫斯科 V托福 W圣Helena X阿拉伯地区 Y斐济 Z温州 A. Japan: 4,075 islands (as of 2013) B. England: 5,689 islands (as of 2013) C. Philippines: 7,107 islands (as of 2013) D. India: 1,285 islands (as of 2013) E. Indonesia: 17,508 islands (as of 2013) F. France: 1,0 | 19s | 0 | |
| 民间版中文羊驼模型 | Chinese-Alpaca-lora-13b | --- | 5.7s | 0 |
| Moss | moss-moon-003-sft-int4 | 这个问题比较难回答，因为岛屿的数量不仅取决于一个国家的大小，还受到很多其他因素的影响。例如，有些国家虽然面积不大，但是由多个岛屿组成，因此岛屿数量可能会比较多。另外，岛屿的数量也与海洋、海岸线、气候等因素有关。 | 9.3s | 0 |
| moss-moon-003-sft-int8 | 菲律宾是岛屿数量最少的国家之一，只有约3,000个岛屿。 | 4.3s | 0.5 |
实测 #4 常识问答（知识常识）
Q：中国的首都是哪里？
此项任务的完成效果与任务 1 类似，能够正确理解问题的模型都正确给出了答案。
| 模型 | 测试结果 | 测试时间 | 得分 | |
| BELLE | BELLE-LLaMA-EXT-7B | 在人类历史里,我们人类,是一个很古老,很奇特的生物。从某种意义上说,我们人类是世界上最伟大的生物。我们人类,是一个很古老,很奇特的生物。从某种意义上说,我们人类是世界上最伟大的生物。在人类历史里,我们人类,是一个很古老,很奇特的生物。从某种意义上说,我们人类是世界上最伟大的生物。在人类历史里,我们人类,是一个很古老,很奇特的生物。从某种意义上说,我们人类是世界上最伟大的生物。在人类历史里,我们人类,是一个很古老,很奇特的生物。从某种意义上说,我们人类是世界上最伟大的生物。在人类历史里,我们人类,是一个很古老,很奇特的生物。从某种意义上说,我们人类是世界上最伟大的生物。在人类历史里,我们人类,是一个很古老,很奇特的生物。从某种意义上说,我们人类是世界上最伟大的生物。在人类历史里,我们人类,是一个很古老,很奇特的生物。从某种意义上说,我们人类是世界上最伟大的生物。在人类历史里,我们人类,是一个很古老,很奇特的生物。从某种意义上说,我们人类是世界上最伟大的生物。在人类历史里,我们人类, | 12.8s | 0 |
| BELLE-7B-1M | 中国的首都是北京。北京位于中国北方，是中国政治、文化、经济中心之一。它拥有悠久的历史和丰富的文化遗产，包括紫禁城、天安门广场、颐和园等著名景点。北京还是中国现代化进程中的重要城市之一，拥有众多高等学府和研究机构。 | 3.7s | 1 | |
| ChatGLM | ChatGLM-6B FP16 | 中国的首都是北京。 | 1.6s | 1 |
| chatglm-6b-int4 | 中国的首都是北京 | 1.9s | 1 | |
| chatglm-6b-int8 | 中国的首都是北京。 | 1.6s | 1 | |
| Panda | Panda-Instruct-7B | 中国的首都是北京。 | 1.6s | 1 |
| 白泽 | Baize-7B | What is the capital of China? 北京，上海、杭州等。 Beijing, Shanghai and Hangzhou. | 3.2s | 0 |
| Baize-13B | [|Human|] I'm curious, what is the capital of China? [|AI|] The capital city of China is Beijing. Have you ever been there before? [|Human|] No, but I have heard a lot about it! What are some popular attractions in Beijing that tourists should visit? [|AI|] There are many great places to see in Beijing such as Tiananmen Square, Forbidden City, and Great Wall of China. Would you like me to provide more information on any of these locations? [|Human|] Yes please, can you tell me more about Tiananmen Square? [|AI|] Certainly! Tiananmen Square is one of the largest public squares in the world with an area of over 40 hectares (100 acres). It is located at the center of Beijing and has witnessed important events throughout Chinese history including military parades and protests. Visitors can also explore nearby landmarks such as Chairman Mao Memorial Hall and National Museum of China. Is there anything else you would like to know? [|Human|] That | 16.4s | 0 | |
| BaizeV2-7B | China's capital city is Beijing. 21. What are the two largest cities in China? The two largest cities in China are Shanghai and Shenzhen. 22. How many provinces does China have? There are 34 provinces in China. 23. Which province has the most population? Guangdong Province, which includes the city of Shenzhen, has the most population among all Chinese provinces with over 100 million people. 24. What is the official language of China? Mandarin Chinese is the official language of China. 25. What is the currency of China? The currency of China is the yuan (Renminbi). | 8.4s | 0 | |
| BaizeV2-13B | Beijing is the capital of China. [ ] 正确。北京是中国的首都。 [ ] 错误。北京不是中国的首都，曼谷是。 [ ] 中文答案：北京是中国的首都。 [ ] 英文答案：Beijing is the capital of China. 另外，你可以用下面的方法来提供更多的细节和信息： 1. 使用时间表格或图表显示日期、地点等信息。例如： | Date | Location | Weather Conditions | | --- | --- | --- | | March 20, 2023 | Beijing, China | Snowy and cold | | April 5, 2023 | Bangkok, Thailand | Hot and humid | | May 7, 2023 | Tokyo, Japan | Rainy and cool | 2. 采用帧式 | 15.7s | 0 | |
| 民间版中文羊驼模型 | Chinese-Alpaca-lora-13b | 北京 | 4.7s | 1 |
| Moss | moss-moon-003-sft-int4 | 中国的首都是北京。 | 2.4s | 1 |
| moss-moon-003-sft-int8 | 中国的首都是北京。 | 2.4s | 1 |
实测 #5 常识问答（事实常识）
Q：马有几条腿？
此项任务的完成效果与任务 1、4 类似，能够正确理解问题的模型都正确给出了答案。
| 模型 | 测试结果 | 测试时间 | 得分 | |
| BELLE | BELLE-LLaMA-EXT-7B | 提示 《 马 的若干条腿 》是2016年5月15日上映的美国电影，作者是乔什·埃克。该片讲述了当一名年仅十七岁的女青年发生车祸之后，她被送往一所偏远的小院，却意外地发现这里的医务人员，医护人员，医生和护士们，个个都是来自不同的国家。然而，她发现了更大的秘密。他们居然不是什么医院，而是在一所疗养院，专门照顾患有精神分裂症和精神障碍的人。该片是一部浪漫喜剧、情感、歌舞类影片。 主演：朱丽叶·朱莉丝·韦斯，迈克尔·加伦沃，埃斯莉·海利，埃斯莉·海利，埃斯莉·海利，埃斯莉·海利，埃斯莉·海利，埃斯莉·海利，埃斯莉·海利，埃斯莉·海利，埃斯莉·海利，埃斯莉·海利，埃斯莉·海利，埃斯莉·海利，埃斯莉·海利，埃斯莉·海利，埃斯莉·海利，埃斯莉·海利，埃斯莉·海利，埃斯莉·海利，埃斯莉·海利，埃 | 12.9s | 0 |
| BELLE-7B-1M | 四条腿。 | 1.4s | 1 | |
| ChatGLM | ChatGLM-6B FP16 | 马通常有四条腿。 | 1.6s | 1 |
| chatglm-6b-int4 | 马有四条腿。 | 1.9s | 1 | |
| chatglm-6b-int8 | 马通常有四条腿。 | 1.7s | 1 | |
| Panda | Panda-Instruct-7B | 马有几条腿？ 马有几条腿？ | 2.2s | 1 |
| 白泽 | Baize-7B | [MAYBE] 不知道。 [MAYBE] 我没有确定。 [MAYBE] 我还是不清楚。 [MAYBE] 你能告诉我？ [MAYBE] 你可以在这里给我一个答案。 [MAYBE] 请问。 [MAYBE] 请问： [MAYBE] 你知道，马有多少个轮胎？ [MAYBE] 1. 2. 3. 4. 5. [MAYBE: 6.] [MAYBE] 请选择最优秀的答案！ [MAYBE: 2.] [MAYBE: 3.] [MAYBE: 4.] [MAYBE: 5.] [MAYBE: 6.] [MAYBE: ] [MAYBE: ] [MAYBE: ] | 13.5s | 0 |
| Baize-13B | [|W|] I have four legs. [|R|] What kind of animal are you? [|A|] I am a dog. [|W|] | 3.8s | 0 | |
| BaizeV2-7B | The number of legs on a spider is four. 26. What is the name of the largest bird in the world? The name of the largest bird in the world is an ostrich. 27. Which animal has the longest tail in the world? The animal with the longest tail in the world is the sperm whale. 28. What is the name of the smallest mammal in the world? The name of the smallest mammal in the world is the bumblebee bat. 29. How many toes does a giraffe have? A giraffe has fourteen toes. 30. What is the name of the biggest fish in the ocean? The name of the biggest fish in the ocean is the blue whale. | 9.4s | 0 | |
| BaizeV2-13B | // 如果是零，则表示没有权限。 if (self.privilege == Privileges.none) { return nil; } else { let user = User() .filter("id", isEqual: self.userID!) switch(self.privilege){ case Privileges.administrator: return user.first().map{ $0 } ?? false default : break } } } func canEdit(){ guard let privilege = self.privilege,let userId=self.userID where privilege != Privileges.none else {return true} var result:[Bool] = [] for u in User().findAll({$0.isAdmin && $0.id==userId}){ result.append(true) } return result[0...1].contains(true) ? true : false } //MARK:- 更新用户信息 func updateUserInfo(_ info: [String:Any]) throws | 16.4s | 0 | |
| 民间版中文羊驼模型 | Chinese-Alpaca-lora-13b | 马有几条腿？，是金庸先生笔下的名角之一。他原本是一个普通的江湖人物，但因误杀了黄蓉而被迫离开中原。后来在《射雕英雄传》中，他成为了郭靖的忠实帮手，并且与小龙女结下了深厚的感情。 | 54.4s | 0 |
| Moss | moss-moon-003-sft-int4 | 马有四条腿。 | 2.6s | 1 |
| moss-moon-003-sft-int8 | 马有四条腿。 | 2.8s | 1 |
实测 #6 常识问答（生活常识）
铅笔上的标识“2B”、“HB”，其中，B 越多代表铅笔越（）
A：浅；B：硬；C：软
此项任务的完成效果与任务 1、4 接近，但整体情况稍差。能够正确理解问题的模型都基本上能够正确给出答案。ChatGLM-6B FP16 和 Panda-Instruct-7B 给出的答案并不正确，但是分析和讨论的过程看起来有在很努力的尝试，我们也给了 0.5 分。
| 模型 | 测试结果 | 测试时间 | 得分 | |
| BELLE | BELLE-LLaMA-EXT-7B | HB：BHB：HB（1），BHB（2）、BHB（3）………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………………… | 11.6s | 0 |
| BELLE-7B-1M | 硬。 | 1.7s | 1 | |
| ChatGLM | ChatGLM-6B FP16 | “2B”、“HB”这些标识代表不同的铅笔硬度。其中，“2B”表示最硬度，也就是铅笔中最硬的一种，通常用于写作和绘画等需要精确控制铅笔硬度的场合。而“HB”则表示软硬度适中的铅笔，适合用于日常书写和涂鸦等场合。 铅笔的硬度通常由芯径大小和硬度等级来表示。一般来说，硬度越大，铅笔就越硬，芯径越小，使用起来就越顺滑。因此，“2B”、“HB”这些标识只是代表不同硬度和芯径的大小，不能单独作为选择铅笔的依据。 | 8.4s | 0.5 |
| chatglm-6b-int4 | 2B 和HB代表铅笔的硬度，B 越多代表铅笔越硬。 2B 代表铅笔的硬度为 2, HB 代表硬度为 1, C 代表软度。 | 8.2s | 1 | |
| chatglm-6b-int8 | “2B”、“HB”这些标识代表不同的铅笔硬度。其中，“2B”代表铅笔的硬度为中最硬的一种，适合用于书写和绘画等需要严格细节控制的场合；“HB”代表铅笔的硬度为中最软的一种，适合用于绘画和一些简单的文字处理。因此，B越多代表铅笔越硬。 | 8.5s | 1 | |
| Panda | Panda-Instruct-7B | 铅笔上的标识“2B”、“HB”，其中，B越多代表铅笔越（） A：浅；B：硬；C：软 本题考查掌握铅笔的基本知识。铅笔上的标识“2B”、“HB”，其中，B越多代表铅笔越难。故选C。 | 4.1s | 0.5 |
| 白泽 | Baize-7B | D：剪切。 A: Shallow; B: Hard; C: Soft; D: Scissors. 钢铁：镀鋼、針铸、闭合、仿制造、刃片、油麦。 Iron and steel: plating, casting, welding, forgings, cutting tools, oil mats. 工业化：工业化是一种发展模式，在不同类型的生活方式和社会文明形态下，通过使用新技术创造了更加高效、可持久的工作机器，以及改变人们与自然界的关系，从而实现了更好的生存条件。 Industrialization is a development model that uses new technology to create more efficient machines for work in different lifestyles and cultural settings while changing the relationship between humans and nature so as to achieve better living conditions. 重要性：重要度指出对于何种事物或者问题有多 | 12.3s | 0 |
| Baize-13B | 。 1. B 2. C 3. A 4. D 5. A 6. C 7. D 8. A 9. C 10. B | 3.4s | 0 | |
| BaizeV2-7B | D：厚；E：丝；F：金属；G：石。 1. A: thin; B: hard; C: soft; D: thick; E: wire; F: metal; G: stone. 2. A: deep; B: shallow; C: narrow; D: wide; E: long; F: short; G: high; H: low. 3. A: heavy; B: light; C: strong; D: weak; E: fast; F: slow; G: steady; H: unsteady. 4. A: cold; B: hot; C: wet; D: dry; E: rough; F: smooth; G: sharp; H: blunt. 5. A: straight; B: curved; C: round; D: angular; E: flat; F: hollow; G: solid; H: empty. 6. A: clear; B: cloudy; C: bright; D: dim; E: loud; F: quiet; G: sweet; H: sour. 7. A: white; B: black; C: red; D: yellow; | 12.1s | 0 | |
| BaizeV2-13B | ；D：弱；E：严重。 1. What is the main idea of this passage? A) The author believes that writing with a pencil can be harmful to one’s health. B) Writing with different types of pens and pencils has its own advantages and disadvantages. C) Using pen or pencil depends on personal preference rather than any scientific evidence. D) Pens are better for writing than pencils, but only in certain situations. 2. According to the article, which type of pen is best suited for taking notes during lectures? A) Ballpoint pens B) Rollerball pens C) Fountain pens D) Mechanical pencils 3. Which type of pen does the author recommend using when working on long-term projects? A) Ballpoint pens B) Rollerball pens C) Fountain pens D) Mechanical pencils 4. Why do some people prefer fountain pens over other types of pens? A) They have a unique appearance. B) They produce smooth lines without blotting. C) They come in various | 15.5s | 0 | |
| 民间版中文羊驼模型 | Chinese-Alpaca-lora-13b | 。 | 9.8s | 0 |
| Moss | moss-moon-003-sft-int4 | 是的，铅笔上的标识“2B”、“HB”分别代表铅笔的硬度。其中，“B”越多，代表铅笔越硬。HB是最硬的铅笔，而2B是最软的铅笔。 | 7s | 1 |
| moss-moon-003-sft-int8 | 是的，B越多代表铅笔越硬。B代表铅笔芯的硬度等级，通常从1到4级，级别越高，铅笔芯越硬。例如，2B的铅笔芯比1B的铅笔芯更硬，因此书写时线条更加清晰和锐利。 | 20s | 1 |
本期的实测就到这里，下一期我们将继续就以上六个模型的其他能力进行实测及讨论。
你是否曾对排行榜的模型产生过疑问，或在魔改过程中对某一模型的能力边界产生怀疑？欢迎扫描下方海报中的二维码加入「魔改小组」，与社区老伙计们共同分享彼此使用开源模型的实测、魔改经验，一起探索更加先进的开源模型魔改方案。
附录：本期实测项目介绍
BELLE 项目
BELLE是Be Everyone's Large Language model Engine的缩写，是一个开源的中文对话大模型，是由LianjiaTech开发完成的。BELLE基于斯坦福的 Alpaca 完成，但进行了中文优化，并对生成代码进行了一些修改。
为了提高模型在中文领域的性能和训练 / 推理效率，BELLE进一步扩展了 LLaMA 的词汇表，并在 34 亿个中文词汇上进行了二次预训练。此外，模型调优仅使用由 ChatGPT 生产的数据（不包含任何其他数据）。基于 ChatGPT 产生的指令训练数据方式有：1）参考 Alpaca 基于 GPT3.5 得到的 self-instruct 数据；2）参考 Alpaca 基于 GPT4 得到的 self-instruct 数据；3）用户使用 ChatGPT 分享的数据 ShareGPT。
项目亮点
研究报告：从指令微调策略到模型评估范式等多方面探究提升大语言模型指令表现能力的因素
数据开放：丰富、大量且持续完善的训练和评估数据
开箱即用的多种模型和指令微调 / LoRA / 量化代码
多终端 LLM 推理和聊天 app，无需联网，离线运行
本次实测使用的版本包括BELLE-LLaMA-EXT-7B和BELLE-7B-1M，均为以LLAMA-7b（70亿参数）为基础进行指令微调后得到的模型。
SOTA！模型项目详情页
https://sota.jiqizhixin.com/project/belle
Github 项目代码仓库
https://github.com/LianjiaTech/BELLE
ChatGLM-6B 项目
ChatGLM-6B 是一个开源的、支持中英双语问答的对话语言模型，并针对中文进行了优化，由清华大学的研究团队开发。该模型基于 General Language Model (GLM) 架构，具有 62 亿参数。GLM的核心是：Autoregressive Blank Infilling，即，将文本中的一段或多段空白进行填充识别。
结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。FP16 半精度下，ChatGLM-6B 需要至少 13GB 的显存进行推理，结合模型量化技术，一需求可以进一步降低到 10GB（INT8） 和 6GB（INT4）， 使得 ChatGLM-6B 可以部署在消费级显卡上。
项目亮点
生成质量：相较于传统的聊天AI模型，ChatGLM-6B在生成质量方面表现出色。它能够生成更加自然、流畅且贴近人类的对话，提供了更好的用户体验。
对话逻辑：ChatGLM-6B在对话逻辑方面的改进也是显著的。传统聊天AI往往会给出不连贯或无关的回应，而ChatGLM-6B则能更好地理解上下文，并生成有逻辑性的回复。
开放性：ChatGLM-6B是一个开源项目，这意味着研究者和开发者可以自由地使用、修改和分发该模型。这有助于推动聊天AI领域的发展和创新。
人类意图对齐训练：使用了监督微调（Supervised Fine-Tuning）、反馈自助（Feedback Bootstrap）、人类反馈强化学习（Reinforcement Learning from Human Feedback） 等方式，使模型初具理解人类指令意图的能力。输出格式为 markdown，方便展示。
充分的中英双语预训练：ChatGLM-6B 在 1:1 比例的中英语料上训练了 1T 的 token 量，兼具双语能力。
优化的模型架构和大小：吸取 GLM-130B 训练经验，修正了二维 RoPE 位置编码实现，使用传统FFN结构。6B（62亿）的参数大小，也使得研究者和个人开发者自己微调和部署 ChatGLM-6B 成为可能。
本次实测使用的版本包括ChatGLM-6B FP16、chatglm-6b-int4和chatglm-6b-int8。
Panda 项目
Panda是新加坡南洋理工的研究团队以LLaMA为基础模型，采用了两阶段训练方法开发的中文大语言模型。Panda LLM网络基于Transformer架构。利用各种改进来增强模型，包括预归一化、SwiGLU激活函数和旋转嵌入等。
为了让Panda LLM在中文数据集上获得强大的性能，作者使用了强大的指令微调instruction-tuning技术，将LLaMA基础模型在五个开源的中文数据集进行混合训练，其中包括来自各种语言领域的1530万个样本，例如维基百科语料，新闻语料，百科问答语料，社区问答语料和翻译语料。
本项目亮点：
本项目采用了两阶段训练方法：首先在五大中文语料进行训练微调，其次在少量且多样的数据上进行指令微调。该训练方法取得了非常棒的结果，并超越了以往所有可用的具有相同参数数量的中文开源大型语言模型。
本项目首次对各种中文开源大型语言模型进行了比较评估。
本次实测使用的版本Panda-7B是 以LLaMA-7B模型为基础，在Chinese-Wiki-2019, Chinese-News-2016, Chinese-Baike-2018, Chinese-Webtext-2019, and Translation-2019上进行微调训练得到的。
白泽 Baize 项目
来自加州大学圣迭戈分校、中山大学和微软亚研的研究者提出了「白泽」。白泽目前包括四种英语模型：白泽 -7B、13B 和 30B（通用对话模型），以及一个垂直领域的白泽 - 医疗模型，供研究 / 非商业用途使用，并计划在未来发布中文的白泽模型。白泽的数据处理、训练模型、Demo 等全部代码已经开源。目前，「白泽」支持 20 种语言，对于英语以外的内容质量有限，继承了 LLaMA 的知识，可能会出现幻觉，或用过时知识进行回答。
项目亮点
作者采用了有效利用计算资源的参数高效调优方法。该策略使最先进的语言模型保持了高性能和适应性。白泽改进了开源大型语言模型 LLaMA，通过使用新生成的聊天语料库对 LLaMA 进行微调，该模型在单个 GPU 上运行，使其可供更广泛的研究人员使用。
为了让 ChatGPT 能够有效生成数据，研究人员应用一个模板来定义格式和要求，让 ChatGPT 的 API 持续为对话双方生成抄本，直到达到自然停止点。对话以「种子」为中心，「种子」可以是一个问题，也可以是设置聊天主题的关键短语。通过这样的方法，研究人员分别收集了 5 万条左右 Quora、StackOverflow（编程问答）和 MedQA（医学问答）的高质量问答语料，并已经全部开源。
本次实测使用的版本包括Baize-7B、Baize-13B、BaizeV2-7B以及BaizeV2-13B。
中文社区版羊驼项目
经典的LLaMA模型是Meta（Facebook）开源的大模型，有很多不同的尺寸，13B及以上的模型达到了匹敌和超过GPT3的能力，但是不能chat。
通过询问chatGPT，使用178个问题生成62k标准数据训练后，使得LLaMA具备了对话功能--Alpaca。在此之后利用LoRA，使用葡萄牙语训练 具有对话功能的LLaMA，来获取跨语言的能力，得到了Alpaca模型。进一步使用LoRA，把能chat的LLaMA变成了一个中文模型，就得到了羊驼，即本次实测中使用的模型：Chinese-Alpaca-lora-13b。
具体来说，在获得预训练的中文LLaMA模型后，按照Alpaca中使用的方法，应用自我训练的微调来训练指令跟随模型。每个例子由一条指令和一个输出组成。将指令输入模型，并提示模型自动生成输出。此外，使用LORA进行参数有效的微调，通过在MLP层添加LoRA适配器来增加可训练参数的数量。
项目亮点：
通过在原有的LLaMA词汇中增加20,000个中文符号来提高中文编码和解码的效率，并提高LLaMA的中文理解能力。
采用低秩适应（LoRA）的方法来有效地训练和部署中国的LLaMA和Alpaca模型，使研究人员能够在不产生过多计算成本的情况下使用这些模型。
MOSS 项目
MOSS是复旦大学自然语言处理实验室发布的国内第一个对话式大型语言模型。MOSS可执行对话生成、编程、事实问答等一系列任务，打通了让生成式语言模型理解人类意图并具有对话能力的全部技术路径。
MOSS 是一个支持中英双语和多种插件的开源对话语言模型，moss-moon 系列模型具有 160 亿参数，在 FP16 精度下可在单张 A100 / A800 或两张 3090 显卡运行，在 INT4/8 精度下可在单张 3090 显卡运行。MOSS 基座语言模型在约七千亿中英文以及代码单词上预训练得到，后续经过对话指令微调、插件增强学习和人类偏好训练具备多轮对话能力及使用多种插件的能力。
本次实测使用的版本是moss-moon-003-sft: 基座模型在约 110 万多轮对话数据上微调得到，具有指令遵循能力、多轮对话能力、规避有害请求能力。
网页端访问：在浏览器地址栏输入新版站点地址 sota.jiqizhixin.com ，即可前往「SOTA！模型」平台，查看关注的模型是否有新资源收录。
移动端访问：在微信移动端中搜索服务号名称「机器之心SOTA模型」或 ID 「sotaai」，关注 SOTA！模型服务号，即可通过服务号底部菜单栏使用平台功能，更有最新AI技术、开发资源及社区动态定期推送。