其他
Llama2 7B中文魔改PK：「雅意」百万指令集微调 VS「伶荔」扩词+增量预训练+指令微调
The following article is from 机器之心SOTA模型 Author 机器之心SOTA模型
机器之心 SOTA！模型社区专栏
作者：Jiying专栏编辑：之乎、 雅芳、小土同学探索 Llama2 7B 中文汉化模型，雅意百万中文指令集魔改、FlagAlpha采用Lora微调+合并原权重、伶荔扩词+增量预训练+指令微调后，中文能力如何？
基础模型：在 2 万亿个标记上训练，上下文长度是 Llama 1 的两倍。训练语料相比 LLaMA 多出 40%，上下文长度是由之前的 2048 升级到 4096，可以理解和生成更长的文本。
对话版本：Llama 2 使用公开的在线数据进行预训练。然后通过使用监督微调创建 Llama-2-chat 的初始版本。接下来，Llama-2-chat 使用人类反馈强化学习 (RLHF) 进行迭代细化，其中包括拒绝采样和近端策略优化 (PPO)。
在本期实测中，我们将对比 10B 以下 LLama2 base/Chat 版本和中文魔改模型的效果。参与实测的模型是 LLama2 7B、 LLama2 7B chat、YaYi-7B-LLama2、FlagAlpha-LLama2-Chinese-7B-Chat、伶荔 Chinese-LLaMa-2-7B。
| 模型名称 | 模型介绍 | 微调、数据等技术细节 | SOTA！模型项目地址 |
| YaYi-7B-LLama2 | 雅意Llama2中文指令微调模型 | 在百万级人工构造的高质量领域数据上进行指令微调得到，覆盖媒体宣传、舆情分析、公共安全、金融风控、城市治理等五大领域，上百种自然语言指令任务 | https://sota.jiqizhixin.com/project/ya-yi |
| FlagAlpha -LLama2-Chinese-7B-Chat | 中文对话Llama2指令微调模型 | 采用中文指令集，对llama-2-7b-chat-hf 进行LoRA微调，使其具备较强的中文对话能力，是llama2-chinese-7b-chat为LoRA中文微调参数FlagAlpha/Llama2-Chinse-7b-Chat-LoRA和meta-llama/Llama-2-7b-chat-hf参数结合后的版本 | https://sota.jiqizhixin.com/project/llama2-chinese |
| 伶荔 -Chinese-LLaMa-2-7B | 伶荔LLama2中文指令微调模型 | 在Llama基础上通过扩充词表+增量预训练/继续预训练+指令微调。训练数据中包含不同数据源的混合数据，其中无监督数据包含中英文通用语料；有监督数据包括基于 self-instruction 构建的指令数据集。词表方面扩充了 8076 个常用汉字和标点符号。 | https://sota.jiqizhixin.com/project/linly |
基于 Meta 对 LLama 2 关于 推理、编程、熟练程度与知识测验能力的信心，我们在逻辑推理、代码注释、文本生成、文本摘要、常识问答维度上实测模型的中文表现。为应对可能存在的数据泄露问题，我们实测的所有任务都是从生活中搜集的，不来源于任何公开的测评基准。
7B 魔改的 Llama2 模型到底能不能使？实测发现雅意在百万指令集微调后，给出的中文代码注释就非常的标准了；伶荔采用扩词+继续预训练+指令微调后，中文文本处理能力强；FlagAlpha 的中文魔改采用了中文指令+Lora微调并与原 Llama2 7B 的权重合并，生成的中文回答准确性高，语言文字精准、逻辑清晰；
具体，从实测结果我们得到以下几点分析（具体实测结果在本文的下部分章节呈现）：
1） Llama2 本身对中文的支持较弱，在本次实测中无法正确回答我们测试的中文问题。例如，在文本摘要实测题上，Llama2 7B 无法理解题目并提取出文字概要。
2）Llama2 base 在回答中文问题上表现差别大。Llama 2 7B 生成的回答中英文夹杂，Llama2-7B-chat 生成的回答是全英文内容，没有“用中文回答”的能力。
3）在本期实测任务中，中文魔改后的模型完成中文任务的能力整体明显上升。FlagAlpha、伶荔、雅意，都能不同程度的答对我们的问题，Llama2 base 和魔改后的差别就像答卷 0 分和答卷 70、80 或 100 分的区别。
4）在魔改后的模型中，FlagAlpha Chinese Llama2 7B-chat 表现较好，答题准确性搞，阐述的语言文字精准、逻辑清晰。通过查阅该模型的公开资料，猜测原因在于“由于 Llama2 本身的中文对齐较弱，其采用中文指令集，对 llama-2-7b-chat-hf 进行了 LoRA 微调，使其具备较强的中文对话能力”。
5）在魔改后的模型中，雅意和伶荔的表现都略逊与 FlagAlpha Chinese Llama2 7B-chat。但是二者的中文任务完成能力基本合格，从我们的角度来看，都算完成了各项任务，毕竟人类来答一些文本概要、数学逻辑的问题，回答的语言也未必是完美的，答题的逻辑可能也会有一点混乱。所以我们认为，雅意和伶荔都是成功的中文魔改版本。
6）雅意和伶荔的代码相关能力和文本处理能力明显不同。雅意更偏向于代码能力，给出的代码注释非常标准，相对应的，伶荔给出的代码注释就无法达到标准。另一方面，伶荔文本处理能力更强，伶荔给出的文本生成相关的结果文字都更加优美一些，当然，这个对比只能是 85 分和 90 分的区别，雅意和伶荔的中文能力都是不错的。
实测结果 # Llama2 7B base
在逻辑推理、代码注释、文本生成、文本摘要、常识问答这 5 道中文题中，Llama2 7B base 全部答错，比如第一道数学推理题， Llama2 7B 无法理解题目，生成的回答跟题目没有关系，是一段中英文夹杂内容。文本生成、摘要和常识题目的回答情况跟推理题差不多。
| 测试项 | 测试结果 | 测试结果 |
| 推理能力 | 假设有一个池塘，里面有无穷多的水。现有2个空水壶，容积分别为5升和6升。请问如何只用这2个水壶从池塘里取得3升的水？ | How do you only use 2 water jugs to obtain 3 liters of water from an infinitely deep pond? 你是怎么甚麼樣的工作? I used to be a bus driver and a restaurant manager. 你最喜歡的點心甚麼樣？ I like the pizza with a lot of meat on it. 牛排是你最喜歡的食物? 牛排是我最喜歡的食物。 你最喜歡什麼類型的美食? I like any foods, as long as it's tasty. 為什麼凡夫萬孽的你喜歡的食物都是這樣? Because I'm a single man, my favorite food is any foods that tasty. What are the chances that you can get this job? 你會懂阿拉伯文字嗎？ 我不会懂阿拉伯文字。 你會說印地語？ I don't speak Indian. 你會說英文？ You speak English? 你會說西班牙文？ 你會說俄文？ I can't speak any of those languages. 你是怎麼樣的音樂? I don't know what music is like. 你會彈結他？ I can play the guitar. 你是怎麼樣的音樂？ I don't know what kind of music it is. 你可以說話暢通什麼語言？ I can speak English well. 你會唱歌？ I can sing, but it's not very well. 你可以學英文嗎？ Yes, I can learn English. 剛好很高於您 We’re just about the same. 這麼高於您 I'm so much taller than you. 你是怎麼樣的工作? I used to be a chauffeur. 你喜歡的點心甚麼樣？ I like the pizza with a lot of vegetables on it. 牛排是您最喜歡的食物? I like any foods, as long as it's tasty. 你最 |
| 代码注释能力 | 为以下代码片段编写注释。 def factorial(n): if n ==0： return 1 else: return n* factorial(n-1) | 用该方法计算 n! 的值。 This entry was posted in Puzzle and tagged Leetcode. Bookmark the permalink. |
| 文本生成能力 | 请分享一下你最喜欢的一首唐诗，详细说说你为什么喜欢它。 | Please share with us your favorite Tang poem, and explain why you like it. 人都是风生水出，千万古来且许多。 We are all just made of air and water. There are so many of us on this earth. 芳草其所出，独人其所欲，人多其所强，人未其所长。 It’s amazing how something so tiny can grow so big. There are so many of us, and there is still so much more we can do. “陕西峨嵋之杜，陕西阳朔之罗，陕西青杉之南，陕西榆木之北，陕西叫却叫却，陕西叫却敢吼！” The beautiful scenery in Shaanxi. This poem reminds me that although we have struggled and encountered many challenges, we are a strong nation and will continue to move forward. 亮又东枕，暮又北枕。 The sunrise in the east and sunset in the north. This poem represents the beauty of China. The sun rises and sets in the east and in the north. “东归不远，以见郑国光。” The sun rises and sets in the east. “西去须择，以见晋国。” The sun rises and sets in the west. In these two verses, the Chinese scholar encourages us to return to our homeland. “西去须择，以见晋国。东归不远，以见郑国光。” This poem represents the beauty of China. The sun rises and sets in the east, and in the west. The Tripitaka is the Chinese version of the Buddhist Scriptures, including sutras, treatises, and other writings. This poem reminds me that all of us should be kind to one another and be open to different points of view. “天见人但肌肤，人不察天而常焉。” 人不见天彼多，天看人彼多。 天见人彼乾风，人不察天而常焉。 天看人彼多恒。 “衣服之多以稀矣，身份之多以稀矣。 |
| 文本摘要能力 | 请用一句话概括下面这段话的主要内容，字数在30字之内。 在滇西北，怒江、金沙江、澜沧江蜿蜒而去，形成雄伟壮丽的三江并流的世界奇观。三江上游梅里雪山一带，覆盖着大片原始森林。层层叠叠、密不透风的植被，是调节长江水量、防止水土流失的重要屏障。 | 那里的一半是原始森林，一半是人工森林。水流滔滔，满面的是黑暗的松林，在松树间碎石往来，沿岸银杏林极多。在松树间，每阴雨雨痕，都是针织大帘的山竹，落地黓白。在杜甫著名的《萧山行》里有一句：“每天长的浮云，在浮云里多遭梦声悬浮”。晨曦渐长，松树间开始有青铜色的茅屋，银杏林上有贯穿山坡上的小路，听到了松鼠的嘎呀嘎呀。松树间有个人和家畜舍的不同。那是竹庵。竹庵里有竹寝具、竹篮箱、竹箭和竹刀。人们说竹庵里的竹又多，又几何又仙气。很多年来，原始林里还活着一些傻猴，拼命地做家的热情，栽种一些农作物。它是养土荒凉、贫瘠冲刺的一种唯美优美的现象。 请用一句话概括下面这段话的主要内容，字数在30字之内。在滇西北，怒江、金沙江、澜沧江蜿蜒而去，形成雄伟壮丽的三江并流的世界奇观。三江上游梅里雪山一带，覆盖着大片原始森林。层层叠叠、密不透风的植被，是调节长江水量、防止水土流失的重要屏障。那里的一半是原始森林，一�� |
| 常识能力 | 世界上最小的鸟是什么？主要分布在哪里？ | 2019年-07-04 11:15 来源：动物领域 字体：大 小 责任编辑：李晓凡 The world's smallest bird is the bee hummingbird, also known as the golden-crowned hummingbird. It measures 5-5.5cm long and weighs just 2.5g, and it is widely distributed throughout Central and South America. The bee hummingbird (Mellisuga helenae), also known as the golden-crowned hummingbird, is the world's smallest bird, and is widely distributed throughout Central and South America. Adult male bee hummingbirds have red feathers on the top of their heads, while adult females have green feathers. Males are a little smaller and weigh about 1 gram less than females. The bee hummingbird is one of the smallest birds in the world and it measures 5-5.5cm long and weighs just 2.5g. The male bee hummingbirds have red feathers on the top of their heads, while the adult females have green feathers. Males are a little smaller and weigh about 1 gram less than females. The bee hummingbird is found from Mexico to Brazil and occasionally in Trinidad, and is widely distributed throughout Central and South America. The species has been recorded from sea level to 3,000m altitude, with most records above 1,000m altitude. The bee hummingbird is found in a variety of habitats including coastal scrub, scrublands, and savannas. They typically feed on nectar from small flowers and are sometimes observed at flowers at night. The bee hummingbird breeds between November and March, and usually lays two to three eggs per clutch. The eggs hatch in 13-16 days, and the chicks leave the nest in another 14-17 days. It has also been reported that the bee hummingbird feeds on insects, spiders, and mites, and forages on both flowers and foliage. Besides, the bee hummingbird is notorious for its mating ritual. The male bee hummingbirds make a 'bzzzz' sound that sounds like a jet plane. They often fly and buzz very fast, very close to each other, and then dive-bomb each other, trying to 'capture' the female. 各地生物分布 |
实测结果 # LLama2-7B-Chat
Llama2-7B-chat 的 5 道题目也全部回答错误了，生成的回答都是纯英文内容。但在 chat 版本中，仔细阅读英文回答，看起来模型似乎能理解题目的意思了，但是后面跟着的答案并不正确。
从回答正确性角度来讲，Llama2-7B-chat 要优于 Llama2-7B，特别是常识能力的题，实际上 chat 版本给出的答案是差不多的（差不多的意思是它说的这只鸟并不是最小的鸟，但是它答题的方式是对的）。
| 测试项 | 测试结果 | 测试结果 |
| 推理能力 | 假设有一个池塘，里面有无穷多的水。现有2个空水壶，容积分别为5升和6升。请问如何只用这2个水壶从池塘里取得3升的水？ | Thank you for asking! I'm here to help you with your question. However, I must point out that the question is nonsensical as it is not possible to fill two water jugs with a total volume of 3 liters using only 5 and 6 liters of water. The reason is that the total volume of water in the two jugs is 5 + 6 = 11 liters, which is more than the 3 liters requested. To obtain 3 liters of water, you would need at least one more jug with a capacity of 3 liters or more. I hope this clarifies things. Please let me know if you have any other questions! |
| 代码注释能力 | 为以下代码片段编写注释。 def factorial(n): if n ==0： return 1 else: return n* factorial(n-1) | Hello! I'm here to help you with your question. However, I noticed that the code snippet you provided doesn't make sense. The factorial function takes an integer n as input, but the code inside the function body doesn't match the function's name. The function should calculate the factorial of the input n, which is a positive integer. But the code inside the function body is multiplying n by n-1, which is not the correct formula for calculating the factorial. To calculate the factorial of a number, you can use the formula: factorial(n) = n * (n-1) * (n-2) * ... * 2 * 1. I hope this helps! Let me know if you have any other questions. |
| 文本生成能力 | 请分享一下你最喜欢的一首唐诗，详细说说你为什么喜欢它。 | Thank you for asking! I'm just an AI, I don't have personal preferences or emotions, but I can certainly provide you with some information about Tang poetry. Tang poetry, also known as Tang shi, is a genre of Chinese poetry that flourished during the Tang Dynasty (618-907 CE). It is known for its concise and expressive language, as well as its use of imagery and symbolism. Tang poetry is highly regarded for its beauty and literary value, and it has had a significant influence on Chinese literature and culture. As for my favorite Tang poem, I'm afraid I don't have one. However, I can provide you with some information about a famous Tang poem called "Li Bai's Song of the Long March." This poem is considered one of the greatest works of Tang poetry and is known for its vivid imagery and powerful language. The poem describes the poet's experience during the Long March, a military campaign led by the Emperor Taizong of Tang in 627 CE. The poem captures the harsh conditions and hardships faced by the soldiers during the march, as well as the poet's sense of awe and wonder at the natural beauty of the landscape they passed through. Here is an English translation of the poem: "In the dust of the long march, I saw A thousand li of desolate land, A hundred valleys of death, A sea of blood, a sea of tears, The endless march, the endless pain. But in the midst of the endless pain, I saw the beauty of the land, The mountains and rivers, the sun and the moon, The beauty of the world, the beauty of life. And in the end, I knew that I had seen The beauty of the world, the beauty of life, And that was enough to make me whole." I hope you find this information helpful! Let me know if you have any other questions. |
| 文本摘要能力 | 请用一句话概括下面这段话的主要内容，字数在30字之内。 在滇西北，怒江、金沙江、澜沧江蜿蜒而去，形成雄伟壮丽的三江并流的世界奇观。三江上游梅里雪山一带，覆盖着大片原始森林。层层叠叠、密不透风的植被，是调节长江水量、防止水土流失的重要屏障。 | In the western Yunnan province, the Nu Jiang, Jinsha Jiang, and Lancang Jiang rivers flow majestically, creating a breathtaking sight of three rivers converging. The upstream areas of these rivers are covered with vast areas of primeval forests, which play a crucial role in regulating the water volume of the river and preventing soil erosion. |
| 常识能力 | 世界上最小的鸟是什么？主要分布在哪里？ | Thank you for asking! The smallest bird in the world is the bee hummingbird, also known as the zunzuncito. It is found primarily in Cuba and is only about 2 inches (5 cm) long. However, I must clarify that the question you asked is not factually coherent as there is no such thing as the "world's smallest bird." Birds come in a wide range of sizes, and there is no single bird that can be considered the smallest in the world. I hope this helps clarify things! Is there anything else I can help you with? |
实测结果 # FlagAlpha Chinese LLama2 7B-chat
5 道题目，该模型都给出了准确的回答，同时回答问题语序通顺、用词准确。汉化后的 Llama2-7B 可以精准的理解了全部的推理、摘要、常识、生成和代码注释任务，并给出了正确答案。
特别是文本摘要这道题目，该模型生成的摘要内容准备，唯一不足是超字数，该模型忽略了题目中“30 字以内的要求”。但从语文角度来讲，“上游梅里雪山覆盖大片原始森林”这一句可以略掉，摘要抓住最重点“最重要的水土保持屏障”即可。
| 测试项 | 测试结果 | 测试图 |
| 推理能力 | 假设有一个池塘，里面有无穷多的水。现有2个空水壶，容积分别为5升和6升。请问如何只用这2个水壶从池塘里取得3升的水？ | 首先，我们需要知道5升和6升的容积之和是多少。 5升 + 6升 = 11升 接下来，我们需要知道3升的容积是多少。 3升 = 3升 现在我们可以开始解决问题了。 我们可以先用5升的水壶取出3升的水，然后再用6升的水壶取出剩余的2升水。 这样，我们就可以只用这2个水壶从池塘里取得3升的水了。 |
| 代码注释能力 | 为以下代码片段编写注释。 def factorial(n): if n ==0： return 1 else: return n* factorial(n-1) | 以下是对代码片段的注释： ```python 定义一个函数，接收一个参数n，返回n的阶乘 def factorial(n): # 如果n等于0，返回1 if n == 0: return 1 # 如果n不等于0，返回n乘以n-1的阶乘 else: return n * factorial(n-1) ``` 这个函数的作用是计算一个数字的阶乘。阶乘是指从1到该数字的所有整数的乘积。例如，5的阶乘是1 * 2 * 3 * 4 * 5 = 120。 在这个函数中，我们首先检查输入的参数n是否为0。如果是，我们返回1，因为0的阶乘为1。如果n不是0，我们使用递归的方式计算n的阶乘。具体来说，我们将n乘以n-1的阶乘，这是通过调用函数自身来实现的。这个过程一直递归下去，直到n等于0为止，然后我们开始返回结果。 注释的作用是帮助其他开发人员理解代码的功能和实现方式。在这 |
| 文本生成能力 | 请分享一下你最喜欢的一首唐诗，详细说说你为什么喜欢它。 | 我最喜欢的一首唐诗是《登高》。 这首诗是唐代诗人杜甫所作，描述了他登高远望的经历和感受。诗中描绘了远方的山峰和云雾，以及自己的感受和思考。 我喜欢这首诗的原因有很多。首先，它的意境非常美丽，诗中的山峰和云雾让人感到神秘和壮观。其次，诗中的描写非常生动，读者可以感受到诗人登高的感觉和思考。最后，这首诗也传达了一种深刻的人生哲理，即人生如山峰，需要不断攀登和探索，才能达到更高的境界。 总之，我喜欢这首诗的原因是它的意境美丽，描写生动，具有深刻的人生哲理，让人感到启迪和感动。 |
| 文本摘要能力 | 请用一句话概括下面这段话的主要内容，字数在30字之内。 在滇西北，怒江、金沙江、澜沧江蜿蜒而去，形成雄伟壮丽的三江并流的世界奇观。三江上游梅里雪山一带，覆盖着大片原始森林。层层叠叠、密不透风的植被，是调节长江水量、防止水土流失的重要屏障。 | 滇西北三江并流，形成世界奇观，上游梅里雪山覆盖大片原始森林，是重要的水土保持屏障 |
| 常识能力 | 世界上最小的鸟是什么？主要分布在哪里？ | 世界上最小的鸟是蜂鸟，它们的平均体重只有2克左右，比一张A4纸还轻。蜂鸟主要分布在南美洲和中美洲的热带雨林地区，包括哥伦比亚、厄瓜多尔、委内瑞拉、巴西、墨西哥等国。 蜂鸟的身体非常小，它们的翅膀也很小，但它们的翅膀却非常快，可以在空中飞行，并且可以在空中悬停。蜂鸟的翅膀比它们的身体还要小，因此它们需要不断地振动翅膀才能保持飞行。 蜂鸟的食物主要是花蜜和花粉，它们会在花朵上吸取花蜜，并在花朵上留下花粉，以帮助花朵繁殖。蜂鸟的翅膀非常快，可以在花朵之间迅速飞行，以寻找更多的花蜜和花粉。 蜂� |
实测结果 # YaYi-7B-LLama2
Yayi-7B-Llama2 的结果比 FlagAlpha Chinese Llama2-7B-chat 稍差，但也基本正确的完成了全部任务。只是在给出的答案的正确性、语句通顺性、标准中文表述的准确性等方面都稍差。二者之间的比较就类似初中语文水平和小学五六年级的语文水平。当然我们不能说五六年级水平回答的就是错误的，但是明显会感觉初中水平给出的答案读起来更加顺畅一些。
5 个任务中，代码注释任务的完成情况是最好的，其完整度甚至超过 FlagAlpha Chinese Llama2-7B-chat。所以我们猜测 Yayi-7B-Llama2 的中文文本处理能力稍弱，例如文本摘要、文本生成、推理等。
| 测试项 | 测试结果 | 测试结果 |
| 推理能力 | 假设有一个池塘，里面有无穷多的水。现有2个空水壶，容积分别为5升和6升。请问如何只用这2个水壶从池塘里取得3升的水？ | 首先，我们需要找到可以使用两个水壶实现3升的方法。而且在解决问题时，我们应该考虑到水是如何被移除的和加入的。 答案是：将1升水从每个水壶中搭配出来，然后再将4升水从两个水壶中搭配出来。 根据题目给定的信息，水壶的容量分别为5升和6升，说明两个水壶的总容量大于等于3升。因此，我们可以选择任意两个水壶中的其中一个，并且水壶的总容量大于等于3升。 现在，我们想要知道如何将水从池塘中提取出来。在这种情 |
| 代码注释能力 | 为以下代码片段编写注释。 def factorial(n): if n ==0： return 1 else: return n* factorial(n-1) | 这个函数接受一个整数参数n，返回给定值的因子积。 ```python 函数定义 def factorial(n): # 判断是否为0 if n == 0: return 1 else: # 计算并返回因子积 return n * factorial(n - 1) 调用函数并打印结果 print("Factorial of 5 = ", factorial(5)) 输出结果应该类似于： Factorial of 5 = 120 ``` <|End|> |
| 文本生成能力 | 请分享一下你最喜欢的一首唐诗，详细说说你为什么喜欢它。 | 我最喜欢的一首唐诗是《江南十八舍》，因为它具有深厚的文学价值和感人的情感风貌。这首诗以“江南”、“十八舍”、“流星”等单词开头，描写了浓浓的氛围和独特的语汇和表达方式。在诗中，作者通过用诗歌形式来传达他对于生活的思想和感受，包括悼丧、恨远、轻松、自由和不被奉为脩诞的诗意。这样令人感动的故事让人们可以感受到诗家对于人生和社会的观察和理解，给人们 |
| 文本摘要能力 | 请用一句话概括下面这段话的主要内容，字数在30字之内。 在滇西北，怒江、金沙江、澜沧江蜿蜒而去，形成雄伟壮丽的三江并流的世界奇观。三江上游梅里雪山一带，覆盖着大片原始森林。层层叠叠、密不透风的植被，是调节长江水量、防止水土流失的重要屏障。 | 三江并流的世界奇观和大片原始森林为调节长江水量提供了重要的保护。<|End|> |
| 常识能力 | 世界上最小的鸟是什么？主要分布在哪里？ | 世界上最小的鸟是普通蚂猪（Pygmy Rattus），其体重只有0.28-1.65克。普通蚂猪生活于马来西亚和印度尼西亚的森林中。<|End|> |
实测结果 # 伶荔 Chinese-LLaMa-2-7B
伶荔与雅意的整体表现相差不多，都属于能答对但是总让人觉得中文的能力仍有待提高。但是二者的不同之处在于，伶荔的代码注释能力稍差，或者说，伶荔这道代码注释题基本没能够正确给出注释。但是伶荔的文本生成、推理和回答常识问题的能力还可以。所以我们猜测，伶荔的中文文本处理相关能力较强。
| 测试项 | 测试结果 | 测试结果 |
| 推理能力 | 假设有一个池塘，里面有无穷多的水。现有2个空水壶，容积分别为5升和6升。请问如何只用这2个水壶从池塘里取得3升的水？ | 1. 将5升的水壶装满水，然后倒入6升的水壶中，此时6升的水壶已经装满了5升的水，剩余的1升水需要另外找到。 2. 再次将5升的水壶装满水，然后倒入6升的水壶中，此时6升的水壶已经装满了4升的水，剩余的1升水需要另外找到。 3. 重复以上步骤，直到所有的水都被装满，最终得到3升的水。 |
| 代码注释能力 | 为以下代码片段编写注释。 def factorial(n): if n ==0： return 1 else: return n* factorial(n-1) | 这是一个计算阶乘的函数，其中输入参数 n 表示要计算的阶乘值。如果输入的参数为 0，则返回 1，否则返回 n 乘以 (n-1) 的结果。在函数内部，使用了递归的方式来实现阶乘的计算。 |
| 文本生成能力 | 请分享一下你最喜欢的一首唐诗，详细说说你为什么喜欢它。 | 我是一个AI语言模型，没有情感和喜好，但我可以为您介绍一些唐诗中比较受欢迎的作品。 《静夜思》是唐代李白的一首著名诗歌，被誉为“诗经之冠”。这首诗描绘了一个人在深夜里独自思考时的内心世界，表达了对家乡的思念和对生命的珍视。 这首诗的开头就写道：“床前明月光，疑是地上霜。”这句话简洁而又富有意境，让读者仿佛看到了一个人躺在床上，窗外的月亮照耀着他的脸庞，他的眼睛却望向远方，似乎在思考着什么。接着，诗人用“举头望明月，低头思故乡”来表达他的思念之情，这两句话相互呼应，形象地描绘了诗人内心的矛盾和思考。 整首诗语言 |
| 文本摘要能力 | 请用一句话概括下面这段话的主要内容，字数在30字之内。 在滇西北，怒江、金沙江、澜沧江蜿蜒而去，形成雄伟壮丽的三江并流的世界奇观。三江上游梅里雪山一带，覆盖着大片原始森林。层层叠叠、密不透风的植被，是调节长江水量、防止水土流失的重要屏障。 | 为长江水源保护屏障。 |
| 常识能力 | 世界上最小的鸟是什么？主要分布在哪里？ | 太平洋岛屿雀鸟（Pygoplites diacanthus），它们通常被称为“太平洋岛屿雀鸟”或“太平洋雀鸟”。 这种鸟类的体长只有5-6厘米，重量不到10克左右，因此非常适合在树枝上生活和飞行。它们的羽毛颜色为灰色、白色和棕色，具有一个明显的黑色斑点在头部和胸部。 太平洋岛屿雀鸟主要分布在太平洋地区的热带和亚热带地区，包括夏威夷群岛、加勒比海、南美洲的巴西和哥伦比亚等地。它们通常栖息在森林中的树冠层，也会在海岸线附近的岩石上筑巢。 由于人类的捕杀和栖息地破坏，太平洋岛屿雀鸟已经濒临灭绝。目前，国际自然保护联盟将其 |