Kimi+Langchain+FastGPT：文档转LLM微调数据集 / QA问答对生成、Kimi 128KAPI免费接入！

Aitrainee | 公众号：AI进修生

Hi，这里是Aitrainee，欢迎阅读本期新文章。

今天我将介绍：如何使用Kimi API将文档转换为LLM指令监督微调数据集（Alpaca 格式）以及 如何部署FastGPT并接入Kimi API：

我会使用两种方式来完成QA问答对生成这个需求，第一种是使用Langchain这个框架编码实现，第二种是将Kimi API接入FastGPT中，再利用他的“文档问答”功能实现。

实际上，我曾使用Coze很长一段时间，并且在这个平台上我经常使用的基础模型就是Kimi-128k，我使用它构建知识库、生成长文本内容、解读我的本地文档... ...

我喜欢Kimi，除了它聊天客户端的各种强大的功能以外，它的API能进行更强大的超长文本、多文档的深度理解任务，且收费标准非常低廉。

最近一段时间我在使用FastGPT这个项目，这个项目需要我们自己借助One-API去接入其他第三方模型，我想要接入Kimi，就像在Coze平台上使用它一样~

一、使用Kimi+Langchain生成QA问答对

1、我们首先导入依赖包

主要包括一些结构化的处理库，还有langchain的依赖库。

记得先下载Langchain~

pip install langchain

import os
import json
from typing import List
from tqdm import tqdm
from langchain_community.chat_models.moonshot import MoonshotChat
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.pydantic_v1 import BaseModel, Field
from langchain_core.output_parsers import JsonOutputParser
from langchain_community.document_loaders import UnstructuredFileLoader
from langchain_text_splitters import RecursiveCharacterTextSplitter

2、然后去官网获取Kimi API

新用户注册送15元免费额度（文末我还会介绍免费获取Kimi API的方式，仅供个人测试）：

▲ https://platform.moonshot.cn/console/api-keys

以moonshot-v1-128k为例，每1,000,000 tokens价格为60元，对于一段通常的中文文本，1 个 Token 大约相当于 1.5-2 个汉字。《甄嬛传》小说第一部20 万字，所以一本小说消耗约6块钱，而moonshot-v1-8k相对于128k会便宜5倍。

假设你已经获取了API Key，那么现在我们在代码中设置它：

# 设置 Moonshot API Key
os.environ["MOONSHOT_API_KEY"] = "eyJhbGciOixxx"

▲Kimi兼容OpenAI接口

3、输入给大模型的是一个个分块

Kimi会针对分块来建立QA问答对。所以我们要先对传入的文档进行分块，这里假定输入的文档格式为txt，当然借助Kimi或者Langchain你可以编码以支持更多格式。

我们将使用Langchain的RecursiveCharacterTextSplitter函数对加载文档进行分块：

# 文档处理函数
def split_document(filepath):
    loader = UnstructuredFileLoader(filepath)
    text_spliter = RecursiveCharacterTextSplitter(
        chunk_size=2048,
        chunk_overlap=128
    )
    documents = loader.load_and_split(text_spliter)
    return documents

我们都知道Kimi的一大特点是拥有大海捞针的超长文本提取信息能力，用来做文档转QA非常合适。

并且假设这个数据集是对小模型微调的数据集，那么生成它的微调数据的LLM应该是性能比它更好的。

▲ Kimi  文件API支持全格式

4、编写结构化输出提示词

我们需要使用系统提示词明确他是在做文本转问答对这件事情，所以我们需要编写针对于Kimi的系统提示词：QA_PAIRS_SYSTEM_PROMPT 

其中“<Context></Context> ”会出现在后面的用户提示词中，同时下面这段提示词也是Fastgpt的官方示例。

QA_PAIRS_SYSTEM_PROMPT = """  
<Context></Context> 标记中是一段文本，学习和分析它，并整理学习成果：
- 提出问题并给出每个问题的答案。
- 答案需详细完整，尽可能保留原文描述。
- 答案可以包含普通文字、链接、代码、表格、公示、媒体链接等 Markdown 元素。
- 最多提出 30 个问题。
"""

除此以外，如果你的原始文档中包含大量的链接或者公示内容，你可以参考使用我的这个有针对性性的结构化提示词。

Role: 文档分块嵌入模型提示词生成器

Profile
- author: Aitrainee
- version: 1.0
- language: 中文
- description: 生成用于RAG索引的QA问答对，确保分块后的文档内容能够生成包含完整Markdown元素的QA问答对。

Skills
1. 能够分析文档内容并生成相关问题与答案。
2. 保留并提取文档中的链接、表格、图片及其他Markdown元素。
3. 生成覆盖文档内容关键要点的详细QA问答对。
4. 确保生成的QA对适合后续处理与引用。

Rules
1. 对文档内容进行分析，并提取出主要信息。
2. 针对每个分块的文档内容，生成相关问题，问题和答案中必须保留并正确提取文中的链接、表格、图片及其他Markdown元素。
4. 确保生成的答案详细完整，并准确反映源内容的描述。
5. 在QA对的答案中，使用Markdown格式表示图片和表格的链接。
  - 例如：![表格描述](表格链接)或![图片描述](图片链接)。
6. 如果某段内容包含多种类型的信息（如文字、表格、图片等），确保在QA对的答案中体现每种信息。

Workflows
1. 分析文档内容，识别出需要保留的关键元素（如链接、表格、图片等）。
2. 针对识别出的每个元素和上下文，生成问题并构建详细的答案。
3. 对生成的QA对进行审核，确保所有Markdown元素均被正确处理并保留。
4. 将最终的QA对嵌入到模型中，确保在后续的问答环节中能够准确调用。

Init
<Context></Context> 标记中是一段文档内容，要求模型学习和分析这段内容，并整理出有效的QA问答对。为确保信息完整，请遵循以下要求：

- 针对文档内容提出尽可能多且相关的问题，每个问题的答案需要完整且详细。
- 尽可能保留原文中的描述，并且注意保留任何涉及的链接、表格、图片及其他相关Markdown元素。
- 如文档中包含图片、表格或其他媒体内容，请将其转换为适当的Markdown格式，并确保将链接或嵌入代码包括在内。
- 对每个段落，最多提出30个问题，确保覆盖文档内容的关键要点。
- 确保QA对中每个答案都准确反映源内容，并包括任何必要的上下文，以便后续处理和引用。

例子：
- 问题：此段落描述了什么内容？
答案：段落描述了...[具体描述]，并包含表格如下：[表格链接或Markdown格式]。

- 问题：文中引用的图片是什么？
答案：文中引用了一个相关图片，链接如下：[![图片描述](图片链接)]。

然后我们准备用户提示词（QA_PAIRS_HUMAN_PROMPT），这里主要告诉模型，你希望明确输出的数据格式，比如我们选择Alpaca 格式（省略了system和history）：

QA_PAIRS_HUMAN_PROMPT = """  
请按以下格式整理学习成果:
[
  {{
    "instruction": "人类指令/问题（必填）",
    "input": "人类输入（选填）",
    "output": "模型回答（必填）"
  }}
]

我们开始吧!  
<Context>  
{text}  
<Context/>
"""

5、提示词编写好之后

我们构建Langchain 链。根据 Langchain 的ICEL语法，我们分别将提示词大模型和解析参数，组成 prompt | llm | parser 链。

提示词选择上面两个，大模型我们指定Kimi的128 k，结构化解析参数输出我们指定为：JasonJsonOutputParser。

# LLM部分替换为MoonshotChat
def create_chain():
    prompt = ChatPromptTemplate.from_messages([
        ("system", QA_PAIRS_SYSTEM_PROMPT),
        ("human", QA_PAIRS_HUMAN_PROMPT)
    ])
    llm = MoonshotChat(model="moonshot-v1-128k")  # 使用MoonshotChat
    parser = JsonOutputParser(pydantic_object=QaPairs)
    chain = prompt | llm | parser
    return chain

对于结构化输出这一部分，我们可以参考langchain官方这一篇教程：

▲ https://python.langchain.com/v0.2/docs/how_to/structured_output/

6、上面的还没结束

上面代码中JsonOutputParser传入的参数，也就是结果模型（QaPairs），我们需要定义一下。

# 结果模型定义
class QaPair(BaseModel):
    instruction: str = Field(description='问题内容')
    #"input": "人类输入（选填）",
    input: str = Field(description='人类输入（针对问题内容,选填）')
    output: str = Field(description='问题的回答')

class QaPairs(BaseModel):
    qas: List[QaPair] = Field(description='问答对列表')

7、最后一步

我们把上面的代码写在main里面，并且增加一些辅助代码用于将大模型生成的问答对存储在json文件中：

def main():
    chain = create_chain()
    documents = split_document('data/12.txt')  # 替换为你的文档路径

    # # 打印分块结果
    # for i, doc in enumerate(documents):
    #     print(f"Document chunk {i + 1}:")
    #     print(doc.page_content)
    #     print("-" * 80)

    # 继续处理文档
    with open('dataset.json', 'a', encoding='utf-8') as f:  # 打开文件，使用 'a' 模式进行追加写入
        bar = tqdm(total=len(documents))
        for idx, doc in enumerate(documents):
            print(doc.page_content)
            # 调试API响应
            print(f"Processing document chunk {idx + 1}")
            out = chain.invoke({'text': doc.page_content})
            print(f"API response for chunk {idx + 1}: {out}")

            # 无论返回什么，直接写入文件
            f.write(json.dumps(out, ensure_ascii=False, indent=2) + ",\n")  # 实时写入并添加换行
            f.flush()  # 确保数据立即写入磁盘
            bar.update(1)
        bar.close()

if __name__ == '__main__':
    main()

8、我们运行一下，看一下效果。

输入一个关于kimi介绍的文档：

点击运行，代码会先进行分块，然后一个一个分块的去生成问答对：

控制台按照每一个分块被处理后显示进度：

最终输出我们需要的文件格式。

目前这个代码，三块是按照最大2048token，以及每一块重复为128 token来分块的（重复是为了增加块与块之间的联系），后续考虑给原文的增加分割符。

其实在编写代码的过程中，遇到了很多关于结构的错误，包括模型输出内容写入json里面。

至此，第一部分结束~

二、Kimi API接入FastGPT

FastGPT：一个免费、开源且功能强大的 AI 知识库平台，提供开箱即用的数据处理、模型调用、RAG 检索和可视化 AI 工作流。轻松构建复杂的 LLM 应用程序。

我们使用docker部署它，先确保你安装了Docker环境：

1、运行FastGPT部署指令：

mkdir fastgpt
cd fastgpt
curl -O https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data/config.json

# pgvector 版本(测试推荐，简单快捷)
curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/files/docker/docker-compose-pgvector.yml

好的看来他已经完成了，在浏览器打开3000端口:http://localhost:3000/

2、Fastgpt内部集成了One-API项目:

我们要把Kimi的api接入进去，所以我们打开One-API：http://localhost:3001

点击渠道

把箭头上面的这些配好就行，密钥用前面Kimi官网生成的（免费密钥获取的Kimi API我会写在最后）。

点击测试，可以看到右上角测试通过

然后向config文件加入moonshot-v1-128k模型

配置好后，由于配置了新的渠道，所以我们得重启一下：

docker-compose restart

备注：如果启动后发现one-api测试通过，但是fastgpt前端测试不通过，那么请运行

#先关闭删除容器
docker-compose down
#再运行
docker-compose up -d

我们可以看到fastgpt多了一个：moonshot-v1-128k 模型，接入成功！

3、在fastgpt中新建一个知识库，文本处理模型就选择moonshot-v1-128k

嵌入模型默认用的是Openai的（用不了），你可以选择去Ollama中下载一个，然后和上面配置Kimi API一样的步骤，把这个本地嵌入模型配置到One-API中。

记得config.json也要配置，fastgpt才有显示

两个模型都有之后，然后选择新建文本数据

现在选择问答拆分+自动：

问答拆分的自定义规则是需要你的文本中包含分割符，并且输入拆分引导词：

选择之后点击提交下一步，几分钟之后，他就可以得到这样的问答对

选择一个查看：

QA问答对的知识库还可以导出为CSV格式：

至此，第2部分结束~

三、用于学习与测试的免费Kimi API项目

▲ https://github.com/LLM-Red-Team/kimi-free-api

主要是利用Kimi-free-api这个项目来获取免费实验性Kimi API，不要用于生产环境哦~

还要说一点，这个API不支持文件接口，只是Chat接口，

▲ Kimi官方文件接口API

1、你需要准备一台公网服务器：

首先从 kimi.moonshot.cn 获取refresh_token，进入Kimi 随便发起一个对话，然后F12打开开发者工具，从Application > Local Storage中找到refresh_token的值，这将作为API Key。

记录上面的Api Key，然后部署这个项目，只需要运行：

docker run -it -d --init --name kimi-free-api -p 8001:8000 -e TZ=Asia/Shanghai vinlic/kimi-free-api:latest

2、Kimi在本地编码中接入：Langchain实现QA问答对

你需要把API Key替换成上面的refresh_token

然后，你需要将Langchain的moonshot包中的base url替换成服务器IP，比如：http://服务器ip:端口/v1

Langchain Python依赖包下面C:\Users\Aitrainee\anaconda3\Lib\site-packages\langchain_community\llms\moonshot.py，这个文件中找到：MOONSHOT_SERVICE_URL_BASE

3、Kimi 接入FastGPT的OneAPI

也同样很简单，你只需要把服务器ip填入到这个代理里，

或者选择类型的时候选择自定义渠道并填入服务器ip：

至此第三部分结束~

全文代码：公众号后台回复：Kimi，或者去下方Github仓库中获取（后期更新处）：https://github.com/Ai-trainee/LangChain-Notebooks

总体来说，我非常喜欢Kimi的长文本处理能力。它支持TXT、PDF、Word文档、PPT幻灯片和Excel电子表格，且总字数最高可达20万字。

Kimi API兼容OpenAI 接口，这样方便项目迁移以及实验Github上更广泛的Openai 相关开源项目。

除此以外，Kimi 的API还有工具调用功能，我们可以配合Coze、FastGPT、Dify、Langchain等框架来创建和管理这些工具，并配合 Kimi 大模型设计出更加复杂的工作流。

🌟希望这篇文章对你有帮助，感谢阅读！

如果你还没用过Kimi，可以直接在浏览器里搜索Kimi的官网：

https://kimi.ai 或者点击下方阅读原文，立即使用👇，主打一个免费又丝滑！