月影确认出席 FEDAY，带来 AI 流式结构化输出解决方案

FEDAY 2024（第七届 FEDAY）将于 12 月 7 日在厦门举办，为了给大家带来更好的视听体验，我们选择在厦门万象影城举办。

我们的老朋友，波波熊联合创始人月影确认出席本次会议，并带来主题为《AI 流式结构化输出解决方案》的主题分享。

会议网站及购票地址：https://fequan.com/2024
如果你对这个主题感兴趣，目前正在抢购早鸟票，
请复制上方网站或点击文末阅读原文抢票

下面我们一起来看看更多关于月影以及他分享的主题介绍。

月影
波波熊联合创始人

分享主题：
AI 流式结构化输出解决方案

在 AI 内容生成工作流中，使用结构化的 JSON 作为输入输出有非常多的便利性，因为 JSON 自带有意义的结构和语义化的字段名，能够让 AI 天然非常好地理解工作内容，大大节省提示词，同时因为 JSON 的扩展性增加工作流的扩展能力。

但是 JSON 结构也有弊端，因为 JSON 是一种封闭的数据结构，具有完整的结构，从 { 开始到 } 结尾，正常情况下只有完整生成全部内容， JSON 结构才能完整并被解析。这带来一个问题，就是追求快速响应的一些场景里，JSON 数据协议和流式输出是冲突的，虽然流式输出能减少接收到数据的时间，但是因为流式输出过程中 JSON 结构不完整，导致前端很难立即使用这些输入，这就造成了流式输入的优势丧失。

AI 流式响应框架 Ling ( https://ling.bearbobo.com）就是专注于这个问题，提供一种流式输出 JSON 结构的解决方案，它的核心是一个实时解析 JSON Token 的解析器，将实时解析的内容立即以 Stream 的方式，用 JSONURI 的数据协议格式发送给前端处理，而且默认支持 Server Sent Events，让前端能够非常方便地立即接收并更新结构化数据。

Ling 框架具有以下主要优点：

• 快速响应，秒级响应 LLM 的 JSON 数据流

• 自我修复格式，一些大模型输出的 JSON 格式不规范，或者出现格式错误，能够自动修复

• 支持复杂的异步工作流，与传统的 Langchain 等工作流编排框架相比， Ling 更符合 JavaScript / TypeScript 的习惯，而且具备有很好的扩展性。

---

目前正在售卖早鸟票阶段，
识别下方二维码抢购早鸟票：

12 月 7 日，
期待与你在相约厦门万象影城，
不见不散！