AI 生成质量持续优化,个人独立子站即将到来|INSSENT AI
上周一,易参正式推出了「INSSENT AI」(测试版),一款法律全领域的 AI 机器人。
拓展阅读:
在 INSSENT AI 推出后的短短一周时间里,市场反馈有点超出我们的预期 —— 每天访问人数 300+,每人对话 3-4 轮问题,以至于在使用人数较多的时候会出现卡顿的情况。
过去一周,我们收到很多宝贵的用户反馈,对此我们对 INSSENT AI 做了以下优化:
对于回答的准确性问题:
上周部分用户反馈 INSSENT AI 回答的准确性不足,对此我们根据不同的用户场景优化训练了用户意图识别模型,根据用户的不同意图,选择不同的知识库进行匹配。
举个例子:
当用户问:“什么是 VIE 架构?”他的意图是问「概念」,则调用易参法律知识库。
当用户问:“我们小区有流浪狗伤人,怎么办?”他的意图是问「情景」,则调用易参案例库;
当用户问:“劳动合同法第五条讲了什么?”他的意图是问「法律条文」,则调用法律法规库。
根据我们的测试,目前 INSSENT AI 对用户在法律场景里的提问意图,识别准确率在 95% 左右。
与此同时,INSSENT AI 作为一个生成式 AI 产品,对于同一个问题可能会做出不一样的回答。用户可以使用不同的方式提问,或者通过多轮对话进行修正,易参也会根据用户反馈持续调整对话的逻辑,后续还会出具 prompt(提示词)撰写指南,以便用户更好地获得正确的回复。
另外需要说明的是,至少在较长的时间内,INSSENT AI 无法与专业级法律数据库相比。一方面,易参不是要再造一个法律检索数据库,另一方面,虽然完善数据库是必须要做的工作,但我们深知需要长时间的积累,很难短期内完成追赶,而是要以需求为中心,去思考用户真正需要的是什么。
因此,如果您想获得专业级法律检索服务,敬请使用专业的法律数据库。
对于咨询“钻法律空子”问题的情况:
INSSENT AI 已经做了相关处理,让我们一起做遵纪守法的好公民。
对于回复慢,或者一直显示“正在回复中”的问题:
出现这个问题的原因主要是同时使用人数过多,服务器压力较大,对此我们已经对服务器的性能做了相应提升。
部分问题可以得到一定程度的解决,但或许没有太大的必要。
对于上文提到的部分问题,比如机器回答的准确性、回答质量和回答长度等问题,我们可以进行相应的优化,比如不断优化知识库、提高 prompt(提示词)的撰写质量等,但或许没有太大的必要。
这是因为,以上问题的核心主要还是大模型本身的限制 ——
由于目前市面上的大模型基于其生成答案的底层逻辑未变(更多依赖统计和概率而不是对事物的理解)、训练数据仍然来自公开世界,因此 AI 仍不可避免地会出错、会产生幻觉(hallucinating,指 AI 编造事实);
由于现阶段大模型 token 的限制,很多长文本数据不好处理,回复的篇幅也受限。
除此之外,对于 AI 接下来的发展重点,是大模型还是垂直领域模型,尚存在争议。
前段时间,OpenAI 首席科学家 Ilya 连线斯坦福大学做了一小时的深度访谈,其中就讨论了“垂直聚焦还是广义训练”的问题:
Ravi:
我可以进一步问吗?现在有这种争论,应该垂直聚焦还是广义训练?你认为通过特定数据集训练可以在某些领域如法律或医学取得更好的性能,还是广泛的数据集训练会更受益?
Ilya:
到一定程度,我们应该期待专业训练产生巨大影响,但是我们进行广义训练的原因仅仅是为了达到神经网络甚至能理解我们提出的问题的程度;只有当它有极其扎实的理解力时,我们才能进入专业训练,真正从中受益。我认为所有这些都是可能有成果的方向。
Ravi:
但你觉得我们什么时候会达到专业训练的重点?
Ilya:
如果你看看开源工作的人,在开源模型的工作里,他们做了不少这种专业训练,因为他们有一个相对较弱的模型,试图从中获得任何一点性能提升。所以我会说这是一个例子,一定程度上,如何训练模型这不是非此即彼的,你可以把它看作是一个连续的过程。
Ravi:
当涉及 AI 应用到垂直领域时,你认为获胜的优势是拥有这些专有数据集,还是拥有一个性能更高的大型语言模型?
Ilya:
所以我认为也许把 AI 看作多因素的组合会更有成效,每个因素都做出贡献。拥有帮助你在一系列任务中提高 AI 的专业数据当然更好,拥有更强大的基础模型当然更好,从具体任务的角度来看,这也许就是答案。
总而言之,虽然很多问题可以通过一些方法进行优化,但未来大模型迭代了,或许这些问题直接就被解决掉了。
正如我们在《法律 ChatGPT?INSSENT AI 来了!》中写道:
查理·芒格说过:“宏观是我们必须接受的,微观才是我们可以有所作为的。”大模型需要长期的投入,而如果说大模型的进步是我们必须接受的宏观因素,那么专业训练就是我们可以有所作为的微观因素。
易参会为此持续努力,然而个体的力量总是有限的,我们决定走得更快一些。为了更快地打造出普惠的法律 AI 产品,我们正式面向法律行业发起「法律 AI 共创计划」。
加入共创计划的伙伴们,将与易参一同:
1. 深度合作,提升 INSSENT AI 的产品能力
协助收集法律知识,提升 AI 生成质量
优化 Prompt Engineering(提示工程),包括丰富法律 prompt(提示词)词库、指导用户如何编写清晰明确的指令等,帮助用户更高效地获得所需的回答 —— Chatbot 形式的 UI(用户界面)缺乏预设用途(affordance)—— 很多人都不知道它能做什么
2. 探索法律 AI 工具的生产力场景
3. 探索「AI 原生」的法律科技落地场景
共创伙伴们将在合作过程中:
第一时间体验到行业领先的法律 AI 产品
持续获悉法律 AI 相关的前沿技术与信息
通过联合开发行业解决方案引领行业趋势
躬身入局,提升在法律科技领域的影响力
如果你对「法律 AI 共创计划」感兴趣,欢迎扫描下方二维码申请加入,即刻开始合作。
接下来,INSSENT AI 将进入正式版的研发阶段,下一个版本将会推出 INSSENT AI 的个人独立子站、在线与客户对话等功能,小程序也在开发中,敬请期待。
INSSENT AI 地址:
http://lawai.craftsmandecc.com/
操作方式如下:
1. 手机端:完整选中以上链接,点击「打开链接」跳转;
2. 复制以上链接到浏览器打开,电脑端和移动端均可。
如果你在使用 INSSENT AI 的过程中有任何宝贵的建议,或者遇到 bug,欢迎添加以下微信反馈。
关于易参: