查看原文
其他

文心一言App大前端负责人:AI在大前端技术的革新之路

周廷帅 AI前线 2024-01-21


作者 | 周廷帅
策划 | 薛梁

在以大型语言模型(LLM)为背景的时代,对话流已经成为大部分交云互动的主流方式。面对这一趋势,传统的大前端技术如何与强大的模型相融合?除了用户界面(UI),前端技术还能在哪些领域发挥作用?

在 12 月 28-29 日的 QCon 全球软件开发大会上,我们邀请了百度资深工程师周廷帅老师,请他来展示如何将传统的交互方式与对话流相结合,包括上下文和状态流转的设计策略。除了交互设计本身,他们还探讨特定场景下的 PatternPlugin,这将涉及如何将状态机技术应用于肉鸽游戏和活动设计。

在正式演讲之前,我们采访了周廷帅老师,请他来讲讲如何利用大型模型来进行业务监控和效果评估。

技术融合与创新

InfoQ:在结合 AI 和传统前端技术过程中,您遇到了哪些具体挑战,您是如何克服这些挑战的?

周廷帅:一方面,前端技术具有很强的绘制和交互能力,而在当前常见的“文本会话模式”下,我们通过为插件体系引入 UI 能力来提升用户的交互体验。另一方面,大模型生成内容的不稳定性,意味着用户体验的不稳定性,我们通过状态管理以及自动化监控来提升这方面的质量。

InfoQ:能否分享一下 GPTs 在文心一言 App 中的应用案例,以及它如何影响用户体验?

周廷帅:在文心一言 App 中我们称为“灵感中心”,4 月份时候就已经上线,在今年 10 月份对创作者开放。灵感中心可以快速满足用户对于特定能力的使用诉求,犹如一盘做好的佳肴,省去用户 Prompt 的学习成本,比如英语口语老师、PPT 大纲生成器都是用户非常喜欢的功能。

InfoQ:状态机技术在前端应用中有哪些创新之处?它如何提升了交互设计的效能?

周廷帅:举个例子,在一个纯依赖大模型上下文的文字游戏中,游戏进度很容易被破坏,而且也无法在达到某种状态的时候触发外部行为。状态机的设计就是为了解决短期状态的准确持有问题。一旦状态可以被准确记录和处理,那么基于状态的逻辑行为就可以与大模型外的场景进行结合。

InfoQ:在您的经验中,将对话流与传统交互方式结合的最佳实践是什么?

周廷帅:一个好的交互行为应该符合高效、自然的标准。从技术角度,通过插件支持 UI 化或者大模型返回内容结构化,可以有效的提升对话类的交互体验。

实际应用与模式探索

InfoQ:PatternPlugin 的设计理念是什么?它在实际业务场景中的应用效果如何?

周廷帅:我们将它定义为模式插件,旨在针对不同的场景,将逻辑编排与大模型相结合,提升用户的的体验。目前在洞穴冒险游戏和性格测试类中进行了验证,效果明显好于纯基于大模型的体验。

InfoQ:您能描述一下 AI 在前端技术中的一些实际应用案例,以及它们如何改变了开发流程?

周廷帅:在 Coding 层面,直接感受的就是代码补全、单侧生成这些,团队成员现在不少都在使用百度的 Comate 来提升开发效率。而在 用户 - 研发 - 创作者 反馈流上,通过大模型,我们将输入、输出、评估做成了一个闭环流程。

InfoQ:在前端技术中实施性能评估和监控机制的关键要素有哪些?

周廷帅:创作者创作 Prompt 的质量评估与监控,最核心的在于监控 Prompt 的设计。在最初,我们尝试指定一些标准,但是灵活度不足,后来我们通过基于用户创作 Prompt 动态生成指标,然后在基于指标对问答对进行打分,从而得到可用性较好的评估能力。

InfoQ:在业务流程中,状态机和记忆系统扮演了什么角色?它们对业务有哪些具体影响?

周廷帅:状态机的设计是解决 PatternPlugin 的记忆问题。在每次与大模型交互前后都通过刷新特定的 state 信息,来保障关键信息准确性。通过这套机制,可以实现带有逻辑编排的对话系统,比如洞穴游戏、角色剧情分支、特定活动奖励等。

前瞻性思考与行业展望

InfoQ:随着 LLM 模型能力的提升,您认为这将如何影响前端开发的流程和架构?

周廷帅:随着 LLM 能力提升,对于一个页面的初版、逻辑初版、数据结构设计,大模型应该都会有不少的帮助。但是,面对业务繁杂的逻辑能力,目前看还是需要很多人力去处理这块。

InfoQ:对于前端技术,您如何看待未来的发展方向和新机遇?

周廷帅:一方面充分利用终端优势,WebNN、GPU、Wasm 这些去构建一些之前的 Web 上无法实现的应用,比如 InpaintWeb 这类应用。一方面,AI 能力从未像今天一样对开发者友好,不局限于前端,比如我们通过知识蒸馏来帮助产品做角色构建,通过大模型对 Prompt 评估来辅助创作者创作。

InfoQ:最近很多人认为我们对于大模型的态度有些过于积极,他们担心我们对这些技术的期望过高。您如何看待这个问题?

周廷帅:技术发展不会因为个人期望过高或者过低而变化。以一个积极的心态去参与其中,了解哪些能做哪些不能做,找应用场景,这更有意义一些。


采访嘉宾

周廷帅:百度 App 产品研发部 / 前端资深工程师

百度资深研发工程师,文心一言 App 大前端技术负责人。2016 年入职百度后专职前端,前后负责过百家号、百度信息流、文心一言 App 的前端架构工作,有丰富的研发经验。

QCon 会议介绍

12 月 28-29 日,QCon 全球软件开发大会即将落地上海,中国科学院外籍院士、国际数据库专家樊文飞院士,英特尔大数据技术全球 CTO 戴金权等大咖会亲临现场分享大数据、芯片、架构等方向的前沿洞见。

这次会议主要探讨大模型的全面技术架构的进化,不仅有跟大模型本身相关的推理加速、AI Agent、GenAI,还有架构的演进思路、性能优化,以及以智能代码助手为代表的研发效能提升等方向,感兴趣的朋友可以扫描下方二维码或点击「阅读原文」,查看大会详细日程。咨询购票可联系票务经理 18514549229。

继续滑动看下一个

文心一言App大前端负责人:AI在大前端技术的革新之路

周廷帅 AI前线
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存