技术的未来：谈大语言模型前端研发领域的革命性影响
在当前快速发展的大型语言模型（LLM）时代，像 GPT 系列这样的技术正在改变我们对人工智能应用的理解，特别是在智能客服领域。ChatGPT 的问世更是为我们提供了全新的处理自然语言的方法。在研发领域，不论是提出问题的一方还是解答问题的工程师，答疑工作都是一个避不开的重要环节。
在 2023 年 12 月 28-29 日上海 QCon 软件开发大会上，来自字节跳动的段潇涵老师，将分享利用 LLM 改善研发过程里答疑体验的演讲话题，他将聚焦于研发答疑这一场景，探讨如何利用 LLM 技术协助值班人员提升回复效率，同时帮助提问者更快地找到问题的解决方案，从而整体优化答疑体验。在正式演讲之前，InfoQ 采访了段潇涵，请他讲讲大语言模型在业务场景的落地实施过程和应用效果。
InfoQ：在构建知识库和实施 LLM 技术方案的过程中，您遇到了哪些主要的技术挑战？您是如何解决这些问题的？
段潇涵：我们面临的主要技术挑战包括准确的文本切割、高效的知识库构建，以及优化 LLM 的回答质量。我们通过参考开源方案和自建模型进行支持，来进行文本切割和分类，同时利用向量、反向索引等方法来构建和优化知识库。针对 LLM 的优化，我们积累会话历史数据，不断调整模型，以提高答疑的准确性和相关性。
InfoQ：在实施 LLM 技术时，如何处理文本切割、多路召回等复杂技术问题？您能分享一些具体的实例吗？
段潇涵：文本切割方面，我们采用如滑动窗口切割、模型分析选择切割方式，来处理不同类型的文档，比如 API 文档和最佳实践指南利用某种切割方式会更优。多路召回方面，我们结合关键词匹配和向量相似度搜索，以及名词解释字典来提高召回的质量和精准度。
InfoQ：在评估 LLM 技术在答疑体验中的效果时，您主要依据哪些指标和方法？
段潇涵：我们主要依据的指标包括人工答疑的前置拦截率、问题回复的准确率，以及总结的准确度。我们通过对比自动回复和人工回复的效果，以及用户反馈来评估和优化模型性能。
InfoQ：您认为未来几年内，大型语言模型和前端技术将如何发展？会出现哪些新的趋势或突破？
段潇涵：我预计 LLM 将进一步提高自然语言理解和生成的能力，同时随着多模态能力的成熟，可能会出现更加智能化和个性化的交互模式。前端技术可能会与 LLM 更加紧密地结合，实现更流畅和直观的用户交互体验。
InfoQ：在研发答疑等实际应用场景中，LLM 技术带来的最显著变化是什么？
段潇涵：LLM 技术带来的最显著的变化是大幅提高了答疑的效率。它减少了重复性和低级问题的人工处理，使得研发人员可以专注于更有创造性和挑战性的工作。
InfoQ：随着 LLM 等技术的普及和发展，您认为技术人员的工作模式和技能需求将会如何改变？
段潇涵：随着 LLM 等技术的普及，技术人员的工作模式可能会更加依赖于跨学科知识和合作。需要适应快速发展的技术，学习如何与这些先进的工具协同工作。技能需求方面，除了传统的编程和工程技能，对数据科学、机器学习、自然语言处理的了解将变得更重要。
InfoQ：在使用 LLM 处理敏感信息时，如何确保数据安全和用户隐私？
段潇涵：严格的访问控制和身份验证机制，以及确保数据处理符合当地和国际的隐私法规。另外，对 LLM 的输出进行监控和审查，以防止敏感信息的意外泄露，同时在 prompt 上也需要更加严格的提示，以防止模型泄漏自有信息或回复违反法规的不安全言论。
InfoQ：您如何看待 LLM 技术在商业领域的应用前景和潜力？
段潇涵：LLM 技术在商业领域会有巨大的应用前景。它可以改善客户服务，通过提供快速、准确的自动化回复来提升用户体验。在内容创作、市场营销、法律和医疗等行业也有广泛的应用潜力。此外，LLM 可以帮助企业分析大量数据，从而做出更明智的商业决策。但是技术的创新，也需要对技术的准确性、公平性，尤其是常见讨论的伦理影响进行仔细衡量。
InfoQ：您认为 LLM 等技术对社会、文化和日常生活将产生怎样的影响？
段潇涵：LLM 等技术可能会改变我们获取信息和解决问题的方式，使得知识和资源的获取更加容易和平等。同时，它也可能引发关于人工智能伦理、数据隐私和工作未来的社会讨论。
段潇涵：字节跳动 产研 & 工程部门研发工程师
字节 Node.js 基础工程方向负责人，主要致力于建设 Node.js 相关基建：公司级框架、适配公司基础设施的基础库、私有 NPM 仓储等。同时致力于大语言模型在研发工程落地的实践，构建 AI 知识体系，为研发领域提供 AI 相关基础能力。
LLM 时代的大前端还有哪些重点技术需要关注？2024 年，大前端将走向何方？12 月 28-29 日，QCon 全球软件开发大会落地上海，百度、华为、 Intel 、字节跳动等团队专家将探讨 LLM 时代的大前端技术发展趋势与企业级应用开发的机遇和挑战，包括 LLM 如何赋能前端框架调试、如何改善答疑工作，还有 AI 原生应用开发、和 Web 端侧推理的未来、鸿蒙应用开发经验分享，以及最硬核的 IDE 技术。
感兴趣的朋友可以扫描下方二维码或点击「阅读原文」，查看大会详细日程。咨询购票可联系票务经理 18514549229。