AI 是如何重塑软件公司的？｜ AGIX 投什么
本篇内容根据海外独角兽「AI 重塑系列研讨会：AI 是如何重塑软件公司的？」上的讨论整理。「AI 重塑系列研讨会」是海外独角兽发起的闭门活动，希望能激发出最 AI-native 的投资 ideas 。
GenAI 革命是知识生产力革命，终端场景是 LLM 的价值放大器，因此，在构建 AGIX Index 时，除了提供基建服务的 Hardware、Infra，我们也将AI Application 纳入其中。虽然和硬件、infra 相比，今天真正在产品中部署 LLM、并通过 LLM 获得实打实增长的公司相对较少，但这一轮生产力革命下，LLM 的 massive adoption 速率也许比我们预想中要更快。
ServiceNow 是我们目前看到的有限的几家能帮助企业部署 AI 的公司中表现最好的一家。在这次闭门讨论中，拾象团队分享对企业部署 AI 的最新观察外，我们还请到了 ServiceNow 专注于 AI 搜索产品的 Staff Engineer Kewei，围绕 ServiceNow ，重点讨论了为什么 ServiceNow 的 AI 策略、企业搜索的难点以及 AI Agent 等话题。
💡 目录 💡
01 企业的 AI 实践已经进入部署阶段
02 ServiceNow 是如何受益于 AI 的
03 对谈 ServiceNow
01.
企业的 AI 实践从试验进入部署阶段
分享人
李双星： 拾象二级投资负责人。10 年+投资经验，2019年起开始管理组合，长期跟踪全球互联网与科技行业。
在拾象的二级投资布局中，除了硬件和 Infra 之外，AI 所带来的企业 IT budget 和软件模式的变化也是我们的重要视角。结合拾象团队的一手调研，和一系列 CIO 调研报告，我们最近明显感受到，当前企业们运用 AI 对 IT 价值的挖掘正在变得深入，开始从试验测试进入部署阶段，基于这一趋势，我们中长期从基本面角度来对企业侧 AI 实践投资主题保持乐观。
• 信号 1：未来 2 年企业的 IT 支出会持续增加
在近期一系列针对企业 IT 支出的调研中，我们可以观察到一个共同的趋势，即：全球范围内，企业对于在未来 1 年的 IT 支出还是保持相对乐观的状态，尤其软件方面的预期财务支出。
而在具体的板块分布上，AI 毫无疑问是很多企业现阶段 IT 投入最重要的环节。
企业在 AI 上的大力投入也带来了对其他企业 IT 支出的“挤出效应”，但总体上，AI 相关、云相关和网络安全是目前企业认为最重要的投资领域。
• 信号 2：很多企业的AI应用已经从试验到了部署阶段
AI 作为 CIO 们最关注的领域，IT Spending 占比最高、且还在提升，2Q24 的占比为 16.3 %，比 1Q24 增长了 2.6 个百分点。
与此同时，我们也看到企业在 AI 的投入方向上正在从“试验”向“部署”转变，在 2023 年的 7 月、 12 月到今年的 6 月的三次采样中，我们能够明显看到 AI 部署的渗透率的逐步提升。
• 信号3：预计明年外部业务场景中也会大范围开始部署 LLM
如果看企业具体是如何部署 AI ，就会发现，在今年企业还是以内部 IT 支援或运营提效作为主要方向，这一点也符合了我们的观察。
之所以最先用 LLM 来提升企业内部的效率，因为现阶段 LLM 还存在幻觉或者其他成本上的优化空间，但从我们和很多企业直接交流的情况来看，即便只能部署在内部场景中，企业对 LLM 带来正 ROI 这件事是没有质疑，这也是他们现在在企业内部很愿意在很多场景去尝试的原因，所以我们得到的企业反馈都是很正面的。
对于 2025 年的预期，我们看到很多企业表示，随着模型的成熟，他们会进一步考虑在对外功能上尝试 LLM，主要就是营销与销售环节，因为这两个板块属于欧美企业成本很高的两个职能，所以我们认为，企业下一步对 AI 的部署就是以提高对外的效率为主。
• 投资布局：2024 年下半年可能进入应用真空期，但对中长期保持乐观
另外，在我们的观察中，也许我们即将进入到一段“应用真空期”，在这个区间内最直接的感受是 AI 的部署效率比我们想象中慢、不会有特别新的场景出现，从投资决策角度也会陷入一段审美疲劳期。
但是我们对中长期的趋势是非常乐观的。也许短期来看无论是技术面，或者说市场的 narrative 上，可能会出现“真空期”，但是我们相信，随着 GPT-5 年底的发布，以及 Claude-3.5 系列模型的陆续推出、多模态的持续解锁，所以，到 2025 年再来看大众应用的话，和今天相比一定是相当乐观的状态。
02.
ServiceNow ：最受益于 GenAI 的软件公司
ServiceNow 帮助企业有效部署 GenAI 的能力来自于它既有的产品属性：布局足够充分，基本覆盖了企业 workflow 得关键环节，“One code，One data model”的技术主张也提供了数据准备。
Now Platform：企业的工作流引擎
ServiceNow（NOW) 创立于 2004 年，2012 年 6 月在纽交所上市。ServiceNow 产品可分为三大类：底层平台、IT类和新兴产品三部分。其底层平台 Now Platform 是 ServiceNow 最核心的工作流引擎，IT 类产品包括 ITSM、ITOM、ITBM 和 ITAM， IT 工作流产品是 ServiceNow 最强势的产品，目前的市占率超过了 70%，新兴产品则涵盖了客户服务（CSM）、人力管理（HR）等场景。
ServiceNow 很早就确定了“One code，One data model”的基础平台策略，它所有产品和服务的基础都是基于底层平台 Now Platform 来展开的。Now Platform 提供了一个统一的技术栈，让所有功能和应用都能在同一个平台上开发和运行，这一产品理念让 ServiceNow 在云时代成为企业数字化转型底座，在 GenAI 时代也有机会成为 AI 转型底座。
Now Platform 的统一平台特性具体体现在：
• One code，One data model 技术框架下，所有应用共享同一个代码库和数据模型，避免数据孤岛和重复数据问题同时，也提高了开发效率和数据一致性；
• 兼容性和可拓展性：Now Platform 采用模块化设计，允许不同的功能模块（如 IT 服务管理、人力资源、客户服务等）独立开发和部署，同时保持彼此之间的兼容性，同时，平台的设计允许轻松添加新功能或整合第三方应用，而不会影响现有系统的稳定性。这种架构也让新功能和产品可以更容易地集成到现有系统中，无需大规模的重构或单独的实施；
• 跨领域应用：由于所有功能都建立在同一平台上，不同业务领域的应用可以轻松共享数据和功能，促进了跨部门的协作和流程优化，而这一点也让 ServiceNow 更低摩擦得将自己的产品 ITSM 延展至其他场景，从而实现了 workflow 的渗透。
ServiceNow 的统一架构优势与 Salesforce 对比会体现得更明显。Salesforce 历史上运行了四个独立的云服务（如Service Cloud和Sales Cloud等），这意味着Salesforce 推出 GenAI 产品时，可能需要在所有四个核心上进行训练和实施，增加了复杂性。相比之下，ServiceNow 由于所有功能都构建在最底层的平台之上，因此可以更快速地进行创新和部署。
ServiceNow 的 GenAI 布局
Now Assist 是 ServiceNow 在 2023 年底发布的 GenAI 产品，它延续了 ServiceNow 的平台化策略，All-in-one 地承载了 ServiceNow 上的 AI 相关能力，已经覆盖了 ServiceNow的几个主要套件产品，包括 ITSM、CSM 等，目前 Now Assist 提供的AI能力主要集中在最基础的摘要（summary）和推荐（recommendation）功能上。
Now Assist for ITSM 面向的是 ServcieNow 的 IT 工作流产品线，它首先增强了面向用户的虚拟助理能力，能够提供详细的历史工单摘要，并能够以 Q&A 的方式提供对支持问题的回答，而不仅仅是搜索结果。而且它还能为完成的支持事件生成最佳实践文档。Now Assist 在 Now Platform 中还能提供提供自然语言生成代码、工作流和流程 Playbook 等功能。Now Assist 也用于客户工作流和 HR 服务等套件应用，起到非常类似的作用。
Now Assist 是 ServiceNow 历史上增长最快的产品，根据 2024Q2 财报，NOW Assist 的净新年化合同价值（NNACV）在当季度实现了环比翻倍，并获得了 11 个超过 100 万美元的订单，其中 2 个超过 500 万美元。此外，Now Assist 的 upselling 效应十分明显，虽然它相比上一代平台 ServiceNow Pro 提价 30%，但依然十分受客户欢迎。
在 ServiceNow 发布的 2024Q2 的财报中，公司在 Q2 的收入达到 26.27 亿美元，同比增长 22%，超出预期 2700 万美元，其中，订阅收入为 25.4 亿美元，同比增长 23%，超出预期 1000 万美元。
03.
对谈 ServiceNow
对谈嘉宾
Kewei：ServiceNow Staff Engineer，专注于AI 搜索服务开发，在加入 ServiceNow 之前任职于 Salesforce 负责商品搜索 API 开发，拥有丰富的行业经验和技术背景。
**嘉宾分享内容为其个人技术和行业洞察，不涉及其所属公司的业务立场及观点
ServiceNow 的 AI 策略
Q：Kewei 在公司工作的这几年整体体验如何？你觉得 ServiceNow 能做到这么好，最重要的竞争优势是什么？
Kewei：我不是从事业务运营方面的，所以我只能从个人体验上去理解。我觉得 ServiceNow 的竞争优势主要有三个。第一是 ServiceNow 的产品，它提供了一个非常全面的解决方案，这样就能满足大企业很多的业务需求，同时 ServiceNow 的产品能够高度地定制化和自动化，这点对大企业来说非常重要，而且覆盖面也很广。这样企业降本增效的效果就会非常明显。
第二，美国 SaaS 企业中非常重要的就是信用，因为 ServiceNow 起步非常早，到现在已经 20 多年了，它在这段时间里积累了很好的信用，这对面向大企业的 SaaS 公司来说非常重要，因为大企业客户更希望能跟自己信得过的企业合作，也愿意花更多的资本来跟这些公司合作。
第三可能就是服务，ServiceNow 提供专业的支持和服务团队，并且非常注重安全性、合规性和可靠性，虽然可能在用户体验方面这些因素并不是非常重要，但是 ServiceNow 在这方面做得也比较好。
Q：对大企业客户来说，信任和安全确实非常重要。您刚才也提到第一重要的还是产品，从产品角度，不管是开发、设计，还是理念上，ServiceNow 有什么比较大的竞争优势？
Kewei：ServiceNow 的产品在设计上非常简单，因为所有的东西都是以表格为基础，这点放在 use case 上会非常简单，用户有任何需求，都可以先创建一个表格，这样就可以和企业内部运营更好地关联起来，后续的一切都在这个表格的基础上操作。如果需要定制或者是别的新业务，都可以通过这个方面来实现。不仅非常直观，还能减少沟通上的一些障碍。
Q：定制化的软件通常的交付的过程会比较重，或者每一个订单可能都是比较 customized 的，但 ServiceNow 在定制化和产品的可组合方面平衡得比较好，不知道你们有没有什么特别的经验和观点？
Kewei：这是我们引以为傲的工作流系统，从设计上来讲，以表格为基础，并以工作流作为底层的引擎来驱动自动化和定制的需求，这样在实现和用户使用体验上就会好很多，也会快很多。
Q：ServiceNow 在 GenAI 的投入一直很积极，现在整个 ServiceNow 对 AI 的战略大概是什么样的？主要会在哪些板块去做 AI？
Kewei：公司高层对 AI 相当兴奋，在投资者开发大会上也提过，公司对 AI 的投入比重非常大，基本上是 all in。相对于别的公司，AI 其实可以和 ServiceNow 现有的产品有机地整合在一起，这是很明显的特性，ServiceNow 在 ChatGPT 火之前已经积累了很多 AI 的基础，可以说已经修炼了很久，所以现在相当于时机成熟了，相对于别的公司而言，ServiceNow 能够更快地把 AI adopt 到产品里面。
在战略上面，公司会从这五个方面来实现：
第一，自动化方面，把工作流系统与 LLM 结合在一起，变得更智能，智能可以体现在工作流的设计或者生成上，以及与外部的整合上。
第二，更多的数字化，把一些之前需要手动的功能实现自动化，并整合到 ServiceNow 的 Now Assist 里，这可以更好地提升效率。
第三，在知识库方面，通过企业搜索把所有的知识整合在一起，在这个基础上利用 Assist 与外部的应用整合。传统的知识搜索要先搜索找到想要的结果，再进行下一步，然后根据内容中提供的指令去做。现在可以把这些全部整合起来，搜索以后直接就可以执行要做的事情，这可以极大地提高效率。
第四，在隐私保护和安全性上，现在 AI 在这方面还是比较欠缺的，如果 ServiceNow 可以做好这方面，就可以更好地吸引大企业客户。
第五，在实现策略上，这点比较好的是 ServiceNow 没有用传统的大模型，而是针对不同场景开发了很多小而精的高度定制模型。比如生成工作流是一个模型，生成文本是一个模型，生成代码又是另外一个模型，这些都是 ServiceNow 自己开发、并运行在自己的硬件上的，这对那些注重安全性和隐秘性的公司就很有吸引力。
Q：客户对刚刚提到的这五个方面产品的实际反馈是怎么样的？在这个过程中客户最在意什么？
Kewei：客户的整体反馈还是很好的，因为毕竟相对于之前的 AI / Machine Learning 功能，LLM 提供的体验和精确度完全不一样，是全新水平的体验。但是我觉得企业客户采用新技术会比较保守，他们会试用、观察、不停地考虑，所以他们采用的速度会比较慢，不过目前整体来看趋势还是很好的。
Q：我们最近观察到一个趋势是：很多企业实际上可能并不一定需要用 SOTA 模型来解决实际业务中的需求，而是选择用特定的小模型来做任务，ServiceNow 为企业客户提供的服务涉及到小模型的训练，以及结合客户实际的 use case 做模型 fine-tuning 这类内容吗？
Kewei：涉及到模型 ServiceNow 有很多种方案，但总的来讲有三个：
• 第一，可能有一部分客户的需求还是用 OpenAI 的模型，在这种情况下，我们是通过 API 的方式把数据文本发给 GPT；
• 第二，用 ServiceNow 自己的模型，目前通用的是 Now LLM，但是还会有一些别的应用的模型；
• 第三，我们接下来会推出 BYOM （Bring your own model），客户可以选择用自己的模型，通过 API 的方式整合到 ServiceNow 的系统里。比如如果有企业考虑到用 ServiceNow 或者其他模型公司的模型都有可能把数据分享出去，所以就选择自己训模型，但在实际使用中还是要把自己训的模型和具体产品、设备、工作流耦合，BYOM 的方式就是作这样的整合，非常灵活。
Q：在第二类情况中，ServiceNow 的模型是从头训的，还是说用开源的模型 fine-tuning 实现的？
Kewei：一般都是会用开源的模型，但是会比较有针对性、比较小巧，不会采用很大的模型。一方面是成本的考虑，另一方面是性能、效率的考虑，毕竟现在算力还是比较有限的。虽然 ServiceNow 从与 Nvidia 的合作中获得了一些显卡，但在使用上还说很节约的，所以训练小模型的话，一个显卡可以同时支持好几个模型、好几个客户，在成本上会比较优化一些，但也会基于开源的模型进行 fine-tuning，把自己的 Gen-AI 数据放进去。
Q：在你们的观察中，企业客户目前用 AI、并且用的比较好的 use case 主要是在哪些场景？
Kewei： 第一个目前比较成熟的就是 summarization，利用 LLM 来总结。
ServiceNow 最大的一个产品是 ITSM，ITSM 相当于 ticket 系统，客户有问题时就会创建一个 ticket、或者一个 case，如果这个 case 比较复杂，一个 case 界面可能会洋洋洒洒好几页、有好几百个记录更新，涉及到好几个月。如果后面问题解决了，要总结这个界面，一个人读那么多内容再总结会非常费时间，summarization 就可以提供一个总结的功能，把这个 case 的一些问题、解决方案全部总结出来，这样后面如果要去参考会比较快。所以 summarization 是针对 ServiceNow 非常好的一个 use case，当然， summarization 也是目前 Gen-AI 比较通用的一个使用场景，可以用在很多地方。
另外一个就是和 chatbot 对话 Q&A，这其实也是 Now Assist 的基础功能，相比于之前类似的功能，Now Assist 的 Q&A 可以提供更好的使用体验，不但可以给出结果，还可以直接帮用户咨询很多 action，然后直接执行。
其次是内容生成，比如用户在创建 ticket 的时候，可以把一些繁琐的步骤全部自动化掉。之前有一个 demo 就是在生成内容的时候，输入一些基本的东西，Now Assist 就会把基本的内容全部填完，同时写好一份 summary，非常方便。
最后，我觉得比较好的一点就是工作流的生成，用户可以写一段文字，然后由 AI 自动生成工作流。后续的产品会更加先进，比如用户在白板上画了一个之前在会议上讨论的工作流，可以拍照上传，由 AI 直接生成一个工作流，这会是更进一步的优化。
这些是我觉得目前使用的一些契合度比较高的场景，接下来也会有一些新的场景，但更多是 business intelligence 方向上的，用户可以直接向 Now Assists 提问来获得更多数据的 insight，这可能会间接替代一些商业决策中 data analysis 的工作。
除了文本任务之外，workflow 相关的功能也已经比较成熟了，因为企业内部有很多数据，所以也可以利用之前 workflow 的数据来训练一个基于 workflow 的模型，这个是 Now Assist 的一个优势，但 BI 方面现在还在开发中。
Q：Now Assist 是 ServiceNow 的 AI 产品，也是历史上增长最快的一个产品，而且很有意思的一点是：就算 Now Assist 提价 30%，客户似乎也愿意接受。这个产品对客户最主要的价值是什么？为什么它能有这么快的一个增长？
Kewei：这个产品比较大，涉及到好几个组。但因为我不是从最上面往下看的角色，所以我也只能分享我这边接触到的一些东西。
我个人的理解是：第一，Now Assist 可以非常好地整合到之前的一些操作流程中，所以从客户角度来说，他们不需要另外花很多资源去培训、学习这个功能，与 Copilot 有点像，但是可能会更好，很多时候其实或多或少已经整合到系统中去了。比如用户去看一个 KB （Knowledge Base） 文档，可能就会提示用户点一下，就可以自动总结出要点，后面还会有一个按钮，相当于触发了 Q & A 的模式，这样的话学习的成本就会很低，很多企业都会愿意去试用或者使用，因为效果非常好，而且他们已经不需要再花钱培训了，所以可能自然而然地就会想要使用这个产品。
另外，虽然 Now LLM 没有达到 100% 的智能，但是它现在至少可以达到 70%-80% 的智能程度，这已经非常不错了。
Q：Now Assist 底层用的模型是什么？
Kewei：是我们自己训练的模型，Now LLM 的模型会负责一些文本上的操作，底层是 Q & A 的模式，是通过企业内部 AI 搜索来实现，另外就是一个非常复杂的自然语言处理的 embedding 模型，这个模型比较关键，因为它会直接影响到问答的效果，以及最终结果。
Q：如果客户愿意接受提价，那你们认为对客户会怎么衡量产品给他带来的 ROI？
Kewei：我觉得效率的提升这点是最直接的。客户衡量的角度包括，一个 case 的处理时间，或者一个用户在搜索时得到结果不符情况下花的时间和成本，还有问答本身。从时间上来考虑，这个产品节省的时间可能相对于担负的成本会更多。
企业搜索
Q：你在 ServiceNow 内比较专注 AI 搜索相关的产品，企业内搜索也是今年大家特别关注的话题，ServiceNow 是怎么理解企业搜索的？
Kewei：ToB 的企业搜索和传统的文本搜索不同。
首先，ToB 的内容更加多样，除纯文本外，还包括更多结构化的文档，比如 office 的 PDF、Outlook 邮件、Confluence 和 SharePoint，这不同于谷歌索引的那种传统的网页内容，所以它实现的方式也不太一样。传统的企业搜索效果不是特别好，就是因为这些文档越来越大，所以索引的效果或者收录的效果都会比较差或者比较慢，而且占用的资源也比较多。
但我认为 GenAI 图片在语义搜索、自然语言处理方面，为企业搜索提供了一个新的平台，如果可以利用 GenAI 模型来理解自然语言，在了解语义和生成结果方面的效果会非常好。
如果再把这个技术用得更抽象一点，相当于把企业搜索引擎进化成一个底层的 Vector 的搜索引擎，还可以利用这个底层的引擎开发更多基于 GenAI 的应用，这也是现在我们公司内部正在实现的一个事情，慢慢地把这个东西抽象出来，变成一个更通用的、可以整合 LLM 的工具。
Q：从产品和技术的角度，你们感觉做好企业搜索的难点主要在哪里？
Kewei：难点有两个，一是语言模型，也就是对自然语言的理解，以及对结构型文档的匹配，如果一个语言模型不太精确，结果也不会很精确，这一点是我们目前重点在解决的。
另一个是性能，因为模型本身做 embedding 生成向量比较慢，后期再去调用 LLM、API 或者 OpenAI API 来生成一个满意的 summarization 也比较费时间，整体的搜索时间也会比之前的久，用户体验上可能也不会像传统谷歌的文本搜索一样快。
Q：我们也看到企业搜索是不少创业团队选择的方向，包括 Glean、Hebbia 等等，其中有些也积累了不少企业客户，从你们的角度来看，创业公司相比于 ServiceNow 这样比较有积累的公司，分别都有什么优劣势？
Kewei：我个人理解，创业公司因为比较灵活，可以非常快地迭代或者开发产品功能，用户体验也会比较好，因为它的产品足够新，相当于是重新设计的，做一些改动或者变化会非常简捷。但劣势首先是信用方面，也就是品牌认知度，作为初创企业要吸引大企业会比较困难，第二则是在资源方面，因为资源有限，在市场推广、营销、客户支持方面，尤其是在售后支持，如果要吸引大企业，这方面也需要比较大的投资。
老牌企业相对来说资源会比较丰富，信用、品牌认知度也比较有积累，而且客户积累也是相当关键的优势。如果客户之前已经部署过安装了 ServiceNow 的系统，那他们肯定会优先考虑用 ServiceNow 的一些功能，这样就可以直接整合到他们的日常操作中来。
因为 ServiceNow 的产品本身比较复杂，如果要采用，员工需要进行一定的培训，只有培训成熟，才能保证后续的使用效率。其实不管是 Salesforce，还是 ServiceNow，我个人觉得都不是很好用，员工能够直接上手使用的可能性比较小，因为一些传统软件基本的功能比较庞大，所以前期一旦要采用，肯定要花一些时间去培训公司的员工，但是这个培训不仅仅局限于 AI 功能，之前几十年积累起来的一些软件功能也需要培训。
所以如果客户前面已经投入了很多培训或者学习，那他们一般不会轻易去换一个新的产品或者公司。
但大企业相对于初创团队最大的问题就是行动比较慢，在开发新产品或者调整策略方面也会比较慢，这也是为什么目前 Glean 能够快速占领一部分企业市场的原因，而 ServiceNow 在开发、推出新产品、新功能方面相对来说就会比较慢。但其实从今年开始，由于 AI 的紧迫性，我们也在快速地推出产品，所以现在变成了一年 4 次，一般每三个月就会有一个新的 release。
Q：ServiceNow 的 AI 搜索最新的进展如何？
Kewei：这个 AI 搜索已经是 GA（Generally Available） 的状态了，现在用户在 ServiceNow App 里面点击搜索图标去做搜索的话，后台其实都是通过AI 进行的，如果在 Now Assist 问问题，后台其实也是经过 AI 搜索完成的，但这两个场景后面其实是不同的 configuration。一个可能是传统的企业搜索外加整合 LLM 来提供一个结果的 summarization，另一个是企业搜索跟 skill 的定义整合起来后，直接调用相关的工作流。AI 搜索其实类似于一个端口，相当于一个入口，后面再根据定义定制、调用相关的结果或者相关的 APP。
Q：ServiceNow 搜索和像 Elastic Search 这类产品之间的关系是什么？可以理解为 Elastic 是后端引擎，ServiceNow 是前端和整个应用端的 wrapper 吗？
Kewei：可以，因为 ServiceNow 搜索的底层还是用的是 Lucene，Elasticsearch 的底层其实也差不多，在底层库的应用上来构建搜索的应用，并进一步构建了搜索引擎。ServiceNow 之所以没有用 Elasticsearch，是因为 Elasticsearch 控制性不够，不能完全满足 ServiceNow 高度定制的需求，所以它相当于收购了之前的一个 AI 搜索公司，它的优势是它完全是自主研发的，它的 Lucene 引擎也是自己定制的，所以可以实现各种需求。
现在的一些语义搜索也是直接在底层 Lucene 上实现的，而不是在 Elasticsearch 上实现的，这样可以非常灵活地选用模型来计算 Vector，或者在哪一步索引的时候实现安全性，加权限也非常的灵活。Elasticsearch 目前也有企业搜索，但主要适用于定制性不是很多的中小企业。如果要完全掌控自己的搜索引擎还得自己研发。
计算 Vector 是另外的模型，或者是用 GTR，或者是用 E5，看你用哪个语言模型。Vector 搜索是传统的 KNN（K-Nearest Neighbor）算法，这个比较通用、也比较成熟。如果对等路径一样，可以通过把两个 Vector 做一些计算来获得一些 match。
Q：因为企业用户对于搜索要求的准确度要求要比 To C 端更高，ServiceNow 是如何在 AI 搜索的结果上规避幻觉问题、提高搜索结果的？
Kewei：目前来讲，搜索结果只能用内部的一个 Q 组来测试，通过测试和调整来验证，基本上可以达到某个指标，不过不可能做到 100% 精确，但可能会达到 80%、 90% 的效果。客户其实会有一定的预期，但是他们不会有 100% 的预期。我个人感觉除非持续地出现一些问题，他们才会反馈，如果只是偶尔出现一些幻觉，他们应该不会太在意。但客观来说，我接触到的也不是特别多，我感觉前期出现过一些反馈，我们及时调整了之后，现在已经好多了。
Q：企业搜索的实现中是如何平衡类似于员工数据这类 data governance 问题的？
Kewei：我们提供了一个非常强大的配置功能可以对每一个文档或者每一个文件数据源设置权限，哪些 user group 的人可以看这些文档。其实很多这些元数据是用户传进去的，传进去之后，比如你是属于 group A，如果某些文档明确限制 group A 的人不能看，那你其实是搜不到，如果那些内容不会返回，也就不会体现在最后的结果里。
Q：Agent 也是生产力场景下很受关注的一个领域，这个概念背后的期待是：LLM 除了理解文本、回答问题，还能相对自主地、并有一定推理能力地去帮助用户处理一些复杂的任务。ServiceNow 本身就是围绕企业 workflow 中的各类任务展开的，从你的角度来看，随着 AI Agent 的发展，ServiceNow 会受益还是受损？
Kewei：我个人觉得是受益的，因为我觉得它们是可以整合在一起的，它们生成的一些 action 可以用工作流去实现。因为从内部的实现角度来讲，相当于是一个一个的 skill，训练了一个模型，并给了它很多技能，这个技能其实就是用工作流去实现的，这样用 Agent 的时候，AI Agent 就会通过后台返回一些它会的技能，这个技能可以通过事先制定好的工作流去执行，这样就会非常的自动化和智能。
而且其实这些目前 Now Assist 已经实现了。根据用户问的问题，Now Assist 会提供一些选项，让用户去执行一些要求。
举个例子，我们可以在 Now Assist 的 Q&A 中先询问公司的 PTO （带薪休假）政策是什么，它首先会把结果总结给你，而不是像之前那样提供几条知识库链接，除此之外，Now Assist 的 Q&A 还会提供再一个选项，例如“申请 PTO” 或者其他相关 动作？如果点击了“申请 PTO” 的按钮，那么后台就会自动执行这个工作流，直接帮员工完成请假，或者更进一步让员工先选定时间，再去自动申请 PTO，这些其实已经全部整合在 Now Assist 里了。
Q：在企业搜索中，针对企业有大量的结构化数据，当然也有一些非结构化的数据，也许这些数据在不同的 API 里，调用的时候要花一点时间，但如果用 LLM 为基础来做搜索，是不是会比在完全广阔空间中搜索更容易、更可靠？
Kewei：目前来讲，LLM 在企业搜索场景中，其实和我们直接向 ChatGPT 提问这种搜索是不一样的，这样的效率会比较低，成本也会比较高。
目前做企业搜索的公司，比如说 Glean，他们做大模型可能只是做最后的总结体验，前面的搜索还是传统的基于搜索引擎或者基于 Lucene，或者基于别的 Vector 的一些搜索引擎来做的，他们可能会用语义搜索来获得 5 - 10 个比较好的候选文档，然后把这些文档送给大模型来提炼出一个比较好的答案，这是目前的实现方式。
因为目前会受到算力或者成本的限制，所以这个路径对企业采用大模型是一个比较优化的方案，但是最后提炼结果的效果还是比较好的，相对于传统的搜索引擎来讲，已经是一个比较大的提升了。
Q：理论上由于企业搜索面临的数据量更加有限，如果对企业积累的这些数据做处理，相对来说会比较容易，那么它是不是应该在算力、成本、包括结果返回时间和幻觉上，有更好的表现？
Kewei：因为企业内部的文档数据量其实很大，虽然不能跟 Google 这种通用搜索引擎的的数据量来比，但如果就内部时间而言，需要的硬件资源也很多。如果要在这个基础上来训练大模型，成本确实还是很高的。
以目前的条件来讲，我们一些客户内部的 KB 文档可能就有好几个 T 的存储量，如果现在就 token 数量去给 OpenAI 或者自己训练一个模型，成本还是很高的。另外，有些企业可能还会需要一些别的定制，比如有些公司是法律文档，里面的修改要求很高，这些如果用大模型可能就会不太好。
**本文仅作为科普分享及学习资料，不构成任何投资建议或金融产品推荐，并且及不应被视为邀约、招揽、邀请、建议买卖任何投资产品或投资决策之依据，文中所涉及的分析、观点及结论均为作者基于公开信息的研究和主观判断，不代表任何投资机构或金融机构的官方立场，亦不应被诠释为专业意见。投资有风险，入市需谨慎。**
排版：Doro
延伸阅读
Voice Agent：AI 时代的交互界面，下一代 SaaS 入口
为什么英伟达能达到 5万亿 ｜ AGIX 投什么
专访 Luma AI 首席科学家：我们更相信多模态的Scaling Law
AGIX ETF 上线：构建 AI-native 的投资工具
10 万卡集群：通往 AGI 的新门票