大语言模型时代的知识工程 | TF97回顾
ChatGPT、文心一言等国内外相继发布了各种大语言模型。这些具有大语言模型的出现对学术科研、工程研发带来了哪些影响？对知识工程特别是知识图谱的相关研究和应用带来了哪些范式的改变？本次分享从知识工程的方方面面对以上问题进行了解答。
4月4日，CCF TF第97期活动“大语言模型时代的知识工程”邀请到来自360等头部企业的技术资深人士、海乂知等知识图谱创业企业的技术负责人和复旦大学、东南大学等高校的顶尖学者，一起深入探讨知识工程在大语言模型时代所面临的机遇和挑战，并进一步了解技术突破点，以及相应的解决方案与案例。
本次活动由CCF TF知识图谱SIG主席王昊奋主持。
「 浅谈大模型与知识图谱的结合：近期的几点方向探索与心得总结」：
360人工智能研究院算法专家刘焕勇针对知识图谱和大语言模型的优缺点重点介绍了⼤模型如何应⽤于知识图谱、知识图谱如何应用于大模型，如基于大模型如何完成数据标注和数据增强，加速知识图谱生产落地；训练大模型的数据处理阶段知识图谱可以直接显式地进行形式化拼接，引入预训练语料；训练框架结合大语言模型和知识图谱嵌入等方式；基于知识图谱约束、优化prompt，激发大模型的能力，同时 query实体消歧和实体链接，优化搜索引擎实时结果。最后，刘焕勇在知识图谱与⼤模型融合共进方向分享了自己深刻的见解，包括基础理论和方法方面如何在大模型背景下进行更好的知识图谱表示；模型结构设计方面如何更好的融合知识图谱的事实性、图结构化特征；可解释性方面如何对大模型进行有效根因解释，应用方面如何结合知识图谱的精确问答和大语言模型的生成问答等。
「AIGC时代的多模态知识工程思考与展望」：
复旦大学研究员、博导李直旭对未来已来的AIGC进行了精彩分享并介绍了万物皆可AI生成应用中文本生成、图像生成、音频生成和视频生成的应用案例。李直旭指出当前AIGC也面临很多问题，如语义理解错误、组合泛化能力弱、事实知识不足、逻辑推理欠缺等，而多模态知识工程或者多模态知识图谱(Multi-Modal Knowledge Graph, MMKG)对缓解以上问题并实现多模态认知智能不可或缺。然后详细讲解了在AIGC for MMKG、MMKG for AIGC、AIGC + MMKG等多个角度上探讨了AIGC和MMKG结合的可能性和潜力。最后，强调了在多模态领域MMKG构建与应用仍具有价值，AIGC与MMKG应互相借力，实现符号知识+统计模型的竞合发展。
「基于KG+LLM的AI应用开发新范式」：
海乂知信息科技（南京）有限公司CTO胡芳槐认为知识工程和大模型本身之间并不是替代关系，而是相辅相成的关系，并讲解了如何利用大模型的优势以及如何结合知识工程来完善大模型的不足。大模型的强大底座能力可以提供广泛的任务泛化能力以及以LLM as Service的方式为上层应用提供公共服务。应用开发范式也可预见地将从LLM到提示工程再到上层应用转变为LLM直接应对各种应用。胡芳槐针对LLM和知识图谱的结合提出了一些有潜力的方向，包括利用LLM进行知识抽取和知识融合，而知识图谱可以增强预训练、增强复杂推理、融合实时知识等。最后，分享了LLM和知识图谱在新的应用开发范式中的重要作用和重要意义。
「知识增强大语言模型技术与双知识平台融合思考」：
东南大学认知智能研究所所长漆桂林认为，大模型是一个“隐性”知识库，是无法取代显性知识库以及表达能力能强的规则库的，同时知识图谱可以增强大模型的能力。分享中，漆桂林指出知识包括结构化的语法树、规则库和知识图谱和非结构化的文本等，而知识增强预训练模型的方法也有多种，包括特征融合、嵌入组合、数据机构统一、知识监督和基于检索的方法。最后针对如何结合知识图谱和大模型的问题探讨了双知识平台相互增强和协同作用的方案和挑战。
互动环节，各位参会者对知识图谱和LLM的结合难题等内容进行了踊跃提问，如“是否可以将知识图谱的知识做成adapter并和大模型拼接对齐来内化知识图谱中的知识？针对大模型难训练、难显式地融合知识等挑战，应当从哪些方向和切入点来实现知识图谱事实对语言模型的增强？”。各位嘉宾根据分享的主题内容进行了深入探讨。
CCF TF知识图谱SIG主席王昊奋在活动总结提到，从更广的角度来看，知识工程在当前使用LLM过程中依然十分重要，我们需要重新审视并使用更有效实用的工具和手段，来拥抱新的范式。
本期精彩回顾视频可在CCF数字图书馆观看，欢迎持续关注TF更多精彩活动！
CCF TF知识图谱&数据科学SIG本年度后续活动安排：
TF99 | 2023/6/20 | AIGC时代的多模态知识图谱构建与应用 |
TF101 | 2023/4/30 | 全域营销的数据科学 |
下期预告：
CCF TF101
当前营销技术步入了全渠道、全周期的全域时代。随着用户、渠道、创意广泛的数据积累，多学科综合的数据科学技术在营销领域发挥着越来越重要的作用。本期会议邀请到来自来麻省理工学院（MIT） 、浙江大学、中国科学技术大学的顶尖教授以及波士顿咨询（BCG）的营销数据专家，为我们分享他们在经济、计算机、统计运筹、心理学等领域的前沿学术研究以及工业界落地经验，共同探讨大数据时代全域营销所面临的技术挑战，深入剖析工业界问题的数据本质，并提出相应的解决方案与案例。4月30日，不可错过，欢迎报名！
欢迎扫码了解详情报名参会
报名链接：https://conf.ccf.org.cn/TF101
关于CCF TF
CCF TF技术前线(Tech Frontier)创立于2017年6月，旨在为工程师提供顶级交流平台，更好地服务企业界计算机专业人士，帮助企业界专业技术人士职业发展，通过搭建平台实现常态化合作和发展，促进企业间、学术界与企业间技术交流。目前已组建知识图谱、数据科学、智能制造、架构、安全、智能设备与交互、数字化转型与企业架构、算法与AI、智能前端、工程师文化、研发效能、软件质量工程等十二个SIG(Special Interest Group)，提供丰富的技术前线内容分享。2023年全年，CCF TF将在线开展20场活动，会员免费参加。
加入CCF
加入CCF会员享受更多超值活动，为自己的技术成长做一次好投资。
点击链接了解更多会员权益：CCF个人会员权益 CCF公司会员权益
识别或扫码入会
欢迎关注CCFTF及CCF业务总部公众号，精彩陆续开启！
关注CCFTF获取TF活动资讯
关注CCF业务总部优惠预定会议场地
合作单位
CCF推荐
【精品文章】
点击“阅读原文”，报名TF101！