沙龙干货｜基于深度学习的自动问答工具​——qa_match开源项目解析直播回顾集锦

基于深度学习的自动问答工具——qa_match开源项目解析直播回顾背景介绍：
qa_match是58同城开源的一款基于深度学习的问答匹配工具，支持一层和两层结构知识库问答。qa_match通过意图匹配模型支持一层结构知识库问答，通过融合领域分类模型和意图匹配模型的结果支持两层结构知识库问答。qa_match同时支持无监督预训练功能，通过轻量级预训练语言模型（SPTM，Simple Pre-trained Model）可以提升基于知识库问答等下游任务的效果。
qa_match开源项目地址：
      https://github.com/wuba/qa_match
qa_match文章介绍：
      开源 | qa_match:一款基于深度学习的层级问答匹配工具     
      开源 | qa_match更新啦——支持轻量级预训练、提高问答通用性
分享大纲：01# 自动问答背景介绍02# 基于LSTM的领域分类模型03# 基于DSSM的意图识别模型04# 文本分类模型和匹配模型的融合05# 轻量级预训练语言模型SPTM
06# 应用示例       （1）使用DSSM实现一层结构知识库的问答       （2）使用SPTM实现一层结构知识库的问答       （3）使用融合模型实现两层结构知识库的问答

主办：58同城

分享人：贺睿 | 58同城算法资深工程师

58同城技术委员会AI分会联合ITPUB，于2020年6月16日晚上20:00-21:00举办了一期线上技术沙龙，58同城AI Lab算法资深工程师贺睿直播分享了《基于深度学习的自动问答工具——qa_match开源项目解析》。

本次沙龙的干货如下，各位技术大拿们敬请享用。

本期摘要

qa_match是58同城开源的一款基于深度学习的问答匹配工具，实现了文本分类和匹配算法的融合、轻量级训练语言模型等，支持一层、两层结构知识库的自动问答。本次分享将深度解析该项目中的算法模型原理和应用实践。

分享嘉宾

贺睿

58同城 | 算法资深工程师

58同城TEG技术工程平台群AI Lab算法资深工程师，2018年4月加入58，目前主要负责智能客服算法研发工作，曾就职于腾讯，负责推荐算法研发，2016年7月硕士毕业于中国科学院大学。

视频回顾

Q&A集锦问题1：请问离线训练时正负例的比例是多少？
解答：DSSM离线训练时的默认正负例比例是1:200，可以通过negative_size参数进行调整。

问题2：这里的知识库是怎么产生的？量级大概多少？
解答：知识库是机器挖掘和人工标注结合产生的，量级取决于具体业务，比如咱们给的demo里边知识库大小为90k。

问题3：这里DSSM这里是说先计算出标准问的向量表征，标准问大概多少个呢？训练时是用的一个正例其余负例，这里的采样负例是保证所有的扩展问都包括吗？
解答：标准问问题数与业务场景相关，比如咱们给的demo中有2k个标准问。训练时采样负例不保证所有扩展问都包括。

问题4：这里如果按照现在预训练的方式，用Transformer会怎么样，预训练速度会有变化吗？
解答：如果按照现在预训练的方式，使用一层Transformer，预训练速度会变快。

问题5：我理解去掉nsp可能是当时的一个点，是这样吗？
解答：是的，因为我们是在2019年4月开始开发该模型，当时距BERT发布不久，一些去掉nsp的模型如RoBERTa还没有提出无法复用，所以我们当时需要解决这个点。

问题6：实际有结果率，以及模型的有结果率怎样做能接近呢？会把这个当做优化目标吗？ 
解答：需要调整阈值来使这两个指标接近，比如发现唯一回答模型有结果率低于实际有结果率，则可以通过调低唯一回答阈值的方式来使它们接近。不会把这个当做优化目标。

问题7：请问生产中模型是在什么配置机器上跑的？  
解答：我们训练模型是在P40显卡+Intel(R) Xeon(R) CPU E5-2620 v4机器上跑的，线上推理是在CPU Intel(R) Xeon(R) CPU E5-2620 v4机器上跑的。

谢谢大家的关注。

END