告诉你个不算新闻的新闻,这个月我们又拿冠军了
当地时间25号下午,法国巴黎的最高气温达到42.6摄氏度,刷新了这座城市1947年创下的最高温纪录,也正是这个下午,法国巴黎出现了另外一个热度更高的事情,为这个天气再添一把火。
没错,它就是信息检索领域的顶级国际会议 SIGIR 2019,不出意料,深兰科技DeepBlueAI团队参加比赛并拔得头筹!
深兰科技DeepBlueAI团队获 SIGIR 2019 挑战赛冠军
作为历年亚马逊、eBay、 Google等电商及搜索引擎国际巨头纷纷参加的会议,今年在法国巴黎举行的SIGIR 2019电子商务研讨会跟往年有所不同。
本次比赛是由eBay组织的“高精度召回任务”数据挑战赛,吸引了全球近20个团队参赛,深兰科技DeepBlueAI团队参赛并获得冠军。
该挑战赛针对的是电商搜索中的常见问题:展示非相关性排序时要显示的项目,其重点在于使用非相关性排序时能够精准找到应该召回的内容。
本次比赛难度重重,主要面临数据量大、匹配难度大和训练集小、调优难等问题。例如主办方给的数据集包括大约90万条来自eBay收藏类别中的特定字段,以及与收藏类别相关的150个热门搜索查询短语,同时每条数据带有商品标题,价格,分类目录和相应图像网址的URL,参赛选手要合理运用数据集材料,来判断查询短语和文档是否相关。
很明显,90万条的字段和150个短语,这两两组合就要预测约1亿3千万个对(document,query)是否相关,这个数据量是非常庞大的,同时还要在限定的query长度下进行匹配,在约1亿3千万条(document, query)中只有6万余条数据作为训练集,对其余部分全部需要给出预测结果,不仅对于建模挑战大,而且训练集小,调优更加困难。
尽管如此,深兰科技DeepBlueAI团队基于挑战赛数据集实验了几种经典的文本相似度匹配、自然语言推理模型,包括CNN, BiGRU, decomposable attention, ESIM等,最终验证出其中效果最好的是ESIM。
随后团队在ESIM的基础上加入自创的dense feature 构造特征,通过初始化预训练词向量、叠加门限机制,设计生成了效果较好的Gate-ESIM网络。同时团队还基于训练集采用10折交叉验证方法在local搜索阈值上对Ave-F1调优,对Decomposable Attention Model模型优化,最后和优化后的Gate-ESIM模型进行融合,在local效果上再次提升效果,最后Ave-F1指标取得了非常好的成绩。
Gate-ESIM模型技术应用
ESIM模型叫做短文本匹配模型,是最近提出的效果比较好的一个文本相似度计算模型,该模型曾横扫了很多比赛。此次深兰科技DeepBlueAI团队基于它自创了Gate-ESIM模型,在比赛中体现出了更加强大的实际场景应用效果。
目前,Gate-ESIM也被用于深兰科技的quiXmart快猫智能零售平台,用于提高搜索场景的匹配率。同时该模型不仅可以应用在电子商务的召回任务中,还可以应用在智能客服,文章推荐等需要做文本匹配的场景中。
每次国际竞赛都是验证深兰科技基础算法和技术实力的机会。
近年来,深兰科技通过AutoML模型、细粒度图像分析技术以及Gate-ESIM等部分底层原创模型技术参加国际比赛并屡屡获得冠军,这不仅证明了深兰技术在部分领域的国际领先性,同时也为产品和解决方案提供了可靠的技术保障,通过不断改进和完善,能更好的服务民生。
关于SIGIR
SIGIR(ACM International Conference on Research and Development in Information Retrieval)国际计算机协会信息检索大会是一个展示信息检索领域中各种新技术和新成果的重要国际论坛,专注于信息存储、检索和传播的各个方面,包括研究战略、输出方案和系统评估等。国际信息检索大会的历史可以追溯到1971年,当年召开了ACM SIGIR 的信息存储和检索研讨会。而第一次正式的SIGIR 大会于1978年在美国纽约州的罗彻斯特召开,每三年在美国以外举办一次,2019年落地法国巴黎。