北科大殷绪成团队 | 弱相关知识集成的小样本图像分类

Machine Intelligence Research

近年来，深度学习方法在完成图像分类任务中取得了令人瞩目的成绩。然而，其中的多数方法需要大量训练数据，并且很难在样本有限的情况下，对从未见过的类别进行分类。对有限的标记数据进行学习可以归类为小样本学习问题。各种小样本图像分类方法表明，从其他来源迁移知识可以提升分类的准确性。然而，其中的多数方法仅使用单一来源或密切相关的知识来源。北京科技大学殷绪成教授团队提出一个弱相关知识集成(weakly correlated knowledge integration, WCKI)框架，该框架可以利用从不同来源(即视觉域和文本域)提取的非结构化和弱相关知识来提高小样本分类性能。相关成果发表在MIR第一期中，全文免费下载！

图片来自Springer

全文导读

近年来，深度学习方法在完成图像分类任务中取得了令人瞩目的成绩。然而，其中的多数方法需要大量训练数据，并且很难在样本有限的情况下，对从未见过的类别进行分类。

对有限的标记数据进行学习可以归类为小样本学习问题。由于获取标注数据的成本高昂，这一问题得到了自动化学界的更多关注。本文主要研究小样本学习问题中备受关注的N-way和K-shot图像分类任务。

本文提出一个弱相关知识集成(weakly correlated knowledge integration, WCKI)框架，该框架可以利用从不同来源(即视觉域和文本域)提取的非结构化和弱相关知识来提高小样本分类性能。下图为该框架概览。

框架概览

首先，本文提出了一个统一的知识图，可对不同域中迁移的知识进行整合。本文采用两个常用的知识域：从历史训练集中提取的文本域知识和视觉域知识。由于训练集主要由来自视觉域的图像构成，并且模型经过训练以对齐同一类别中样本的视觉特征，因此该类知识被视为视觉域知识。

第二，本文提出的模型利用可导的图注意模块对更多“相关”知识进行采样，并被证实提高了准确度和效率。该模块可帮助减少计算的复杂性，提升迁移知识的任务相关性。本文的图注意力模块是可导的，因此也是可训练的，从而形成一个完全的端对端可训练框架。

最后，本文将转移的知识作为框架中的隐变量，以避免对齐显性样本特征和迁移的弱相关知识

这项工作的贡献总结如下：

1) 提出了一个弱相关的知识集成框架，该框架可以从多个可能存在偏差的源中迁移知识，以改进小样本图像分类任务。

2) 提出了一个统一的知识图来自适应地对具体任务提供知识的迁移与索引。

3) 提出了一个图注意力模块，用于对每个特定任务的迁移知识进行自适应采样，以降低计算复杂性，提高知识的任务相关性。

本文的源代码发布于：

https://www.dropbox.com/s/2ffd1dh6xyf3xzp/wcki-eval.tar.gz?dl=0

全文下载
Weakly Correlated Knowledge Integration for Few-shot Image ClassificationChun Yang, Chang Liu, Xu-Cheng Yinhttps://link.springer.com/article/10.1007/s11633-022-1320-9https://www.mi-research.net/en/article/doi/10.1007/s11633-022-1320-9Abstract: Various few-shot image classification methods indicate that transferring knowledge from other sources can improve the accuracy of the classification. However, most of these methods work with one single source or use only closely correlated knowledge sources. This paper proposes a novel weakly correlated knowledge integration (WCKI) framework to address these issues. More specifically, this paper proposes a unified knowledge graph (UKG) to integrate knowledge transferred from different sources (i.e., visual domain and textual domain). Moreover, a graph attention module is proposed to sample the subgraph from the UKG with low complexity. To avoid explicitly aligning the visual features to the potentially biased and weakly correlated knowledge space, this paper samples a task-specific subgraph from UKG and appends it as latent variables. The framework demonstrates significant improvements on multiple few-shot image classification datasets.特别感谢本文通讯作者北京科技大学殷绪成教授对以上内容的审阅和修改，本文作者依次为北京科技大学杨春(第一作者，讲师)、北京科技大学刘畅(第二作者，博士研究生)、北京科技大学殷绪成(通讯作者，教授)。

▽ 关于Machine Intelligence Research

Machine Intelligence Research（简称MIR，原刊名International Journal of Automation and Computing）由中国科学院自动化研究所主办，于2022年正式出版。MIR立足国内、面向全球，着眼于服务国家战略需求，刊发机器智能领域最新原创研究性论文、综述、评论等，全面报道国际机器智能领域的基础理论和前沿创新研究成果，促进国际学术交流与学科发展，服务国家人工智能科技进步。期刊入选"中国科技期刊卓越行动计划"，已被Ei Compendex, Scopus, 中国科技核心期刊、CSCD等数据库收录。

征稿启事：

▼更多精彩·欢迎关注▼华南理工詹志辉团队 | 综述: 面向昂贵优化的进化计算
喜报 | MIR 被 EI 与 Scopus 数据库收录主编谭铁牛院士领衔, MIR首届编委会国内编委会议圆满召开新春喜报！MIR入选“中国科技核心期刊”
MIR | AI 领域新刊启航，诚向广大科技工作者征稿啦主编谭铁牛院士寄语, MIR第一期正式出版！MIR专题征稿 | 类脑机器学习 (2022年4月10日截稿)2022年国际学术会议参考列表2021研究前沿及热点解读 (附完整PDF)
2021全球工程前沿 (附完整PDF)

点击"阅读原文"免费下载全文