【活动通知】SFFAI108×CRIPAC 人物交互专题

SFFAI 合作机构 CRIPAC 简介

智能感知与计算研究中心（www.cripac.ia.ac.cn）为中科院自动化研究所独立建制的科研部门，致力于研究泛在智能感知理论与技术以及与之相伴的海量感知数据的智能分析与处理。瞄准国际学科前沿，面向国家公共安全、智能产业发展等重大战略需求，着眼于基础理论创新与关键技术突破以及系统解决方案的研制，努力打造成为国际一流的研究中心，是集人才培养、技术创新、产业孵化为一体的创新平台。中心目前主要在多模态智能计算、生物识别与安全、生物启发的智能计算、智能感知基础理论四个方面展开科学研究。

会议内容

会议简介

人物交互（HOI）是关系理解和动作识别两个任务里面的重要挑战。人物交互可以看成是动作和物体的结合，具有很明显的组合特点。同时从物体的角度上出发，物体功能对于人发现新的人物交互样本具有重要的作用。本期论坛我们邀请到来自悉尼大学的侯志同学，分享他将功能迁移学习应用在人物交互领域的工作。

讲者介绍

侯志，悉尼大学博士生二年级，主要研究方向为关系理解和动作识别。目前已在 ECCV和CVPR等会议上发表论文 3 篇。 

会议题目

针对人物交互检测的功能迁移学习

会议摘要

我们介绍了一种功能迁移学习方法利用组合学习将人物交互的功能特征迁移到新物体上面，使得HOI模型具备检测新物体的人物交互的能力。具体而言，我们将HOI解耦为功能/动作和物体的表示，然后将功能/动作表示与额外目标检测数据集的提取出来的物体特征进行组合得到一个新的HOI样本，最后将组合出来的HOI样本与原有的HOI一起学习。这个迁移的过程同时使HOI模型具备了物体功能识别的能力。我们的方法有效地改善了HOI检测的性能，尤其是带有新物体的HOI检测，同时大大改善了物体功能的识别结果。

论文标题：Affordance Transfer Learning for Human-Object Interaction Detection

论文下载：关注本公众号，对话框回复“SFFAI108”，获取下载

会议亮点

1、我们介绍一种功能迁移学习框架来利用广泛的目标检测数据集提高人物交互检测的效果；

2、我们展示了一种利用人物交互模型识别物体功能的方法；

3、我们的功能迁移学习方法大大有效地改善了人物交互的效果，同时大大提高了利用人物交互模型进行功能学习的性能。 

直播时间

2021年5月30日（周日）20:00—21:00 线上直播

关注本公众号，对话框回复“SFFAI108”，获取入群二维码

注：直播地址会分享在交流群内

论文推荐

“SFFAI108期来自悉尼大学的侯志推荐的文章主要关注于计算机视觉的人物交互领域，你可以认真阅读讲者推荐的论文，来与讲者及同行线上交流哦。”

关注文章公众号

回复"SFFAI108"获取本主题精选论文

01

推荐理由：这是CVPR2021最新的paper。该paper利用DETR框架，提出了一个简洁的HOI detection模型，大大提高了HOI detection的性能。基于DETR/Transformer 的One-Stage  HOI  detection方法会是HOI detection的主流。当前有很多HOI detection方法都用了DETR，但这篇非常有独特性和启发性的，并且展现出来的效果最好。

02

推荐理由：这是最早提出Human-Object Interaction的文章，充分展示了HOI的意义。早期的文章实际上已经充分地展示了空间位置关系，姿态估计，人体部位对于HOI识别的重要性。虽然不是基于深度学习的，但非常推荐这些早期的文章。

03

推荐理由：这篇文章详细分析了HOI长尾分布的问题，展示了HOI长尾分布事实上主要来自于动作和物体的严重长尾分布。有效地改善了HOI的zero-shot和few-shot detection。

04

推荐理由：这篇提出了独特的无监督目标检测预训练的方法。基于DETR，通过预测任意框的位置来预训练检测模型，最终提高目标检测的效果。虽然不是针对HOI，但是非常具有启发性。

05

推荐理由：HOI也是一种动作，该文章介绍了一个新的视频动作识别数据集，目的在于物体不变的动作理解。也就是不依赖于物体来识别人的动作。仅仅从静态图片去识别人物交互是非常局限的，也很难识别一些动作，所以视频角度上理解人物交互是很必要的。

06

推荐理由：这篇文章展示了一个动作语意模糊的问题。这是一个HOI里面一个很好的问题。

07

推荐理由：这篇文章是针对人物交互识别的，针对人物交互的组合性，这篇文章提出了组合学习方法，利用language embedding学习一个语言和视觉的联合特征空间。比较早的很有新颖的文章。相信从人物交互的组合性，物体的属性和功能，动作理解，以及这些问题的关系出发，进行一些推理研究会是一个不错的思路，并且会有一些更大的进展。

SFFAI招募！

现代科学技术高度社会化，在科学理论与技术方法上更加趋向综合与统一，为了满足人工智能不同领域研究者相互交流、彼此启发的需求，我们发起了SFFAI这个公益活动。SFFAI每周举行一期线下活动，邀请一线科研人员分享、讨论人工智能各个领域的前沿思想和最新成果，使专注于各个细分领域的研究者开拓视野、触类旁通。

SFFAI目前主要关注机器学习、计算机视觉、自然语言处理等各个人工智能垂直领域及交叉领域的前沿进展，将对线下讨论的内容进行线上传播，使后来者少踩坑，也为讲者塑造个人影响力。SFFAI还在构建人工智能领域的知识森林—AI Knowledge Forest，通过汇总各位参与者贡献的领域知识，沉淀线下分享的前沿精华，使AI Knowledge Tree枝繁叶茂，为人工智能社区做出贡献，欢迎大家关注SFFAI论坛：https://bbs.sffai.com。

SFFAI历史活动

更多SFFAI历史活动

请点击文章底部“阅读原文”查看

分享、点赞、在看，给个三连击呗！