SFFAI 72 X CRIPAC报名通知 | 行为理解专题

由于特殊时期，SFFAI出于对大众健康的优先考虑，以及致力于为大众提供更高效、更便捷的参会体验，现已将SFFAI72期论坛改为线上形式。

SFFAI 合作机构 CRIPAC 简介

智能感知与计算研究中心（www.cripac.ia.ac.cn）为中科院自动化研究所独立建制的科研部门，致力于研究泛在智能感知理论与技术以及与之相伴的海量感知数据的智能分析与处理。瞄准国际学科前沿，面向国家公共安全、智能产业发展等重大战略需求，着眼于基础理论创新与关键技术突破以及系统解决方案的研制，努力打造成为国际一流的研究中心，是集人才培养、技术创新、产业孵化为一体的创新平台。中心目前主要在多模态智能计算、生物识别与安全、生物启发的智能计算、智能感知基础理论四个方面展开科学研究。

论坛主题

行为理解专题

论坛简介

在“以人为中心的计算”中，根据传感器数据来识别和理解人的动作是关键的一环，而基于视觉的行为识别更是人机交互与感知中的关键。已有行为识别的方法大多基于实例级别的特征或知识进行学习，但对于人与物体交互这种复杂的行为，仅靠这种粗粒度的知识是不够的。本期我们邀请到了李永露同学，分享他在CVPR2020发表的一篇文章，用更细粒度的数据集和两阶段推理方法，对上述问题给出了较好的解决方案。

论坛讲者

李永露

李永露（https://dirtyharrylyl.github.io/），上海交通大学计算机系三年级在读博士生，研究方向为计算机视觉中的人类行为理解及智能机器人应用，主要的研究问题在于如何利用人类的先验知识和因果推理改善现有的行为理解算法。目前建立了首个大型细粒度人体行为局部语义知识库HAKE（Human Activity Knowledge Engine，http://hake-mvig.cn/），项目主页已有超过25000次访问，包含了多个人类行为识别、人体-物体交互行为检测、物体知识提取，交互人体-物体三维重建等开源项目代码。目前在CVPR、ECCV、ICCV等计算机视觉顶会上发表论文7篇，其中一作5篇，并担任CVPR、NeurIPS、ACCV、WACV、Neurocomputing等会议或期刊的审稿人。

报告题目：PaStaNet：Toward Human Activity Knowledge Engine

报告摘要：随着近年来深度学习的蓬勃发展，视觉问题中的行为理解取得了很大的进步，但也和大多数模式识别问题一样，目前的视觉系统缺乏可解释性、依赖于大型数据集，在小样本学习和零样本学习下表现不佳。为此，我们提出了Human Activity Knowledge Engine（HAKE，http://hake-mvig.cn/）方案，旨在利用人类的先验知识和因果推理改善上述问题，并且为下一代的行为理解提供一个数据和任务平台。本次介绍的工作为HAKE项目的第一篇文章：PaStaNet，我们提出了一个大型知识库，PaStaNet基于现有的大型人类行为数据库建立，为人类个体行为标注增加了细粒度的人体部位行为状态标签，建立了人体局部状态和整体行为的逻辑关联。通过结合大型自然语言表征提取器Bert，为人体行为理解（图像或视频）建立了一种强大的新型表征，在多个通用大型数据集上取得了较大的性能提升，尤其适用于小样本学习情况下的行为识别。

Spotlight：

1. 本文提出了一个大型人体局部行为细粒度语义知识库，在大量图像数据上为常见的约160种行为标注了人体局部状态标签；

2. 通过将传统的直接推理改为两阶段推理，即像素到人体局部状态再到行为概念，我们利用PaStaNet中的大量知识，大幅提升了小样本学习下的行为理解性能，并论证了两阶段推理在目前多个大型基准数据集上的性能提升空间；

3. 在提升行为理解性能的同时，基于PaStaNet中的视觉-语言知识，我们还提出了一个通用的行为表征提取器Activity2Vec，可以同时运用于行为检测、语言描述、检索等多个下游任务。

召集人

李奉治

李奉治，中国科学院大学大四学生，中科院计算所预录取直博，导师为徐志伟研究员。主要研究方向为机器学习中的因果推理。

论文推荐

“ 本期推荐的文章主要关注于行为理解领域，你可以认真阅读讲者推荐的论文，来与讲者及同行线上交流哦。”

关注文章公众号

回复"SFFAI72"获取本主题精选论文

推荐理由：首次提出了基于视觉的物体关系理解任务，为更深层次的图像理解提供了重要的研究方向。

—— 李永露

推荐理由：提出了human-object interaction检测领域重要的大型数据集HICO-DET，目前已成为HOI检测领域的重要基准。

—— 李永露

推荐理由：提出了视频行为理解和人体-物体交互检测上的首个大型实例级别数据集，目前已成为视频行为检测中的重要基准。

—— 李永露

推荐理由：提出了细粒度的物体局部状态概念，为图像中的实体理解和物体关系检测提供了更细粒度的离散状态语义描述。

—— 李永露

推荐理由：针对HOI检测任务提出了一个完整的检测框架，并研究了基于人体信息搜索交互物体空间位置分布的拟合算法。

—— 李永露

推荐理由：针对HOI检测中复杂度较高的人体-物体穷举匹配，提出了交互性检测算法，并利用交互性分类结果对匹配图进行剪枝，可有效减少无交互配对并提高检测性能。

—— 李永露

参会须知

会议时间

2020年7月12日（周日）

20:00 -- 21:00

报名方式

公众号二维码

请同学们扫码关注本公众号，对话框回复“SFFAI72”，获取入群二维码。

SFFAI的介绍

现代科学技术高度社会化，在科学理论与技术方法上更加趋向综合与统一，为了满足人工智能不同领域研究者相互交流、彼此启发的需求，我们发起了人工智能前沿学生论坛SFFAI，邀请一线科研人员分享、讨论人工智能各个领域的前沿思想和最新成果，使专注于各个细分领域的研究者开拓视野、触类旁通。SFFAI目前主要关注机器学习、计算机视觉、自然语言处理等各个人工智能垂直领域及交叉领域的前沿进展，进行学术传播，同时为讲者塑造个人影响力。

SFFAI还在构建人工智能领域的知识森林—AI Knowledge Forest。通过汇总各位参与者贡献的领域知识，沉淀人工智能前沿精华，使AI Knowledge Tree枝繁叶茂，为人工智能社区做出贡献。SFFAI自2018年9月16日举办第一期，每周一期学术分享交流，截止目前已举办71期学术交流活动，共有100+位讲者分享了他们的真知灼见，来自100多家单位的同学参与了现场交流，通过线上推文、网络直播等形式，50000+人次参与了人工智能前沿学生论坛。SFFAI自发起以来，迅速成长壮大，已经成为人工智能学生交流的第一品牌，有志同道合的论坛核心志愿者团队、乐于学术分享的讲者伙伴，还有许多认可活动价值、多次报名参加现场交流的观众，大家通过参与人工智能前沿学生论坛，收获了宝贵的知识和友谊，SFFAI致力于帮助大家解决在学术中遇到的相关问题，拓展学术人脉，为大家营造专业、开放的学术交流环境！

历史文章推荐

若您觉得此篇推文不错，麻烦点点在看↓↓