其他

李飞飞团队提出视频事件描述新模型,附849小时数据集

2017-05-08 好好学习 量子位
安妮 编译整理
量子位 出品 | 公众号 QbitAI

最近,斯坦福大学的李飞飞与与她的学生Ranjay Krishna、Kenji Hata、Frederic Ren,以及同事Juan Carlos Niebles向ICCV 2017提交论文,提出了一个新模型,可以识别视频中的事件,同时用自然语言描述出来。

https://v.qq.com/txp/iframe/player.html?vid=t0500ozbx15&width=500&height=375&auto=0
 新模型的原理及应用案例

大多数视频都包含着大量事件。举个例子吧,比如在一段钢琴演奏的视频中,可能不仅仅包含钢琴演奏者,还可能包含着一群跳舞的人,或者一群鼓掌的观众,这些事件很可能是同时发生的。当一段视频中包含检测内容和描述内容时,我们称它为“字幕密集型事件”。

李飞飞团队的模型,可以利用过去和未来的上下文内容信息,来识别视频中这些事件之间的关系,并把所有事件描述出来。

上面这张流程图展现了新模型的运行原理。

同时,他们还发布了ActivityNet字幕数据集。这个数据集中包含了长达849小时的2万个视频,以及10万条带有开始和结束时间的描述信息,可以用来对字幕密集型事件进行基准测试。

相关资源

论文简介:

数据集下载:
C3D Features:

论文:

招聘

量子位正在招募编辑记者、运营、产品等岗位,工作地点在北京中关村。相关细节,请在公众号对话界面,回复:“招聘”。

One More Thing…

今天AI界还有哪些事值得关注?在量子位(QbitAI)公众号会话界面回复“今天”,看我们全网搜罗的AI行业和研究动态。笔芯~

另外,欢迎加量子位小助手的微信:qbitbot,如果你研究或者从事AI领域,小助手会把你带入量子位的交流群里。



 扫码强行关注『量子位』

追踪人工智能领域最劲内容


您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存