【AI研究院】头条与抖音背后的AILab怎么样
Nora
正踏入计算机视觉领域，大四保研生一枚~
作者 | Nora
编辑 | Nora/言有三
接着上一篇介绍华为诺亚方舟实验室之后，今天带大家认识一下抖音背后的研究院——字节跳动AI实验室
01
简介
字节跳动人工智能实验室，即 ByteDance AI Lab，作为信息流行业的产品和服务提供商，率先部署了大规模的人工智能模型，并重新定义人类连接和共享信息的方式，即个性化。
北京字节跳动科技有限公司成立于2012年3月，ByteDance AI Lab成立于2016年。字节跳动人工智能实验室依托字节跳动的海量数据，专注于开发为字节跳动内容平台服务的创新技术，并将研究成果应用于今日头条的产品中，利用人工智能帮助内容的创作、分发、互动、管理。同时，实验室也将针对人工智能相关领域内长期性和开放性问题进行研究，帮助公司实现对未来发展的构想，促进人类信息与知识交流的效率与深度。
AI Lab不仅是公司内部的AI研究所，也是AI技术提供商与服务商，注重与高校和政府的合作，并强调人才培养的重要性。
ByteDance AI Lab https://ailab.bytedance.com/
字节跳动科技有限公司 https://bytedance.com/#home
02
领导团队
人工智能实验室负责人：
字节跳动副总裁、人工智能实验室负责人 马维英：
信息流的未来与人工智能的机会 | 新智元 2017
人工智能赋能内容创作和交流 | CNCC 2018
内容提要：
• 字节跳动AI Lab鼓励研究员直接参与到产品研发，利用丰富的应用场景、大量的数据和用户反馈推进科研和技术创新，即所谓的 Real Impact 。
• 五大战略
大数据：最好这家公司能够拥有全世界最大的数据资源，拥有数据才是“王道”；
应用场景：在字节跳动，研究人员每天都能够从公司的应场景中找到问题，并想要去解决；
算力：字节跳动的Internet Data Center在国内也是比较出众的；
AI需闭环：其实很多用户交互相当于递给了你一份大数据的，提供了更为细粒度的标注数据，而字节跳动每日全球活跃用户所提供的数据之海量，堪称一笔财富；
人才：最顶尖聪明的人才是非常关键的一点。不仅公司内部要有这样的人才，最好与之相关的学术界、产业界、社区都是顶级的人才。
• 利用人工智能帮助内容的创作、分发、互动、管理
AI时代下的4种管道（4种主要的方式分别是推荐、搜索、助理与社区/社交）连接人和信息，促进交流和创作。
新一代AI驱动信息平台，使得交流与创作方式更加智能。
AI Lab赋能产品、服务人类（短视频）。
人工智能实验室主任：
字节跳动人工智能实验室总监 王长虎博士：
高通量媒体内容理解论坛抖音 | CNCC 2018
内容提要：
• 计算机视觉技术除了在抖音上有广泛应用，还支撑着今日头条、火山小视频、西瓜视频。计算机视觉是抖音和今日头条很多产品的重要基石，希望更多老师和同学加入字节跳动公司。
03
研究领域
ByteDance AI Lab 聚集了人工智能方面的最有才华的研究人员，推动着机器智能的极限。从理论研究，到产品部署，ByteDance AI Lab将他们的最佳创意融入各个研究领域。
ByteDance AI Lab的研究领域主要分为以下几个部分：
3.1 自然语言处理
研究内容：利用平台上，如头条、Topbuzz或News Republic上积累的语言内容，研究机器在试图理解数百种语言时出现的复杂问题。
所用技术：句法和语义分析，情感分析，文本分类，文本匹配和检索，文本摘要，对话系统，问答，机器翻译，自然语言生成，信息提取，语言和视觉。
应用：
• Byte Translator：为字节跳动所有产品提供翻译服务
• AI写稿机器人Xiaomingbot: 涉猎体育、金融、时事的新闻写作机器人
• 头条和Tiktok (抖音) 的搜索服务
3.2 计算机视觉
研究内容：自动化实现识别物体、跟踪运动中的动物或理解空间等；改善跨平台的用户体验；开发新的人机交互模式。
所用技术：视觉理解（分类，识别，检测，分割，摘要，字幕，VQA）, 内容创建，图像和视频搜索，图像和视频消重，可视化平台，视频推荐，3D视觉/3D重建，即时定位与地图构建。
应用：
• 内容审核
• 短视频推荐系统
• 足球比赛理解
• 尬舞机
3.3 机器学习
研究内容：将机器学习应用于全面推荐系统，为跨平台的数十亿个请求提供个性化新闻、视频和其他类型的媒体。
所用技术：大规模优化，概率图形模型和贝叶斯方法，深度学习，强化学习，推荐系统，非参数模型，时间序列模型，半监督学习，对抗性学习。
3.4 数据挖掘
研究内容：数据挖掘可以提高浏览大量用户生成的数据和发现模式的方法，基于此可以深入了解如何更好地使用平台，以及如何改进。
所用技术：社交网络分析，图形挖掘，时间序列分析，数据可视化，异常检测，推荐系统，多媒体挖掘。
3.5 计算机图形&增强现实
研究内容：通过计算机图形来增强现实世界，创建未来最具沉浸感的体验。
3.6 系统&网络
研究内容：研发高可用性、高效率和畅销的系统，为数亿月活用户随时随地提供最相关的信息。
所用技术：机器学习系统，CPU / GPU / FPGA / ASIC 集成系统，云/边缘计算，数据中心网络，分布式网络存储，通过软件自动化实现高可用性系统，推荐系统，内容理解的系统支持。
应用：
• 机器学习培训
• 机器学习推理
• 云计算
3.7 安全&隐私
研究内容：过滤垃圾邮件、敏感和不适当内容、假新闻以及任何可能对社会影响有害的东西，保证在线社区的安全。
3.8 语音与音频
研究内容：处理语音理解、音乐和音频的核心问题，并提供能够模仿各种声音的强力工具。
所用技术：音频事件检测，语音识别，语音合成，音频指纹，音乐检索和生成。
应用：
• AI辅助呼叫中心
• 虚拟广播员和歌手
• 具有语音功能的机器人和设备
04
应用领域
4.1 开放API：Byted Effect 2.0
2.0推出更多功能，可对人脸/人体/手指进行精准检测，为中小企业提供多种移动端特效支持。同时Byted Effect 2.0 中所有能力均已接入抖音、Faceu等多个app使用。
https://ailab.bytedance.com/sdk2
4.2 APP(抖音、西瓜视频等)特效
短视频已经成为一种在世界范围内最受欢迎的信息生产与消费形式。尤其大量的年轻一代喜欢用短视频来表达他们自己，分享他们的故事和经验，与他们的亲人朋友交流。
特别是计算机视觉、智能语音赋予了每个人更强的创作能力。字节跳动旗下短视频产品的代表抖音也风靡全球今年一季度，抖音下载量超越Facebook、Youtube、Instagram等，成为全球下载量最高的iPhone应用。
内含技术：
视频的搜索需要对视频的内容有更好的理解，包括动作的理解、物体的检测跟踪，还有视频里的环境识别。
通过人脸识别还有关键点的检测，我们可以做出很多创意滤镜和特效，这些也是抖音制胜的关键原因之一。
滤镜
4.3 视频和图片审核、推荐
抖音是一个开放共享的平台，内容审核方面的挑战是非常大的。字节跳动一直用人工智能辅助审核，过滤理解这些视频内容，进行版权识别。
05
总结
字节跳动人工智能实验室虽然涉及到多方面人工智能领域，但是在应用方面主要是在自然语言处理与计算机视觉方面，大概是因为主要要围绕今日头条，抖音和西瓜视频进行产品算法的研究。
更多请移步知乎专栏《有三AI学院》。
十月开始，我们有三AI学院开启了“稷”划和“济”划，帮助想入行以及想取得更多实战经验的同学。内容覆盖从自动驾驶到美颜直播等领域的实战项目，从图像基础到深度学习理论的系统知识，欢迎关注。
我们的网易公开课已经上线，欢迎来听。
如果想加入我们，后台留言吧
微信
Longlongtogo
公众号内容
1 图像基础｜2 深度学习｜3 行业信息
有三精选
往期学员分享
往期开源框架
往期模型精选
往期行业趋势