其他
进入全真互联网 — 音视频通信的技术变革
导
语
随着 5G 和下一代编解码、传输等技术持续演进，音视频通话技术从低延时到超低延时实时通信快速迭代，越来越多应用与服务迁移至线上，越来越真实无损地还原线下体验，新的互动方式和场景不断涌现，从高度数字化到拟真化再到全真互联网时代。本次 LiveVideoStackCon 2021 上海站我们邀请到了腾讯云副总裁李郁韬来分享音视频的变革趋势、演进以及未来。
演讲 / 李郁韬整理 / LiveVideoStack
大家好，我是腾讯云的李郁韬。作为 LVS 的老朋友，回想起去年在电脑前用腾讯会议参加 LVS 线上圆桌讨论，与大家分享 “危机之下的音视频技术驱动产品创新”。很高兴能再次与大家相聚在此，面对面地交流音视频在后疫情时代的发展趋势。
个人来讲，我很感谢这个时代，在去年到今年这段困难时期，在座的音视频行业从业者仍然能发挥技术力量，为社会创造价值。本次分享内容主要围绕后疫情时代展开，重点分享互联网数字化场景应用音视频技术的新案例以及发展趋势。
未来的互联网是全真的，是线上线下结合的，是数字与实体相通的——这样的互联网时代被叫做全真互联网时代。我们团队对全真互联网是什么有很多的思考，总结来说，首先它要有实时互动的能力；其次它要有高清音视频沉浸式体验；然后它要有无处不在的接入能力，例如 APP、小程序、H5 及硬件终端；最后它要有丰富的内容制作能力，使全真互联网时代充满有意思、能消费的内容产品。
01.
疫后趋“视”，云上飞驰
三年前，腾讯合作伙伴大会做过预测，两到三年后整个音视频市场会以短视频为主，直播与长视频为辅。2020 年的市场中，短视频和直播的活跃度明显居于前列，短视频用户渗透率趋势高达 75%。可见短视频已经成为线上数字娱乐内容消费的主要载体。
除了市场的基本载体被短视频、直播覆盖以外，很多行业都出现了大变化。第一是直播领域，电商直播成为所有平台的标配。去年，在整个直播电商市场流量增加了 8 倍，预计 2021 年大盘将突破万亿规模，相信在未来两到三年仍然会呈高速增长的趋势。未来每一个直播平台和企业都会拥有电商直播的渠道做数字化营销。
第二是教育场景，头部的在线教育平台运用大量音视频通信技术完成了各类生动教学；许多机构迫于疫情无法线下营业，也不得不选用 SaaS 工具，将线下教育场景搬至线上，大量 OMO 机会出现，去年市场的渗透率增长很快，但总体还是处于较低水平。因此，我们预计教育场景在未来两到三年还有很大空间可以挖掘。
第三是国内企业直播以及多媒体服务。自从疫情后，每个企业都在思考如何在线上有更好的门户、渠道、线上业务流程。多媒体服务和承载能力成为必须面对的工作挑战。从市场报告看，2020 年企业直播的同比增速超过 100%，预计 2021 年整个市场规模有望达到 50 亿以上，并保持高速增长。将来每家企业可能都会有专属的直播频道、视频号、专属短视频媒体库，而音视频技术将会成为社会的基础设施。
02.
线上数字生活进一步媒体化
2.1 直播带货新常态—技术驱动电商直播，互动体验极致优化
关于直播电商，这里讲一些不一样的。大家也许都知道，所有 APP 做直播电商都需要 SDK，要买 CDN 服务、点播服务。去年疫情时，很多传统企业无法现做 APP，这就导致它们需要选择轻量化入口，快速开发平台支持电商直播转型——小程序成为当仁不让的选择。疫情期间腾讯云观察到电商直播流量涨了 4 倍多，50 多家各类企业或电商平台都基于小程序做了电商直播。腾讯云将音视频体验以及其通信能力做了包装和输出去承接这些需求。
2.2 全民电竞直播不断挑战 技术承载上线
每年的电竞直播都是对音视频、流媒体行业巨大的技术挑战。基于过去三年的数据，每年 LPL 的决赛在线观看的人数都有 30% 至 40% 增长。在全球范围内，友商直播峰值 1 千多万同时在线来自印度板球的全民观看。我们作为中国的企业，可以很自豪地说每年支撑的电竞直播峰值早就突破 2 千万，这背后是大量 CDN 基础设施保障以及降本增效关键技术的沉淀积累，包括腾讯云智能高清极速转码以及 P2P 降带宽技术。在每年盛事峰值突发的情况下，社会网络带宽都有极大节省。往年，大家只是在线上看直播，而去年我们通过一些技术手段与赛事主办方、播放平台方做了三方联动，将一键互动能力植入了比赛过程中，使观众在看电竞直播画面的同时，能够实时看见游戏进程数据，同时还能跟现场解说做实时互动。以上尝试点会在未来做进一步挖掘与提炼，让未来电竞比赛观看的互动性更强。
去年，电竞直播过程中需要做到精彩视频的快速生成，且微博、抖音、快手等其他短视频软件都需要大量及时分发，现场的运营人员都可以通过云化在线编辑工具和在线实时生成工具将精彩集锦剪辑，分发至相应平台，形成传播，吸引更多观众加入直播房间。
上述两个特点都是从去年开始大规模运用，预计未来两年将有更多的互动、更快内容的生成与分发会在电竞直播中进一步拓展。
2.3 云游戏迈向全真互动时代
接下来分享的是云游戏，相信大家都不陌生，这也是一个非常火、聊了两年的话题。非常激动的是从去年开始，从腾讯云角度去看云游戏，它的发展速度是飞快的，远远超出了预期。中国整个网络环境与网民终端能力，以及整个技术成熟度完全支持将大量端游和部分手游进行云游化，腾讯云游戏提供的 PaaS 层可以方便地把一款端游、手游在云端进行实例化，通过串流服务一起给到平台方全套的 SDK 解决方案，使之实现云游戏的完整上架和接入。
最近发展较好的大平台，包括斗鱼、菜鸡、YY 都在云游戏上构建了大量实例，尝试与自己的直播做互动。上图中的案例是菜鸡已经在云游戏中做主播与观众的接力玩法，例如主播正在玩、所有人正在看的时候，玩家可以申请与主播一起玩，可以到云游戏房间解锁主播控制权，甚至与主播在游戏中 PK。其他观众可以观赏他们的游戏过程。整个过程的互动性得到了极大的增强。很多 Party 类、养成类游戏都非常适合此类玩法。它背后依托的是方便接入、低成本、稳定的云游戏 PaaS 层，在上面做二次分装就可以方便地实现云游的解决方案。
2.4 在线 K 歌 / 语言聊天室，走向高清实时
在线娱乐类比较多的场景是语音聊天室和在线K歌。大家都关注到前段时间北美的 Clubhouse 比较火，它运用到的技术大家也都不会陌生，很多语音聊天应用早已经这样做了。在线K歌场景从以前的合唱接龙方式到现如今可以实现多人真实实时合唱。通过一些测试和对比，时延已经达到 70 毫秒以内，在不久的将来，大家就可以在全民 K 歌 APP 中体验到全实时合唱能力了。它背后依赖的是 RTC 技术的极致优化和全球各运营商部署节点的能力，以及业务上配合集成的工作，未来语音聊天和 K 歌场景会往全实时、更高清的方向发展。
03.
内容生产：云化多媒体生产工具将进一步提升全真互联网的内容供给
3.1 内容消费成为行业主流，编辑的内容生产工具成为刚需
从市场规模来看，2020 年 MCN 市场规模达 245 亿元，数量达 28000 家，平均同比增速大于 100%。内容消费端，网络广告市场规模超万亿，企业及广告主更愿意为内容营销付费买单，未来在数字化营销以及内容分发和消费上，内容生产是必须解决的问题。
3.2 效率问题 — 云创多媒体引擎
首先是效率问题，腾讯在这一方面做了两年多云剪，云导播产品。打开腾讯制作云，选择云转推，添加输出地址，可以选择视频号等多个第三方平台，填写推流地址，立即转推，即完成多平台同步直播。视频内容往往涉及多人协作，成员 A 进行素材拍摄并上传至云媒资，成员 B 在后台进行素材审核、分类、打标签等操作，这里准备了海量的视频模板，成员 C 可以使用模板快速制作成视频内容，点击导出完成创作。腾讯制作云支持将视频一键上传至快手、微博、企鹅号。
今年我们已经将整个产品线升级成云创多媒体引擎。其实我们不是一个视频平台方，不做内容生产、内容分发，但我们希望通过我们的技术能力、通过云化的服务使视频开发者和企业主具备生产工具的能力。所以我们将软件升级成云创多媒体引擎，希望以引擎的方式被集成至大家的生产系统，使之具备云化剪辑、云化导播以及云端的媒体管理能力，同时在全流程的生产协作上提供必要的接口，以提供云化生产制作的全流程。
整个云创多媒体引擎特性可以用三个维度阐释。首先是它可以解决生产规模化的问题，以前的生产都需要几个人像生产流水线一样人工操作，随着云化生产工具进一步发展，未来可以有大量云端素材库、模板库帮助活动运营内容制作商在节假日、庆祝活动快速通过模板素材生成一系列短视频。今年春节期间，我们有幸服务到好几家小程序客户，它们用微剪工具做了少儿春晚推广，效果非常好。我们提供的是小程序音视频剪辑的插件，被植入到小程序中，再做线上的推广，给用户提供线上视频制作，再二次分发与裂变。其次是生产协同化，在线的多媒体制作本质来讲是办公协同场景。我们将所有流水线上的操作都搬至云上，将一体化更智能的能力赋能给这些人。传统模式下要做较好的短视频需要两天人工，到云创时代，预计整个过程缩短至 30 分钟以内。最后是一键多平台直播，作为工具的平台方，要帮助做好一键多平台的能力，方便用户对接到新的视频平台和传播渠道上。类似微信视频号这样新兴发展起来的视频平台也可以由我们一键转发。
最后是云创多媒体引擎被另外接入的方式，除了提供 SaaS 级别的 0 开发、即买即用方式之外，我们也提供更改域名、更改 LOGO 定制化的能力和配置，除此之外还提供一系列的 API，包括前端 Iframe 集成，后端一些列视频接口和批量处理接口，用户能够非常容易、方便地接入集成至已有的生产系统中。在这个 Case 下，B 站已经用这个引擎做了面向运营人员的工具，图中看不出是腾讯云提供的，也是希望赋能给各行各业，让大家都拥有云化多媒体生产能力。
04.
传统行业：音视频通信云成了各产业升级到全真交互时代无可替代的工具
4.1 教育行业：1V1、小班课、大班课等各类在线教育高速发展
现在的在线教育发展已经有了用户习惯的基础，市场上发展火热的教育场景在腾讯云解决方案中有了丰富全面的覆盖。这里值得注意的是腾讯云低延时的产品，它可以非常方便地将大班课 CDN 相对高时延的服务快速切换至低时延 RTC 服务。腾讯云提供的小程序音视频的能力，能方便在线教育创业者在小程序上快速试错，测试用户接受之后再导流到 APP 中，中间买量和运营成本也将急剧下降。在 RTC 竞争十分激烈的市场上，相信其他功能每家提供的解决方案趋同，大趋势是几乎所有在线教育平台都会选择多云方案，集成多家 RTC 的 SDK，形成质量保障。
4.2 金融 / 证券直播：轻量便捷的小程序金融 / 证券直播更受欢迎
金融领域在这一年内发展非常快。疫情期间受影响最大的，首当其冲的是基金销售领域。过去的模式是基金经理每过一段时间就需要在线下办沙龙和会议销售基金产品。大量基金经理在没有办法线下开展时，都选择用了小程序工具线上完成基金宣传和售卖活动，效果非常好。据平台观察，去年典型的基金经理可以做几十场直播活动，相对以前场次是 20 多倍的提升，每场参与人数从 100 至 1000 不等。全年累加，好的基金经理可以吸引几十万人的观众和潜在客户。典型的工行、招行客户明星产品非常多。去年股市非常火，基金更火。双重因素刺激下，小程序基金直播非常值得期待。
4.3 银行业：基于互动视频的无界银行，提升后疫情时代银行业务效益
很多线下传统的金融流程完整搬至线上。比较典型的是腾讯云的合作伙伴飞虎互动，用了半年多的时间将多家银行的开户流程搬至线上，以虚拟营业厅的方式使不能出家门的客户有了开户体验。相信未来这种场景会继续渗透进大家生活的方方面面。
4.4 云上展会成为新常态
去年云上广交会，腾讯从接到任务、线上投产到顺利结束，整个周期不到 3 个月，可以想象在四五年前，音视频技术还没有这么发达的时候，这个项目也根本不可能做得了。去年因为有了比较成熟的云化方案，以及音视频技术的积累，可以通过包括腾讯会议、TRTC 的 SDK 整套综合解决方案来快速支持广交会的商户在云端构建每个商户的线上店铺，用音视频让全球买家与卖家做生意，这是非常大趋势改变，相信在未来全球疫情没有得到很好改变时候，线上展会、与国外做生意的大型企业的直播都会非常依赖音视频与云的技术。
4.5 沉浸式内容 + TRTC 带看 + 多触点呼叫中心，构建全真营销能力
在去年疫情期间，腾讯云与贝壳如视一起合作了 VR 带看的场景。如果有租房买房的同学用过贝壳的话，都能感受到沉浸式的看房体验，随时随地可以发起与经纪人的联系，能够极大诠释看房的全真互联网时代。接下去还会有看车，看博物馆的展览，这些都会加入沉浸式与带看的体验。除了移动端的小程序与 APP，我们还推出了 TCCC 云化呼叫中心产品，它完全基于 TRTC 去实现纯 Web 全座席端的呼叫产品，可以通过被集成的方式提供到现有的工单系统、CRM 系统中，实现软件化和多触点通信能力。
05.
开发者有了更多的音视频技术栈的选择
这一部分介绍一些新的技术趋势，以方便大家选择自己的技术栈。
5.1 云原生低码 aPaaS 涌现
云原生是一个大趋势。云原生可以理解为容器和音视频结合，这里边有非常多的想象空间和可行性。以前要做 RTC 服务或直播服务，除了购买 RTC 供应商的服务或 CDN 之外，还要自己搭建媒体源站和录制服务，以方便做业务逻辑的分装。
现如今云原生时代，可以通过 Serverless，无需购买搭建服务，通过函数服务在几行代码中调用 Rest API 实现之前繁琐的过程。其带来的好处显而易见：弹性伸缩，按量使用，按需付费，同时可以快速启动，无需管理大服务器的集群，所有的组件都是无服务器化的，无需运维，节省人力成本。
上图中的两个例子，其中一个，以前要做视频文件转直播流往往需要文件解析的源站，调用 FFmpeg 做转推服务至直播平台，现如今可以使用 Serverless 运行服务端的 SDK 解决这些问题；另一个例子，在线教育用的是全景录制，它的意思是作为学生参与课堂所看见的所有内容互动、PPT 和老师的小窗口都需要原封不动地录制下来，这给服务端带来了很大的技术挑战，实验起来很麻烦。现在通过 Serverless 技术可以在云端构建仿终端的实例，在 Serverless 组织下做到完全还原录制。
5.2 All in One 音视频终端引擎
腾讯有直播推流的 SDK、TRTC 互动音视频的 SDK、IM 即时通信的 SDK。在去年年底我们将这些都做了一定程度的统一，用同样的接口风格、同样的格式和接入方式提供给开发者 All in One 一站式的音视频终端引擎。未来我们会更多投入到音视频终端引擎的开发中，包括前端埋点的上报、全链路的监控和日志的排查等，把整体解决方案提供给开发者。相信未来在兼入到腾讯云终端 SDK 后，只需要在控制台点选所需要的协议和需要的延时大小等个性化参数，就可以方便地得到想要的 SDK 形态。
5.3 下一代全球实时传输网络 助力开发者在全球快速上线业务
上图是全球的基础设施。从去年开始，基建就面临着不小的挑战，包括疫情重点地区巴西、印度等建设进度严重受阻，通过不懈努力，以及与合作伙伴的通力合作，现如今腾讯云全球节点已超过 2100 个，可以容纳 120T 的带宽储备应对突发情况。包括腾讯会议海外版、TRTC 海外版、IM 海外版都已经全面支持 GDPR 的要求，全面支持主流大洲国家覆盖。所以在选择出海业务时，腾讯云是一个比较好的全家桶选择。
5.4 腾讯云音视频通信
未来两年，我们仍会围绕应用场景、基础设施、PaaS 层三个方向发展。目前正式推出统一的基础网络与 RT-ONE™ 音视频通信技术网络，旗下有实时音视频通信网络去解决音视频实时通信的问题、有即时通信网络去解决 IM 消息和业务信令的问题、有流媒体分发网络去解决海量大并发直点播 CDN 的问题。在此之上，我们构建的 All in One SDK 音视频引擎以及云创多媒体生产制作的引擎一起构建出了 PaaS 与 aPaaS 的产品家族。再往上，我们会供给给各领域的场景，例如在线教育场景、会议场景、客服场景、泛娱乐场景、金融场景等等，我们都会与合作伙伴推出整体解决方案。
5.5 腾讯云音视频通信开发者资源
上图是对开发者的贡献，去年 API 个数超过 300+，其开发速度满足了各行各业从业者的要求，全年迭代 150+ 版本，整个过程中没有一例重大事故；文档突破 2500+，大家在腾讯云上搜索相关产品都能获得全面的文档解释；SDK 覆盖了所有的终端，aPaaS 方案仍在向上叠加，现如今是 10 个，相信再过一年是 20 个，30 个……未来各行各业的解决方案都会呈现在产品库中,而且所有产品都标配了私有化部署的能力。在开源社区方面，我们也持续积极投入，现在有 13 个开源项目面向开发者，每年会有 100+ 场活动与大家共同交流。
06.
未来技术趋势洞见
6.2 视频向超高清演进
现在我们看见的主流短视频很多是通过软件编解码方式来做的。未来随着云游戏、视频直播的发展，EGL 编解码器逐渐替代 X86 软件编码器，腾讯工程师研发的 H.265 硬件编码器瑶池 V500 也在路上了，相信会很快投产。
6.3 各式流媒体协议满足不同业务场景
紧接着我想分析一些趋势。流媒体的协议格式发展速度很快，全球范围上看，所有格式都在其应用场景上发挥着自身的价值，本次我想重点挑几个介绍。SRT 以前是传统广电直播领域解决上行直播问题的协议，现在我们将它用在了电竞直播远程技术中心高码率传输的过程中，能够极大地解决以前靠专线和卫星传输带来的成本消耗问题，同时带来了不错的质量；WebRTC 方面，我们投入了非常多的精力去做社区贡献，调整其 QoS、QoE，将秒开和卡顿做到极致。基于腾讯自身的 RTC，我们还将 WebRTC 作为接入端，实现多端互通，包括小程序；还要提一下 QUIC，它是标准传输协议，在海外很多场景下，用 QUIC 做 CDN 的最后一公里加速非常不错。如果接入到腾讯云 CDN，就可以天然享受到 QUIC 协议。
6.4 下一代编码标准工程化加速
关于下一代的编码标准，AV1在海外已经大规模使用，国内长视频平台也已经开始使用 AV1。腾讯云在 2019 年 11 月开始从云直播、云点播全线产品支持 AV1 的转码服务，同时也是 AOM 的第一家中国公司董事会成员。在 AV2 上，我们也参与了提案，相信在 2022 年会有定稿部分。腾讯多媒体实验室担任了 VVC 的联合主编，参与了许多提案。腾讯多媒体实验室、视频云室联合腾讯内部多部门共同研发 H.266/VVC 编解码器，很多产品都已经得到了客户的验证，最近我们在考虑是否需要更好地与 FFmpeg 做结合并将其推出给开发者。
6.5 开源的思考
腾讯的音视频团队一直在积极拥抱开源社区，在开源技术的基础上经过加工，有了一些好的特性我们都会积极回馈至社区。拿 FFmpeg 为例，腾讯在 2019~2020 期间向社区提交的 Patch 数目 > 330 个，被 merge 的 Patch > 180 个，是社区前 10 的贡献者。相信未来在 VMAF、SRT、WebRTC 上也会有更多的贡献，希望能营造双向循环的生态，从云计算从开源社区拿到的好东西最终能以云服务的方式提供给开发者，同时将开发者反馈的问题回馈给开源社区，让其他的云计算公司和开发者可以直接从开源社区拿到不错的版本去构建自己的服务。
07.
腾讯云 V 加俱乐部
已经有非常多的伙伴加入到我们的V加俱乐部，一年收入已超过一个亿，发展空间非常巨大，相信未来我们还是需要和音视频开发者生态合作去服务客户。V加俱乐部的基本思路是提供 PaaS 层和 aPaaS 层产品能力与 ISV 做某个行业的定制开发，继而形成联合产品，借由腾讯的千帆计划和云市场推出给腾讯云客户以及 ISV 自身的客户，使之了解两者联合产品的特殊价值。其次，我们用技术生态合作去解决腾讯云很多客户的定制开发问题，让合作商进入项目中做技术开发工作。然后是我们对商机的开放，将我们拿到的不能解决需求的商机贡献给 V加俱乐部成员，大家共同服务好客户。
除此之外，今天还想面向开发者宣布一个消息，在演讲前一天，腾讯云官网就已经上线了面向开发者的创新成长快线，希望能够让大家有更多的免费资源，享受到视频通信产品服务。TRTC 会提供给符合标准的开发者 100 万分钟的免费时长，同时还有腾讯云专家团队的技术支持，最高享有 10 万元云产品代金券，详细活动以腾讯云官网介绍为主。
以上就是我的全部内容，谢谢。
推荐阅读
立即体验腾讯云 Serverless Demo，获取 Serverless 新用户礼包，请在 PC 端访问：
serverless.cloud.tencent.com/start?c=wx20210508
GitHub: github.com/serverless 官网: cloud.tencent.com/product/serverless-catalog