查看原文
其他

腾讯会议从0到300000000的365天

腾讯云 2022-06-11



今天,腾讯会议一岁了。


作为一个去年12月25日呱呱坠地的“新生儿”


  • 上线2个月DAU超过1000万

  • 发布245天,用户数突破1亿

  • 8天内扩容10万台云主机,创造了中国云计算的历史

  • 365天,陪伴用户开了超过3亿场会

……

 

一个曾为5万日活设计的系统,一年内扛下了无数战役,成为中国最多人使用的专业视频会议产品。

 

有人说,腾讯会议是一个“幸运儿”。然而,没有任何一种幸运是偶然发生的。


“还是崩了。

 

腾讯大厦2012作战室里,一群人蓬头垢面,浓重的“熊猫眼”紧盯着电脑屏幕上陡峭上升的曲线。

 

这是2月3日,春节复工的第一天,在这之前,腾讯会议已经快马加鞭扩容了一周,资源每天都在翻倍,仍然没有挡住像洪水般涌来的流量。


几家办公软件倒下后,腾讯会议也没能顶住。

 

“现在什么情况”,腾讯云总裁Coby第一时间找到腾讯会议负责人Lori问询。同时也拉通了腾讯云副总裁Wang:腾讯会议情况紧急,你们还不赶紧去帮他们。

 

Lori一边盘算着还有多少服务器、能撑多久,一边和Wang通电话。

 

只听电话那头的Wang说道:“莫慌,我们已经在路上了。”

 

半小时不到,2012会议室里已经挤满了人。公司几乎所有有着海量服务经验的T4专家都来了。一场 “空降式“救援立即展开。

 

这么大的系统,必须要改代码。然而因为用户一直在,白天只能调度资源,一边紧急讨论和分析当前的系统性能瓶颈及改造方案;


到了晚上就开始做大量的部署和交叉设计,重新优化系统上线。

 

“先扛住,再优化”,腾讯过去讲海量服务,周期往往是一两个月,到了疫情的紧急关头,时间缩短到了24小时。

 

春节期间,很多其他厂商也在使用腾讯云,带宽资源已经很紧张了,大家还要在各地腾挪各种资源,计算、热存储、带宽等配套的基础设施都得跟上。

 

为了保证扩容之后不出问题,总指挥Wang下达了关键指令:“一定要把压测工具做起来。”


每晚凌晨一点多,团队便开始对当天所做的所有变更、代码优化做压力测试。

 

500万、800万……随着线上流量的增长,目标不断在提。模拟所有用户的真实路径去做压测,为的就是保障整个系统架构的稳定和平稳处理线上容量压力。

 

凌晨五点,又开始恢复线上使用环境。

 

从1月29日起,在兄弟部门的鼎力支撑下,腾讯会议日均扩容云主机接近1.5万台,8天总共扩容超过10万台云主机,共涉及超百万核的计算资源投入


过去两倍的交付量,用了过去三分之一的时间就完成了,创造了中国云计算的历史。

 

这时,腾讯会议刚刚上线一个多月。像是一个刚穿上盔甲的战士,猛地被推到战场上,从此一路狂奔。


“用腾讯会议保障腾讯会议”



疫情开启了中国远程办公的元年,也让在线会议成为日常。

 

1月22日,腾讯会议总经理Mandy拉起了一个微信群,叫“我们做点什么”

 

一开始,这个群只有6个人,本意是想作为春节应急值守沟通,并抱着“做点什么”的心态,为减少线下的聚集略尽绵薄之力。


一天后,情况完全不一样了。

 

1月23日,武汉宣布封城,各级单位应急指挥的需求如潮水般涌来。在深圳的小伙伴们火速背着衣服、带上牙刷来到公司。


经过两天两夜的抢救,大家发现,常规的操作已经赶不上井喷的用户了。

 

意识到事情的严重性,团队随即向Dowson请示,希望把原本收费的100方能力开放出来。Dowson立即就答应了。

 

1月24日,大年三十,腾讯会议刚刚“满月”。经过连夜调整,腾讯会议正式向全国用户免费开放100方会议协同能力。随后,在Pony的支持下宣布免费开放至疫情结束。

 

上线后流量汹涌而来,团队很快发现,100人的数量看似很多,但在实际的应用中还远远不够。

 

大年初二,Mandy接到某个市政府打来的电话,对方表示要组织处级干部开会,布署抗疫工作,超过250人,免费的100方会议不够用,但是走采购流程恐怕已经来不及了。

 

当天深夜,腾讯会议紧急开放300方免费会议。


在当时,这是行业内第一个免费开放的视频会议产品。

 

面对潮水般的需求,Lori却担心了起来:


发布时团队还在讨论怎么在一年内把DAU做到5万,最初的后台技术架构也是照这个预期来设计的。如此巨大的用户量,不知道后台系统到时候能不能扛得住。

 

果然,到了2月3日,晨会高峰如期而至,数千倍的流量增长,还是在某一个瞬间让系统过载了。

 

那段时间,后台、客户端、运营等多个团队持续连轴转,大家的精神和体力都逼近了极限。


每天睡在公司,一遇到问题Lori就把大家叫起来,或被其他人叫起来。大家达成了默契,离开会议室都要自觉汇报自己的行踪,以免出了问题找不到人。

 

“最后Lori练就了一个技能,无论我们睡在哪里,他都能找得到。”后台开发同事大鹏说。

 

 

线上的人就更多了,对话24小时开着,有什么问题,马上开会解决。大家开玩笑:“我们是在用腾讯会议保障腾讯会议。”

 

就这样日以继夜循环了一两周,完成了扩容、稳定了后台服务。

 

腾讯会议扩容的过程中,各个团队都给了很多支持。


腾讯云、TEG等团队的开发、运维同学都赶来帮忙护大盘,分布在五湖四海的130多位公司志愿者也快速杀到,提供着各种各样的支持。

 

在今天,微信依然保留着超过9人时推荐使用腾讯会议的设置。当腾讯会议小程序入会请求量井喷时,微信团队想尽办法快速扩容,并针对会议的需求作出优化。


一些过去无法想象的事情都逐一实现了。当年做的决定没有错。

 

从实验室“飞”出的会议君



腾讯会议的“种子”,来自于Dowson的一个想法。

 

几年前,Lori刚到SNG的音视频实验室时,实验室已经集成了腾讯多年在音视频技术领域积累的技术,也吸收了QQ音视频海量并发及智能媒体调度的宝贵经验。

 

“音视频通信这件事远远不只C端的沟通场景,视频会议是一个很好的值得深入探索的方向。”对于视频会议和办公SaaS的前景,Dowson深信不疑。

 

然而,当时团队只有几个人,同时支持着QQ音视频的大部分工作,以及一些外部客户支持的项目,能投入到会议产品预研和开发的人力实在有限。


放眼这个市场,即便国内很小的视频会议产品,公司也有上百人规模。

 

那时,绝大多数会议室都使用数据线连接投影,要么会服要准备各种接口的数据线,要么大家就要带着转接头到处走,每次开会前都要预留时间接数据线连投影和电脑,很费时间。


于是,团队打算从这一根线开始做起,解决会前效率的这个痛点。

 

两三周时间,无线投屏的第一款demo就做出来了。但是问题仍层出不穷:


连接无线投屏的盒子电源插座是插口朝下,一碰就掉,屏幕就黑了。每当后台系统显示某个会议室掉线了,大家就冲过去解决。

 

那段时间,实验室里的每个人口袋里都随身装着各种螺丝刀、胶布,随时准备解决问题。

 

 

无线投屏(这样开会,腾讯员工一年能省下30000+小时)小试牛刀,Dowson对会议场景的坚持,推动着团队继续往前。

 

环顾国内视频会议市场,竞争非常激烈,硬件厂商的主要利润来自硬件,对于互联互通缺乏动力和意愿。腾讯会议从最基础的功能开始做起,在做减法的同时,也明确了自己的定位:不做硬件,只做连接

 

2018年下半年,腾讯会议在公司内部籍籍无名,也没有专门的人员编制,后来想办法从腾讯云“借”了1.5个后台开发人员过来。

 

“最早的一个版本,整个开发团队加起来只有6.5个人,5个客户端同学加1.5个后台做了4个平台——Windows、Mac、iOS、Android,顺手把微信小程序也一起做了”,负责终端研发的kid回忆。

 

凭借腾讯云原生一系列的技术组件,包括基础设施、比如存储层、逻辑层、接入层,大量快速的使用这些基础设施,极大的降低了后端开销,使得后台开发人员只需要关注业务逻辑,保障整个业务的推出。

 

2019年4月底,Lori拿着腾讯会议的demo向总办做了首次“路演”。一个简陋的App界面,最初的版本只有三个按钮,连登录界面都没有。

 

 

站在总办面前的Lori紧张又笃定,“我们的优势在于连接和互联互通,可以把C端的连接能力和B端的通讯能力打通起来。”


C2B,正是腾讯面向产业互联网的探索路径。一下子,打消了总办的疑虑。

 

汇报很顺利,腾讯会议的人员编制扩大到80个。“可以算是拿了天使投资”,Lori笑着说。

 

为了更好地协同,腾讯会议团队挪到了腾讯云,把产品工程团队放到了云产品部,同时在多媒体实验室带领着算法团队。

 

因为SaaS轻交互、标准化、深入垂直场景及续费率高的一系列特点,腾讯云早年已经意识到了SaaS的重要性,内部自研和外部生态开始快速生长。

 

腾讯会议刚出炉时,产品还不成熟,然而公司的战略月会还是坚持使用。

 

Lori还记得当时参加一个战略会,那是一个圆形会议室,Martin在最中间,汇报人在台上,其他旁听的人在远程接入,开会开到一半,一下就断了,后来又有杂音,又有人串线。


每当出现问题,大家就在会场扭头看过来。

 

脸刷地一下就红了的Lori,这时候只能硬着头皮断开重播,重启账号。

 

那段时间,Dowson也经常在会议现场做“会服”,虽然产品还不够好,但大家一起“吃狗粮”,也给团队时间成长。


不过,谁也没有想到,一个当初为5万DAU设计的系统,竟然在两个月内成功扛下了千万日活。


吃着苹果“赶火车”

 


C端是一个预计之外的市场。


腾讯会议最早定位的就是一个收费的To B的软件,结果却C端出道了。

 

然而去年产品上线的最后一刻,却遭遇了惊险一幕,差点“开了天窗”。

 

2019年12月25日腾讯会议发布,12月初把iOS版本提交到苹果的App Store应用市场,一直被驳回,直到12月23日仍然没有通过,团队甚至准备好了硬着头皮发布一个没有iOS的版本。


直到24日凌晨,系统突然收到一封审核通过的邮件,才顺利上线。

 

发布会前几天,负责版本审核的同学为了希望苹果审核通过,到处买苹果送给大家吃,以至于现在版本提审的前一个晚上,大家会吃苹果。

 

3月6日,腾讯会议登顶App Store 免费总榜第一名

 

扛住了流量的高峰,便到了考验客户口碑的时刻。在春节前后的100多天里,腾讯会议快速迭代了20个版本,用C端的产品力,做出了B端的爆款产品,用灰度策略、用快速迭代的方法快速找到路径、快速试错,通过大数据分析挖掘用户需求……

 

在腾讯,即便C端产品也没有经历过这样的快跑。每一个细小的功能背后,都是团队无数个奋战的白天与无眠的夜晚。

 

快速开发和迭代新版本,团队内部称之为“赶火车”

 

那段时间,“火车”的班次非常频繁,过去大概三周一个版本,在疫情期间压到了一周一个版本,甚至可能是两、三天赶一趟。通过这种方式,小步快跑把一些核心能力跑出来。

 

春节后,腾讯会议陆续支持了直播、录制、共享音频、批注、投票、红包等等新功能,例如直播功能,从正式立项到上线只用了一周多时间。


3月,基于腾讯云全球部署,海外版VooV Meeting在超过100个国家和地区紧急上线。

 

腾讯会议的第一位售后Jake说,海量的用户和客户每天都在发现和提出问题,在面对客户需求时,必须清楚掌握每一个功能模块的细节。


例如有用户反馈,使用虚拟背景时如果椅子后面有个靠枕,背景会时不时的从脑袋后面跑出来。


为了解决这个问题,团队采集了6万多张椅子带着靠枕的数据,通过6万张椅子数据做标注,逐步去影响和优化效果。

 

在语音方面,在线会议最重要的仍然是通信能力。整个阶段,团队围绕“听得清、看得清、听得真、看得真”做了大量努力。


为了能够在整个环境中安静地把声音传输给对方,提升整体的沟通效率,团队采集了上百种噪声的数据,比如雨点打到玻璃窗上的声音、公交车开门的声音、餐桌上吃盒饭的声音等。

 

有一天,Lori的一个朋友特意跑过来说:“我发现腾讯会议特别好,为什么?我在公交车等车的时候,都不觉得特别吵。”

 

疫情期间,腾讯会议成为了联合国75周年的合作伙伴和联合国教科文组织高等教育创新中心推荐使用工具,并受邀加入联合国教科文组织发起的“全球教育联盟”,为全球遭受停课冲击的12亿学生提供紧急远程上课支持

 

 

在抗疫路上陪伴社会各界前行的腾讯会议,还收获了各式各样的“出圈”玩法。


比如,情侣之前的“连麦睡”、朋友之间的“云聚会”,甚至是用腾讯会议来“云追星”、“云接机”等,形成了“万万没想到系列”。

 

开工复工期间,每天都有上万家企业利用腾讯会议开工复工,西安银行一夜之间转战线上,广交会期间,使用腾讯会议帮助全球2.6万家参展商和采购商洽谈。

 

在今年的乌镇世界互联网大会上,腾讯会议因为疫情期间的出色表现获得了“世界互联网领先科技成果”奖,这也是大会举办以来首个获得该奖项的视频会议产品。

 

如今,随着腾讯会议的业务步入稳定期,功能、安全、迭代升级变得越来越重要。


9月10日,腾讯会议推出了企业版,向所有开发者开放了API和SDK,快速构建起多人通信的能力。


同时腾讯会议已经和多家硬件厂商合作,推出会议室连接器和腾讯会议Rooms,希望提供更好的软硬一体的解决方案。

 

 

回想起“特别作战室”的生活,正月十七的那天早高峰值班结束后,大家一起拍照纪念。为了感谢每个人,腾讯会议的代码中专门留了一页,在注释里写下所有人的名字。

 

365天后,腾讯会议终于从特别作战室“毕业”了。



🔚


没看过瘾?这里还有

腾讯技术年度干货.zip


六城,齐开服!


也可以通过视频号了解最新动态:

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存