查看原文
其他

产研人的疫情战事,没有一点儿的喘息

学而思培优 好未来技术 2023-03-15

这场关乎所有中国人命运的疫情所带来的恐慌,已经开始逐渐退散。为了应对疫情,让所有学而思人都行动起来的一场“战役”,也即将收官。


战斗虽然结束了,但在这场战斗里发生的故事,我们还在记录中。这些故事的主角,是我们身边每一个最熟悉又平凡的学而思人。


这些故事记录了我们在疫情之下做出的一次次抉择、解决的一例例问题,既关乎学而思人特有的初心和勇气,也关乎我们对这场必胜“战役”的责任和坚持。

(合照拍摄于春节前)


产研人的疫情战事

因为一场疫情,全民“宅”家让在线教育成为了刚需,面授课程不得不全部“转战”在线平台。


过去几年的除夕夜,春晚赞助商都会提前三个月抽调所有的力量,保障自己的产品足够面对春晚几十亿的流量。尽管没有春晚级别的流量压力,但从疫情爆发到寒假开课,留给我们的时间刚好只有一个春节假期。


从1月24日通知全部寒假课程调整,到2月4日寒假班二期开课,这十天,以及之后的一个月发生了什么?这个故事,我们要从产研团队讲起。


战役主战场

10天后的寒假班——全部面授转在线!

虽然不及春晚的流量,但10天准备时间、预估5倍于平常的同时在线人数,我们能搞得定吗?这次“大考”,产研人交出了一份“零宕机”的答卷。


“打的都是硬仗,没有一点儿喘息。”作为培优总部产品技术中心的负责人,田密老师在2月底的一次分享中这样描述这次应对疫情打响的战役。


这几场硬仗的开端,在腊月二十八这一天。


佳节团圆之时,即是产研开工之日

这天是春节前的最后一个工作日,总部的几名伙伴紧急拉了一个会议,一起讨论要“做好面授转在线的准备”,田密老师也在这次会议中。会后大家心里都清楚——“做好准备”的意思基本上就等同于“一定要干”。


在预料之中,腊月二十九,开工!


刚刚完成一项大工程,有些伙伴已经提前休假回家,看起来协同工作的效率一定不如格子间里来得高,但后来的故事告诉我们并非如此。


在程序员圈里一直流传着一句玩笑话,叫“拎台电脑就能开工”,这次可不再是一句玩笑了。

在家办公的产研伙伴

线下产品部的宇轩老师在接到自己的工作任务时,正在手机上关注着疫情的发展。大家都在称赞着疫情中的“逆行者”,突然自己也要成为“逆行者”的一员,心里那种激动和使命感,超出之前人生中的任何一个时刻。


不料,大家的热情来得快,业务难题来得也很快。我们丰富的业务形态,在这时也可以用“复杂”来形容。


“转大班还是转小班?通用课堂还是小组课?家长自己转还是我们批量转?上了一半的课怎么转?怎么退差价?”


在接到具体任务的那一刻,每个人都有一个“懵”的瞬间。技术团队里有很多“毕业”于互联网大厂的伙伴,大家在朋友圈里多少见过一些“诉苦”,这次是真的轮到自己了。

大年初二凌晨依然坚守

叹一口气,下一秒重新上线。


“想着可以为老师们提供更好的支持,帮助老师讲好课,孩子们也就能够正常上课,不受影响,这就是自己工作的价值。”能为自己带来成就感、为教育事业做出贡献的挑战,触及到了包括宇轩老师在内的伙伴们的兴奋点。


大年初二,经过产研伙伴和各个分校校长、排班组的紧密讨论,一套寒假班转班方案出炉了。


寒假还没有开始上的课怎么变成在线班、上了一半的课怎么转成在线班、需要推迟的课程怎么办、推迟之后想要恢复的课程怎么办、面授老师想要用上课系统练课怎么办......在这套转班方案里面,产研伙伴为所有可能面对的情况,全部匹配上了快速、可行的解决方案,并尽最大可能用程序代替一切人工。


怎么办?扩容扩容扩容扩容扩容扩容扩容

有了方案,大家心里算有了个底,接下来要集中精力一个一个解决在线课堂实操过程中要面对的问题了。第一个问题是最显而易见的——服务器容量不够用。怎么解决?可能是说起来最容易,但做起来最复杂的——扩容


2018年的春节前夕,春晚合作商团队提前三个月攻坚“春晚战役”,准备了3倍于“双十一”的服务器资源,而最终迎接他们的流量峰值是“双十一”时的15倍。


10天准备时间、预估5倍于平常的同时在线人数,我们能搞得定吗?田密老师用了一个词来形容那段时间的伙伴们——眼神坚毅。


“这是我工作以来接触到的最大用户量,”线上产品部的兴亿老师2018年毕业来到学而思,他对眼前的挑战有点儿小兴奋。其实这支几百人的产研队伍,平均年龄也还没超过30岁。

线下转线上扩容方案成形

首先要解决服务器的问题,这是最基础的保障。位于大兴的物理机房一直是在线业务的主力机房,经过初期的测算,大兴机房的网络设计不足以承载我们的目标流量,内部千兆网络的带宽承受不住。


“最后我们选择全部采购云服务器,不采购物理服务器,用大兴机房来做辅助。”本来计划年后再请假回家的刘金东老师从采购服务器就开始了自己的“战疫”。


接下来的三天时间,不停地预估、不停地调整,接口优化、结构调整、缓存集群调整......过去小步迭代的系统,突然一个大跨步,变成了大家心里想要的那个样子。

在家办公依旧高效协同

成了!初五晚上的最后一次压测,测试屏幕上显示出了让所有人满意的结果。两天后,业务平台部进行的批量转班也完成,至此,能够支撑寒假班顺利过渡的所有线上基础设施悉数就位。


如今,寒假课程早已结束,春季课程如约而至,到目前为止,培优所有线上课程还没有过一次宕机事件的发生。“零宕机”,便是所有产研伙伴的全部期待。


“过去,我们对‘用科技推动教育进步’的感知并没有那么强烈,但这次是真的感受到了。”这一次,产研人着实打了一场“痛快仗”。


扩容PLUS+

什么?我们还有一倍多的用户?

我们预估这些量,来得更多怎么办?2月12日全国公益课开课,这时的办公室更像是作战室。如果当时可以站在“上帝视角”,就大可不必如此紧张——公益课期间依然保持了“零宕机”的记录。


“打的都是硬仗,没有一点儿喘息。”


田密老师前半句里面的“硬仗”已经打完了一场,但别忘了还有后半句是“没有喘息”。


随着教育部发出“停课不停学”的号召,一场“公益课之战”也在这短短几天里如箭在弦。上海分校顶在最前,首场公益课报名火爆,出勤率和学员反响都不错,各个分校立马跟进,报名人数很快又涨了一个量级。


“喘息”了不到一天,在伙伴们的热情还高涨着的时候,来活儿了!

在家办公的专业度不亚于办公室


不断增长的数字,是喜也是忧

“大家都非常高兴,只有产研看到了都是眼泪,”免费公益课的报名人数一点一点增长,距离全国开课也越来越近,产研伙伴要是说不着急,那都是假的,“我们用自己的班课系统(APP)来上公益课,困难程度还是比较高的。”


我们要做的,还是那两个字:扩容


这一次的扩容的目标是翻倍,一样的时间紧张,不一样的增长量级。还是原计划、原班人马,再翻一倍,啃下来了。


这时,公益课的宣传也已经铺天盖地,面向全中国学员和家长报名,我们控制不了最终上课人数。寒假课“零宕机”的同时也意味着之前的应急预案暂时没用到,缺少应急经验,就要做好万全准备。


一套针对公益课的应急预案也马上出炉。

如果发生宕机,首先降服务,有序、逐步关闭教师授课端的非核心服务,例如课堂互动。

再不成,就要降用户流,所有人一起进,进不来,先放一大部分进、再放一小部分进。


一切就绪,此时,公益课的服务器已经足够支撑整个东城区的所有人口同时在我们的系统里上课。最后的几个通宵,用来完成了最后的压力测试。

“间隔一米+视频会议”保障安全

2月12日,全国免费公益课开课,所有人坐在电脑前做实时监控,这时的办公室更像是作战室。


看着进入公益课的用户数不断上升,每个人手心里都攥着一把汗,一旦出现问题,马上启动应急预案。但是如果当时可以站在“上帝视角”,大家就不必如此紧张——整个公益课期间,依然保持了“零宕机”的记录。

坚守岗位的产研伙伴

在公益课期间,有一节科学课叫《汽水在生气》,课中老师向小朋友们演示了“汽水喷泉”实验,在曼妥思糖加入雪碧的一瞬间,雪碧中的气泡不断升腾,涌出瓶口。


这节科学课的受欢迎程度超出所有人的预期,最终的同时在线人数,可能是学而思历史上最高的一节课。


产研人在连续两场胜仗中收获的喜悦和成就感,在这时和汽水里的气泡一样澎湃。


春天,提前来了

新版本发布,早了deadline一个月

我们都在期盼真正的春暖花开快些到来的时候,他们先为这场战疫的春天的到来做好了铺垫。


对在线产品的优化和完善,我们一直都在努力,只是这场疫情的到来,加速了每一项进程。


刚才提到过我们复杂、多样的业务形态对批量转班是一个挑战,同样对授课老师们在家上课的系统开发和迭代也带来了不小的考验。


原本deadline订在3月的计划,被硬生生提到了2月档。


新小组课2.0

产品技术中心 线上产品部

让很多伙伴提前休假回家的那个“大工程”,就是年前发布的小组课1.0系统。较比通用课堂,小组课的体验更好。为了给学员和家长提供更好的课堂体验,春季课必须要上进一步优化的小组课。


刚上线的系统,马上就要优化。


寒假期间,白天一直在使用课堂,所有的版本发布只能留在半夜甚至凌晨。白天开发新版本、改bug、测试,晚上上线,白天看用户反馈,继续改bug、测试......还为每个分校配备了一名“产研BP(Bussiness Partner)”,保证分校个性化的需求得到满足。


第一次,赶在deadline前一个月就完成了工作目标。

新小组课2.0授课端凌晨发布

原本心里一直在想象完成这些任务的时候应该已经春暖花开了,但在2月完成了3月的计划,让伙伴们觉得“春天好像提前来了”。因为他们的努力,抗战疫情的春天,也提前来了。


攻克“支线”任务

难题不只有扩容、转班和授课系统

大步向前和小步快跑,没有哪个是我们hold不住的。


经历了翻倍再翻倍、一个月1.0到2.0,还会有更难的难题吗?答案不需要揭晓。


和这些相比,一个系统在几天里“从无到有”的难度有过之而无不及。所有的难度在这一个月里,全都一股脑地摆在了产研人的面前。


平时比较“安静”的技术伙伴们可能面有改色、心有所动,但ta们的眼神从来没有变过——依然目光坚毅。


在家授课准入检测APP

产品技术中心 线上产品部

虽然从发布面授转在线的消息之后,各大电商平台的笔记本电脑、摄像头、手写板等等设备已经快被抢购一空,为了创造更好的网络环境,老师们也想了很多办法,但要保证在线课堂的效果达到学员和家长的预期,总要有一个标准,大家才安心。


成就伙伴也是成就客户,线上产品部的伙伴们紧急开发了“在家授课准入检测”APP,老师们在自己的电脑上运行一下,点一下鼠标的操作就解决了所有标准问题。

在家授课准入检测APP


同城在家系统

产品技术中心 同城项目组&线下产品部

在转班方案中,线下的双师课堂全部转到线上的同城课堂进行。一周的时间,同城项目组完成了最大并发量十倍的升级。但很快,新消息传来:总部京仪直播间可能因为疫情原因被暂时封锁。这意味着,双师主讲老师也要在家上课了。


在这之后的两个通宵,为了解决双师主讲老师在家上课没有系统的问题,线下产品部又从零开发了一套“同城在家”系统。

双师主讲老师在家直播


线上营业厅

产品技术中心 用户平台部

用户平台部的麟宇老师是公益课团队的一员,刚啃掉公益课这跟硬骨头的晚上11点多,接到新任务——我们要把线下营业厅也搬到线上来,让服务中心的顾问也可以在线上完成产品展示、介绍和咨询。刚准备休息的麟宇老师从床上坐了起来。


十天后,线上营业厅1期上线。总部运营部还在全国招募了100多名主播老师,线上营业厅正式“开张”。

线上营业厅管理界面&直播界面


“系统的快速开发、迭代、发布也有很大的优点,就是我们做的每个决定,都可以很快地得到用户的反馈,就能更快地解决客户的问题了。”虽然脚步被限制在这间屋子里,我们却走得更近了。


几个小故事

中国人,从来不缺少关于春节的故事

在追梦的路上,同样不缺少故事。


2月27日凌晨2点,新小组课2.0授课端改完了最后一个bug,正式发布了。


这一个多月来,产研团队就像一台庞大、有序的机器,比平时加速运转着,完成了一项又一项“超负荷”的任务。


直到从持续不断的兴奋中逐渐平静下来,大家才发现,原来想要让一家以面授为主的培训机构,完全转变为线上机构,可以只用这么短的时间。


在产研的办公区,随处可见“打造中国最好的OMO教育产研团队”的标语,伙伴们说这是他们共同的愿景。这三十几个日日夜夜,他们证明了自己离实现这个愿景并没有想象中遥远。


在圆梦的路上过完了这个年,听起来好像也不差。在这里,还有几个小故事想和大家分享:


业务平台部侯文老师说,那段时间开会的时候经常听见电话那头的孩子在叫爸爸或妈妈,吵着闹着要和爸爸妈妈玩,但之后会听到的回复都是一样的:“爸爸妈妈还在工作”。


正月初五,就是第一次扩容完成的那天,邦鑫老师和亚超老师来到了产研伙伴加班的办公室看望大家,此时已经焦头烂额的大家心里依然只有那两个字:扩容


线下产品部包梦老师家在湖北孝感,接到任务之后最大的问题是:家里没有WiFi,联通信号也很差。包梦老师每天白天去隔壁邻居家办公,晚上在门口蹭网。担心感冒被人误会,她说自己每天穿得“像个熊”。


安妮老师和我们说,在整个战疫过程里最让她觉得充满力量的,是教学伙伴和她说的这一句话:“我们也像逆行中的白衣天使一样,03年我们还小,这次我们终于可以为国家做点什么,我们大家都在一起。”




在疫情期间,哪件事情最让你觉得安心?这些伙伴们给出的答案是这样的:


“每天早上都要填报自己的健康状况,公司在关心每一个人。”


“随时随地在钉钉群里发DING,伙伴都可以秒回。”


“按时收到了1月份的工资。”


“看到好未来上新闻了,我们真的是在为疫情做出贡献。”


这些让我们感到安心的理由,或许可以总结成一句话:幸好在我的身后,还有你在。


使命之所以为使命,即是一群人在一起必须要做的事情,同时也一定是这一群人愿意和彼此一同完成的事情。


不止疫情是一场战役,我们的一生也是一场战役。能和你们一起战斗可能是在这场战役里最幸运的一件事。一直以来,好未来秉承“爱和科技让教育更美好”的理念,希望每个人都在教育中获得受益一生的能力,希望在好未来的带领下,我们会越来越团结,越来越友爱!


招聘信息


好未来技术团队正在热招视觉/图像算法、后台开发、运维开发、后端开发Golang、web前端开发等高级工程师岗位,大家可点击本公众号“技术招聘”栏目了解详情,欢迎感兴趣的伙伴加入我们!

也许你还想看DIY技术资讯抓取工具的实践与研究
前端组件化-高质高效协作利器基于TPNN的儿童英语声学模型训练未来魔法校的微前端实践

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存