查看原文
其他

Linkedin资深工程师董飞:典型硅谷公司大数据实战分析

2016-04-05 CSDN DBAplus社群


董飞是硅谷华人工程师里的“热门人物”, 本科南开大学、硕士杜克大学计算机系毕业。在攻读硕士期间,即从事跟Hadoop大数据相关的研究项目。先后在创业公司酷迅,百度基础架构组,Amazon云计算部门,LinkedIn担任高级工程师,负责过垂直搜索引擎、百度云计算平台研发、广告系统和在线教育平台的架构的设计和研发。在大数据领域业界研究多年,涉及Hadoop调优、分布式框架、Data Pipeline、实时系统等技术。


董飞2015年在硅谷创业公司Coursera从事数据工程师工作,对于硅谷公司的大数据应用方面有着丰富的实战经验。本文是对他去年任职Coursera时所发表的一次演讲的整理文,主要介绍了Coursera及其架构演变,探讨了硅谷大数据热点与相关技术。



(董飞)

 

董飞首先介绍了Coursera, 由美国斯坦福大学计算机科学教授 Andrew NgDaphne Koller创办,旨在同世界顶尖大学合作,在线提供免费的网络公开课程,Coursera目前已经有117所大学提供的988门课程,已经有超过一千二百万学习者使用过。作为热门的在线教育项目,Coursera成功为学习者和课程提供方搭起了桥梁。

 


 

Coursera还与世界顶尖大学,例如斯坦福大学、密歇根大学、普林斯顿大学、宾夕法尼亚大学等都建立了深度合作关系,颁发证书认证。董飞表示,“大约30%的学者愿意付费购买证书,70%的VC用户则将这些证书发布到LinkedIn上,这为大家带来了双赢价值”。




Coursera推出的课程种类繁多,其中有一项叫“专项课程”,它也是Coursera最主要的收入之一。”专项课程“的成功之处在于:


  • 60%的学习者表示他们学习“专项课程”的动机 是通过“毕业项目”和“专项课程签名认证证书”来展示 他们对知识的掌握程度。

  • 74%的学习者认为“毕业项目”比理论课程 更具价值,理由是他们希望利用“毕业项目”来解决实际 问题,同时获得行业实践经验。

  • 77%的学习者则认为由行业从业人员和授课教 师共同设计和实施“毕业项目”,比单单由授课教 师设计更有价值。


Coursera课程研究:靠数据来说话

 

Coursera针对课程类别、各个国家以及不同领域的用户情况进行了数据统计和统计。 如下图数据显示:其中选择人文类的用户数最多,计算机科学次之,排在最末的是临床科学,这也说明其较为冷门。【注:括号里代表的是这门课程的门数】

 


(不同课程内容分类:横坐标表示的是注册人数,注册人数越多,说明它越有吸引力。)

 

通过下图可以看出:红色代表是受欢迎度,颜色越深说明它关注度越强,比如美国、加拿大、中国香港等这些大学关注度比较高; 蓝色代表的是冷门,颜色越深说明它没有关注度,或者叫负相关度,比如法国。

 


(各国大学关注度)

 

学习者主要分为四种类型:


  • 第一类:大学生,求知型,平均年龄15岁-20岁;

  • 第二类:终生学习者(Enrichment learners),年龄分布较为均匀;

  • 第三类:特定技能学习者(有点像极客),他们更喜欢接受新技术,尤其是20岁到30岁中间的人居多;

  • 第四类:商业发展或升职技能,比如有人想晋升或者想换个行业,这类用户会选择某个特定领域进行学习。

  


(学者领域分布图)

 

Coursera的技术架构

 

作为一家硅谷的在线教育项目创业公司,Coursera员工数约为180人,其中技术人员是80人左右,占比40%。Coursera拥有1000万名学习者(这个用户数还在不断增长),面对全球不同时区的用户,如何保证最佳的用户体验?

 


 

数据库的选择上,Coursera最初采用的是MySQL,但遇到的问题是,在高并发访问量和宕机时候会造成用户体验的大幅下降,于是Coursera将数据库迁移至Cassandra,其稳定性和易用性还不错。

 

编程语言使用上,Coursera则选择了Scala。Scala面向对象,基于Scala可以调用所有JVM上面的东西, 虽然这听起来很酷,但很多公司还是不敢用。

 


Coursera技术架构图)

 

Coursera底层架构100%部署于AWS上,因为 Coursera的大多数用户访问来自于(PC)Web,但后来为了改进手机端的用户体验,工程师们利用 Swift来重写APP。

 

对于为何采用使用SOA?董飞认为,首先SOA架构能够做到弹性扩展,其次在于服务优先级,重用,简化,希望通过这种模式去推动整个技术的升级。” 硅谷有很多公司在使用SOA,包括 Tumblr、BOX、LinkIN、NETFLIX、Amazon、eBay等。”

 

“而采用Rest框架的好处在于:所有API可外部化,易于调试,零技术锁定”。

 



(Coursera架构中用到的软件)

 

随后,董飞还和与会者交流了时下在硅谷的大数据应用浪潮和热门技术。

 





Gartner公司每年发布技术趋势炒作图。2015年和2014年的图对比显示,物联网、自动驾驶汽车、消费级 3D 打印、自然语言问答等概念正在处于炒作的顶峰。而大数据已从顶峰滑落,NFC和云计算接近谷底。


来源:CSDN

原文链接:http://www.csdn.net/article/2015-03-18/2824236-Coursera-dongfei


全球敏捷运维峰会【杭州站】




杭州站倒计时:2016年4月16日,DBA+社群联合Linux中国、三墩IT人开启全球敏捷运维峰会第一站:杭州!


技术大咖云集:峰会力邀来自阿里、京东、淘宝、网易、IBM、浙江移动、新炬网络、蘑菇街、百世物流等互联网与传统企业的资深大咖,汇聚500+行业精英!


互联网 VS 传统的碰撞:共同探讨互联网前沿技术应用心得、传统企业技术转型的实践与困境、全程拒绝无营养的广告,绝对干货,精彩不容错过!


DBA+社群专属购票优惠

门票优惠价:39元(原价99元)

(优惠码:dbaplus001)

VIP票优惠价:199元(原价299元)

(优惠码:dbaplusvip)

报名方式:猛戳“阅读原文”抢票吧!

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存