网易云首席架构师：如何落地解决方案与产品化实践
内容来源：2017年8月12日，网易云首席解决方案架构师刘超在“网易博学实践日：大数据与人工智能技术大会”进行《网易云解决方案与产品化实践落地》演讲分享。IT 大咖说作为独家视频合作方，经主办方和讲者审阅授权发布。
阅读字数：2175 | 6分钟阅读
摘要
网易云首席解决方案架构师根据多年实战经验，从几个方面分享网易云解决方案与产品化实践落地。
https://v.qq.com/txp/iframe/player.html?vid=l0559oapbsz&width=500&height=375&auto=0
我们的架构主要分为业务架构，IT架构，数据架构三个方面，分别解决用户、运维和运营三类用户的问题。
对于IT架构来讲，我们通过基础服务，提供基础的计算、网络、存储等资源。对于业务架构方面，可以基于基础服务部署全弹性的架构，这个架构有很多最佳实践，例如考拉，云音乐，云课堂等。如果大家想做直播，通信与视频云只要一天就能够接入。对于数据架构，我们有两个产品，一个是猛犸大数据，一个是有数BI。人工智能有七鱼和易盾两个产品。
通过服务了大量的传统和互联网化的产品，我们发现无论是做电商还是游戏，数据都是非常重要的一个方面，以后不同商业模式的核心可能就在于数据的差别。例如一个传统的汽车零售企业，可能需要一个运营团队通过零散的数据收集，每两个星期出一个报告来指导下一步的运营，而一个互联网化的电商双十一，却需要争分夺秒的看到实时的运营数据。
这是一个更详细的架构，右边的架构是基础设施层，左边是猛犸大数据，上面有安全、有数、人工智能、视频云、IM等。
我们云计算基础平台的基础设施层和其它应用不同的地方就在于主打的是容器，因为我们认为容器会是将来的一个方向。容器是一个软件供应链的集装箱，可以很好的实现基于镜像的跨环境迁移。实现跨环境迁移的一个方面是在开发，测试，生产环境之间迁移，实现持续集成。在我们内部的很多实践里运用容器的最大好处就是容器使得整个交付流程提前到了开发，交付的其实是容器的镜像，里面包含了大部分配置，能够快速地进行迭代的效果。
实现跨环境迁移的另一个方面就是弹性扩容。上图中右边部分是一个去状态化的过程，把本地的东西全部外置，如果应用程序只包含了一个程序逻辑，就可以进行横向的弹性伸缩。
容器也是能够帮助构建大数据平台的。迁移到网易云上的大数据客户分为两种，一种是自己具有大数据能力，他们自己采购了一个大数据或者自己做了定制化；另一种就是用我们的猛犸大数据。第一类用户在大数据上容器最大的问题就是状态，也即如果HDFS放在容器里面会比较复杂，但现在网络不成问题以后，数据可以放在独立的HDFS集群或者对象存储上面，这样map reduce就变成了一个无状态的过程。这个最大的好处就是不用维护这么大的一个集群。这样就使得将来容器部署大数据也会成为可能。
另一个容器的典型应用就是微服务。当一个服务需要承担较大的量的时候，就需要把它进行拆分。但是拆分了后端一个数据库还是支撑不住，一般会用DDB分布式数据库来做这件事。中间所有秒杀的业务场景基本都是无状态的，可以进行弹性伸缩。
今天的话题是大数据，我们发现大家都很关心自己的数据是否安全，所以推出了一个新的概念，专属云。人们往往把专属云和VPC，私有云，托管云，专属主机混淆。专属云和VPC是不同的，VPC是逻辑隔离，专属云是物理隔离。专属云和私有云也是不一样的，私有云是部署在客户自己机房的，私有云无论是部署大数据还是云计算平台，所有的运维，升级都是客户自己的事情。专属云和托管云是不一样的，托管云的运维，升级也是客户自己来做，仅仅不需要自建机房。专属云部署在网易数据中心里面，它的所有运维、升级、更新换代等都是由网易来做，这样不需要配备很多运维人员来管这个云平台，可以全部交给网易云。专属云可以保证用户的所有计算，存储资源都落在自己的机器上，单用户买的不是物理的机器，实际上买的资源，里面的硬件软件都会自动升级，用的永远都是最新的功能。很多云平台还推出了专属主机，云主机可以是自己的。但是我们的专属云是从下到上，从IaaS，到PaaS，到CaaS都可以是客户自己的。
有了这个平台以后，接下来要做的就是怎样利用这个平台来真正去做运营的能力。大数据可以分析的东西一般有三个方面。第一是交易数据，客户在下完单后，所有数据都在数据库内，这是一个非常重要的大数据分析的来源。如果用的是专属云的话这些都将是属于自己的。
第二部分是用户浏览点击的日志数据，日志在微服务架构里一般都会用ELK的方式来做，因为已经部署了微服务，需要有一个集中的地方看日志，所以一般都会有一个日志库。当遇到大促的时候，就需要对一部分进行降级，另一部分要做异步化。
第三部分最容易被忽略的是客服数据。大促期间客服的表现情况在事后也能进行统计，这些都可以在大数据平台中，最后放到数据仓库里让BI平台看。
有数是一个非常好的数字化运营平台。一般分析会有两个维度，一个是纵向维度，就是时间轴；另一个是横向维度，就是布局。还会有一些分析模型，例如人货场模型，用户浏览模型等，这些都可以分析出来。
基于人工智能技术，网易云有易盾安全方案和七鱼客服方案。
易盾可以监测用户注册登录和作弊的行为，通过人工智能来保护用户的登录和注册，并对作弊行为采取相应的措施。
如果有一些不良视频或图片，利用图像识别可以检测出来。原来是基于概率的模型去做，现在会慢慢地基于深度学习，用计算机神经网络来做。
七鱼智能客服一开始是通过关键字匹配，后来是概率模型NLP，现在通过深度学习和神经网络逐渐发展到今天。
这就是整个从底层到上层的全方位解决方案，大家如果上云的话可以从这三个方面去考虑。
我今天的分享就到这里，谢谢大家！
相关推荐
推荐文章
近期活动