分布式架构是数据中心的未来吗？
【作者】刘东，目前在东软集团股份有限公司担任首席技术顾问，主要负责数据中心IT系统架构设计，云计算中心IAAS层架构设计，容灾解决方案体系建设；具有10年以上技术支持和系统集成工作经验，对金融、医疗、能源和政府等行业的解决方案有独特的见解。
一、什么是数据中心？
什么是数据中心？百度百科给出定义是：数据中心是全球协作的特定设备网络，用来在因特网络基础设施上传递、加速、展示、计算、存储数据信息。数据中心大部分电子元件都是由低直流电源驱动运行的。
数据中心的产生致使人们的认识从定量、结构的世界进入到不确定和非结构的世界中，它将和交通、网络通讯一样逐渐成为现代社会基础设施的一部分，进而对很多产业都产生了积极影响。不过数据中心的发展不能仅凭经验，还要真正的结合实践，促使数据中心发挥真正的价值作用，促使社会的快速变革。
二、为什么需要分布式数据中心？
说到发展，数据中心正随着各个行业的蓬勃发展而不断高速的建设着。云计算、大数据和物联网等新技术的大规模使用，让数据中心成为了医疗、政府、互联网和金融等行业建设的重点。特别是在银行 、保险等领域，数据中心由于承载核心业务，不允许任何数据中断、要求能够快速响应业务变化和具备一定的灵活性，已经成为了名副其实的“生产中心”。反观数据中心，传统的集中式架构已经无法满足新时代业务的需求。而基于分布式架构的数据中心是一个和集中式架构相对应的技术体系，包括了分布式业务部署、分布式计算、存储、网络安全等多种分布式技术的集合。在传统数据中心无法保证业务响应能力、连续性和灵活性，发展达到一定瓶颈的时候，分布式架构就自然成为了一种必然的选择。
在早期的数据中心建设中，大多数IT建设者们并不太关注采用何种技术架构，觉得没有那么重要。数据中心的建设重点就是让承载的业务系统稳定运行，为服务器、存储和网络设备提供一个良好的运行环境，让业务系统没那么容易“宕机”即可。所以早期大部分数据中心都是烟囱式的架构设计，每个业务系统都会配置一套独立硬件设备，数据完全是割裂的，导致设备利用率非常低，资源完全无法共享。典型的“标配”方案为两台高端小型机（或X86服务器）做数据库服务器双机，然后再加两台或以上应用服务器，后端连接两台FC交换机（或IPSAN交换机）和一台存储设备。直到现在，仍然可以看到许多招标文件中有类似的配置方案。当然，并不能说明这种配置方案不好或者不对，只能说在没有很好规划和合理利用的情况下，这样的配置会导致数据中心空间、能耗、制冷大规模增加，而且设备数量的随意增加还会严重影响运维和管理的效率。
为了应对信息化的快速发展，提高设备利用率和灵活性，云计算技术被大规模推广和采用。云计算可以提供可用的、便捷的、按需的资源提供，逐渐成为了主流的数据中心架构，目前大多数行业的数据中心都已经具备了云计算的能力。除了大规模数据库等少数业务场景以外，新业务应用基本都是使用云模式进行构建，同时还有大量现有的业务应用正不断向云计算环境进行迁移。将应用系统运行在虚拟化环境中似乎已经成为了一种常态。在云计算环境中，服务器虚拟化是基本的云计算技术之一。虚拟化软件厂商正在逐步将基于物理资源的数据中心向虚拟化资源的数据中心进行转变，有效的控制了数据中心内服务器数量和规模的增长，提高了服务器的利用效率。同时，虚拟化系统所具备的特性极大的提高了数据中心系统的可靠性。特别在主动运维、灾备建设和故障切换等方面对数据中心的业务连续性是一种质的飞跃。在这一阶段，虚拟化技术的大规模应用让传统数据中心在不改变集中式的架构条件下，获得了最大化的资源整合和共享，但是架构仍然没有太大的变化，更多的是一种服务模式的转变。
基于云计算架构的数据中心建设已经成为主流的建设模式，但是在架构上还有很多可以改进的地方。
1、基于云计算架构的数据中心只能解决单个数据中心内部的资源共享和使用等问题，无法解决资源的灵活扩展问题，资源的增加仍然是采用垂直架构。由于单个计算、存储或者网络设备都有性能上限，扩展到一定能力后必然要进行拆分，重新建设资源池，又会形成新的资源孤岛，并没有从根本上解决数据中心的发展问题。
2、随着各个行业的信息化发展，越来越多的企业需要建设多个不同地域的数据中心。比如银行业和保险业会按照银监会和保监会的要求建设灾备中心，集团企业会建设分公司分数据中心。这些数据中心如何进行统一的管理和应用，保证业务的连续性，解决业务协同问题，是对传统数据中心一个巨大的挑战。
基于云计算的数据中心提供更多的是一种服务。通常情况下，我们提到云计算，指的是一种计算、存储、软件等服务的交互和使用模式。而基于分布式架构的数据中心，更多的是指一种数据中心的计算模式，而不是一种服务形式，它是云计算数据中心的技术基础和扩充。
三、集中和分布式架构两种数据中心的区别
分布式架构数据中心在技术层次上，主要包括两个概念：单个数据中心内的分布式架构和多个数据中心的分布式架构。
单个数据中心内的分布式架构，主要包括分布式计算、存储、安全网络等多种分布式技术的合集。多个数据中心的分布式架构主要是指将传统多个数据中心统一整合为一个数据中心。实现业务连续性灾备，多中心运营和管理等。例如：将多个不同地区，不同规模的数据中心使用统一的管理平台进行资源的统一管理，使用统一的运营平台实现统一运行。
3.1 分布式计算架构
按照分布式计算的定义是利用网络把成千上万台计算机连接起来，组成一台虚拟的超级计算机，完成单台计算机无法完成的超大规模的问题求解。
而数据中心的分布式计算更多的是指分布式软件架构。是以分布式计算技术为基础，用于解决大规模问题的软件架构。分布式软件架构具有较好的伸缩性，特别在处理大数据问题时，分布式架构能显著提高处理速度。常见的分布式软件架构有分布式操作系统、文件系统和数据库等等。
以数据库为例，传统数据中心是单个数据库为主，数据集中存储在一台服务器或存储上，数据的处理也集中在单个或多个集群节点（一般为2-8个）内完成。传统数据中心数据库以Oracle、Db2或者MySql为主，但是当单表数据量爆炸或者单个数据库无法承受高强度I/O时，集中式的架构是无法解决性能和数据处理瓶颈问题的。最早以前淘宝网就是使用的Oracle数据库，而且还组建了全球最大的Oracle数据库群集，可是随着淘宝网的用户和商品信息量增加，最后不得不走分布式数据库的路线。分布式架构的数据库具有灵活的体系结构 ，更适合分布式的管理与控制， 而且可扩展性好，也易于扩充。 当然，分布式数据库也有自身的一些缺点，例如数据一致性差，网络通信开销较大，数据的存取结构比较复杂。但是不可否认，在某些应用场景下，没有分布式架构的数据库，数据就很难进行管理和建设。
3.2 分布式存储架构
随着数据中心业务数据的不断增加，大数据的海量数据挖掘与日志分析正逐渐成为一个主要应用场景。在面对极具弹性的存储需求和性能要求下，传统数据中心单机或者独立的SAN存储设备基本无法满足大数据处理的需要。如同数据库系统一样，独立的存储设备在性能和数据存储容量等方面都面临着一定的瓶颈。
传统数据中心通常为集中式存储架构，单台SAN或IPSAN存储设备通常配置2-8个控制器，通过存储扩展柜进行容量扩展。如果增加性能，需要增加控制器和缓存，甚至需要更换存储设备型号为高端存储。按照集中式的存储架构，单台存储的性能和扩展能力是有限的，一般达不到线性扩展。随着存储容量的增加，存储的性能会先增加然后达到一定瓶颈后逐渐降低。因为一开始大量的磁盘增加会提升存储整体读写性能，但是当磁盘性能达到控制器的性能后会严重影响控制器对数据的处理和运行，性能会逐渐下降。
面对海量PB级数据，如果使用传统独立SAN存储设备，要么扩展能力达不到，要么扩展能力可以达到海量PB级别，但是容量和性能不会线性增长，而且以后存储扩容和运维成本也非常高。
面对数据中心越来越多的大数据业务增长需求，首先要能存得下大量数据。传统的存储系统容量是有限的，又无法跨越多个存储设备，即使利用虚拟化技术做存储资源整合，那么单位存储成本也会非常高，而且数据处理性能有限。
以Hadoop为例，这是一款比较成熟而且应用比较多的大数据处理的分布式开源软件。其最底部是HDFS分布式存储。HDFS的设计本质就是为了大量的数据能够分布式存储而存在的。HDFS可以将数据存放在很多不同的机器上。而用户不必关心具体的数据在哪，HDFS会管理这些数据。HDFS是一个高度容错的分布式存储系统。可以分布式部署，以流式访问模式访问应用程序的数据，可以大大提高整个系统的数据吞吐量，非常合适用于具有超大数据集的应用中，而且随着整个分布式存储系统的扩展，容量和性能会成正比进行线性增长，非常适合大数据类的业务处理和应用。
基于分布式架构的数据库和存储都是未来数据中心必不可少的发展方向之一，没有分布式架构，数据中心就没有能力管理大数据。
3.3 分布式安全网络
基于云计算技术数据中心为应用部署带来了灵活性和资源弹性配置，提高了硬件资源利用率，缩短了部署时间，但是同时也引入了新的安全问题。
传统数据中心网络安全是基于安全域、安全边界的防护机制，是一套纵向安全策略，只关注业务流量的访问控制，将流量安全控制作为唯一的规划考虑因素。
而虚拟化技术的大量使用使得网络边界模糊化，主要依赖横向安全策略，能够满足安全流量动态迁移到其它物理服务器。传统基于已经难以满足虚拟化环境下的应用模式，虚拟化的服务提供模式，使得对使用者身份、权限和行为的鉴别、控制与审计变得更加困难。这会导致许多基于传统数据中心的安全防护手段失效。
在云计算数据中心，多台虚拟机都在一个服务器设备内运行，虚拟机之间通过虚拟化交换机进行连接，通信流量并没有通过外部交换设备，导致传统安全设备对这部分的流量失去监控。目前大多数虚拟化软件厂商没有在虚拟机通信的东西向流量提供高效的检测和隔离方式，如果某台虚拟机出现安全问题，可能会对相关连的资源池产生严重的安全威胁。另外，虚拟机会随时迁移到其他服务器设备上，造成安全域边界的动态化，传统数据中心固定边界的防护手段也会失效。当虚拟机迁移到新服务器设备上，如果新服务器设备没有对应的安全保护策略，就可能对迁移后的虚拟机造成安全威胁。
为解决云计算数据中心存在的安全问题，需要采用分布式的方式部署安全管理软件或系统。通常分布式网络安全产品由集中管理平台+分布式安全管理软件组成。集中管理平台负责安全策略的集中管理，并对安全策略的迁移功能提供支持。同时接收虚拟化安全设备的日志以及统计信息，并分析整个数据中心的安全态势。
安全软件是以分布式的形式部署虚拟机和虚拟化平台上，可以克服传统物理安全设备的局限，更贴近虚拟机的位置，利用引流或者重定向机制，获取所有虚拟机的流量，实现分布式的安全防护。
3.4 分布式云数据中心
传统数据中心为了做到业务高可用，保证业务连续数据，防止数据丢失，通过采用“同城主备/双活数据中心”或者“两地三中心”的架构。但是不管采用哪一种架构方案，都会产生一定的IT资源浪费问题。“主备数据中心”，解决了业务连续性问题，但是平时只启用一个数据中心资源，另外一个做备份。“双活数据中心”，解决了业务高可用问题，但是两个数据中心需要部署和运行同样业务，同样会浪费一个数据中心的资源。“两地三中心”，同时最大程度的兼顾业务和数据安全，但是IT资源浪费最严重。
在分布式云数据中心概念里，多个数据中心不再是主/备或者双活的关系，而是通过云计算技术、广域网二层网络互连（大二层）技术和数据复制技术，将多个数据中心组建成一个分布式的跨中心和地域的“虚拟资源池”。所有业务和数据都可以按需被分配到不同的数据中心，实现比“双活”或者“两地三中心”更优的业务部署方案。
基于分布式架构的云数据中心以往可能受技术限制，难以实现。但是随着各种技术的不断发展，难度已经大大降低，完全可以实现。主要考虑三个问题：业务访问网络，大二层网络和数据同步复制。业务访问网络可以通过全局负载均衡GLSB和智能DNS实现不同区域的本地访问，使用大二层互联网络技术可以解决虚拟机迁移问题。数据同步复制可使用微服务+容器+分布式存储复制技术解决。通过微服务解耦业务，无状态应用使用容器通过大二层网络进行迁移，有状态应用可以跟随虚拟机进行迁移，冷数据尽量集中存储，共享访问，避免过多的数据迁移。
目前已经有可以落地的方案帮助企业实现分布式架构的云数据中心。同时还可以实现数据中心资源利用率的最大化，降低运维和管理成本，更好的保证业务的连续性。
3.5 两种架构的主要区别
通过上述对集中式和分布式架构在资源处理能力、业务支撑能力、安全管理能力、可用性和一致性、运维和管理等多个方面的分析可以看出：
集中式架构在系统复杂度、数据一致性、安全措施实施方便性和运维管理复杂度等方面有一定优势。分布式架构在资源使用成本和扩展能力、业务部署的灵活和系统可用性等方面具有明显优势。而且集中式架构的复杂性可以通过加强管理和设计降低复杂度，安全措施则可以通过增加安全系统和手段加强控制，数据一致性则需要通过先进的分布式系统与大规模运维平台来支持，当然前提是需要牺牲一定的可用性，这也是分布式架构面临的一个挑战，下文我们会进行详细论述。
四、分布式架构建设的挑战
随着数据中心信息系统数量的增加和处理数据量越来越大，分布式架构的优势会越来越明显。但是越是先进的架构所面临的挑战也就越大，由于分布式架构采用多节点设计，这种架构最大的难点是会导致数据一致性和可用性上的挑战，所有的分布式架构设计都绕不开这两个挑战。
在分布式架构中，有一个非常著名的CAP理论（又被称作布鲁尔定理），定义如下：
对于任何一个分布式计算系统，不可能同时满足以下三点：一致性（Consistency)、可用性（Availability）和容忍网络分区（Partitiontolerance）。
一致性通常指数据一致性，即要求所有节点数据保持一致。可用性即要求每个节点在故障时都可以提供服务。容忍网络分区，通常指各个节点之间的网络通信性能。
根据CAP理论，分布式系统只能满足其中两项而不可能满足全部三项。
CP模型：不考虑A（可用性），多个节点之间数据具备强一致性。如果某个节点故障，那么就将这个故障节点丢弃（不考虑A），否则会导致各个节点之间数据同步被无限延长。为了保证数据的一致性，大多数金融行业的分布式关系型数据库采用这一模型，
AP模型：不考虑C（一致性），多个节点之间要求高可用。如果某个节点故障，并与其他节点失去联系，为了保证节点的可用性，会放弃全局数据一致性（不考虑C）。节点访问并使用本地节点数据，各个节点数据会导致不一致。大多数非关系型的数据库采用这一模型，因为不需要高度的数据一致性。
CA模型：不考虑P（容忍网络分区），两个或多个节点之间要求必须具备可用性的同时又要求数据一致。如果某个节点故障，为了同时保证可用性和数据一致性，那么只能对分布式网络进行强制分区，划分成多个不同的分区来保证C和A，会导致分区被割裂。
由以上几个模式可以看出，在分布式计算环境下，P是必须要现实的，否则分布式网络节点通讯就会出现问题，所以只能在C和A之间做出选择，即选择CP模型或者AP模型，实际的选择需要根据自身的业务场景来根据各个不同的模型特点进行取舍。
对于一些离线的应用或者对可用性要求不高的业务，可以采用CP模型。这一类模型相对简单，但是应用场景也有限。例如日志数据分析系统，大部分数据都在本地，我们只需要在分布式架构中配置一定的冗余节点和恢复机制即可。如果某个节点出现故障，分析系统会自动等待其他备用节点恢复后再继续运行，因为短时间停止不会对系统产生太多影响，但是各个节点分析的数据要求必须保持一致性。
在数据中心，核心系统和重要业务系统占比较大，如果采用分布式架构，可能即需要高用性也要求数据一致性，这是分布式架构设计最大的一个挑战。
以金融行业为例，保证业务的连续性和高可用性是非常重要的一个需求，可以采用AP模型进行设计。但是数据一致性也是要尽量保证的，因为金融系统如果数据不一致，会产生严重的数据问题。关于数据一致性，在分布式架构中可以按程度分为强一致性、弱一致性和最终一致性。为了保证金融系统的高可用和业务连续性，数据强一致性很难达到，弱一致性又无法满足要求，做为取舍，可以实现数据的最终一致性。在分布式系统中，数据会被存储在多个节点，各个节点的数据被应用修改后，最终一致性不要求各个节点同时更新数据，只要求尽快将各个节点更新后的数据分布到整个系统中，这样在保证系统可用性的同时会实现数据的最终一致性，保证金融行业对数据要求。当然，并不是所有的金融业务都可以采用最终一致性的方案，例如核心实时交易系统，必要要求实时处理数据并保持强一致性，这也是目前大多数金融机构核心交易系统还在使用集中式架构的原因。
分布式云数据中心在建设过程中同样也面临一些挑战，主要包括网络、存储和计算三个方面：
在网络方面，多个分布式云数据中心之间的通信是个问题。需要考虑多个不同区域的网络访问接入、负载均衡问题。还要满足分散在多个云数据中心之间的业务通信和切换的需要。目前主流的技术方案是以大二层网络技术为主，打通多个数据之间的网络，形成一个统一的逻辑网络。但是目前各个网络设备厂商之间的大二层网络和协议不统一，设备兼容性有一定的问题，这也是分布式云数据中心改造所需要解决的一个问题。
在存储方面，数据实时同步，实现统一的存储资源共享并建立高可靠性的数据保护机制，是一个比较严峻的挑战。多个数据中心可能分散在不同地域，各个数据中心之间的网络带宽有限，可能无法做到数据实时同步，只能采用异步传输。那么数据一致性和完整性可能就等不到保证。上文提到的应用解耦+微服务架构可以解决一部分问题。但是对于传统的无法进行微服务改造的应用仍然是个难题。在数据一致性和可用性上可能需要一些取舍。
在计算方面，目前技术相对成熟。将资源云化以后，利用云计算技术可以实现对计算资源在多个云数据中心的统一调度和管理。还可以设定权限，进行精细化管理。在计算方面的一些挑战，通常指对计算资源的管理。例如在某一个应用出现故障时，是将这个资源在本地进行重建还是在其他云数据中心进行迁移和重启，因为这会影响到各个节点的其他业务访问，需要提前进行统一的规划和安排。
五、结束语
相对于传统数据中心，构建分布式架构的云数据中心是非常有必要的，它影响着数据中心建设的方方面面。在未来，没有分布式架构的数据中心一定不会是一个优秀的数据中心。通过云计算技术的不断发展与实践，我相信分布式架构一定会成为数据中心的未来发展方向。即使未来数据中心的架构不是完全分布式的，但是分布式架构也绝对不会缺席，一定会有分布式架构的一席之地。
点击文末阅读原文，可到社区原文下提问交流
觉得本文有用，请转发或点击“在看”，让更多同行看到
资料/文章推荐：
数字化浪潮下的架构融合浅谈—分布式与集中式、微服务与巨石，对峙是偏狭，融合是趋势！
http://www.talkwithtrend.com/Article/240709
欢迎关注社区 “分布式架构”技术主题 ，将会不断更新优质资料、文章，您也可以前往提出疑难问题，与同行切磋交流。
地址：http://www.talkwithtrend.com/Topic/135
下载 twt 社区客户端 APP
长按二维码关注公众号
*本公众号所发布内容仅代表作者观点，不代表社区立场