云计算技术浅析
一次性进群，长期免费索取教程，没有付费教程。
教程列表见微信公众号底部菜单
进微信群回复公众号：微信群；QQ群：460500587
微信公众号：计算机与网络安全
ID：Computer-network
云计算技术可以实现IT资源的自动化管理和配置，降低IT管理的复杂性，提高资源利用效率。云计算代表着一种数据存储、计算能力，大数据结合云计算，这是时代发展的必然趋势。
一、云计算定义
由于云计算涉及众多的领域和应用场景，而且各类厂商代表各自的不同利益，使得云计算迄今为止并没有一个权威性的定义，不同的组织从不同的角度给出了不同的定义。
1、维基百科
云计算的思想最早起源于电话网，业界将透明的、黑箱的电话传输网称为云。云在过去代表电话网络，后来又被用来在计算机网络图中作为互联网底层基础设施的抽象化表示，如今云计算的范畴已经扩展，不仅涉及网络基础设施，还包括服务器。
简言之，云计算是一种基于互联网的计算新方式，通过互联网上异构、自治的服务为个人和企业用户提供按需即取的计算、软件和信息。
2、咨询机构
Garnter定义云计算是一种使用网络技术并由IT使能而具有可扩展性和弹性能力，作为服务提供给多个外部用户的计算方式。
IDC定义云计算是一种新兴的IT技术发展、部署及发布模式，能够通过互联网实时地提供产品、服务和解决方案。
NIST定义云计算为：云计算模型能以按需方式，通过网络方便地访问云系统的可配置计算资源共享池（如网络、服务器、存储、应用程序和服务）。同时它以最少的管理开销及最少地与供应商的交互，迅速配置提供或释放资源。
3、运营商角度
由于业界对云计算没有统一的共识，电信运营商从网络基础设施、运营可信、服务支撑多因素分析，提出以下云计算定义。
云计算是一种新的计算方法和商业模式。通过虚拟化等技术按照“即插即用”的方式，自助管理运算、存储等资源能力形成高效资源池，以按需分配的服务形式提供计算能力，并且可通过公众通信网络整合IT资源和业务，向用户提供新型的业务产品和新的交付模式。
二、云计算特征
云计算典型特征包括资源共享、按需分配、弹性调度、服务可扩展等，下面对其简要介绍。
（1）资源共享
云计算可以类似于水电等基础设施行业，提供公共计算能力，能够充分利用闲置的资源，通过共享方式进行服务。
（2）按需分配
云计算可以依据云应用的资源情况，主动调整、调度资源分配，支持根据应用要求快速配置资源，并能适应要求弹性分配资源。
（3）弹性调度
云计算通过虚拟化技术实现资源的快速迁移，减少故障的风险。
（4）服务可扩展
“云”的规模可以动态伸缩，满足应用和用户规模增长的需要。
（5）普遍接入
云计算接入的地域不受限制，可以在任意位置使用各种终端获取应用服务。
（6）系统安全
云计算可以保障数据传输的安全，并选择适合的加密手段保证系统的安全。
（7）地理分布
云计算提供的资源地理是分布式的，通过虚拟技术统一融合。
三、云计算架构
云计算经典架构如图1所示。按服务方式划分，自下而上分为基础设施即服务层（IaaS），平台即服务层（PaaS），软件即服务层（SaaS）。需要说明的是，服务方式这几个层次并没有严格的依赖关系，如PaaS可以构建在IaaS之上，也可以直接构建在数据中心之上；SaaS可以构建在IaaS之上，也可以构建在PaaS平台之上（统一的运行环境和数据模型）。
图1 云计算架构
如按部署方式分类，可分为公共云、私有云和混合云。
1、按照服务方式分类
（1）IaaS
IaaS以服务的形式提供虚拟硬件资源，这些资源如虚拟主机、存储、网络、数据库等。用户无需购买服务器、网络设备、存储设备，只需通过互联网租赁即可搭建自己的应用系统。
（2）PaaS
PaaS是指云计算服务商把公有的能力进行提取，以开放的接口，提供给个人及第三方进行开发及使用。如提供互联网应用程序接口（API）或运行平台，用户基于服务引擎构建该类服务。
（3）SaaS
SaaS 是一种通过 Internet 提供软件的商业模式。厂商将应用软件统一部署在自己的服务器上，客户可以根据自己实际需求，通过互联网向厂商定购所需的应用软件服务，按定购服务的多少和时间长短向厂商支付费用，并通过互联网获得厂商提供的服务。用户不用再购买软件，而改用向提供商租用基于Web的软件来管理企业经营活动，用户也无需对软件进行维护，服务提供商会全权管理和维护软件。软件厂商在向客户提供互联网应用的同时，也提供软件的离线操作和本地数据存储，让用户随时随地都可以使用其定购的软件和服务。对于许多小型企业来说，SaaS是采用先进技术的最好途径，它消除了企业购买、构建和维护基础设施和应用程序的需要。在这种模式下，客户不再像传统模式那样花费大量投资用于硬件、软件、人员，而只需要支出一定的租赁服务费用，通过互联网便可以享受到相应的硬件、软件和维护服务，享有软件使用权和不断升级，这是网络应用最具效益的营运模式。
2、按照部署方式分类
（1）私有云
私有云是指企业自己使用的云，它所有提供的服务不是供外部人员使用，而是供企业内部人员或分支机构使用。私有云的部署比较适合于有众多分支机构的政府部门或大型企业。随着这些大型企业数据中心的集中化，私有云将会成为企业部署 IT 系统的主流模式。
（2）公共云
公共云是指为外部用户提供服务的云，它所有的服务是供外部人员使用，而不是企业自用。对于使用者而言，公共云的最大优点是其所应用的程序、服务及相关数据都存放在云服务提供商处，自己无需做相应的投资和建设。
（3）混合云
混合云把公用云模式与私有云模式结合在一起，是可供自己和用户共同使用的云服务。相比较而言，混合云的部署方式对提供者的要求较高。
四、云计算与相关技术
见证过单机计算、并行计算、分布式计算、网格计算的盛行与衰落，云计算可以认为是上述计算的延伸（如图2所示），下面对这些计算技术进行介绍，并将云计算与相关的技术进行对比。
图2 计算技术的演化
1、单机计算
最初的计算时期，各个计算节点相互独立，计算由单机独立完成，由于缺乏协作，单机计算能力有限，但是单机属于封闭式系统，具有较好的安全性能。目前单机计算仍旧是一种广泛使用的计算方式。
2、并行计算
并行计算是指同时使用多种计算资源处理问题的过程。传统地，串行计算是指在单个计算机（具有单个中央处理单元）上执行软件写操作。CPU 逐个使用一系列指令解决问题，一次只能执行一条指令。并行计算是相对于串行计算而言的，并行计算分为时间上和空间上的并行。时间上的并行就是指流水线技术，而空间上的并行则是指用多个处理器并发的执行计算。目前的并行计算主要指后者，即将计算任务分成多份，并提交到多个计算节点进行处理，但此方式划分的任务之间具有很强的关联性，容错性较差，导致并行计算的价格较高，目前此计算模式多使用于科学计算中。
3、分布式计算
分布式计算就是在两个或多个软件互相共享信息，计算任务既可以在同一台计算机上运行，也可以在通过网络连接起来的多台计算机上运行。分布式计算可以实现稀有资源共享，实现任务的平衡计算负载，共享稀有资源和平衡负载是计算机分布式计算的核心思想之一。
4、网格计算
网格计算是伴随着互联网而迅速发展起来的，它是一种专门针对复杂科学计算的新型计算模式，利用互联网把分散在不同地理位置的计算机组织成一个虚拟的超级计算机，其中每一台参与计算的计算机就是一个“节点”，而整个计算是由成千上万个“节点”组成的“一张网格”，所以这种计算方式被称作网格计算。这样组织起来的“虚拟的超级计算机”有两个优势：一是数据处理能力超强；二是能充分利用网络中的闲置处理能力。
5、云计算与相关技术关联和比较
单机计算是计算的初始的计算形态；并行计算与分布式计算基本原理一致，但分布式计算分割的任务相互独立，通过将任务分配至多个计算节点进行计算而后进行结果验证，以保证运算的稳定性，与并行运算的分割任务相互关联；网格计算是分布式运算的延伸，通过利用计算节点的部分技术资源，组成超级计算处理器来进行运算。
（1）云计算与网格计算
云计算与网格计算的比较如表1所示。
表1 云计算与网格计算比较
（2）云计算与分布式计算、并行计算
分布式计算是在一个松散或严格约束条件下使用一个硬件和软件系统处理任务，这个系统包含多个处理器单元或存储单元、多个并发的过程、多个程序。一个程序被分成多个部分，同时在通过网络连接起来的计算机上运行。分布式计算类似于并行计算，但并行计算通常用于指一个程序的多个部分同时运行于某台计算机上的多个处理器上。分布式计算通常必须处理异构环境、多样化的网络连接、不可预知的网络或计算机错误。
此外，云计算强调基于虚拟化等技术，在分布式的硬件环境上提供共享资源服务。
（3）云计算与P2P技术
P2P 技术也属于分布式计算的一种，对互联网产生了巨大影响，它和云计算既相似又有不同。
1）在架构上，云计算与 P2P 理念不同。云计算以服务器集群为中心，计算和数据存储都由网络中的云端完成，终端可以只实现输入输出。而P2P强调去中心化理念，实现对终端能力的充分挖掘，网络只是传输管道。
2）服务质量上，P2P 网络具有天然的高动态性，这种动态性导致 P2P 的应用性能存在天然缺陷；云计算的服务器集群具有高度的稳定性，这使得基于云计算实现的应用范围要更为广阔。
3）在对网络流量的效果上，P2P产生的流量具有上下行趋于相等的趋势，而云计算服务器之间是分布式结构，但对外类似C/S模式，流量具有天然的非对称特点，符合现阶段的网络带宽特点。
在对运营商的影响上，P2P 对运营商产生的冲击就是再扩容，对运营商网络产生了无限的带宽需求，P2P 占用了大部分网络带宽，但运营商却没有获得更多的收益；而云计算的发展建设会加剧对超大规模数据中心的需求，为运营商带来新的商机。
五、云计算与大数据
数据已经成为从工业经济向知识经济转变的重要特征，是当今时代最关键的生产要素和产品形态。在大规模生产、分享、应用数据的时代，从社交网络、微博、即时通信工具上可以随时随地发送消息、分享照片、传送视频，每一刻都产生多种格式的数据，每个人都成为了数据的创造者和使用者。
自计算机发明以来直到大数据时代之前，我们面对的数据大多数是有结构的，这类数据逻辑性强，存在较强的因果联系。典型的例子是运营商客户关系系统中记录着用户的号码、开户时间、开户地点、套餐类型等信息。而现在我们所面对大多数数据都是非结构化的，这类数据具有随时、海量、弹性、不可控制的特点。典型的例子如某一时刻的交通堵塞、天气状态、一个社会事件产生的互联网数据（微博、图片、文章、音乐、视频）等。据 IDC 等国外咨询公司预测，非结构化数据所占比例超过80%，而这一比例还在逐渐加大。
目前，主要由非结构化数据组成的大数据颠覆了传统的IT世界，挑战着企业的存储架构、数据中心的基础设施，影响着数据挖掘、商业智能、云计算等各个应用环节。业界普遍共识，大数据将是继云计算、物联网之后信息技术领域的又一热点。大数据是信息技术未来发展的战略走向，将催生下一代价值数万亿美元的软件企业，以大数据为代表的数据密集型科学将成为新一次技术变革的基石。
谈到大数据，不可避免的要提及云计算技术，云计算结合大数据，这是时代发展的必然趋势。
云计算技术可以实现IT资源的自动化管理和配置，降低IT管理的复杂性，提高资源利用效率；大数据技术主要解决大规模的数据承载、计算等问题。云计算代表着一种数据存储、计算能力，大数据代表着一种数据知识挑战，计算需要数据来体现其效率，数据需要计算来体现价值。云计算与大数据的关系包括两个层面。
1）云计算的资源共享、高可扩展性、服务特性可以用来搭建大数据平台，进行数据管理和运营；云计算架构及服务模式为大数据提供基础的信息存储、分享解决方案，是大数据挖掘及知识生产的基础。
2）大数据技术对存储、分析、安全的需求，促进了云计算架构、云存储、云安全技术快速发展和演进，推动了云服务与云应用的落地。
1、云计算技术是大数据处理的基础
云计算技术是大数据处理的基础，现有大数据平台广泛地使用云计算架构及云计算服务。如使用Hadoop存储和处理PB级别的半结构化、非结构化的大数据；使用MapReduce将大数据问题分解成多个子问题，然后将子问题分配到成百上千个处理节点之上，最后再将结果汇集到一个小数据集当中，从而更容易分析得出最后的结果。目前，Hadoop已经成为AOL、Facebook、Twitter和Netflix等公司大数据分析的主要解决方案。
此外，对于短期大数据处理项目，如果数据处理需要大量的计算资源和存储资源，云平台是唯一可行选择。在项目启动期间，可以迅速获得云中的存储空间和处理能力，而在项目结束之后，可以迅速释放这些资源和能力。
随着云计算技术的不断成熟，云服务性价比、可扩展性、灵活性和可管理性的不断提升，越来越多的应用和数据将迁移至云中，云计算和大数据将会更紧密地耦合。
2、大数据是云计算的延伸
大数据技术涵盖了从数据的海量存储、处理到应用多方面的技术，如海量分布式文件系统、并行计算框架、NoSQL数据库、实时流数据处理、智能分析技术等。由此可见，大数据技术与云计算的发展密切相关，大数据技术可以看作是云计算技术的延伸。
以电信运营商为例，大数据技术可以为运营商带来新的机会。目前，运营商已经搭建云计算平台，存储海量网络运营数据、用户语音数据、移动用户上网数据。运营商可以使用大数据技术进一步对云平台中的数据进行应用、挖掘，运营商的数据应用可以涵盖多个方面，包括企业管理分析如战略分析、竞争分析，运营分析如用户分析、业务分析、流量经营分析，网络管理维护优化如网络信令监测、网络运行质量分析，营销分析如精准营销、个性化推荐等。
云计算技术的发展落后于产业界的期望，因为安全、可靠问题还不能打消用户的疑虑，那么大数据技术的需求可能会加速云计算的发展，引发云架构的演进，在大数据发展的初期，大数据可能成为云平台上的杀手级应用。
微信公众号：计算机与网络安全
ID：Computer-network
【推荐书籍】