时间:2023-10-16 16:01:38
引言:易发表网凭借丰富的文秘实践,为您精心挑选了九篇云计算的基础架构范例。如需获取更多原创内容,可随时联系我们的客服老师。
关键词:政府 云计算 虚拟化 架构
自2007年云计算概念提出以来,云计算产业链在中国发展至今已初具规模,特别是企业私有云市场,虽然还没有出现一个在云计算市场拥有绝对优势的拳头产品,但百家争鸣,百花齐放的局面正预示着云计算的建设正胁潮涌之势而来。在继一些大型IT企业之后,越来越多的政府开始走向云,并且有更多的应用在向云靠拢。截止到2012年,已经有北京、上海、成都、杭州、青岛和西安等城市在政府应用云平台方面进行了积极的探索,总结出了一些成功的经验。在大家热烈讨论云计算技术能带来什么丰硕成果的同时,就政府云计算基础架构的建设方式在业界也未形成一个相对一致的说法。但众所周知,一个高效稳定的基础架构平台对于其上的应用和业务运营是至关重要的,而搭建这样一个基础架构的成本也是必须考虑在内的。
首先我们先来谈谈使用最普遍的x86架构,廉价、开放、标准化、简单易用,x86所具备的这些优点使其成为了众多云计算用户的最佳构架选择。目前,决大多数的大规模云的构建也都是基于x86架构的,例如亚马逊、微软、Google、百度、阿里巴巴等。但是,使用最多就是最好的吗?也不尽然,x86在人才资源、总体成本上是有优势,但一旦大规模部署后,由于单台服务器的性能问题,只能依靠大规模来实现计算能力和存储扩展,这样相应的就会带来一些管理和稳定性方面的问题。由于x86架构服务器系统的稳定性不如小型机系统,因此还需要有完善的备份和容错方案。这些都是x86在云计算架构中不可避免的问题,而这些问题的解决方式只能依靠第三方来进行。作为x86架构的忠实拥趸,VMware或许是能解决这些问题的最好方式。毕竟在x86平台虚拟化市场上,VMware的占有率超过了85%,而作为VMware虚拟化和云计算的核心系统平台,vSphere已经成为虚拟化平台的一个事实上的标准。2012年7月13日,VMware正式云基础架构套件,这标志着VMware从虚拟化向云计算的全面转型,其中的VMware vShield安全解决方案对云计算环境提供了全面的保护方案,但能否实现预期的效果,还有待市场的检验。总之,x86平台对于缺少更多技术支持的部门而言是不错的选择,首先平台搭建相对快捷简单、易于维护,其次又可以保持构架的灵活性和可扩展性。
相对分布式的x86架构而言,以IBM的Power架构为首的集中式构架方式在关键性核心业务上有着更大的可靠性及稳定性优势。很多人认为,政府部门没有那么多像很多大型企业那样的对计算性能和技术支持要求较高的业务,Power架构的优势有时候得不到体现。其实不然,随着政务信息化的推进,这几年很多大规模的政府部门应用系统陆续上线,这些业务应用系统涉及的人员范围、地域范围都很大,影响面也很广,而且业务也相对单一,对于这类重点业务,Power架构将是不错的选择,它能更好的满足业务的RAS(可靠性、可用性、稳定性)要求。Power架构所提供的虚拟化环境所使用的是IBM自己的PowerVM虚拟化软件,这在系统稳定性方面就有先天的优势,其先进的自动化管理功能,可以使资源池达到良好的利用,最终形成自适应、自服务的云计算基础架构。除了这些关键性业务,对数据库领域而言Power架构也具有更大的I/O吞吐量和稳定优势,尤其是基于关系型数据库的关键应用。如果我们在x86架构的横向扩展出现瓶颈时,再考虑向Power上进行迁移,迁移所付出代价恐怕不止是新建一套Power虚拟机那么简单了。当然,Power架构对云计算人才的要求是很高的,但是相对于那种大规模的x86云平台,维护它所需要的人力资源却少很多。就好比用一个在AIx系统及虚拟化方面技术很强的人维护1台Power计算机和用10个技术一般的人维护10台x86服务器一样,到底那种方式更节约成本,更能很好的实现管理就只能靠自己判断了。
我们都知道,云计算的最终目的是整合IT资源及应用,使其发挥更大的效能。在政府部门也一样,庞大的IT资源不仅耗资耗能巨大,对其很好的管理也是一个麻烦的问题。就笔者所在的单位而言,光服务器设备就有80多台,加上为之服务的网络及存储设备就足足填满了一个200平方的机房。 在进行虚拟化改造建设之前,我们就单位信息化应用的现状分析,发现服务器架构存着机器部分老化,故障率偏高;系统可用性、兼容性差;系统结构复杂;运行成本高;电力资源紧张;维护工作量大等等问题。
为了解决以上问题,我们决定使用虚拟化技术打造单位的云平台。考虑到单位这种已经存在大量业务应用的情况,我们在建设云计算平台过程中采取了循序渐进,避开关键业务,在不断探索过程中逐步推进的方式。根据如今政府的情况,一般都是自购服务器、各自有自己的信息中心负责运维。很多部门为了保证业务的正常运行,都花费很大的资金在容灾备份之上,这当中存在着诸多的浪费,很多高端的服务器及存储设备其实只用到了很少一部分的硬件系统资源,为了提高服务器的利用率,利用这部分高端硬件搭建云计算环境是对资源充分利用的一个好办法。比如我们先可以利用原有的IT资源,搭建相对简单的x86的云架构,在这个过程中会遇到一些无法绕过的问题,比如数据迁移、数据的隔离和控制等等,通过一些具体实践,我们可以同时积累部分云计算的人才和经验,为今后全面推行云计算打下基础。在关键性业务上, 我们可以直接部署IBM Power架构,其实Power并不像很多人想象的那么高深,IBM为了帮助用户快速构架基于Power的云平台,推出了从应用出发的解决方案以提升用户在应用部署、日常维护方面的易操作性。不过,不能否认的是,相比x86,Power平台在后期维护、管理上还是要更难一些,需要更加专业的管理人员。我们的数据库系统就是利用两台IBM小机进行Power架构的部署,实施期间,AIX系统及Power虚拟化软件确实让人头疼不已,但一旦部署成功,其I/O大吞吐量,高稳定性的特点也确实为用户带来了全新的体验。
对于云计算基础架构,套用一句老话:没有最好,只有最合适。这点在政府机构也同样适用。不管是x86还是Power架构,其实通用才是云平台最核心的要求,只有满足了能够将软件部署在不同的硬件和系统上的要求,这才是真正意义上的云计算平台。
参考文献:
关键词:银行业务 ;批处理流程;Hadoop MapReduce ;云计算
中图分类号:TP302文献标识码:A文章编号文章编号:16727800(2013)0010000104
作者简介:赵曦(1971-),男,博士,上海金融学院信息管理学院副教授,研究方向为互联网金融应用。
0引言
随着大型商业银行业务规模的扩大和信息技术的发展, 数据中心已经成为大型商业银行业务系统与数据资源进行集中业务处理的枢纽,汇集了规模化的IT计算、存储和网络资源。
银行主要承担本外币储蓄、信用卡、对公存贷款业务,银行汇票及联行业务,国际结算和外汇买卖,代收代付等业务 [1]。银行业以网络和信息技术作为其业务处理的核心支撑,形成了前端业务信息采集、中端数据交换和数据中心处理“分布采集、集中处理”模式。随着业务量的增加和金融新产品的涌现,业务管理和信息处理“大集中”后对流程处理效率、系统扩展性和数据存储可靠性提出了更高的要求。金融行业特别是银行业在处理在线联机业务(online transaction)的同时,还需要处理大量的离线批处理业务(batch processing),如影像文件处理、票据结算、外汇清算、薪资、各类报表,批处理业务具有数据量大、占用计算资源多、限时处理完成的特点,银行信息中心通常要配备足够的资源在特定时间段(夜间、周末、月末)进行批量业务数据处理。如何提高批处理业务能力、合理配置计算资源是银行信息中心不断要面对的挑战。
以计算资源和服务虚拟化为核心的云计算架构和技术得到了广泛的认同,正在成为IT产业和信息化应用系统架构的发展趋势,实践表明,基于云计算架构的系统在资源利用、服务效率、运行成本及能源消耗方面具有明显的优势。
本文提出了一种应对批量业务流程处理的优化方法,基本原理是将业务流程的任务节点进行分解和分类,形成流程队列和若干可以进行并行处理分类任务队列,使用Hadoop MapReduce并行计算框架进行并行处理,MapReduce提供的资源调度和容错机制能够有效提高业务处理系统的可扩展性和稳定性。模拟实验表明,流程任务分解优化方法比通常的以流程为处理单元的方式具有一定的优势,可以在云计算环境下分组处理具有共同特征的计算和操作任务,实现优化资源调配,提高批量业务处理的效率。
1批处理业务流程优化
批量业务处理是指一组遵循同一处理流程的重复操作,而涉及的业务流程是一组将输入转化为输出的相互关联或相互作用的活动,活动之间不仅有严格的先后顺序限定,而且活动的内容、方式、责任等也都必须有明确的安排和界定,以使不同活动在不同角色之间进行交接成为可能,批量处理业务流程活动之间的转移不需要人工干预。处理流程中的活动根据数据处理的要求和特点进行设计,如先进行数据核对,然后进行计算,最后进行账户操作,每个活动会产生临时数据。为了提高处理能力和资源使用效率,流程活动设计尽可能遵循以下几个原则:
①独立于其它流程和活动,可进行重复操作;②使用较少类别的计算资源,CPU、网络、存储;③能够进行并行处理。
图1示意了批量流程处理的原理,银行信息中心在每个批处理周期安排若干批处理的规划,配置计算资源,启动和监控批处理过程。每个批处理中包括对应同一处理流程的批量处理任务。
银行信息中心根据资源配置情况,安排批处理规划中的批处理执行,可以做到并行处理,以满足处理时限的要求,每个批处理分配固定的或虚拟化的资源(服务器、CPU、存储、外设),当现有资源不能满足批处理要求时,则需要不断增加资源。这种以批处理流程为单位来决定资源配置的模式(图2)不一定能够确保资源的高效使用,如:需要大量CPU计算的流程同时配置I/O性能较高的资源,造成I/O资源的浪费。经过分析,可以通过优化批处理业务流程和操作来进行改进(图3),以进一步提高资源的使用效率。
以优化流程任务作为并行计算单元,形成批量处理任务队列,根据任务操作的类型来分配最适合的资源,理论上提高了资源配置的精细程度,有助于提高资源使用效率。
2基于MapReduce的批处理优化计算
为了验证提出的以流程任务为基础配置资源的批处理运算架构(图3),我们搭建了Hadoop/MapReduce并行计算实验环境,通过模拟批处理业务,对两种资源配置模式进行比较。
Hadoop[6]云计算平台的核心由HDFS分布存储和映射机制及MapReduce并行计算架构组成,具有开放性、稳定性和扩展性方面的优势,成为了云计算研究和应用的重要平台之一,其架构与提出的批处理流程优化模型吻合程度高。
MapReduce[8]通过两个函数Map和Reduce提供并行计算框架, 将计算任务(Job)分解为可以进行独立和并行计算操作集合(Tasks),提交给Map函数处理,而Reduce函数收集、整理、排序Map函数的计算结果。其基本功能是按一定的映射规则将输入的 (k1,v1)键值对转换成另一个或一批list(k2,v2)对输出,而Reduce将一个或多个Map输出的list(k2,v2)转换为新的键值对list(k3,v3),作为任务计算的输出[2]。
一种基于C++的脚本语言和解释器封装了实现上述功能的基本功能函数,用来描述任务的执行操作。根据上述模拟批次规划和流程节点类型,得出计算队列表。
硬件计算架构使用5台Ubantu Linux服务器提供Hadoop MapReduce并行计算平台,1个NameNode和4个DataNode,网络环境为100M局域网,通过SSH实现服务器之间的连接、控制和HDFS数据复制,流程和任务队列管理程序运行在NameNode上,Map和Reduce实现分布在DateNode上。图7所示为流程优化模拟架构。
平台模拟了以业务流程为处理单元和任务分解优化两种计算架构,使用同样的模拟流程和数据,同时检测了当一个DateNote服务器宕机时的任务容错机制和性能,表4汇总模拟运行的比较数据。
图7Haddop MapReduce流程优化模拟系统架构
流程最短处理时间指流程任务按照关键逻辑路径执行需要的累计时间,当一个任务处理完成后才能激活后续节点任务。以流程为单位的队列处理模式在4个DataNode平均分配流程,每个DataNode处理的流程数量几乎均等,资源的使用率也相同。任务优化分解方法形成了7个任务队列,DateNode资源分配按照优先资源对照表3进行。
流程平均处理时间指进入流程队列到所有任务处理完毕的时间,包括等待和任务处理时间,资源使用差异指CPU和I/O在高度使用和过度空闲的比例关系。
根据实验平台记录的运行数据,在同样的批处理流程和硬件架构条件下,使用业务流程分解优化的并行计算能够处理更多的事务(320min对比430min),资源的使用效率得到提高(54%对比31%),即使考虑到流程分解和多个任务队列管理的额外开销,运行结果还是表明了所提出方法的优势,为进一步深入研究和完善提供了基础。
3结语
银行批处理“大集中”后,其数量和规模不断扩大,银行信息中心不断面临IT资源优化和灵活配置的挑战,一方面要提升IT架构的资源数量和技术水平,另一方面要优化批处理的模式来更有效地利用IT资源(计算、存储、网络、I/O)。
云计算技术的研究和应用成为了IT产业发展的一个重要方向,基于云计算架构的系统在资源利用、服务效率、运行成本及能源消耗方面具有明显的优势。云计算架构的出现也引发了在信息系统设计、功能开发和维护服务的巨大变化。作为以信息化技术作为重要支撑的银行业,正在逐步尝试和分享云计算带来的各种优势。本文在此背景下,提出了一种针对银行批处理业务的优化流程分解方法。
业务流程分解优化方法通过对流程任务分组,可以为实时处理大批量流程的应用领域(银行、证券、保险、电子商务)提高处理效率,MapReduce原理为流程节点处理提供了并行计算框架,其调度和容错机制可以实现系统计算资源的高扩展性和稳定性。模拟实验表明,本文介绍的基于并行计算的优化流程分解方法比以整个批量处理流程为处理单元的方法在效率、架构和灵活性方面具有一定的优势。下一个阶段,拟将该方法进一步完善,在银行等典型批处理业务应用领域进行深化和拓展。
参考文献:
[1]李得仁.银行批量业务后台集中处理模式的实现[J].中国金融电脑 ,2012(11).
[2]李成华.MapReduce:新型的分布式并行计算编程模型[J].计算机工程与科学, 2011(3).
[3]杨志豪.一种适应数据与计算密集型任务的私有云系统实现研究[J].计算机应用研究 , 2011(2).
[4]易小华.面向MapReduce的数据处理流程开发方法[J].计算机科学与探索,2011(2).
[5]DEAN J, GHEMAWAT S. MapReduce: simplified data processing on large clusters[J].Communications of the ACM,2008, 51(1): 107113.
[6]Welcome to Hadoop MapReduce[EB/OL].http:///mapreduce/.
不会改变服务器格局
IDC(中国)行业研究与咨询服务部助理副总裁武连峰表示,虽然云计算在数据中心中已成为趋势,并且很多数据中心也在重新规划或者迁移中为服务器的采购创造了一个巨大市场,但它并不会成为改变x86和非x86架构市场格局的推手。
x86服务器的增长动力来自于互联网企业。而在私有云的建设中,由于不同的工作负载要适应不同的基础架构,大型企业仍然会按照原有的基础架构和工作负载平滑向云计算平台过渡。在各地兴起的主要为中小企业服务的云基地公有云中心也不一定都采用x86架构。
武连峰表示,虽然政府的初衷是想把云计算平台开放给中小企业做运营平台,并大量使用x86服务器,但是不少云基地主要是为以软件外包为主营业务的中小企业服务,而这些中小企业的服务对象往往是国内外的大型企业,这些大型企业对应用平台的性能有很高要求,比如编码测试是基于Unix的小型机甚至是主机系统,如果用x86服务器构建云测试平台,就不能满足其要求。那么,中小企业内部的业务是否就可以应用基于x86架构的云计算平台呢?实际情况是,中小企业一般不用公有云平台,而是采用微软、腾讯等第三方的软件。
两种云平台
谈到中国用户为什么重x86架构,而轻其他架构平台,IDC认为,包括Google和AWS在内的很多国际公共云计算平台大多采用了分布式的架构。这是由于互联网企业普遍具有自身技术实力雄厚、IT资产生命周期短、核心业务对实时性要求不高等特点。因此,互联网企业选择了适合自己的分布式计算平台,而其他行业用户的需求和互联网企业并不相同。因此用户应考虑自身的行业特征来选择适合自己的云计算架构。
IBM系统与科技部中国区行业及重点客户技术支持总经理梁建球对分布式云平台的组成做了细致分析:硬件平台为x86,操作系统为Linux/Windows,分布式数据存储都采用MySQL-CS、BigTable、HDFS以及Hadoop Map-Reduce等分布式开源软件。在应用程序层,用户需要针对新应用重新编程。在梁建球看来,上述这种分布式云平台适用于对性能、可靠性、数据一致性要求不高的应用。
此外,IBM在Power上也加强了对分布式软件的支持,比如Power小型机可以支持Linux,去年底收购的Platform Computing则在分布式计算调度和管理方面具备更大的优势。由此可见,云计算基础架构的搭建并不是一个简单的软硬件集成项目,而是一种企业IT战略的改变。
IDC在《中国云计算基础架构建设指南》中的用户调研数据显示,多数用户在选择云计算架构时,希望未来的云计算平台能够与企业现有的基础架构兼容,从而降低实施风险,同时还可以快速地从现有架构过渡到云平台上,以便节省用户的投资,缩短项目实施的周期。
云计算已经成为NGDC(下一代数据中心)的主要建设目标。IDC刚刚的《中国云计算基础架构建设指南》中列举了中国用户建设云计算的六大误区:重概念,轻本质;重实施,轻规则;重x86架构,轻其他架构;重硬件,轻软件;重虚拟化,轻管理;重创新,轻移植。在云计算进入数据中心的初期阶段,尤其是在IaaS阶段,以服务器为主的基础架构的选择成了摆在用户面前的一道博弈题:是选择x86分布式计算这种初始成本低、未来成本不可预测的基础架构,还是选择初始成本高、未来有商用软件支持的以Power为代表的小型机架构呢?
不会改变服务器格局
IDC(中国)行业研究与咨询服务部助理副总裁武连峰表示,虽然云计算在数据中心中已成为趋势,并且很多数据中心也在重新规划或者迁移中为服务器的采购创造了一个巨大市场,但它并不会成为改变x86和非x86架构市场格局的推手。
x86服务器的增长动力来自于互联网企业。而在私有云的建设中,由于不同的工作负载要适应不同的基础架构,大型企业仍然会按照原有的基础架构和工作负载平滑向云计算平台过渡。在各地兴起的主要为中小企业服务的云基地公有云中心也不一定都采用x86架构。
武连峰表示,虽然政府的初衷是想把云计算平台开放给中小企业做运营平台,并大量使用x86服务器,但是不少云基地主要是为以软件外包为主营业务的中小企业服务,而这些中小企业的服务对象往往是国内外的大型企业,这些大型企业对应用平台的性能有很高要求,比如编码测试是基于Unix的小型机甚至是主机系统,如果用x86服务器构建云测试平台,就不能满足其要求。那么,中小企业内部的业务是否就可以应用基于x86架构的云计算平台呢?实际情况是,中小企业一般不用公有云平台,而是采用微软、腾讯等第三方的软件。
两种云平台
谈到中国用户为什么重x86架构,而轻其他架构平台,IDC认为,包括Google和AWS在内的很多国际公共云计算平台大多采用了分布式的架构。这是由于互联网企业普遍具有自身技术实力雄厚、IT资产生命周期短、核心业务对实时性要求不高等特点。因此,互联网企业选择了适合自己的分布式计算平台,而其他行业用户的需求和互联网企业并不相同。因此用户应考虑自身的行业特征来选择适合自己的云计算架构。
IBM系统与科技部中国区行业及重点客户技术支持总经理梁建球对分布式云平台的组成做了细致分析:硬件平台为x86,操作系统为Linux/Windows,分布式数据存储都采用MySQL-CS、BigTable、HDFS以及Hadoop Map-Reduce等分布式开源软件。在应用程序层,用户需要针对新应用重新编程。在梁建球看来,上述这种分布式云平台适用于对性能、可靠性、数据一致性要求不高的应用。
此外,IBM在Power上也加强了对分布式软件的支持,比如Power小型机可以支持Linux,去年底收购的Platform Computing则在分布式计算调度和管理方面具备更大的优势。由此可见,云计算基础架构的搭建并不是一个简单的软硬件集成项目,而是一种企业IT战略的改变。
据IDC用户调研显示,多数用户在选择云计算架构时,希望未来的云计算平台能够和现有基础架构兼容,从而降低实施风险,并且快速过渡到云平台上。同时,从现有架构平滑过渡,从另一方面也能够满足用户节省投资和缩短实施周期的要求。
为此,IDC总结了中国云计算基础架构实施的路线图,建议用户的云计算基础架构实施过程分为五个阶段。
1. 规划阶段:将采用云计算作为企业战略问题来对待,及时获得管理层的关注与支持,并明确设置每一阶段所要实现的目标。总体而言,用户需要将云计算提升到企业战略层面上进行统筹,从业务创新和IT服务转型的高度进行规划和部署。
2. 准备阶段:根据企业行业特性,充分认知采用云计算基础架构想要获得的服务与应用。对建设云计算平台进行充分的评估,来选择云计算平台的技术架构。用户还应充分考虑自身的业务和行业特征以及现有平台状况,充分评估系统迁移的可行性,保证基础架构平台的技术连续性和核心业务的连续性。
3. 实施阶段:企业级虚拟化是云计算的基础。构建满足安全性、可靠性、扩展性和灵活性等各方面要求的企业级虚拟化平台是建设云计算的必由之路。
4. 深化阶段:在基础架构虚拟化的基础上,用户还要实现自动化的资源调配。云计算基础架构不仅是平台的虚拟化,还需要自动化的监控和管理工具对虚拟资源来进行调配。
日前,IBM在北京举办了一场POWER基础架构云媒体交流会。本次IBM POWER基础架构云媒体交流会邀请到了IBM系统与科技部大中华区Power Systems服务器产品部总经理韩忠恒、IBM中国区系统与科技部行业及重点客户技术支持总经理梁建球、IDC中国助理副总裁武连峰、IDC中国高级研究经理周震刚以及众多媒体记者分享了IDC中国云计算基础架构建设指南和IBM Power基础架构云平台的技术与实践经验。
现在很多企业一提到云计算成功模式就会联想到谷歌,继而马上认为分布式就是云计算,殊不知谷歌和亚马逊的业务应用和技术实力与自身企业存在着不同,一旦部署了分布式云平台,结果导致两个孤岛式的架构,造成资源上的浪费,虽然很快的部署了云计算,但没有达到最终的效果。建设云计算,要根据企业性质和业务应用的不同做到量身定制,同时应提升到战略层面。
提起云计算,必会谈及虚拟化,为什么说虚拟化如此重要呢?虚拟化可以提高设备的使用效率,提高设备的灵活性,获得更多的资源利用率。虽然大多数用户已经意识到虚拟化的重要性,但需要注意的是,云计算平台需要企业级的虚拟化,企业级虚拟化才是云计算的基础。
不管是x86架构还是RISC架构,世界上没有一个架构一定是最好的,只要是适合企业的业务架构就应是最好的,任何架构都要与业务相结合。企业中不同的工作负载要根据性质的不同放在不同的架构平台上,对于一般性业务应用运行在x86架构上,而关键业务应部署在Unix平台。最后即使云计算架构不一定是统一的,但要实现统一的管理。在这一方面,IBM Starter Kit for Cloud(SKC)可将您的虚拟化环境从“云就绪”状态过渡到真正的“云”环境,SKC是一个跨平台的快速云服务管理软件,它不仅能对Power平台提供无缝支持,而且对于用户已有的x86甚至都能提供支持。SKC对于x86上KVM提供与Power的一体化支持,统一部署引擎,统一管理界面。
根据IDC的《中国云计算基础架构建设指南》报告显示,以云计算为基础的第三平台已经来临。何为第三平台呢?第一平台是以主机为核心,第二平台以PC为核心、局域网、互联网为核心,第三平台以移动设备和应用为中心,实际上是以人为中心。其中云服务、大数据、商业分析、移动宽带社会化,这四方面作为第三平台的核心。在这里面,最大的基础是云,云在最底层,社会化移动普及率越高,产生的数据量就越大,对IT基础设施的需求也就越大。所以说,云计算是实现智慧行业的重要途径,而云基础设施是重要基础。
对于行业企业来说,企业服务化是一个大的趋势,特别是中国制造企业服务化趋势,目前很多制造企业已经往服务化转型,而不再是我们印象中的传统制造企业只生产产品,而是给用户或间接为有提供服务。所以采用云计算可以增强企业的核心竞争力。企业进行业务变革和转型,需要IT系统做很好的支撑,这些支撑后台一定要有云计算,需要数据整合。
企业建设云计算的六大误区
IDC(中国)行业研究与咨询服务部助理副总裁武连峰,在IBM Power Cloud新一代企业级基础架构云媒体交流会上,谈到了现在企业建设云计算时存在着六大误区:
误区一:重概念,轻本质。用户往往关注于买多少软硬件产品或服务,而忽略了云计算的本质是提高服务器资源利用率,节省成本和如何提供即时服务。
误区二:重实施,轻规划。
误区三:x86架构就是云计算。
误区四:重硬件,轻较件。很多企业一提到云计算,马上买服务器,买存储,如果云计算没有很好的基础架构软件,没有很好的系统管理自动化软件,云计算硬件就不能发挥它的作用。
误区五:重虚拟,轻管理。大部分企业只是实现局部的虚拟化。云计算本质应该是一个全方位的虚拟化,这些虚拟化必须要用到很好的管理,才能够使它自动化起来,使整个IT架构做更好的提升。
误区六:重创新,轻移植。大部分用户部署云计算是为了部署新应用,而忽略了对原有应用该如何进行移植。
基于以上六个误区,IDC建议云计算基础架构实施应经历以下三个时期:
第一时期:一是规划,二是准备
在规划方面应首要注意两点,一是明确企业实施云计算的目的,二是确保最高管理层的参与。从云计算整个基础架构来看,促进业务比节约成本更重要。云计算对于企业来讲,不仅是IT的变革,实际上还涉及到IT整体架构的改变,而这种变革与业务的变革息息相关,所以一定要有最高领导的参与,在实施过程中才会更加得心应手。
在准备阶段要明确企业IT中有哪些应用,对企业自身的业务进行分析,不同的业务将会采用不同的体系架构实施。对于企业的核心
应用,交付成本高,适合企业级的私有云的基础架构;而一些数据分析,包括一些协作,更适合融合性的云计算基础架构;与消费自动化相关的应用,适合开放云计算架构;像电子邮件或网站,更适合公共云的外包。
第二时期:实施和深化
虚拟化是云计算的开始,但需要注意的是一定要建立企业级的虚拟化资源池。通过虚拟化创建资源池,其中安全性是用户认为最重要的技术特性,灵活和可扩展性,硬件性能排在安全性的后面。
全方位的虚拟化,包括服务器、存储、网络。这三个虚拟化,一是计算能力的虚拟化,二是存储能力的虚拟化,三是传输能力的虚拟化,这样就会把服务器的计算资源、存储资源、网络带宽资源都会充分利用起来,不会有一个瓶颈。但现实情况是,用户购买了很多服务器,但如果做云计算,就需要采购一些虚拟化软件支持整个云计算平台基础设施,结果发现购买虚拟化软件甚至比买一台服务器还贵。最后还是要用单机甚至集群的方式把硬件搭建起来以后,在运行使用过程中出现很多问题。一是从性能和资源协调上没有把这些服务器做很好的资源利用。二是从自动化的角度来讲,没有做很好的自动化,包括资源分配的过程中,很多需要IT人员参与,大大降低了效率。
虚拟化完成之后,一定要通过管理自动化和资源自动化,最后实现资源的整体调度,包括资源池的实时监控,包括生命周期管理,映像管理,快速部署,动态迁移等。在这一方面,国内外用户的差异很大,国内用户在这方面的投资相较于国外要吝啬的多,其实,如果不做好管理自动化和资源自动化,做好资源池的匹配调度的话,实际上整个云计算的基础架构设备并没有很好地发挥起来,整个IT效率没有提高。
从虚拟化到自动化的云计算深化过程,分为4个阶段,第一阶段是虚拟化,据据IDC全球研究结果显示,服务器虚拟化率已经达到64%,第二阶段是将虚拟化和自动化流程结合起来,这部分用户有32%,第三阶段是把虚拟化、自动化流程以及融合的基础架构,包括网络、存储融合起来,从绿色节能以及从总体效率上会更少,这里目前还很低,只有3%。第四阶段是一个理想状况,通过虚拟化、自动化流程到融合架构,最后做到自服务、自适应,这样大大减少IT部门人员的压力,同时使IT能更好地跟业务融合。这部分用户只有2%。
第三时期:应用和管理
现在企业构建云计算貌似更加盲目,已然忘记最初的目的,而只是为了云而云,所以说,上云计算不是目的,在云上跑什么应用才是关键。
一、数据中心运行维护面临的挑战
当前金融行业应用系统多采用集中方式部署于数据中心,随着金融业务的快速发展,后台支持所需的基础设施规模不断增长,拥有几百到几千台服务器的数据中心已不是少数。数据中心的日常运行维护工作逐渐暴露出以下几方面的挑战。
(1)随着服务器等基础设施的规模越来越大,机房空间、电力消耗以及管理维护难度越来越大。
(2)传统的、手工方式的环境部署效率较低,难以满足业务服务对环境部署的时效性要求。特别是对于研发测试环境,由于环境搭建及调整一般更为频繁,此方面矛盾也更加突出。
(3)应用系统在业务高峰期或性能压力测试阶段,需要更多的系统资源支持,期望基础架构能够提供弹性的、动态的、自动化的供应手段。
(4)在传统服务器环境中,单台服务器业务空闲时段的资源难以整合,总体资源利用率提升受到限制。以中国工商银行数据中心(北京)为例,用于全行应用系统版本测试的适应性测试环境的服务器数量已超过1000台,每个季度约有30%的环境需要重新搭建,基础架构的日常管理维护压力逐年增加。
二、云计算理念与启示
根据云计算的服务对象范围,云计算可以分为3种部署模式:公用云、私有云和混合云。根据云计算的服务层次和服务类型,可将云分为3个层次:基础架构即服务(IaaS)、平台即服务(PaSS)和软件即服务(SaaS)。不同的层,提供不同的云服务。根据美国国家标准技术研究所(NIST)的定义,云计算一般具有5个基本特征。
(1)按需自助服务。用户可根据需要,直接从云计算供应者处获取服务(如:计算资源、存储资源、网络资源、开发平台及应用软件等),而无需与云计算供应者进行人工交互。目前,一般采用用户在网页上填写申请表单形式获取自助服务。如果数据中心采用此方式供应环境,将可由最终用户直接提交环境部署服务申请,由系统自动调配资源并部署环境,且节省了相关部门间(系统、网络、设备等)的沟通成本,环境部署时效性较传统手工方式有很大提高。
(2)广泛的网络接入。用户可以使用各类客户端平台(笔记本电脑、手机、PDA等),按照一个规范机制(如浏览器),通过各种网络渠道从云计算供应者处获取服务。此特征更多的针对公有云和混合云,而出于安全性等方面考虑,如在金融行业数据中心构建云计算环境,一般首选私有云方式,只需保证用户可以通过网络接入云计算系统即可。
(3)与位置无关的资源池化。云计算供应者的计算资源被集中整合成为一个动态资源池,以多租户模式服务所有用户,不同的物理和虚拟资源可根据用户需求动态分配。服务商需要实现所分配资源的位置无关性,用户一般不需要知道所使用资源的确切位置,但在需要的时候用户可以指定资源位置。通过应用资源池化的管理模式,提升数据中心整体资源使用率。
(4)快速的可伸缩性。云计算供应者提供的服务可以自动、快速、弹性地扩展,也可以自动、快速、弹性地收缩。从用户角度讲,云计算提供的资源是无限的,可以选择在任何时间获取任何数量的资源。通过快速的可伸缩性,在很大程度上提升资源使用效率。另外,如果数据中心系统环境支持快速伸缩,就可满足应用系统在业务高峰期或性能压力测试阶段,其基础架构能够提供弹性的、动态的、自动化的资源供应。
(5)可度量的服务。云计算供应者针对不同的服务类型(CPU时间、存储空间、网络带宽等)来计量资源的使用情况及单位价格,以提高资源的管控能力和促进优化利用。整个系统资源可以通过监控和报表的方式对供应者和用户透明化。对于公有云,资源供应者可以此为依据对提供的服务进行收费。对于私有云(企业云),IT部门可以此作为IT成本核算依据,一旦在企业内部形成相关成本核算机制,还有利于促进资源回收利用,减少空闲资源。笔者认为,短期内将云计算应用于银行数据中心生产环境还需持谨慎态度,但在数据中心研发测试环境环境中,云计算大有可为。特别是开展基础架构云建设,将有助于解决前文提到的基础架构日常运行维护中遇到的各类挑战,实现业务应用环境快速部署、回收、调整以及资源集约化管理水平和快速服务能力。
三、基础架构云建设的关键课题结合我们的实践探索,在银行数据中心建设基础架构云,有如下几项课题需要加以研究解决。
(1)各类资源的池化与差异化资源服务模型。在数据中心,基础架构资源主要包括各类高、中、低端服务器、存储阵列、磁带库以及IP地址等。为实现基础架构云快速供应和弹,实现上述资源的池化管理和统一管理调度机制十分必要。在此基础上,可以通过规划不同资源节点(比如数据库服务器、应用服务器、WEB服务器等)和业务服务环境(比如综合版本测试环境、生产补丁测试环境、压力测试环境和培训环境等)对应的资源使用规则,提供差异化的资源服务。一种可参考的资源服务模型如图1所示。
(2)自服务界面和自动化供应流程。要实现基础架构环境的自动化部署,需要自动化供应流程的支持。与此同时,面向最终用户提供自服务界面也是云计算这一新型计算模式的基本要求。图2是启动一次虚拟机环境供应的自动化流程。当用户在操作界面上启动虚拟机供应任务后,调用后台任务管理器,将任务放入系统的任务运行队列。流程引擎层扫描任务运行队列中的待执行任务,根据任务类型及优先级等,选取待运行任务并调度执行,由调度引擎层调用驱动工具层依次完成虚拟机创建、操作系统部署和数据库部署等一系列操作。待以上步骤执行完成后,返回作业执行结果。在基础架构云建设时,还要充分考虑多用户并发服务处理能力。
(3)各类基础架构资源的“驱动程序”。正如前文所述,基础架构云平台管理的对象主要包括各类服务器、存储阵列和IP资源等。在数据中心传统工作模式下,上述对象往往需要专业技术人员通过手工方式或者使用专门的工具软件进行管理维护,各专业之间的协作配合要求较高,因此维护效率难以得到有效提升。在基础架构云平台建设中,需要实现对上述对象的全自动化维护操作。如果把基础架构云平台看作一套“操作系统”,其下各类资源对象的自动化维护管理功能,不妨看作是操作系统的各类驱动程序。因此要实现云平台的自动化管理,各类基础架构资源的自动化驱动工具研发也是必需解决的关键课题。
四、基础架构云建设实践
2010年以来,笔者所在的技术团队就基础架构云在数据中心的落地建设进行了探索,经过1年多的技术研究和项目实践,目前已取得阶段性成果。项目组研发的基础架构云平台已在业务应用系统环境准备工作中投入实际使用。与传统手工方式相比,使用基础架构云平台进行系统环境部署,效率可以提10倍以上,具体对比数据见表1。表1中数据为每套环境的部署时间,与PowerVM环境相比,VMware环境一般不涉及分配磁盘操作。
【关键词】云计算技术;信息化;IT;X86
1.云计算概述
早在上世纪60年代,麦卡锡就提出了计算能力作为一种像水和电一样的公用事业提供给用户的理念,这成为云计算思想的起源。在20世纪80年代网格计算、90年代公用计算、21世纪初虚拟化技术、存储网络、SOA、SaaS[1]应用的支撑下,云计算作为一种新型的资源使用和应用交付模式逐渐成为学界和产业界所认知。所以,云计算是IT(Information Technology,简称IT)资源管理和应用模式的深刻变革[2][3],也是一种IT基础架构管理和应用的方法论;可使业务、应用和IT资源基于网络,以服务的形式呈现给用户,供用户按需、定量和定制化获取使用。
从技术发展角度看,20世纪90年代,随着Windows的广泛使用及Linux服务器操作系统的出现,奠定了x86服务器的行业标准地位,然而x86服务器部署的增长带来了新的IT基础架构建设和运维困难,包括基础架构利用率低、物理基础架构成本日益攀升、IT管理成本不断提高以及对关键应用故障和灾难保护不足等问题。X86服务器虚拟化技术的出现,通过将x86系统转变成通用的共享硬件基础架构,充分挖掘硬件的潜力,提高硬件的利用效率,降低硬件和运营成本,并且简化运维降低管理成本,最终帮助用户把更多的时间和成本转移到对业务的投入上。
因此,云计算技术是IT行业的第三次变革,是信息技术和应用发展的必然趋势。随着云计算和虚拟化技术向构建新一代数据中心方向发展,关键以虚拟化为基础,实现管理以及业务的集中,对数据中心资源进行动态调整和分配,重点满足企业关键应用向X86系统迁移对于资源高性能、高可靠、安全性和高可适应性上的要求,同时提高基础架构的自动化管理水平,确保满足基础设施快速适应业务的商业敏捷诉求,同时进一步减少企业的IT整体投入。
2.云计算的应用模式
从运营角度看,云计算是网格计算和虚拟化技术的商业化模式,如同水厂和电厂通过管道和电网统一提供水、电资源一样,而通过网络实现信息基础资源(计算、存储、网络等)的统一供给和统一调度管理。按照运营模式可以分为三种,即公共云、私有云和混合云。
(1)公共云:专业运营企业建设,直接向最终用户提供服务,用户通过互联网访问获得资源服务,但并不拥有资源。
(2)私有云:企业自己搭建的基于云计算的数据中心基础架构,面向内部用户或外部客户提供云计算服务。企业拥有基础架构的自,并且可以基于自己的需求改进服务,进行自主创新。
(3)混合云:同时具备公共云和私有云特征,既有自已的云计算基础架构,也使用外部公共云提供的服务。
通常,云计算的资源也可从三个层面以服务的方式提供给使用者。
(1)IaaS基础架构即服务(Infrastruct-ure as a service):提供的是计算资源、存储资源及网络资源等资源。
(2)PaaS平台即服务(Platform as a ser-vice):提供的是优化的中间件平台,包括应用服务器、数据库服务器等。
(3)SaaS软件即服务(Software as a ser-vice):包括应用、流程和信息等服务。
图1
3.云计算的技术特点和应用价值
云计算的核心是虚拟化技术,其原理是资源的逻辑表示,实现形式是在系统中加入一个虚拟化层,将下层的资源抽象成另一形式的资源,提供给上层使用,而不受物理限制的约束。即使基础的服务器、存储、网络等硬件资源形成统一的资源池,上层业务系统可按需取用。
与传统企业IT技术相比,云计算技术对企业信息化建设具有很高的应用价值[4]:
(1)实现动态的、可伸缩的扩展。云的规模根据业务需求是可以动态伸缩的,它可以随时扩展自己的存储和计算容量,满足企业用户对信息资源不断变化的需求。
(2)为业务提供随需即取的基础设施,按需求提供资源。云计算把互联网变成一种全新的计算机平台,所有的资源在物理上以分布式的共享方式存在,在逻辑上以单一整体的形式呈现给用户。
(3)精简IT资源、降低运维成本。利用云平台统一资源管理,统一的运维管理平台,降低维护维护成本,从降成本中贡献净利润。
(4)信息资源的整合度更高。使同一架构的物理资源统一整合,实现资源共享,提高利用效率,解决企业信息孤岛问题。
4.企业信息化应用主要需求
私有云是目前能得到较快接受的应用场景,而且能够满足企业对数据安全性、系统可用性的要求,因此构建私有云是建设数据中心的首选方案。企业业务在快速增长,而企业信息化建设与业务发展之间却存在着较大差距;运营问题、全球化问题、越来越高的 IT 复杂性带来的管理难题、运营成本的不断上升,企业的IT基础架构正面临着巨大挑战:
(1)IT基础架构正向资源共享方向发展。企业力求降低计算成本,众多企业首先对IT基础架构进行了整合,然后又引入资源虚拟化技术。如何进一步提高资源利用率、降低管理和基础架构成本及加快部署周期,如何实现软件、应用、数据和硬件资源的共享成为新的挑战。
(2)企业IT基础架构面临对于业务支撑具有相当灵活度的压力。增加自动化和智能化程度,在有效控制成本的同时,轻松、灵活地应对快速变化的业务需求,是大多数企业对于其IT基础架构的期望。
(3)管理系统和网络的日常开支不断提高。有17%的CIO们深受技术人员平时工作不饱和、出现故障时又不能及时解决这种矛盾的困扰,复杂的IT基础架构带来管理难题。
(4)IT采购模式将发生巨大变化。以往根据项目需求采购设备、部署基础架构的方法,已经不能满足业务变化的要求,新的采购模式应该以有规划的、整体的基础架构升级来适应不断增加的新应用、提高对业务支撑的灵活性。
由此可见,企业正迫切需要一种及时的和节约成本的方法来满足动态改进和日益增长的业务需求。
表1
公有云 虚拟私有云 私有云 混合云
数据安全性 √ √ √
节省前期投入 √ √
高可用性 √ √
对现有IT流程的影响 √
技术成熟性 √
与现有资源的兼容性 √ √
适合小企业使用 √ √
资源利用率和节能减排 √ √ √
图2 企业云计算应用基础架构
5.云计算技术在企业信息化中的应用分析
对于大多数企业来说,信息化系统已经不仅仅是企业的辅助系统和成本中心,而已成为企业的关键生产管理系统和价值中心,更是企业的核心竞争力和持续发展能力的体现,对企业的生存发展至关重要。企业信息化一方面促进了企业生产率和管理水平的提高,另一方面也给企业引入了新的成本,而且随着企业信息化水平的不断提高,信息系统的成本也在不断增长,如果继续采用传统模式建设,必然形成烟囱式的信息孤岛,造成信息基础资源利用率低下、无法共享,难以为企业创造高效价值,反而成为沉重的负担。据统计,在传统模式下,企业每年有三分之二的IT投入都花费在旧系统的运维和管理上。
为保证这些担负着企业生产、管理和运营功能的重要信息应用系统正常运行,必须保证计算、存储、网络设备等硬件平台的可靠运行,还需要进行数据库的建设和管理,同时还要进行用户管理、信息安全控制、业务系统的软硬件升级等工作。为支持信息应用业务的高效、可靠运行,企业需建设专业的数据中心基础设施和平台。随着业务种类和业务量的不断增加和应用需求的增长,数据中心硬件基础设施和平台规模也在日益扩大;因此亟需采用更加先进的云计算模式进行数据中心建设,以解决现有数据中心面临的各种挑战。
对于Email、Web、OA、CRM及ERP等大多数采用x86硬件平台的企业应用来说,利用云计算和虚拟化技术完全可以满足业务的需求;对于企业核心生产业务以及部分高性能数据库业务,在技术上也完全可以采用虚拟机部署,但需要根据业务的实际工作负载进行评估,如果业务本身对物理资源的使用率已超过50%,则不太适合再采用云计算和虚拟化技术。企业在进行云计算建设时,主要可分为两种场景:一种是利旧,企业需对原有信息系统架构进行虚拟化改造,将原来各个独立的信息基础设施整合为可以弹性调度的信息“资源池”,这一过程可由相应的软件系统自动实现,基本不需人为参与;另一种场景就是新建,企业可以完全按照自己的需求进行整体设计和交付,也可采用业界相应的虚拟化一体机产品,本身已实现了软、硬件的整合,这样可以大大减少项目的建设周期和复杂度。两种场景相比,利旧则相对复杂一些,主要是需要评估现有的硬件平台架构及业务系统与新平台的兼容性,一般在建设初期可采用小范围的测试进行验证。
从建设模式来说,私有云是居于企业防火墙内部(也可以将它们部署在一个安全的主机托管场所)的一种更加安全稳定的云计算环境。所以,企业的云计算平台建设主要是采用私有云,私有云即可以满足企业大规模服务、高扩展性、高可靠性、虚拟化和按需服务,实现企业的管控、业务协同、供应链管理、共享服务等,又具有更高的安全特性,内部管理也更加有效。构建私有云从初期来看并不一定会比构建一套传统的架构节约成本,但是从长远来来看,云计算技术减少了人工管理的成本,使企业的信息系统利用率更高,能够更精准地按需提供资源,它带来的方便和快捷能给企业的运营带来无限的价值。
总之,云计算是IT行业的第三次变革,已经成为目前IT系统建设和应用的主要趋势, 同时云计算技术也为企业大数据应用、高性能计算等新兴业务提供了基础平台,可为企业丰富的信息业务创新和发展提供有效支撑。
参考文献
[1]Anderson,Tim.full form of SaaS.The Register.5 May 2011
[2]How SaaS Is Changing the Face of Enterprise IT .[2012-06-28]
关键词:云架构;冗余度
中图分类号:TB文献标识码:A文章编号:1672-3198(2012)01-0291-01
1 引言
随着科学技术的进步,IT行业所在的环境复杂性与日俱增,更多的IT预算被用于维护基础架构和维持应用程序的正常运行,而不是更好地满足客户的需要。云的出现似乎给人们带来了新的希望,于是有人做出这样的预测――未来云时代。
2 云架构体系设计
2.1 云架构的概念及特点
云架构这一概念是Google在2006年首次提出的,它是为满足按需分配的服务而设计的软件架构。云架构与我们所熟悉的传统计算机体系不同,云架构是一个层结构,整个云架构层分为显示层、中间层、基础设施层和管理层四个层次。显示层主要用于向用户显示所需的内容,并且利用HTML、JavaScript、CSS和Flash等云技术中间件层为用户提供更多的服务。中间层起着过渡作用,它不但为显示层提供支撑,也可以为基础设施层提供资源上的便利,还可以为用户直接使用。中间层主要通过5种云技术实现:REST、多租户、并行处理、应用服务器和分布式缓存。管理层则是为上面三个层服务的,它提供账号管理、SLA监控、安全管理等技术,目的在于更全面地管理和维护三个横向层的稳定。通过上述分析,整个云架构层可用如下框架来表示(见图1):
图1 云架构层云架构的特点是建立在云架构层的基础上的,它具有如下特点:(1)规模大。“云”系统涵盖大规模的容量,例如IBM、微软、苹果等的“云”具有成千上万台服务器运行,“云”的计算能力和数据容量是一般计算机技术不能媲美的。(2)数据安全性强。云架构层中的管理层对数据、帐号等资源监控和保护,使其免受不必要的侵害;而且管理层可以凭借自身的服务功能应对横向3个层的突况,因此云架构中储存的数据是相当安全的。(3)普适性强。云架构受“云”的支撑,可以对变幻莫测的应用加以控制,一个“云”就可以掌控多种不同的应用程序。(4)伸缩性强。云架构可以根据用户的需要随时改变其最佳容量,达到最优状态。
2.2 云架构的设计
要实现“云”的强大功能,前提是必须要有完整的云架构体系。云架构是一种计算模式架构,它通过“云”把资源、数据和应用等以服务形式提供到用户端。基于前人的研究,云架构主要包括服务控制机群、存储节点机群、计算节点机群、应用节点机群、输入和输出设备这六大部分。前面分析了云架构层的结构,于是可以根据云架构层进行拓展,对整个云架构体系具体设计(见图2)。
冗余度就是指数据的重复度,计算机系统中数据的重复存贮称为数据冗余。数据冗余不但对数据库的完整带来影响,还会浪费存储系统资源。尽可能地降低数据冗余度,是云架构设计的主要目标之一。与关系模式的规范化理论一样,计算机系统处理冗余问题的主要思想就是最小冗余原则。
云计算框架可以更好的管理存储空间,利用云计算的数据冗余处理机制,把数据资料分成若干文件片,分别存储在云层中不同的数据存储设备上,如果有存储设备出现异常,也不会影响到存储资料的完整性。云层中采用节点提取文件特征值,减少数据的重复性,在云层中创建了数据冗余的信息库。
如图2所示,云架构中存在冗余策略,表明在云架构存储中可能存在大量的数据冗余。由于有些关联数据可能需要重复存储,而降低相同数据的储存量,使关联范式达到最优化,是未来云架构所走的毕竟之路。关联数据的局限性体现在数据重复存储,从而产生冗余,加大了云架构的计算量,不仅浪费了存储空间,也减慢了计算机的运行速度。处理能力的受限性表现在对简单信息搜索、对复杂信息屏蔽以及动态信息混乱等。由于产生了数据冗余,使得计算机系统运行速度慢、维护难,达不到顾客的要求,满足不了客户的需要。
由于云存储服务都采用了分布式数据存储方式,通过将冗余数据分散存储在连入云系统的大量存储设备中去,以提高系统的抗摧毁性。在云架构中主要存在副本备份冗余,对于其备份可使用存储文件的不同之处,减少其存储量,处理好云架构中的数据冗余,节省资源,达到系统最优存储。
4 结语
处理好云架构的冗余度,能够通过最少的投入得到最多的回报。未来将是云的一个时代,云架构的搭建和运行逐渐兴起,它提高了计算的效率,最大限度的减少了数据的重复性,并能够有效及时的处理信息,从而能够未雨绸缪。
比如,受到客观条件的限制,系统部署时仅有后台的核心数据库采用了传统的高可用HA保护机制,其他关键业务应用模块仍然在单机环境运行。119接处警系统是一个涵盖多业务逻辑紧密耦合、联动调用的复杂业务架构,因此任何一台服务器的宕机都会对系统的整体业务连续性造成重要影响。作为一个关系到人民生命财产安全的应急系统,安全性的问题尤其重要。而且,系统架构的灵活性不足,升级维护比较困难。而在系统优化升级方面,也无法适应未来业务发展的需要。
然而,城市消防通信指挥系统关系到人民生命财产的安全,其系统自身的安全性、管理便捷性、服务的连续性至关重要,由于传统架构已经不能满足未来发展的需要,在现有的架构下提高安全性和可管理性,代价更高,也会造成更多的资源浪费,因此,必须充分利用已日趋成熟的云计算体系,将系统现有基础架构向云计算基础架构转型,利用云计算机基础架构的优势和特点解决系统在安全性、管理复杂度以及可扩展性方面的不足。
云计算带来新思路
与传统基础架构相比,新的云计算动态基础架构在灵活性、可延续性、保护能力、综合成本方面具有诸多优势,而相关的特性也有助于弥补现有应用的缺陷,提高119接处警系统的响应能力和业务连续性。
作为应急系统,119接处警平台的可用性至关重要。云平台的动态冗余架构和灵活的数据保护机制,是弥补原有架构安全性不足的最好方法。通过部署动态基础架构,力求实现物理服务器、虚拟服务器资源池的N+M冗余(N>M),在有硬件出现故障时实现服务器的自动切换,接管应用。并且在集中存储架构下实现数据的统一保护。最终整个平台的RTO和RPO指标可以达到业内先进水平。
最大限度地实现系统均衡性和灵活调度也是利用云计算技术新一代城市消防通信指挥系统的重要考虑。通过重新整合硬件平台,将服务器分成高、中、低(可以是虚拟机)几个计算等级,将应用按负载程度分类,分别于不同等级的服务器资源匹配,并实现OS和应用在物理服务器之间或物理服务器到虚拟服务器之间的灵活迁移。为最终实现资源的动态调度优化、简化系统管理、降低能耗、硬件物理冗余以及统一灾备保护建立基础。
当然,还应该意识到,部署云计算动态基础架构并不意味着需要更换全部的硬件。在开放的软件架构下,原有的服务器、存储和网络设备都可以得到很好的利用。因此使用标准的、通用性较强的动态基础架构管理软件和服务器虚拟化软件,可以尽量利用现有的硬件资源进行系统改造。
因此,利用先进的云计算基础架构,实现城市消防通信指挥系统的跨越式转型,进而发展成具有高度安全性、业务连续性、可管理型和可扩展性等鲜明特点,同时兼具负载均衡、容灾能力的新一代城市消防通信指挥系统架构将会成为重要的技术方向。
构建新一代系统
那么具体应该如何利用云计算技术新一代城市消防通信指挥系统呢?笔者认为可以按如下顺序来实施。
首先,进行现有服务器分级。按照计算力将所有业务服务器进行分级分为四个等级,通过动态基础架构管理,来实现软件系统在这四种不同计算力的服务器之间进行重定向。之后,开始构建动态119数据中心,这是非常关键的一步。
但要注意,与单纯使用物理服务器或虚拟化技术不同,云计算基础架构使用动态基础架构管理理念,即在数据中心里通过基础架构管理系统将物理服务器、虚拟服务器、网络、存储资源统一在一起部署与调度,IT应用根据重要性和负载的不同可在不同层级的硬件资源上动态部署,并有一定的冗余度。用户可根据业务需求的变化任意调整应用程序的部署位置。在这种架构下,物理资源和应用程序不再是固定的绑定关系,具有非常大的灵活性,同时避免了资源的浪费。
数据中心要采用动态架构,将操作系统(OS)和应用软件(APP)等软件系统和服务器(包括物理服务器和虚拟服务器)的绑定关系切断。如果将操作系统(OS)和应用软件(APP)整体看成一个映像系统(Image/Persona),那么动态架构就是要把多台服务器构成服务器资源池,根据应用负载的大小,灵活地从服务器资源池中选择具有匹配计算力的服务器来运行映像系统。
在技术上,一方面采用集中存储的架构,把分散在各个服务器内置硬盘里面的映像系统迁移到后端的集中存储中,从而让所有服务器都可以“看到”后端存储中的映像系统。另一方面,将服务器设置成网络启动,以便运行后端存储里面的任意一个映像数据。
在动态基础架构软件的管理下,任何一个映像系统都可以和某一个服务器单独关联起来。也可以通过定义服务器池(Server Pool),让一个映像系统和某个服务器池关联起来。
当某个映像系统和某个服务器池进行关联时,映像系统会自动在服务器池里面选择任意一个空闲的服务器来启动和运行。当所运行的服务器因为硬件故障出现宕机时,映像系统可以自动在同一个资源池内部实现服务器之间的自动故障切换(Failover)。
第三步是服务虚拟化。我们可以将传统的“物理服务器与应用程序一对一的部署模式”与云计算、虚拟化技术相结合,尝试将部分非关键业务部署在服务器虚拟化平台上,减少了物理设备的数量的结果是一方面可以大幅降低整体系统的能耗开销,另一方面也简化了管理,降低了运维成本。
在技术上,利用虚拟化软件VMware虚拟出虚拟服务器,用于运行负载较小的一些应用系统。如果这些虚拟服务器都是Windows或者都是Linux,他们被放在同一个服务器池中。如果我们的映像系统既有Windows,也有Linux,就需要在创建虚拟服务器的时候指定到底是用于运行哪种操作系统,并将虚拟服务器按照操作系统的类型来放到两个不同的服务器池中。例如两个支持Linux的虚拟服务器,可以放到一个叫“VM Linux”的资源池中,而另外三个支持Windows的虚拟服务器,则放到一个叫“VM Windows”的服务器池中。