时间:2022-05-07 18:37:46
引言:易发表网凭借丰富的文秘实践,为您精心挑选了九篇数据云存储方案范例。如需获取更多原创内容,可随时联系我们的客服老师。
西部数据亚太区产品经理张启扬先生表示:“随着互联网技术和移动智能终端设备的快速发展,消费者在日常工作和生活中对智能手机和平板电脑的需求不断增强,移动互联和个人云存储也逐渐成为广大用户数字生活中不可或缺的一部分。西部数据所推出的个人云存储方案兼具公共云与个人云的优势,用户可将所有内容放在家中或办公室的网络硬盘内,并通过WD移动应用程序在任何联网的PC、Mac电脑、平板电脑和智能手机上尽情存储、访问、分享文档以及个人多媒体文件。”
西部数据个人云存储解决方案,助消费者从有线互联向无线互联迈出了重要的一步。该解决方案涵盖了多款WD外置存储和家庭娱乐产品及应用软件,是未来个人及家庭存储、娱乐的发展方向。
西部数据推出的个人云存储解决方案通过WD My Book Live个人云存储硬盘,帮助用户无缝地将所有媒体文件整合到一起,并且提供3TB海量存储。用户只需将WD My Book Live连接至家庭网络,即可创建一个私人的共享存储。通过网站,任何一台电脑都可远程访问存储在WD My Book Live中的内容。用户也可通过WD 2go应用程序,使用iPad、iPhone、iPod touch 或Android移动设备远程访问WD My Book Live。
新版WD Photos图片浏览器不仅完美兼容苹果以及Android智能终端或平板设备,并且支持WD TV Live Hub媒体中心和WD My Book Live个人云存储硬盘。WD 2go web采用了第二代远程访问技术,可实现WD My Book Live和远程电脑之间的对等网络连接,实现速度和流量最大化。
关键词:基于云计算;安全数据;存储结构
中图分类号:TP311 文献标识码:A 文章编号:1009-3044(2014)31-7235-02
近年来,计算机网络技术快速发展,云计算作为一种新兴的应用领域,受到了人们的广泛关注,在多个领域中迅速流行和推广。基于云计算机的安全数据存储结构可以安全的分析、共享、广利和存储大量的复杂数据,不仅可以拓展容量,其管理成本和设备投入也较低,是未来计算机存储系统的重要发展趋势。
1 基于云计算的数据存储结构概述
1.1 云计算的基本概念
云计算是由网络计算、并行处理和分布式处理发展起来的,是一种重要的分布式计算技术,云计算的基本概念是利用计算机网络将复杂的计算程序分解成若干个独立的子程序,将这些子程序交给运算系统的多层服务器来处理,处理完成后将计算结构回传给计算机网络用户。
云计算是一种对分布式数据库、网格计算、并行处理以及分布式处理的改进计算方式,可以有效地解决复杂数据的网络计算,并且为多种计算机资源提供公用的可计量的计算,是虚拟化技术和宽带技术的一种重要发展成果。云计算可以为我们的生活、工作和学习提供多样化的服务,如MSP(管理服务)、PaaS(平台即服务)以及SaaS(软件即服务)等[1],这些服务可以帮助计算机网络用户节约系统维护成本,专注于应用系统开发,省去了很多繁琐的细节过程。
1.2 云计算的数据存储结构
1) 存储层:存储层是云计算数据存储结构最基础的层次,主要由多种网络设备和存储设备组成,在存储层还有一个最主要的存储管理系统,其主要职能就是对各种硬件设备的维护升级、状态监控以及集中管理等。
2) 管理层:管理层是云计算数据存储结构的核心部分,同时也是最复杂繁琐的部分。管理层主要采用了成熟的分布式存储系统和集群管理技术,不仅具有良好的可拓展性,还可以复杂云存储系统的容灾、备份以及数据加密等任务[2],极大地满足了用户的对数据存储性能和可用性的需求。
3) 接口层:接口层是云计算数据存储结构开发和应用云储存资源最重要的部分,云计算的数据存储供应商可以通过接口层为计算机网络用户设置统一的编程和协议接口,便于用户自主开发应用程序。
4) 访问层:云计算数据存储结构的访问层是应用程序的系统入口,计算机网络用户可以通过这个入口登陆云计算数据存储系统,共享系统的数据资源。
2 基于云计算的数据存储安全技术
2.1 数据加密技术
当前,云存储系统服务商除了提供即服务(SaaS)之外,其保护私密数据的能力非常有限,因此计算机网络用户自身要注意对数据进行加密,为了确保云存储数据的完整性和机密性,无论是个人用户还是企业用户都要提高数据安全意识,使用数据加密技术,加强密钥管理[3],提高云储存数据的安全性和利用率。
2.2 数据隔离技术
由于基于云计算的数据存储结构会将用户的数据随意摆放,很多用户的数据可能会共同存储在一个虚拟服务器上,因此用户要注意使用数据隔离技术将自己的数据和其他用户的数据隔离开来,提高云计算数据存储的安全性。
2.3 访问权限控制
计算机网络用户将数据上传到云计算数据存储系统后,访问数据的优先权由计算机网络用户转移给云计算提供商,因此用户要限制云储存服务商的访问自己数据的权限,在上传数据之前,将自己设置为访问该数据的最优先级,掌握访问该数据的权限,确保云储存系统的数据安全。
3 结束语
如今的信息化网路时代,基于云计算的数据存储结构是未来存储系统重要的发展趋势,如果有效地利用云计算的数据存储结构、如果确保云计算的数据存储安全、如何提高云计算数据存储结构的运行效率等问题逐渐成为人们关注的焦点,随着云存储系统的快速发展和广泛应用,我们相信这些问题会逐渐被解决,同时也推动基于云计算的数据存储结构的不断改善和改进。
参考文献:
[1] 薛凯,刘朝,杨树国.云计算安全框架的研究[J].电脑与电信,2010(4).
关键词:
云存储;重签名;隐私保护;完整性验证;用户可撤销
中图分类号: TP309.7 文献标志码:A
0引言
用户可撤销系统云存储数据的审计问题是云存储数据审计的现实难题。
一开始人们发现将数据存储在云上,用户可以从本地数据存储和维护开销中解放出来享受极大便利;但是外包数据却面临到许多安全挑战[1-4],因此,一系列各种要求在不泄露完整数据知识的前提下确保远端存储数据完整性的审计方案被提出。例如:Juels等[5]提出了一种证据可恢复的POR数据可取回证明(Proofs of Retrievability, POR)审计方案;Ateniese等[6]提出了一种名为PDP数据可证明持有性(Provable Data Possession, PDP)请补充POR和PDP的中文名称和英文全称。的数据持有性证明审计方案;Shacham等[7]利用短签名构造了有效的POR公开审计方案。但是这些方案不考虑用户数据的隐私保护,事实上,用户的数据可能被泄露给一些好奇的敌手,这些缺点将极大地影响这些方案在云计算中的安全性。从保护数据隐私的角度出发,用户可以委托第三方审计者(Third Party Auditor, TPA)来保证他们存储数据的安全,同时他们也不希望这个审计过程由于未经授权的信息泄漏对他们的数据安全造成新的威胁。未授权的数据泄露仍然在于潜在的加密密钥暴露的潜在风险。2009年,Wang等[8]提出了一项保护隐私的云存储数据公开审计方案,方案依托同态认证技术和随机模化技术完成了隐私保护公开认证,并利用双线对标签聚合技术实现了批处理。
自Wang等[8-10]与Zhu等[11]提出了一系列经典的具有保护隐私功能的云存储数据公开审计方案后。人们很快注意到之前几乎所有的审计方案都是固定用户在计算云存储数据的完整性验证标签,即这些审计方案,要求在整个数据管理周期使用云存储服务的都必须是同一个用户。这是因为,云存储服务中数据的完整性验证标签是由用户用自己的私钥签名生成,然后在公共审计过程利用公开信息进行验证。这样的云存储数据审计模式在真实情况下是不现实的。一方面,在一个审计系统中经过一段时间用户的公钥可能更新;另一方面,用户可能只是一个公司的数据管理者,他可能因为各种原因而离职,例如因为高薪而跳槽。因此,出于现实考虑,一个云存储数据审计方案应该支持有效的用户撤销。
Wang等[12]首先引入了共享云存储审计问题,提出了一个基于群签名的用户可撤销的自我审计方案,以及一些基于动态广播重签名方案和双向签名的共享云用户可撤销公开审计方案[13-14]。随后Yuan等[15]使用了一个类似的群签名技术提出了一个公开方案版本。由于都涉及到群签名和广播加密技术,以上的动态可撤销审计方案的效率都不满足实际需求。
2015年Wang等[16]提出了一个高效的用户可撤销公开审计方案Panda。此方案借助重签名技术,将不同用户的数据块签名转换为当前用户签名形式,从而很好地满足了用户动态可撤销系统的云存储数据审计需求,是此类问题当前的最优解决方案,但是文献[16]的方案局限性中,提到云服务器与已撤销用户合谋可能会造成用户私钥的泄露,并在文献[16]中明确提出在下一步工作中希望通过一个多层的重签名方案来解决这个问题。
基于文献[16]的构思,本文提出了一个单向的重签名方案,修改密钥的计算是通过对撤销用户的公钥进行处理得到,不存在私钥泄露的风险。另外本文的用户可撤销云存储数据审计方案支持第三方公共审计,能够更好地支持对云存储数据的日常例行审计工作。最后效率分析与比较表明,方案在通信开销与计算复杂度方面更具有优势。
1基本模型
正文内容基于重签名的用户可撤销云存储数据公共审计方案如图1所示,支持用户可撤销的云存储数据公共审计方案与上述基本云存储审计方案有很大不同,其方案主实体涉及到多个用户。从现实考虑,数据属于公司,而非数据管理者。在某一个时期通常只有一用户对存储数据进行管理;但是某一段时期内却可能有多个用户对存储数据进行管理。即,一段时间后当前用户可能不再适合管理存储在云上的数据,他可能被别一个新的管理者替换。
本文假设,最开始有一个用户代表公司和组织将数据上传到云服务器,这个初始用户可以记作U0,然后公司雇佣数据管理者,显然数据管理者不是终身制的。在一个数据管理者离职前他需要向新的数据管理者移交数据,继承者需要对这些数据进行审计确认,他的前任尽职地完成了他的数据管理工作。假定,将数据存储在云上的数据存储模式是简单而有效的,公司和组织每一个时期只需要一个数据管理者就能很好地完成数据管理任务。按照时间先后对除U0以外的数据管理者排序为U1,U2,…,Um,m为正整数。相应地对应外包存储在云上的数据按照不同管理者的任期被划分为T1,T2,…,Tm周期。在这里,显然每一个用户只有在周期结束时才会向继任者移交数据。(注:对于第一个用户周期来说,用户U1可能就是初始用户U0;但是也可以委托一个新的用户U1来完成数据管理工作,在文中统一分开记录。)
初始用户U0首先将整个数据文件分成n个数据块,并用自己的私钥计算相应的数据存储标签σ,然后他将所有数据和标签都上传到云服务器以完成数据的最初上传。用户U1在T1期间内进行数据管理,并在T1周期结束时被U2所取代,U2也将被U3取代,一直到Uj取代Uj-1, j∈{0,1,…,m}。Uj为当前数据管理者。因为标签和用户相关,一旦用户撤销了,标签也应该作相应的修改。一个直接的方法就是使用当前用户的私钥重新计算这些数据块的标签。然而,这并不是一个可撤销的云存储审计系统,因为这样将带来沉重的通信和计算负担。一个比较理想的方法就是使用重签名技术,将所有存储在云服务器上的数据标签转换成当前用户签名的模式。
最终对于当前用户来说,云服务器上存储的数据mi的标签σ最后都会转化为σ(j)i。考虑到云用户构建一个进行数据无误性检验的云环境是不可行和代价高昂的,因此为了节省进行存储数据周期无误性验证的通信资源,减少在线负担,云用户可以委托第三方审计者(TPA)来执行安全审计任务,因为他是经济并且可以自动运行的;但是,云用户同时希望对TPA保持数据的隐私性。为了方便区分,本文用σ(j)i表示用户Uj用自身的私钥对mi签名生成的数据验证标签。
2基本知识
2.1双线性映射
G1、G2、GT是阶为素数p的循环群,g1是群G1的生成元,g2是群G2的生成元。双线性映射e:G1×G2 GT,满足如下的性质:
1)双线性性。给定元素u∈G1,v∈G2,对任意a,b∈Zp有e(ua,vb)=e(u,v)ab。
2)非退化性。e(g1,g2)≠1。
3)可计算性。存在一个有效的算法,对任何可能的输入都能有效地进行计算e。
4)可交换性。e(u1・u2,v)=e(u1,v)・e(u2,v)。
2.2困难性假设
Computational DiffieHellman(CDH)假设群G是一个阶为素数p的循环群,g是群的生成元,给定两个随机元素ga,gb∈G,输出gab是困难的。
Discrete Logarithm (DL)假设群G是一个阶为素数p的循环群,g是群的生成元,给定一个随机元素gc∈G,输出c是困难的。
2.3重签名算法
为了实现前面基本模型中所描述的支持用户动态可撤销的这一功能,并能持续地保证云服务器上存储数据的完整性,基于文献[17]中的重签名算法,作出了进一步的改进。通过当前用户私钥结合已撤销用户公钥生成新的重签名密钥来保证即使云服务器与已撤销用户合谋也无法影响数据的安全性。新的重签名算法和步骤与文献[17]相似,其中最重要的签名步骤如下。
3支持用户可撤销的云存储数据公共审计方案
3.1Panda方案的问题
下面描述Panda中重签名方案实现签名转移的主体部分。
1)在签名算法Sign中,给定私钥skA=a,数据块m∈Zp身份id,用户uA输出基于数据块m的标签:σ=(H(id)ωm)a∈G1。
2)在修改密钥生成算法ReKey中,通过以下步骤生成一个重签名密钥rkA B:
a)生成一个随机的r∈Zp,并将它发送给用户uA;
b)用户uA计算并发送r/a给用户uB,其中skA=a;
c)用户uB计算并发rb/a给,其中skB=b;
d)恢复出重签名密钥rkA B=b/a∈Zp。
3)在重签名算法中,收到重签名密钥rkA B,后执行重名:
σ′=σrkA B=(H(id)ωm)a・b/a=(H(id)ωm)b。
4)在验证算法Verify中,用户uB通过验证公式:
e(σ′,g)=e(H(id)ωm,pkB)
对数据的完整性进行验证。
从上述过程中,清晰可见重签名密钥rkA B的生成,是基于用户uA与uB之间的私钥传递。虽然在这个过程中生成了一个密钥参数r∈Zp来对传递过程中的私钥进行保护,但是如果恶意云服务器()与已撤销用户uA合谋可以轻易计算出当前审计用户uB的私钥b,因此方案存在用户私钥泄露的风险。
3.2本文方案
在本节提出支持用户可撤销的云存储数据公共审计方案,该方案是基于2.3节的单向重签名技术构造的,如图1所示。方案中定义了一个半可信的第三方审计者(TPA),它将忠实地执行数据完整性的审计,由于它是好奇的,它可能会借助强大的计算设备从验证信息中通过解线性方程组恢复原始数据块信息,因此在方案中采用了随机掩饰码技术解决了这一问题。
4方案证明
4.1方案的正确性
4.2安全性分析
下面首先证明该方案能够抵抗恶意云服务器通过产生伪造的审计证明响应信息来欺骗TPA的审计验证过程。
定理1恶意的云服务器产生伪造的审计证明响应信息Proof来欺骗TPA的审计验证过程在计算上是不可行的。
证明假设存在恶意的云服务器(多项式时间敌手A)以不可忽略的概率ξ产生伪造的审计证明响应信息来欺骗TPA的审计验证过程。下面设置多项式时间算法(挑战者B)通过运行敌手A作为子程序也以不可忽略的概率ξ解决CDH困难性问题。算法B与对手A的信息交互如下。
私钥泄露问题根据上面定理1的证明过程,可以轻易发现即使云服务器与已撤销用户合谋,云服务器也不能够获取当前用户的私钥。这是因为方案中修改密钥的计算是当前用户利用自身的私钥通过对已撤销用户的公钥进行处理得到:ukj j+1=gxj/xj+1。如果云服务与已撤销用户想通过合谋获取当前用户私钥,就必须先以不可忽略的概率解决DL问题,再通过已撤销用户的私钥计算出当前用户私钥。而文献[16]中ukj j+1=xj+1/xj,如果云服务与已撤销用户合谋,那么云服务器很容易就能获取当前用户私钥。
在下面证明方案满足隐私保护性,即定理2。
定理2给定一个来自云服务器的审计证明响应信息Proof,对于好奇的TPA,它试图从中恢复用户数据文件,F={m1,m2,…,mn}中的数据块是不可行的。
证明组合信息μ′=∑i∈Qvimi是关于用户原始数据块的线性组合,一旦这个组合信息发送给TPA,这个好奇的TPA可以通过收集大量的组合信息,并借助强大的计算设备来求解这些线性方程组,从而恢复用户的原始数据块。为了防止TPA读取用户的原始数据块信息, μ′=∑i∈Qvimi需要使用随机掩饰码技术,具体如下:
云服务器利用伪随机函数f计算随机值r=fk3(challengeChallenge)∈Zp,并计算R=ur∈G,最后将μ′=∑i∈Qvimi盲化: μ=μ′+rh(R)∈Zp这样为了让TPA仍能解这些线性方程,TPA必须掌握这个随机值r,进而它必须掌握这个伪随机函数的秘密密钥,事实上,这个秘密密钥只有云服务器知道,因此TPA不可能知道这个随机值r,因此,对于好奇的TPA,它试图从审计证明响应信息恢复用户数据文件是不可行的。
5效率分析
在本章分析方案的通信和计算复杂度。需要注意的是与其他公共审计方案[9,12-13]一样,本文只计算频繁审计活动中通信和计算代价而不计算系统建立时的通信与计算代价。
用Pair表示双线性对操作,Exp表示G上的指数操作,MZ和MG分别表示Zp和G上的乘法操作。n、p、G分别表示{1,2,…,n}、Zp和G的比特长度。挑战中选取的数据块假定是个常量c,挑战中已撤换的用户数量总和也假设是个常量d。
1)通信开销。可以看到本文方案中通信负载主要取决于产生审计证明响应信息的通信过程。其中发送挑战Q={(i,vi)}到云服务器的通信量为c(n+p)。云服务器返回审计证明响应信息Vj=(μ,φ,{ε}∈[1, j],{γ}∈[1, j])的通信量为p+(2d+1)|G|,但是注意到只有在用户Uj发起的第一次审计请求中才需要这样的通信量,否则只需要传送通信量为p+|G|的(μ,φ)就行了,因此最终在一次审计过程中总共的通信开销为cn+(c+1)p+G。
2)计算开销。计算开销包括修改密钥生成、重签名和验证开销3部分,由于本方案支持第三方公开审计,所以只需要考虑修改密钥生成和验证开销两部分。对于用户Uj,在ReKeygen算法只需要计算gxj-1/xj,因此计算代价为Exp。根据上面提到的计算原则,并简化加操作和哈希操作后计算出验证开销为:
(c+1)MZ+MG+(c+3)Exp+2Pair
3)开销比较。如表1所示对比Wang等[16]方案,其通信开销为d・(p+G)+c・(id+n+p)必然大于本方案的cn+(c+1)p+G(两者相减后的值为(d-1)|G|+(d-1)|P|+c|id|,其中id为Panda方案中用户id的规模),其修改计算代价为nExp,比本文方案的计算代价Exp要高。验证开销为:
(c+2d)MZ+dMG+(c+d)Exp+(d+1)Pair,
亦明显高于本文的验证开销。
因此,效率分析表明本文方案在计算代价开销上要优于文献[16]方案。
6结语
本文提出了一个高效的支持用户可撤销的云存储数据公共审计方案。该方案使用了单向的重加密技术,有效地解决了云服务器与已撤销用户的合谋攻击问题。方案支持第三方公开审计,并且安全证明表明其安全性与不可伪造性基于CDH困难问题。经过与文献[16]方案进行的性能比较,结果表明:方案具有更好的效率优势。在下一步的工作中,考虑对方案进一步完善,在方案中加入对添加、删除、修改等用户动态可撤销系统数据动态操作情况下数据完整性验证内容。
参考文献:
[1]
HUBBARD D, SUTTON M. Top threats to cloud computing v1.0 [EB/OL]. [20150910]. https:///topthreats/csathreats.v1.0.pdf.
[2]
YU S, WANG C, REN K, et al. Achieving secure, scalable, and finegrained data access control in cloud computing [C]// INFOCOM’10: Proceedings of the 29th Conference on Information Communications. Piscataway, NJ: IEEE, 2010: 534-542.
[3]
LI M, YU S, REN K, et al. Securing personal health records in cloud computing: patientcentric and finegrained data access control in multiowner settings [C]// SecureComm 2010: Proceedings of the 6th International ICST Conference on Security and Privacy in Communication Networks. Berlin: Springer, 2010: 89-106.
云存储作为云中的一项重要服务,它通过集群应用、网格技术或分布式文件系统等将各种存储设备通过应用软件集合起来,对外提供数据存储和业务访问。云存储中,信息使用者并不要求知道服务器的具体型号或接口类型等信息,只要获得授权就可以对云存储中的数据进行访问,这隐藏了复杂程度,为用户提供了一个更为便捷的访问数据的方式。
2云存储中数据迁移分析
当我们从一个物理环境和单个阵列过渡到完全虚拟化的、高度动态的存储环境时,数据的迁移就成了云存储方案中最为基础、关键的步骤,它在整个方案中占有了举足轻重的作用。
2.1数据迁移中的网络连接数据云迁移必须面对云的网络连接能力的考验。企业与云之间数PB的数据的来回切换是比较困难的。目前大部分的操作模式是通过一个局域网或者广域网进行数据传输。根据企业数据量大小不同以及网络连接能力的高低,初次的数据迁移可能会持续相当长一段时间,因此,响应延迟是阻止云存储被采用的一个最重要因素。这里,建议各个机构在做数据云迁移前仔细检查本机构的网络情况并对内部网络的安全现状进行评估。目前,提高现有网络连接能力已经成为了一个新的研究方向,只有当网络足够好时,数据迁移才会更便捷。虽然有些云供应商提出了用物理迁移的方法来代替网络传输数据,但是我们要看到,由于工作性质的原因,有些类似于病人病历、企业核心数据等敏感数据是不能被复制或采取物理迁移的方法带走的。鉴于此,要把企业的数据转移到云中,针对不同的实际情况这里我推荐两种方法:当企业的数据吞吐量较大但是数据量不是特别多,对传输延迟也没过多要求时,云供应商可以提供从企业到供应商某个存储节点之间的私人链接,方便企业迁移数据。企业可以根据自己的时间,在不影响公司正常运行的情况下做数据的转移安排;当企业的数据可以提供拷贝,那么我们可以采用sneakernet的方式,即人工网络模式,将数据通过磁盘、移动存储设备等从企业服务器拷入到云数据中心或者从云数据中心拷贝出来,目前一些云供应商为了加快数据的转移,在给企业进行数据转移时会采取一些切实有效的人工网络模式,例如Nirvanix公司,他们在给客户进行数据转移时会提供一个配置了双千兆级以太网接口的存储服务器,当客户的数据拷贝完毕,公司就会带走服务器并将数据拷贝到云数据中心。而在初始备份之后,网络带宽压力将得到缓解,以后企业只要做增量备份即可。
2.2数据迁移中的数据结构化和迁移工具的选取为了将数据仓库有效地转移到云端,我们需要适当结构化数据并使用正确的数据分析工具及云迁移工具。传统关系型数据库中的数据要转移到云端非关系型数据库需要面临很多的问题,一是要解决如何从关系型数据库中快速有效地抽取大量的数据到云文件系统和数据库,二是数据的转换问题。这里推荐基于Windows和.NET的MicrosoftWindowsAzure。使用MicrosoftWindowsAzure作为云平台,应用程序可以很轻松地迁移到云中。以目前常见的+SQLServer的开发模式为例,由于SQLAzure和SQLServer之间的高度兼容性,因此迁移数据将会变得容易起来,我们只用留意数据库的最大尺寸即可。一般来说数据库的大小不宜超过50GB。当数据超过此大小时,可使用SQLAzureMigrationWizard来协助分析和迁移数据。它可以分析你当前的模式并找出与SQLAzure的不兼容之处,协助开发者修改。同时,可在后台使用BCP,把需要迁移的数据迁移到云中。
2.3数据迁移过程中的安全问题在数据云迁移过程中,制定一套安全有效的数据迁移方案对数据迁移进行安全管理是十分重要的。在安全管理的事项中,有三点是必须要考虑的。首先是数据,企业中不是所有的数据都适合放到云环境中去,若“敏感信息一旦受到危及,就有可能危害企业甚至决定企业存亡”的数据,企业在选择时就该更加谨慎,要考虑是否保留。其次是安全,不管是什么服务、什么样的存储技术,都要确保云提供商的安全措施可靠而明确。最后是加密,事实上,企业无法从云存储提供商的承诺中确保数据的安全,应该采取一切措施,特别是加密来防止敏感数据泄露。对于许多公司来说,信息就是核心资产,如果员工和客户无法获得信息,或者信息被非法使用,公司就会陷入困顿。对此,我们有一些方法来解决云迁移过程中的安全问题,比如我们可以先将用户分为若干部门并建立每个用户的树型结构标签,将其保存到存储云中的中央节点。同时,将存储云中的数据节点划分为若干机组建立存储云系统的树型结构标签,并将其保存到存储云中的中央节点。然后,我们建立上述两个树型结构标签点对点的关联关系,得到每一部门数据迁移过程中的目标机组安全选择策略,并将其保存到存储云中的中央节点。最后,中央节点根据此安全策略,确定每一待迁移数据块要迁移的目标数据节点,执行迁移命令进行迁移。不管我们采用什么安全性数据转移方案,数据的备份工作都是必不可少的。企业应做好数据迁移过程中的数据备份工作,虽然一些云供应商会做这一步操作,但是我们还是建议企业自己备份,不管备份在什么地方,我们都必须确保在数据转移过程中受到严密的保护,并且要求云供应商提供监控功能,监控访问数据的人员以及对核心数据的加密。
2.4数据迁移中的云供应商切换最后,如果企业对当前云供应商提供的服务不满意需要更换服务商,如何在两家服务商的云之间转移数据?这应该是当前一个很棘手的问题。由于目前云存储还处在初级阶段,各个云供应商都采用自己的加密或传输机制,因此没有一个规范和约束的统一标准。很多云存储供应商无法直接将客户数据迁移到另一家供应商。当服务出现故障时,数据将返还给客户,然后客户要再找另一家云供应商,或者将数据存储在本地服务器。这里建议各个云供应商提供一组云数据管理的应用编程接口API,让不同云供应商之间的数据迁移更加便捷。
据悉,此次合作是继2月份金山宣布将成立金山云公司之后的又一重大事件,这也标志着金山云核心业务――金山快盘的合作策略全面铺开。金山快盘定位是个人数据云存储中心,致力于个人数据的跨平台同步。至此 ,个人数据已经实现跨电视、电脑、手机、平板电脑四种终端的多平台数据交互,“四屏合一”时代即将到来。
本次合作也是金山云从移动互联网到3C电器领域的拓展。作为个人云存储的代表,金山快盘不仅完成了用户个人数据的存储、迁移与管理,还提供了系统的个人云存储解决方案。这既是技术层面上的突破、也是个人云存储产品完整生态环境的典型代表。
对于业界而言,本次联合会是金山和康佳保证各自领域成绩之后寻求的新突破,此次战略合作不仅是移动互联网厂商和传统家电厂商的跨界合作,更是将“四屏合一”这个概念变为现实。对于用户而言,跨终端的同步功能会逐渐成为用户生活中的一个重要方面,不仅云办公将成为现实,家庭视频、照片的同步也将大大增加云存储在个人生活中的娱乐作用和实用性,真正实现“不同世界 同样精彩”。
【关键词】大数据; 云物流; 物流平台;服务
一、引言
随着我国“十三五”规划的到来,产业的不断升级,传统物流行业也到了向信息化物流转型的关键时刻。我国就是典型的物流发展滞后于产业发展的国家,传统的物流行I中,物流信息不对称、配送环节冗长、物流服务水平参差不齐等老大难问题导致物流成本高居不下,利润被吞噬,物流企业步步维艰。以大数据和云计算为代表的新兴信息技术的发展催生出云物流模式,由此,创新物流服务、改善物流企业经营效率指日可待。
二、 云物流和大数据
1.云物流概念和特征
“云物流”最早由星辰急便的董事长提出,是云计算技术在物流行业中的应用,它利用云计算的强大通信能力、运算能力和匹配能力,集成众多的物流用户的需求和物流资源,形成物流云平台。该云平台上所有的物流相关机构,如物流公司、海关、保险、货贷公司、管理机构、媒体等可以最有效最简便方式,实现所有物流信息的展示、交换、处理与传递。从而提高物流供应链运营效率,创造物流价值空间。
简单地说,可以把云物流类比成一个资源池。这样的资源池对社会存在的物流需求和 物流能力进行虚拟化的集成,并且,资源池具备一种能量,能够将来自于全国各级企业的海量物流需求按类别、时间、区域还有紧急程度等整合分类,物流企业能够以更加简便的方式获取与自己物流能力相匹配的物流需求。由此可见,云物流能够跨越企业,整合不同企业之间闲置物流资源和能力实现对社会物流需求的一体化集成和调度,以最低的社会成本实现最大的物流效益。
2.大数据概念和特征
大数据是一个体量巨大、数据类别巨多的数据集, 并且这样的数据集无法用传统数据库工具对其内容进行抓取、管理和处理,它可以实时为企业撷取、管理、处理、整理数据,生成企业所需的数据资料。
大数据的特征可以通过四个“V”概括为:价值大(Value)、类别多(variety)、速度快(Velocity)、体量巨大(volumes)。
3.大数据背景下的云物流
大数据背景下的云物流是指大数据技术被应用于物流行业,物流企业利用大数据技术获取巨量物流大数据后,通过云物流强大计算能力智能分析物流客户需求,所有的物流信息、供需双方资源被有效、快速地集成、分析匹配、调度,最终为客户量身定制一套物流服务解决方案,实现精准营销。
物流企业运用大数据技术搜集的巨量物流大数据,主要包括物流作业中仓储、运输、包装、流通加工等环节中涉及到的信息数据。大数据背景下的云物流,利用大数据技术,对巨量数据中的细节进行融合,提取出最接近客户真实需求的有价值的信息,并有针对性地推送给物流企业,让物流企业获取有价值的订单。获取信息越全面越细致,信息越真实越具有价值。
三、大数据背景下云物流运作机理分析
大数据云物流系统中,云物流能够为大数据提供强大的存储和运算能力,大数据能够将杂乱无章的巨量数据进行融合,转变为具有商业价值的需求信息。二者结合,优势互补、相得益彰。如图1所示:
首先,大数据云物流平台集成了物流服务供需双方,即所有社会物流需求和物流能力,包括一些现在物流资源和细小的物流需求。物流服务需求方只需要下载APP,注册一个账号,通过大数据云物流对信息加工处理,就可以为物流客户提供一套精准的个性化物流服务方案。
其次,大数据云物流系统离不开数据系统,大数据系统分台前系统和台后系统,台前,大数据系统这通过移动设备、物联网、社交网络、互联网传感器等方式来收集第一手的数据信息,探测客户,而台后数据系统建立大数据库,对巨量数据进行提取、整合、分类分析并存储,为企业通过实时有价值的信息。
再者,大数据云物流核心是构建大数据云物流信息平台,该平台一端利用大数据建立数据库,包括各类物流信息、如物流仓储信息、配送信息、运输信息、保险信息、物流金融信息等,再通过云物流强大的云计算能力和先进的信息技术,将这些信息进行整合调度与配置,汇聚成虚拟的物流需求或物流资源,形成虚拟资源云,一方面供客户搜索、查询信息;另一方可以快速获取目标客户群,有针对性推送物流服务,实现精准营销。
最后,大数据云物流平台除了集成物流服务双方,还聚集了物流行业相关支持行业,如物流保险行业、国际货运、银行、海关等。引入相关企业,可以为物流客户提供一整套全方位的物流服务,提高客户满意度,增加客户粘性和忠诚度。
四、大数据云物流发展问题对策建议
1.技术方面,大数据云物流正处于探路阶段,数据基础设施和信息平台尚不成熟,仍然存在末端智能程度不足、数据链路衔接不畅、互联网接入标准有待加强等问题。首先,针对智能末端不够只能问题,相关部门要增加数据产品研发预算,引进高端产品开发人才,引入先进计算机算法,如智能打包算法。其次解决数据链路不畅问题可以发挥我国监管部门的主导作用。监管部门要督促我国三大电信部门之间以及与国际电信组织使用统一的通信协议标准,建立共享的通信网络,实现数据国内国际畅通无阻高效传输。
2.客户获取与维护,目前我国云物流还处于发展的初期阶段,物流客户相对分散,客户粘性不够高。互联网大数据环境下,粉丝经济可以成为解决这一问题的有效手段。中国的网购人群多大四亿,利用大数据技术对用户的网页浏览纪律、购物喜好、地理位置等数据进行挖掘分析,有针对性地推送体验式服务、广告或其他信息,从而增加目标客户群体粉丝关注数量。粉丝经济为物流企业获取大量稳定的客户群体外,提高品牌知名度与影响力。
3.资金方面,众所周知,这样新兴的物流模式前期投资大且烧钱快,如果没有丰富的人力资源和雄厚的资本,只能轮为空谈。对此,一来可以采取众筹的模式,众筹的模式在欧美国家甚至国内其他行业已经很普遍,将其应用到物流行业,也将带来不可估量的价值空间。大数据云物流采取众筹模式,实现后台物流物流资源的整合的同时,实现了物流资本的整合,为我们云物流平台提供强大的资金支持。二来可以建立云物流基金,基金可以包括政府扶持资金、物流企业自有资金、众筹资金等。通过联合金融机构对云物流基金的管理和运营,源源不断为大数据云物流提供资金支持。
4.政府政策方面,大数据下的云物流如果想要又好又快的发展,离不开各级政府支持,如物流行业中长期存在的货车进城、物流用地、路权、等老大难问题,需要政府在具体问题是具体分析并提供提高合理地解决方案,而不是一刀切的禁止。政府政策制度越合理开放,大数据云物流的优势将愈加凸显。
五、总结和展望
大数据背景下的云物流,将物流行业当中运输、仓储等物流需求通过大数据分析处理在行业共享平台上进行整合并优化,提高资源配置准确性和有效性,从而全面提升物流行业的服务质量和物流效率。大数据时代下物流能否实现转型,其关键突破点在于如何有效结合大数据和云物流的优势来构建一个以物流用户为核心,以提高物流服务为宗旨的高效运作的物流平台。只有大数据、云物流平台的推动,才能使碎片化物流需求快速规模化。实现大数据背景下云物流的应用创新是一项复杂的过程,我们就要主动迎接挑战,寻求变革,抓住机遇。
参考文献:
[1] 张明,张秀芬. 基于“云仓储”和“云物流”的电子商务大物流模式研究[J]. 商场现代化,2011(650):34-37.
[2] 贡祥林, 杨蓉. “云计算”与“云物流”在物流中的应用 [J]. 中国流通经济,2012(12):29-33.
【 关键词 】 云存储;数据迁移;安全
The Analysis about Data Migration of Cloud Storage
Su Pei-cheng
(The Computer Center of CYU Beijing 100089)
【 Abstract 】 Data migration is the most important link when corporate chooses the cloud storage mode. This article analyzed from several aspects of how to effectively carry out cloud storage data migration and put forward some own views, aims to study data transfer scheme.
【 Keywords 】 cloud storage; date migration; security
1 引言
云存储作为云中的一项重要服务,它通过集群应用、网格技术或分布式文件系统等将各种存储设备通过应用软件集合起来,对外提供数据存储和业务访问。云存储中,信息使用者并不要求知道服务器的具体型号或接口类型等信息,只要获得授权就可以对云存储中的数据进行访问,这隐藏了复杂程度,为用户提供了一个更为便捷的访问数据的方式。
2 云存储中数据迁移分析
当我们从一个物理环境和单个阵列过渡到完全虚拟化的、高度动态的存储环境时,数据的迁移就成了云存储方案中最为基础、关键的步骤,它在整个方案中占有了举足轻重的作用。
2.1 数据迁移中的网络连接
数据云迁移必须面对云的网络连接能力的考验。企业与云之间数PB的数据的来回切换是比较困难的。目前大部分的操作模式是通过一个局域网或者广域网进行数据传输。根据企业数据量大小不同以及网络连接能力的高低,初次的数据迁移可能会持续相当长一段时间,因此,响应延迟是阻止云存储被采用的一个最重要因素。这里,建议各个机构在做数据云迁移前仔细检查本机构的网络情况并对内部网络的安全现状进行评估。目前,提高现有网络连接能力已经成为了一个新的研究方向,只有当网络足够好时,数据迁移才会更便捷。虽然有些云供应商提出了用物理迁移的方法来代替网络传输数据,但是我们要看到,由于工作性质的原因,有些类似于病人病历、企业核心数据等敏感数据是不能被复制或采取物理迁移的方法带走的。
鉴于此,要把企业的数据转移到云中,针对不同的实际情况这里我推荐两种方法:当企业的数据吞吐量较大但是数据量不是特别多,对传输延迟也沒过多要求时,云供应商可以提供从企业到供应商某个存储节点之间的私人链接,方便企业迁移数据。企业可以根据自己的时间,在不影响公司正常运行的情况下做数据的转移安排;当企业的数据可以提供拷贝,那么我们可以采用sneakernet的方式,即人工网络模式,将数据通过磁盘、移动存储设备等从企业服务器拷入到云数据中心或者从云数据中心拷贝出来,目前一些云供应商为了加快数据的转移,在给企业进行数据转移时会采取一些切实有效的人工网络模式,例如Nirvanix公司,他们在给客户进行数据转移时会提供一个配置了双千兆级以太网接口的存储服务器,当客户的数据拷贝完毕,公司就会带走服务器并将数据拷贝到云数据中心。而在初始备份之后,网络带宽压力将得到缓解,以后企业只要做增量备份即可。
2.2 数据迁移中的数据结构化和迁移工具的选取
为了将数据仓库有效地转移到云端,我们需要适当结构化数据并使用正确的数据分析工具及云迁移工具。传统关系型数据库中的数据要转移到云端非关系型数据库需要面临很多的问题,一是要解决如何从关系型数据库中快速有效地抽取大量的数据到云文件系统和数据库,二是数据的转换问题。这里推荐基于Windows 和.NET的Microsoft Windows Azure。使用Microsoft Windows Azure作为云平台,应用程序可以很轻松地迁移到云中。以目前常见的+SQL Server的开发模式为例,由于SQL Azure和SQL Server之间的高度兼容性,因此迁移数据将会变得容易起来,我们只用留意数据库的最大尺寸即可。一般来说数据库的大小不宜超过50GB。当数据超过此大小时,可使用SQL Azure Migration Wizard 来协助分析和迁移数据。它可以分析你当前的模式并找出与SQL Azure的不兼容之处,协助开发者修改。同时,可在后台使用BCP,把需要迁移的数据迁移到云中。
2.3 数据迁移过程中的安全问题
在数据云迁移过程中,制定一套安全有效的数据迁移方案对数据迁移进行安全管理是十分重要的。在安全管理的事项中,有三点是必须要考虑的。首先是数据,企业中不是所有的数据都适合放到云环境中去,若“敏感信息一旦受到危及,就有可能危害企业甚至决定企业存亡”的数据,企业在选择时就该更加谨慎,要考虑是否保留。其次是安全,不管是什么服务、什么样的存储技术,都要确保云提供商的安全措施可靠而明确。最后是加密,事实上,企业无法从云存储提供商的承诺中确保数据的安全,应该采取一切措施,特别是加密来防止敏感数据泄露。对于许多公司来说,信息就是核心资产,如果员工和客户无法获得信息,或者信息被非法使用,公司就会陷入困顿。对此,我们有一些方法来解决云迁移过程中的安全问题,比如我们可以先将用户分为若干部门并建立每个用户的树型结构标签,将其保存到存储云中的中央节点。同时,将存储云中的数据节点划分为若干机组建立存储云系统的树型结构标签,并将其保存到存储云中的中央节点。然后,我们建立上述两个树型结构标签点对点的关联关系,得到每一部门数据迁移过程中的目标机组安全选择策略,并将其保存到存储云中的中央节点。最后,中央节点根据此安全策略,确定每一待迁移数据块要迁移的目标数据节点,执行迁移命令进行迁移。
不管我们采用什么安全性数据转移方案,数据的备份工作都是必不可少的。企业应做好数据迁移过程中的数据备份工作,虽然一些云供应商会做这一步操作,但是我们还是建议企业自己备份,不管备份在什么地方,我们都必须确保在数据转移过程中受到严密的保护,并且要求云供应商提供监控功能,监控访问数据的人员以及对核心数据的加密。
2.4 数据迁移中的云供应商切换
最后,如果企业对当前云供应商提供的服务不满意需要更换服务商,如何在两家服务商的云之间转移数据?这应该是当前一个很棘手的问题。由于目前云存储还处在初级阶段,各个云供应商都采用自己的加密或传输机制,因此沒有一个规范和约束的统一标准。很多云存储供应商无法直接将客户数据迁移到另一家供应商。当服务出现故障时,数据将返还给客户,然后客户要再找另一家云供应商,或者将数据存储在本地服务器。这里建议各个云供应商提供一组云数据管理的应用编程接口API,让不同云供应商之间的数据迁移更加便捷。
3 总结
数据迁移需要精心谋划,不合理的方法会导致企业资金超过预算、数据不完整等问题,我们应尽可能的规避这个过程中的数据迁移错误。这里给大家几点建议:一是在迁移过程中必须确保包含了全部数据源;二是优化存储;三是尽可能的采用“自动化转移”的方式;四是应该根据不同环境有区别的复制,这样可以尽可能的回收孤立的数据或者将他们移动到更有效的平台。
参考文献
[1] 杨正洪著.《企业云计算架构与实施指南》.清华大学出版社.2010.
[2] 段春乐.《云计算的关键技术及系统实例的实现》.电脑知识与技术.2011,07(26).
[3] 刘诗海.《面向可扩展集群环境的快速虚拟机迁移方法》.东南大学学报.2011,41(3).
注:本文支撑项目由中国青年政治学院提供资助。
据统计,6月1日到18日的大促期间,京东累计订单量过亿,在6月18日的爆发期,消费者购买热情空前高涨,全天(00:00-24:00)下单量同比增长超过60%。其中,移动端下单量占比达到85%,是去年同期的2.2倍。这样巨大的订单数量,考验着京东云平台的数据承载能力、数据分析能力、扩容能力、资源调配能力以及京东云的基础设施服务能力。特别是6月18日凌晨大促开始时,大量秒杀同时爆发,流量和订单会形成巨大的洪峰。而京东同样不负众望,面对如此庞大的访问量和交易数据一直稳如泰山,为用户提供了极为稳定而流畅的购物环境。而这一切,均离不开京东云的技术支持。
京东云用技术为618保驾护航
京东是云计算最忠实、最彻底的实践者,此次618大促,整个京东商城的核心系统都建立在京东云平台之上,支撑着从用户下单到商品配送的整体环节。
京东技术为618创造了更多价值,京东云为核心业务提供了稳健的支持,618大促期间,带宽扩容数百G,从容抵挡大量流量瞬间爆增带来的冲击,100%的订单在云上完成。目前为止,京东在Docker容器上的应用数量已经突破5000个,在生产环境上运行的Docker实例也已突破150000个,今年618的弹性云集群规模达到去年同期的11倍。京东云面对突发流量实现了秒级扩容,平稳、安全地度过了数次订单洪峰,坚实地保障了京东整个运维系统的正常运行。
关键词 云计算 虚拟化 信息安全
中图分类号:TP393 文献标识码:A
1云计算的发展及云计算的概念
云计算自2006 年被Google 提出之后,就产生了巨大反响。就我国而言,云计算更合乎经济向服务型、高科技型转变的趋势,政府和医疗信息化、三网融合及大量迅速成长的电子商务应用,在我国云计算已经从产生到实质发展阶段。
关于云计算的定义,得到业界最广泛接受的是2011年1月由美国国家标准和技术研究院(NIST)提出的:云计算是一种通过网络以便捷、按需的形式从共享的可配置的计算资源池(这些资源包括网络、服务器、存储、应用和服务)中获取服务的业务模式,云计算业务资源应支持快速部署和,使管理成本降到最低。
2云计算环境下安全隐患
云计算迅速发展的同时,也面临着信息安全的巨大挑战。目前安全问题已成为困扰云计算更大发展的一个最重要因素。某种程度上,关于云计算安全问题的解决与否及如何解决,将会直接决定云计算在未来的发展走势。目前云计算环境存在以下隐患。
安全边界不清晰:虚拟化技术是云计算的关键技术,服务器虚拟化,终端用户数量非常庞大,实现共享的数据存放分散,无法像传统网络那样清楚的定义安全边界和保护措施。
数据安全隐患:根据云计算概念的理解,云计算的操作模式是将用户数据和相应的计算任务交给全球运行的服务器网络和数据库系统,用户数据的存储、处理和保护等操作,都是在“云”中完成的,将有更多的业务数据、更详细的个人隐私信息曝露在网络上,也必然存在更大的泄露风险。
系统可靠性和稳定性的隐患:云中存储大量数据,很容易受到来自窃取服务或数据的恶意攻击者、滥用资源的云计算用户攻击,当遇到严重攻击时,云系统可能面临崩溃的危险,无法提供高可靠性、稳定的服务。
3云环境信息安全防护解决方案
3.1云服务提供商
从云服务提供商角度,安全防护方案:
(1)基础网络安全
基础网络是指地理位置不同的数据中心和用户终端的互联。采用可信网络连接机制,对检验连接到通信网络的设备进行可信,以防止非法接入设备。基础网络安全设备性能要满足与网络相匹配的性能的需求,可以实现随着业务发展需要,灵活的扩减防火墙、入侵防御、流量监管、负载均衡等安全功能,实现安全和网络设备高度融合。
(2)虚拟化服务安全
“按需服务”是云计算平台的终极目标,只有借助虚拟化技术,才可能根据需求,提供个性化的应用服务和合理的资源分配。在云计算数据中心内部,采用VLAN和分布式虚拟交换机等技术,通过虚拟化实例间的逻辑划分,实现不同用户系统、网络和数据的安全隔离。采用虚拟防火墙和虚拟设备管理软件为虚拟机环境部署安全防护策略,采用防恶意软件,建立补丁管理和版本管理机制,及时防范因虚拟化带来的潜在安全隐患。
(3)用户管理
实现用户分级管理和用户鉴权管理。每个虚拟设备都应具备独立的管理员权限,实现用户的分级管理,不同的级别具有不同的管理权限和访问权限。支持用户标识和用户鉴别,采用受安全管理中心控制的令牌、口令及其他具有相应安全强度的两种或两种以上的组合机制进行用户身份的鉴别,对鉴别数据进行保密性和完整性保护。
(4)数据传输安全
采用在云端部署SSL VPN 网关的接入方案,避免云环境下用户的数据信息从终端到云计算环境的传输中,数据信息容易被截获的隐患,以保证用户端到云端数据的安全访问和接入。
3.2云服务终端用户
从终端用户角度,安全防护方案:
(1)选择信誉高的服务商
企业终端用户应做风险评估,清楚数据存在云中和存储在自己内部数据中心的潜在风险,比较各家云服务供应商,取得优选者的服务水平保证。企业终端用户应分清哪些服务和任务由公司内部的IT 人员负责、哪些服务和任务交由云服务供应商负责,避免恶意操作带来的损失,也能保证服务的持久化。
(2)安装防火墙
在用户的终端上部署安全软件,反恶意软件、防病毒、个人防火墙等软件。使用自动更新功能,定期完成浏览器打补丁和更新及杀毒工作,保证计算环境应用的安全。
(3)应用过滤器
目的在于监视哪些数据离开了用户的网络,自动阻止敏感数据外泄。通过对过滤器系统进行安全配置,防止数据在用户不知情的状态下被泄露,避免用户自身数据的安全性降低。
3.3云计算监管方
目前我国云计算已经发展到实质应用阶段,国家有必要建立健全相关法律法规,积极研发和推广具有自主技术的云产品,构建中国自己的云计算安全防御体系。
4结束语
解决云计算安全问题需要云计算的监管方,云计算提供商,云计算的使用方等多方面的共同努力,相信我国云计算环境应用及服务必将朝着可信、可靠、可持续的方向健康发展。
河北省教育厅资助科研项目(Z2013037)
参考文献
[1] 刘洁,薄祥臣.云计算环境下信息安全防护方案探讨.网友世界,2013.
[2] NIST.