数据存储技术倍增储存容量的COS技术(二)

2330阅读 0评论2016-09-19 satfire
分类:服务器与存储

COS的限制:效能与应用环境

  COS虽有大幅缩减储存空间的效果,但其整体压缩的演算显然也是要付出相当的代价,以致限制了COS的应用。主要的限制有2点:

      >>效能限制―不支持实时读写环境

  由于多了COS的整体压缩演算必然会影响到系统的I/O效能,不过目前Data Domain的COS功能都是透过Appliance的方式来实现,对系统效能的影响较低,以目前实测中的表现来看,COS的压缩演算在Gbps的网络环境下,虽还不至于成为系统效能上的瓶颈,但也因此而不适于实时环境的应用,也就是说不能把COS产品当作一般的磁盘或网络储存装置(NAS)来使用,这并不是COS产品的定位所在。

      >>应用环境限制―仅支持备份软件下的作业

  除了压缩演算会影响系统效能外,由于COS的整体压缩需要比对已存放在硬盘中的旧压缩数据,因此在DD OS所控制的磁盘空间中,压缩数据都是以Data Domain锁定义的特殊格式排列,以便DD OS进行特征值比对。所以DD OS控制的磁盘空间是不对外开放的,不允许其它程序或档案系统读写这块磁盘空间,因此也不能支持一般档案系统的数据实时读写。

  为简化问题,Data Domain将COS的应用范围限制在备份的应用上,只能在备份软件下作业,COS机器也只能做为备份软件下的一个储存媒体,而不能当作一般的磁盘阵列使用。备份软件对COS机器的读写要求都是透过DD OS来进行,也就是说DD OS会把备份软件隔绝在机器外,COS机器对备份软件来说是个黑箱,备份软件并不知道其送给COS机器的数据已经过压缩处理。

  不过Data Domain的产品能够支持市场上绝大部分的备份软件,可适应大部分用户的储存环境,一定程度减缓了这个问题。

  COS的效益―大幅降低储存空间的消耗

        档案测试

次数 每次备份的数据量 未压缩数据量 压缩后新增数据量 压缩率
1 6.7GB 6.7GB 3.7GB 1.8
2 6.7GB 6.7GB 100MB 3.4
3 6.7GB 6.7GB 200MB 6
4 10.1GB 10.1GB 800MB 6.4
5 11.4GB 11.4GB 100MB 8.4
      
      数据库测试

次数 每次备份的数据量 未压缩数据量 压缩后新增数据量 压缩率
1 2.6GB 2.6GB 1.3GB 2
2 2.6GB 2.6GB 0 3.7
3 3.4GB 3.4GB 100MB 4.5

      *压缩率=各次备份数据量总合/压缩后占用容量总合

  压缩数据、减少储存空间损耗是COS的最大卖点。由于目前SATA硬盘的售价不断降低,就中小企业或个人端来说,对储存空间需求较小,最多不过几百GB到1~2TB而已,硬盘的购置费用还不会成为非常大的负担,因此不能感受到COS所带来的效益。

  但对储存容量需求达数十甚至上百TB以上的中大型企业来说情况就不同了,1套8TB的磁盘阵列售价就超过40万元,20~30TB以上的机种售价更超过百万元。若能透过COS以容量较小实体硬盘来满足较高储存容量的需求,无形间也就等同于节省了数十万元的硬盘购置费用。

  除了在备份软件下当作一个储存媒体使用外,COS产品也十分适合作为虚拟磁带柜(VTL)之类磁盘到磁盘再到磁带(D2D2T)的应用环境。在 D2D2T环境中,作为前端磁盘与后端磁带缓冲的中介磁盘容量,决定了将数据从磁盘转移到磁带上的频率。显然的,缓冲的中介磁盘容量越小,用户就必须更频繁的执行媒体转移的工作,由于磁带是属于离线作业的媒体,若用户的数据量很大,将数据转移到磁带上所需的作业时间可能过长。因此较理想的做法是把D2T的转移时间挪到周末来进行,但这也就表示:作为前端磁盘与后端磁带设备中介缓冲的硬盘容量必须能满足5日以上的需求,在数据量很大的情况下,用户必须选用高容量的磁盘阵列才能应付,但高容量的磁盘阵列耗费庞大,因此若改用具备COS技术的装置,显然就能在不扩充实体硬盘的情况下,大幅提升中介磁盘的储存能力,节省耗费在扩充硬盘容量上的开销。

  为了验证COS的数据压缩能力,我们借用了麟瑞科技的机房进行了Data Domain的COS实机测试。使用的COS产品为Data Domain的DD 430.测试平台为 Server 2003,备份使用Veritas NBU 6.0 enterprise,并以SQL Server进行数据库测试。

  测试分为档案与数据库两部分,档案部分利用备份直接将6.7GB的数据,透过备份软件的Agent存放到Data Domain DD 430中,不改变数据内容重复备份3次,每次皆为完全备份。接下来改变数据内容作2次备份,记录每次备份的压缩率。

  数据库部分则是以备份服务器将SQL数据透过NBU的Agent备份到DD430中,前2次备份不改变数据内容,皆为完全备份,接着于数据库内写入新数据,仿真数据异动后,接着再进行备份,并记录每次备份的压缩率。

  由测试结果可以看到,COS确实有压缩的效果,以档案测试而言,第1次档案备份的压缩率可达1.8:1左右,而在作5次备份后,我们更动了原先资 料70%的内容,大约新增了4.7GB的数据,但经COS的整体压缩后,这4.7GB的新增数据实际上只占用了DD430 1.2GB的空间。

  而数据库测试的压缩率还更高,第1次备份2.6GB SQL数据的压缩率为2:1,大致与一般压缩技术所能达到的压缩率相当,然而当新增了0.8G数据后,在DD 430上却只多占用了100MB的实体空间而已。当然这也显示在一般的数据库数据中,若从底层来看,确实有相当多冗余的部分。

  由测试数据另外还可看出一个趋势,在典型的储存环境下,由于数据异动量有限,多次备份间的数据重复之处甚多,因此在使用COS技术作越多次备份时,压缩率就会越高,在某些环境下,经过数十次的备份后的压缩率甚至可达20:1以上。当然实际的压缩率需视储存环境而定。

  COS产品简介―DD200/400与DD460G

  COS是Data Domain的核心技术,目前商业化的产品有磁盘阵列控制器与网关器两类。

  磁盘阵列控制器

  如前所述,Data Domain的磁盘阵列控制器基本上就是一台应用程序服务器,内含8~15台SATA硬盘,由DD OS负责控制。目前Data Domain的磁盘阵列控制器有发表已2年的DD200与新的DD400两系列,DD200可提供4TB的原生容量,DD400则可提供1.2~6TB的 原生容量。

  透过COS技术,可满足相当于15~80TB的实体储存容量要求(视数据型态而定)。DD200为4U机架,DD400则为3U,两者也都具备高 可靠度技术来保护硬盘,DD200支持RAID 0+1,而DD400则支持更高阶的DD RAID,DD RAID可容许数组中的2台硬盘同时失效,功能相当于RAID 6,另外数据在写入DD200/400时也都会经过验证与纠错机制的检验。目前DD200/400均只支持GbE网络,之后将会增加FC接口,用户可透过 浏览器登入DD200/400的管理接口执行管理作业,如检视系统状态、使用状况统计、设定管理密码等。

  DD200/400支持市场上绝大多数的备份软件,包括Veritas Netbackup、Backup Exec、EMC Legato Networker、HP Data Protector与Bakbone NetVault等,另外还能提供远程复制的应用,经过COS压缩后存放于DD200/400内的数据,可经由网络送到远程的另一台DD200/400上 作为异地备援。由于传输的是经COS处理过后的数据,所以占用的频宽较小,但需放到另一台DD200/400上,才能使用这些数据。

  DD460G网关器

  多数企业用户都已有自己的磁盘阵列,因此DD200/400内的硬盘对他们来说是多余的,故Data Domain另推出DD460G网关器来满足这类用户的需求。DD460G可配合用户已有的磁盘产品使用,只需分画一块区域出来给DD460G控制即可。

上一篇:数据存储技术倍增储存容量的COS技术(一)
下一篇:总结下目前掌握的高并发的优化