【案例】星环科技原厂数据备份恢复软件，让大数据与AI应用有备无患
云与大数据时代，数据呈爆炸趋势增长，各行各业均在使用大数据技术挖掘数据价值并从中获益。随着AI、大数据和容器云技术的完善，越来越多的客户将关键甚至核心的业务与数据放在AI、大数据平台和容器云平台上。与此同时企业对数据可靠性和业务连续性保证的诉求也与日俱增，灾备刻不容缓。
在信息化系统中，灾备是指在灾难未发生前，利用IT技术对信息系统的数据和应用进行保护，包括本地及异地的数据备份、应用和场所的接管等，以确保系统在遭受灾难时数据的安全，以及业务的快速恢复，为企业的正常运行提供服务。
云数据管理备份解决方案提供商Veeam Software对全球企业3000多名IT决策者进行调研后于4月15日发布的报告显示，全球14%的数据没有进行任何备份，58%的数据恢复失败，95%的组织在过去的12个月遇到过意外停机；2020年有1/4的服务器至少出现过一次意外停机，停机和数据丢失的影响频繁上演。这一现状将企业的数据置于险地，当网络攻击导致系统停机时，数据将难以保护和恢复。超过一半的高管表示这可能导致客户、员工和利益相关者对组织失去信心。
尽管数字化变革已经深入企业管理者的人心，数据备份与恢复在现代数据保护中扮演着不可或缺的角色，但是到2021年仍然有16%的中国组织的数据没有进行备份，低于全球平均水平。
在星环科技服务的大数据与AI 应用项目中我们发现，用户对数据备份恢复需求普遍存在，期望用原厂数据备份恢复软件，构建容灾方案，让大数据与AI数据与应用有备无患。
1）灾备的目标和重要性
星环科技技术专家徐杰介绍，在大数据与AI 应用项目中，灾备的目标和重要性体现在两个方面：
一是保护用户的核心数据安全。企业用户越来越多的核心数据存储在星环科技大数据平台TDH中，也存在数据丢失的风险。假如数据一旦丢失，恢复成本会很高甚至无法恢复，给用户造成的损失可能是无法挽回的。
二是保障用户的核心应用安全。用户越来越多的核心应用运行在星环大数据、AI平台上，有内部核心系统，有对客应用，这些应用一旦因为故障无法提供服务，损失也是不可估量的。
从目前来看，很多行业，尤其金融、政务、交通、制造等行业监管机构都明文要求行业企业系统具备容灾能力，这也体现了灾备的重要性。
2）大数据和AI平台灾备的现状和痛点
传统的IT系统数据备份技术通常自上而下分为四个层级：
-应用层：应用开发商定制编写代码或者脚本完成数据备份。
-数据库层：数据库厂商专供的数据备份恢复技术。
-操作系统层：特有的系统内核字节级数据备份技术。
-存储层：磁盘阵列厂商提供的数据块级别备份功能。
相较而言，存储层和操作系统层备份技术成熟，但是无法满足分布式系统数据一致性要求；在数据库厂商提供专供数据备份技术和产品之前，应用层定制是实现大数据平台灾备的唯一选择，但是定制开发实施和运维成本巨大，且随着平台应用数增加而线性增加，并且数据库上层数据备份通常需要通过数据抽取-数据传输-数据装载来实现，代价高，效率低，还会较大程度上影响系统性能和稳定性。
因此，用户期望大数据平台或数据库厂商可提供专有复制技术，降本增效，易用且不占或很少占用系统I/O，用户无需大量定制业务应用，无需大量编写代码脚本，无需学习掌握各种数据存储路径存储原理，无需考虑平台版本兼容性。
星环科技的大数据平台数据备份恢复软件TBAK属于原厂数据备份恢复软件产品，帮助客户在灾难发生前，利用IT 技术对信息系统的数据和应用程序进行预先复制备份，以便可在一定时限内(RTO)，完成特定时效（RPO）要求前的数据恢复，进而保证业务的正常开展。
星环大数据平台数据备份恢复软件TBAK，可在配置完主备集群信息后，通过勾选需要同步的组件的表或目录信息后，即可按周期策略进行同步，用户不用再关注具体的应用、业务表类型和存储原理。
星环科技的大数据平台数据备份恢复软件TBAK的目标客户包括星环科技大数据平台、数据云平台、数据库产品、人工智能平台等的新老客户。
其中包括业务刚需客户：核心业务，尤其是对客提供服务，业务连续性要求高，需要有备份数据中心，以便故障切换。
数据刚需客户：核心数据，尤其是数据在集群中独一份，一旦丢失不可以恢复，或者恢复成本高。
政策刚需客户：政策要求做数据容灾，且要求每年必须做容灾演练。
另外，外部系统数据迁移、数据共享交换（跨集群数据复制）、集群升级改造、机房搬迁、大数据上云等需求，也是TBAK的目标客户。
TBAK的典型应用场景包括：
一是数据热备，对于在线数据库Hyperbase，建设同等规模备份集群，保持备集群与当前应用系统数据的同步。一旦主集群出现故障，在规定的RTO时间内迅速切换业务。
二是数据温备，对于离线数据库Inceptor和ArgoDB，建设同等或较小规模集群，主集群数据定期同步至备集群。当主集群出现故障时，使用定期备份数据，在规定的RTO时间以内恢复数据和业务。
三是数据冷备，不建设备份集群，以低成本方式将数据以文件形式备份到文件系统、文件服务器等，集群故障后，修复或新建集群，在规定的RTO时间恢复数据和业务。
四是数据迁移，数据备份能力的另一种用途，快速实现跨CDH与TDH产品、跨TDH版本、跨TDH与TDC平台数据迁移，用于机房搬迁、集群升级、数据云化、数据实验、数据交换等应用。
目前为了满足客户日益增长的大数据和AI平台灾备需求，在市场上也有一些为星环大数据和AI 应用提供灾备的软件产品，通过HDFS原生的数据跨集群复制命令Distcp和星环大数据平台提供的标准JDBC接口，用数据导出和导入方式做数据跨集群备份，本质上还是应用层定制，只不过提供运维界面，一定程度上提升了易用性。
相对于星环科技的TBAK，这类产品和方案存在不少弊端：
-作用有限，无法实现全产品组件支持，如Sophon、Workflow、Transporter、Guardian等很多数据和元数据无法备份，故障后无法切换应用保障业务连续性，也就无法真正实现容灾。
-高本低效，有限的灾备作用下，将Inceptor、Hyperbase、Search、ArgoDB等表数据先复制一份到HDFS，然后备份HDFS文件，代价极高，效率低，同时占用大量对主集群计算资源，造成性能下降甚至影响稳定性。
-除此之外，平台兼容性不能保证，没有原厂服务支持等弊端也客观存在。
Transwarp Backup（TBAK）产品的优势明显：
-原厂备份恢复软件，全组件支持，与平台高度兼容；
-底层数据复制技术，文件块级别数据增量复制，代价小且效率高；
-支持数据热备、温备、冷备多种备份需求，支持实时同步、周期调度、立即执行多种备份模式，支持全量备份、增量备份，满足所有大数据和AI平台备份需求；
-低实施成本，界面配置同步模式，勾选需要同步的对象（文件、表、组件等）即可完成数据备份，开发负杂度非常低，上线周期非常短。
-高可维护性，一站式可视化运维管理界面，提供告警、监控、日志运维、自动重试等功能的，运维成本非常低。
某银行主集群包含18个节点，部署了星环极速大数据平台TDH，使用星环科技的Transwarp Hyperbase在线数据库搭建了一个影像平台。用户希望星环科技提供Hyperbase影像平台容灾方案，要求RPO和RTO都在15分钟以内。在备份上，要求按“存量数据，每日增量”的方式进行。
星环科技基于TranswarpBackup（TBAK）提供建设方案，如下图，
按2:1部署灾备集群，部署Transwarp Backup，创建Hyperbase准实时同步方案，开启同步:
该项目属于用户核心应用备份项目，用户RTO和RPO要求非常高。项目投入应用后，效果显著，RTO小于5分钟，RPO小于5分钟，方案落地周期小于1人月，创造了良好的经济和社会效益。
某客户希望提供跨数据中心的星环科技分布式闪存数据库ArgoDB数仓双活方案。两个数据中心资源配置存在差异，有主副之分，对数据、模型、用户权限等一致性有要求，对数据时效性（RPO）和运维难度等都有明确的要求。
在星环科技提供的灾备建设方案中，Transwarp Backup（TBAK）和ArgoDB产品内置数据同步组件ArgoDBBAR（简称ABAR）配合实现：ABAR可以给待同步表的schema信息与表的物理数据文件和文件的元信息创建底层快照。ABAR会在ArgoDB集群每个tablet-server节点上启动一个executor，进行数据同步，并保证数据一致性。这个过程高效和快速。
ABAR的优势是，数据同步操作都是并行的，每个executor节点同时在执行数据的传输同步。因此，BAR的同步速度是线性可扩展的。ABAR作为大集群的数据同步工具，完全可以实现上百TB甚至更大的集群数据同步。
TBAK提供可视化界面，非常方便配置同步周期和需要同步的表，然后TBAK按照配置调度ABAR完成ArgoDB数据同步，TBAK也支持将数据同步任务发布成API，以便外部调度工具调用。
数仓双活是大数据应用中典型应用场景，非常具有代表性。从用户应用效果来看，RPO受同步调度周期影响，调度策略可配置，满足用户的时效性要求；ABAR与TBAK保证了数据的一致性；TABK提供可视化界面，流程化任务进度，可视化日志分析，很大程度减少运维成本。
某客户希望实现集群与生产集群的T+1的同步，以方便在实验集群进行业务探索实验。生产集群部署了星环科技的TDH5.2.2，10个节点；实验集群部署TDH5.2.4，4个节点。
TDH数据存储的方式包括HDFS、Text、ORC事务表、Holodesk表、ORC表、Hyperbase、Searh共7种类型。星环科技提供的建设方案如下图。
实施过程同样简单快速，创建HDFS和Inceptor两个存量数据备份方案，分别选择对应HDFS目录和Inceptor表，完成历史数据全量备份。配置增量数据同步策略，创建HDFS和Inceptor两个增量数据备份方案，分别选择对应HDFS目录和Inceptor表，完成增量数据T+1备份。
方案落地周期不到1人月。投入使用后，实现了全自动数据同步。
点击“阅读原文”
详细了解星环科技大数据平台数据备份恢复软件
TDH TDC Sophon 流式计算 图数据库 闪存数据库