「星技术」纳管对象、NAS及公有云等存储，XSKY对象回源轻松搞定！
随着互联网、5G、AI等技术的快速发展，企业的数据急剧暴增，现有存储架构通常无法应对海量非结构化数据的管理与使用。各大行业的存储选型采购以及更新已将现有存储架构逐步替换为对象存储，对象存储已成为当今企业内非结构化数据存储的最佳选型。
在此过程中，通常企业会重点考虑两个因素：
存储利旧：保护历史已有投资发挥最大效用，降低企业成本，利旧原有存储设备。
业务平滑切换：无缝替换现有存储，切换过程中业务不中断，简化业务切换运维操作。
存储纳管可以说是应对上面这些需求的神器，深受广大客户青睐。从广义上来讲，新存储系统对外提供一致的访问入口，实现对新旧存储统一访问的技术，都可以称为存储纳管。根据纳管程度的不同，大致可以分为如下几种类型：01
利旧数据访问
仅通过统一访问入口实现对历史数据的访问，不负责维护历史数据更新、删减，且新产生的数据只存放到新存储设备。满足这一需求的最简单、通用的技术方案就是扫描历史数据，提取历史数据的元数据信息，存储到新存储系统中，同时记录它到旧存储系统的访问路径或映射关系。当通过新存储系统入口访问历史数据时，借助前面扫描生成的元数据信息，到旧存储系统中读取数据。这种实现方案，很适合预先明确某些数据集需要被利旧的情况，比如某些特定前缀的对象，或位于某些特定子目录下的文件。在我们和客户交流过程中，发现还存在着下面几种场景，依靠预先扫描并存储历史数据元数据难以满足的需求：
历史数据仅仅是偶尔会被访问到，对性能也没有特别的要求，不愿意在新存储中存储历史数据的元数据，它会导致因数据利旧而额外增加成本。
只能确认有小部分历史数据会被业务访问，但不能预先确定是哪些历史数据。如果全部扫描历史数据元数据，预先存储到新建存储中，会大幅增加用户成本。
少量历史数据在一定时间范围内需要被高频访问(比如调集历史数据制作某个专题节目)，需要这些历史数据能在新建存储中缓存一段时间，使用完后，又可以自动释放本地存储空间，避免历史数据长期占用新建存储空间。
关键业务需要平滑切换到新建存储，不能出现业务中断。如果采用预先扫描并存储历史数据元数据方式，在扫描期间，不断产生新的数据，基本难以做到完整扫描，不可能实现无中断的业务平滑切换。
02
利旧存储
通过统一的访问入口，既可以访问历史数据，也能更新历史数据、删减历史数据，甚至新产生的数据也能存储到旧存储设备上，属于更高级的存储纳管。
一
XSKY存储纳管之利旧数据访问技术方案
二
客户场景
场景一：回源重定向
场景二：回源代理
需求：从网络安全和简化网络部署运维考虑，应用客户端只与新建存储之间网络连接，由新建存储系统对外提供统一接入访问入口，新数据写入新建存储，旧有存储上的数据能读取到即可，对性能没有特别要求。
方案：新建的XSKY对象存储上，开启代理回源模式，将原来的老存储系统配置为回源访问的源站。为了能代理访问旧有存储系统上的数据，在业务切换到新建的XSKY对象存储上之前，还需要打通新老存储系统之间的网络，保持网络互通。该方案中，应用从XSKY对象存储(下面简称新建存储)提供的统一访问入口请求读取数据，如果数据在新建存储上不存在，新建存储系统会充当中间代理人角色，从旧有存储系统读取到数据后返回给应用。不做数据扫描、不做数据迁移、不占用额外存储空间，实现对历史数据利旧访问，降本增效。场景三：回源镜像
需求：业务上线运行已经有很长时间，在旧有存储系统中积累了大规模的历史数据，其中只有很少一部分还有使用价值，需要将这部分数据迁移到新建存储上。但让人头痛的是，只有业务再次访问到的数据，才被认为是有价值的历史数据，所以不能预先确认和规划迁移哪些数据到新建存储。如果把历史数据全部迁移到新建存储，不仅迁移时间长，而且要占用大量的新建存储空间，代价高昂。
方案：在新建的XSKY对象存储中，开启镜像回源模式，将原来的老存储系统配置为回源访问的源站。
该方案中，当应用客户端向XSKY对象存储(以下简称新建存储)请求读取数据时，如果在新建存储中没有该数据，新建存储系统首先充当代理人角色，从旧有存储系统中读所需数据返回给应用，然后在后台启动一个镜像任务，从旧有存储中将这个数据完整下载并存储起来。借助业务触发来按需将有使用价值的历史数据迁移到新建存储，业务无感知，经济、实惠、简便。
场景四：CDN缓存
需求：在旧有存储中的历史数据，在某些时间段里会被频繁访问，使用完后又归于平寂。比如为了制作某个专题需要大量历史数据素材，短期制作完成后，这些数据就不再经常访问，具有很强的临时性特征。
方案：新建的XSKY对象存储中，开启CDN缓存回源模式，将原来的老存储系统配置为回源访问的源站，并按需设置缓存过期时间。
该方案中，当应用客户端向XSKY对象存储(以下简称新建存储)请求读取数据时，如果在新建存储中没有该数据，新建存储系统首先充当代理人角色，从旧有存储系统中读所需数据返回给应用，然后在后台启动一个缓存任务，从旧有存储中将这个数据完整下载并临时存储起来。当设置的缓存有效期到期后，系统会自动将缓存的数据删除。借助业务触发来按需将有使用价值的历史数据临时缓存到新建存储，满足对数据的高频访问需求，在缓存到期后自动释放新建存储上占用的空间，性能、成本兼顾。
场景五：数据在线迁移
需求：新建存储系统部署后，需要无缝替换旧有存储，存储切换过程中保持业务连续、不中断。
方案：在新建的XSKY对象存储中，开启镜像回源模式，将原来的老存储系统配置为回源访问的源站。然后运行数据迁移工具开始从旧有存储系统迁移数据到新建存储系统，在数据迁移过程中，将业务切换到新建存储系统即可。
该方案中，已经完成迁移的历史数据，可以在新建存储中直接访问，还没有完成迁移的数据如果被访问到，借助镜像回源可以为应用提供数据访问，并提前将数据迁移到新建存储中。镜像回源和数据迁移相配合，无需等待数据全部迁移完成，实现业务快速切换、业务永续、数据在线热迁移。
三
总结
往期推荐