实战利用LVM卷镜像技术实现不停业务的数据在线迁移，核心存储升级混闪V7000F | 运维进阶
【摘要】随着信息化、数字化的快速发展，在大数据时代，数据的迁移、灾备是数据库整个运维工作中的关键一环，是关系到公司数据安全的重要组成部分。本文以2019年某集团公司ERP核心数据存储升级为例，详细介绍了在AIX操作系统中如何利用LVM卷镜像技术实现不停业务的数据在线迁移，一是对相关操作做进一步的复习巩固，二是在将来类似有需要的场景中打下良好的知识基础。
【作者】胡永亮，某钢铁公司数据运维工程师，擅长多种主流数据库运维，曾获得某省青年职业技能大赛奖项。目前主要协助搭建集团公司数据仓库、私有云建设等工作。
一、背景介绍
某公司ERP系统于2012年正式上线投入使用。相关存储、服务器等设备早在2011年下半年就已上架安装调试。至今运行时间将近八年。随着近年来业务系统的不断发展，数据核心存储V7000（IBM第一代产品2076-124）的硬件性能逐渐成为应用系统运行中的瓶颈，数据库磁盘利用率一直居高不下。由于采购时间较早，设备的故障率也随之逐年增加，相关部件已退出市场，二手备件无法保证质量。一旦出现较严重故障或临时维护停机，将直接影响核心生产系统的使用。
因此，在2019年我们对ERP数据核心存储系统进行了一次全面升级改造。所有数据从旧设备到新设备实现了高速在线迁移，业务系统进行了无缝衔接。整个迁移、切换过程关键设备零重启，对用户正常操作ERP画面未造成任何影响。
二、目的和意义
存储设备运行更加稳定
新的IBM V7000存储（2076-624）属于V7000系列的第三代产品，2016年9月投入市场。存储系统的设计从控制器、数据通道、I/O接口，到磁盘环路都是采用冗余结构，理论上不存在系统本身的单点故障问题。该产品依靠其卓越的稳定性、可靠性及独特的人性化配置界面在市场占有率上一直位居前列，在同行中具有良好的口碑。
设备性能显著提高
ERP核心存储中存放的数据多为ERP应用和DB2数据库数据，数据处理类型多为OLTP联机事务处理，对数据处理的响应速度有较高的要求，因此新存储应优先考虑其IOPS性能指标，即单位时间内的存储系统能够处理的IO请求数量，使新存储有较高的随机数据访问处理速度。另一方面，新存储系统应有较高的存储缓存性能，较大的存储缓存会显著提高存储的读写速度。
旧的存储系统配置为16GB缓存，24块300GB 转速为10000RPM的普通SAS硬盘，存储机型的CPU和缓存性能较低，并且由于硬盘的转速较低，存储无法提供更多的IPOS读写，存在一定的性能瓶颈，限制了存储数据读写访问速度。
新的存储系统配置为双控制器，256GB高速缓存，8个16Gbps光纤接口，冗余电源等特性，存储硬盘为6块单盘1.92TB Flash固态闪存硬盘+8块900GB 转速为15000RPM的SAS硬盘，无论是从容量的扩展性还是系统CPU、缓存性能方面都有了较大提升，完全能够满足当前和未来五年内的ERP数据量需求。
专业知识应用于生产实际的一次典型案例
本次存储系统升级过程中的关键点是数据的在线迁移，而实现这一目标的是AIX操作系统下的LVM Mirror卷镜像技术。这是从专业理论知识运用于生产实践的一次典型案例，具有很强的指导意义。
三、技术介绍
LVM Mirror（Logical Volume Manager Mirror）：逻辑卷管理器的数据镜像技术。这是一种双磁盘系统数据同步复制机制，是基于IBM主机系统和IBM存储系统相互配合使用的，是目前技术成熟度高，实施快速简便，应用行之有效的数据冗余方式。
ERP系统原拓扑结构：
新增存储设备后的拓扑：
新映射的卷在AIX系统中通过HACMP高可用集群软件加入到原来的VG卷组中，通过卷镜像技术实现数据的同步复制。
为了实现数据的同步，我们利用数据镜像功能LVM，为已有的磁盘A（下图所示之“VG中原逻辑卷LV”）上的生产数据添加一个拷贝，并将其镜像设备指定为磁盘B（下图所示之“VG中新增逻辑卷LV”）。
正常工作模式下，数据的写入操作可以用下图说明：
生产系统对磁盘A数据的任何更新都实时地写入磁盘B中，二者的更新方式可以选择顺序方式或者并行方式，建议使用并行方式（双写模式）以增加整体性能。
四、 方案选型与设计
1、技术路线
考虑到之前旧存储磁盘读写性能瓶颈问题，尤其是数据库读写频繁的情况下，数据库所在hdisk的busy使用率一直居高不下。在选型中优先考虑闪存盘。
关于V7000升级到闪存，经过调研了解，主要有三条路线如下：
成本较低，比较老的一代V7000可以新购5030F来满足闪存功能；二代及以上V7000可以直接加闪盘升级为V7000F。
如果用户已有虚拟机的功能，可以升级到V7000G3（V9100低配版）来实现闪存功能。
如果对闪存的性能要求较高，做长远的规划，可以购买起配容量较高的F900/FS9100（压缩能力强），性价比高。
2、适用场景
V7000F：
配置：最大八控制器；最大1024GB缓存；每控制器10核Intel CPU；64个前端FC接口；支持24块盘2U扩展柜；支持96块盘5U扩展柜；支持Flash。支持SAS、NL_SAS。适用于大部分的应用场景，具有丰富的存储功能。V7000F的性能与所配置的闪存盘的数量有很大关系。由于其可以根据企业业务自身需求情况，配置闪存盘数量，所以对于业务压力不是极端条件下的系统，此方案在性价比上非常不错。
V7000G3：
关于V7000G3，没有找到太多详细资料，个人对此产品不是十分了解。在此就放上找到的两种产品资料图，作为代表。
F900：
全闪存F900适用于用户需要极致的IO响应速度，对于存储功能要求少的场景，或者结合SVC来使用。F900特别适用于关键应用加速、AI模型训练等场景。第一代F900配置12个模块的SPC-1测试为40多万IOPS，而且响应时间都在0.5ms以内。比较适合的场景如：
•在线交易处理（OLTP）
•在线分析处理（OLAP）
•虚拟桌面基础架构（VDI）
•云规模的基础架构
•计算型应用
talkwithtrend社区（twt社区）内有详尽的F900技术手册及应用场景介绍，在此我就不进行过多介绍了，有兴趣的可以在社区进行搜索。
经过充分考虑，在本方案中，新购一台IBM V7000作为新的核心存储系统，原存储充分利旧，作为容灾备用存储。新存储中创建与原存储具有相同容量和数量的存储卷，影射给主机。在主机操作系统中通过HACMP高可用软件将新增逻辑卷加入到原卷组VG中做LVM的卷镜像，数据同步的过程可全程在线操作，数据复制在后台完成，整个过程无需对业务进行停机。当数据初次复制完成后，新购存储卷将与原来的存储卷保持数据同步的一致性关系，新业务产生的数据将在两套存储中各写一份。
五、具体实现
1、迁移前的的准备工作：
机房现状梳理：
主要是为了充分了解机房实际运行环境，规划设备安装位置，确定其他主机存储设备状态，包括小型机、光纤交换机等，收集交换机zone和端口状态信息，并在了解当前和未来具体技术需求后，确认本次项目的技术实施方案，与业务单位协调实施计划等。
设备到货安装：
新存储到货之后，协调仓库验货签收。在对设备进行初步外观检验后，将设备运送至机房并拆箱上架安装，将设备安装至机柜，并连线到光纤交换机，对新设备进行加电初始化，在初始化步骤完成后，登录存储管理界面检查系统硬件配置是否符合招标及合同要求。
光纤交换机配置：
在新V7000设备连线后，需要对现有的两台B24交换机的zone进行配置，V7000的A控和B控分别连接两台光交，交换机端口使用12口和13口。
V7000 A控1口连接B24_up的12口，2口连接B24_down的12口
V7000 B控1口连接B24_up的13口，2口连接B24_down的13口
在光交命令行中利用zonecreate命令进行端口配置，cfgadd命令配置config文件，最后cfgsave保存。
1.1、根据原来存储系统的配置情况，记录划分的卷、唯一标识号、与主机间的映射关系等。
1.2、根据旧存储上卷(LUN)的划分情况，对新存储进行相关配置。为方便做镜像，划分卷时容量大小与旧存储上卷大小保持一致。如果需要扩容，请新建卷。配置完成后映射给相关主机。
新V7000的RAID配置：
本次V7000实际配置硬盘包括：6块1.92TB SSD硬盘，8块900GB SAS硬盘。根据实际业务需求，分别创建两个存储池SSD_Pool和SAS_Pool。SSD硬盘和SAS硬盘分别保留一块盘作为热备盘，剩余硬盘分别创建RAID 5，然后分别加入至存储池中。在RAID创建完成后，SSD存储池可用容量约7TB，SAS存储池可用容量约4.9TB。
LUN配置：
根据实际需求，在新V7000中创建LUN，用于后期LVM数据镜像复制，故新创建的LUN大小和数量应与现有V7000保持一致。如需扩容，可新增LUN。
创建主机：
在zone划分完成后，在每台主机系统中运行cfgmgr命令扫描新光纤设备，而后在新V7000中创建主机，按照前期统计的每台主机光纤卡的WWN号分别进行添加。
存储卷映射：
将新创建的LUN按照现有V7000存储的映射关系对每个LUN进行主机映射，映射操作完成后，在AIX操作系统中运行cfgmgr命令即可扫描发现新硬盘，在扫描到磁盘后，在主机系统中查看磁盘状态和链路是否正常，lsdev –Cc disk状态应为可用状态，磁盘多路径链路应为自动聚合。
微码升级：
为保障新购V7000存储的后期稳定运行，将新购V7000存储的微码进行升级，以降低存储软件运行故障风险，升级存储至最新稳定版本7.8.1.7，升级过程约1个半小时。
至此，数据迁移前的各项准备工作已完成。为了数据安全及检测硬件设备运行状况是否稳定，可让新的V7000在没有数据的情况下加电运行一周进行观察。待一切都没有问题后再进行数据迁移操作！
2、数据迁移：
本文以DB2数据库数据同步为例，详细讲述整个操作过程：
2.1、新存储上划分卷lun_db1\lun_db2，卷容量大小建议与原存储上卷相等，便于后面做镜像。（图中lun_db3为以后扩容卷）
按照规划，DB01上的数据库卷运行与SSD固态盘池中，其余文件系统运行于SAS普通盘池中。
如果需要扩容，可以新建卷，等数据同步完毕后再扩容。
2.2、根据HA高可用规则，将共享卷映射给主机DB01。
2.3、DB01小机AIX系统中运行cfgmgr –v 刷新设备。lspv查看新映射过来的物理设备。新卷hdisk6和hdisk7无PVID号。
此时，AP01已经迁移完毕。hdisk2是原存储上的apvg。hdisk5是新存储上的卷。我们的目标是将新卷hdisk6和hdisk7添加到dbvg中，利用hdisk3和hdisk4做mirror镜像。
2.4、利用命令chdev –l hdisk6(disk7) –a pv=yes给新磁盘赋予PVID号。
PVID号是磁盘的全局唯一ID号。
2.5、利用命令bootinfo –s hdisk6(hdisk7)可以查看每个磁盘的大小。
当有多个大小不同的卷映射到同一小机时，借助此命令可以帮助用户区分不同的磁盘 。
2.6、将hdisk6和hdisk7分别通过HA集群命令添加至dbvg中。
#smit cl_admin 进入ha
选择需要增加卷的VG
根据PVID号选择需要加入VG中的新卷hdisk6。再来一遍添加hdisk7，此处不能同时选择两个或多个卷。
2.7、验证是否已经加入VG中。命令# lspv
此时，也可以通过命令lsvg –p dbvg 查看hdisk6和hdisk7的FREE PPs是否等于TOTAL PPs。（只是加入至dbvg中还没有同步数据，所以全部空间空闲）
2.8、dbvg内部做镜像，数据做同步。命令# smit cl_admin->Storage->Volume Groups->Mirror a Volume Group
选择dbvg后，选择需要同步的目标盘（新盘） hdisk6和hdisk7 同步模式的时候，选择不同步no sync（此时，因为dbvg太大 最好/db2 、/db2backup分别进行同步）
镜像完成后，选择同步。
# lsvg -l dbvg
查看vg中的lv个数，通过LV逐个进行数据同步。
分别选择db2lv、loglv01、db2backuplv进行同步。
2.9、数据同步过程中验证同步进度。# lspv查看同步进度 stale PPs
图为同步db2backuplv时的过程。stale PPs数逐渐变小，当stale PPs为0时，同步完成。
同步过程中随时关注磁盘性能：
数据从hdisk4读出，写入至新卷hdisk7中。数据同步的过程中，新业务数据双写。
同步完毕后状态：LPs:PPs=1:2
2.10、观察一段时间，验证业务是否正常。
2.11、unmirror vg，选择dbvg中的原卷hdisk3和hdisk4。（此处F7能多选）
2.12、unmirrorvg后，验证dbvg。
此时:
LPs:PPs=1:1
hdisk3和hdisk4中的FREE PPs=TOTAL PPs
2.13、dbvg中删除原卷hdisk3和hdisk4。
2.14、验证vg
2.15、AIX系统中删除旧逻辑卷，旧V7000中取消磁盘映射关系。
六、总结
ERP核心数据从旧存储迁移到新存储后，二者性能对比明显：
1、新存储磁盘平均IO用时降低
2、数据库在新存储中存放于SSD固态盘中，磁盘平均“忙”率情况明显降低。在数据库备份-磁盘数据读写的高峰期，占用率也明显降低。
旧存储
点击文末阅读原文，可到社区原文下提问交流，或下载原文文档
资料/文章推荐：
基于V7000存储的数据迁移与自动分层优化实战案例
http://www.talkwithtrend.com/Document/detail/tid/403287
AIX配置LVM绕不过去的几个必备知识点
http://www.talkwithtrend.com/Document/detail/tid/231873
AIX-HACMP-LVM Mirror配置手册
http://www.talkwithtrend.com/Document/detail/tid/225837
欢迎关注社区以下 技术主题 ，将会不断更新优质资料、文章。地址：
闪存：http://www.talkwithtrend.com/Topic/163
V7000：http://www.talkwithtrend.com/Topic/97163
下载 twt 社区客户端 APP
与更多同行在一起
高手随时解答你的疑难问题
轻松订阅各领域技术主题
浏览下载最新文章资料
长按识别二维码即可下载
或到应用商店搜索“twt”
*本公众号所发布内容仅代表作者观点，不代表社区立场