其他
如何通过 open-local 玩转容器本地存储? | 龙蜥技术
编者按：云原生背景下，本地存储相比分布式存储，在易用性、可维护性、IO 性能上都更胜一筹，但使用本地存储任然有诸多问题。那么 open-local 会带来什么不一样的体验呢？来看看作者怎么说。本文整理自龙蜥大讲堂第 30 期，精彩分享视频回放已上传至龙蜥官网（首页-动态-视频），欢迎查看！
本地存储管理能力有限：使用本地存储需要一定的人力成本，如通过为节点打标来限制 Pod 调度、人工管理不同机型的磁盘、人工通过 Hostpath 方式挂载指定磁盘到容器等；同时还有一些现场交付问题，如绑定了错误的宿主机路径使得故障无法及时发现，这些都严重影响了 K8s 交付效率以及应用运行时稳定性。
本地存储空间隔离能力缺失：应用挂载不适当的宿主机目录（如挂载到宿主机根路径）导致宿主机故障，如因应用数据写满磁盘导致容器运行时无响应、触发 Pod 驱逐等问题。
K8s 原生本地存储能力有限。通过 Hostpath 无法做到节点保持，使得 Pod 漂移后应用数据丢失；而使用半自动静态 Local PV 可保证节点保持，但是无法实现全自动，仍然需要为人为参与（如创建文件夹路径，为节点打标等）；无法使用一些高级存储能力（例如快照）。
针对以上问题， open-local 应用而生，接下来一起来看看 open-local 都有哪些性能？
open-local 介绍
开源地址：https://github.com/alibaba/open-local
1、use case
应用本身已支持多副本高可用，希望使用本地盘以提高存储资源利用率，提高数据读写性能，如 HBase、MinIO 等。
应用期望数据卷具备容量隔离能力，避免出现诸如日志打满系统盘的情况。
应用需要大量本地存储并依赖节点保持，如 etcd、zookeeper、Elasticsearch 等。
集群本地磁盘数量众多，希望通过调度器实现有状态应用的自动化部署。
通过存储快照能力为数据库类应用备份瞬时数据等。
2、架构
┌─────────────────────────────────────────────────────────────────────────────┐│ Master ││ ┌───┬───┐ ┌────────────────┐ ││ │Pod│PVC│ │ API-Server │ ││ └───┴┬──┘ └────────────────┘ ││ │ bound ▲ ││ ▼ │ watch ││ ┌────┐ ┌───────┴────────┐ ││ │ PV │ │ Kube-Scheduler │ ││ └────┘ ┌─┴────────────────┴─┐ ││ ▲ │ open-local │ ││ │ │ scheduler-extender │ ││ │ ┌────►└────────────────────┘◄───┐ ││ ┌──────────────────┐ │ │ ▲ │ ││ │ NodeLocalStorage │ │create│ │ │ callback ││ │ InitConfig │ ┌┴──────┴─────┐ ┌──────┴───────┐ ┌────┴────────┐ ││ └──────────────────┘ │ External │ │ External │ │ External │ ││ ▲ │ Provisioner │ │ Resizer │ │ Snapshotter │ ││ │ watch ├─────────────┤ ├──────────────┤ ├─────────────┤ ││ ┌─────┴──────┐ ├─────────────┴──┴──────────────┴──┴─────────────┤GRPC││ │ open-local │ │ open-local │ ││ │ controller │ │ CSI ControllerServer │ ││ └─────┬──────┘ └────────────────────────────────────────────────┘ ││ │ create │└──────────┼──────────────────────────────────────────────────────────────────┘ │┌──────────┼──────────────────────────────────────────────────────────────────┐│ Worker │ ││ │ ││ ▼ ┌───────────┐ ││ ┌──────────────────┐ │ Kubelet │ ││ │ NodeLocalStorage │ └─────┬─────┘ ││ └──────────────────┘ │ GRPC Shared Disks ││ ▲ ▼ ┌───┐ ┌───┐ ││ │ ┌────────────────┐ │sdb│ │sdc│ ││ │ │ open-local │ create volume └───┘ └───┘ ││ │ │ CSI NodeServer ├───────────────► VolumeGroup ││ │ └────────────────┘ ││ │ ││ │ Exclusive Disks ││ │ ┌─────────────┐ ┌───┐ ││ │ update │ open-local │ init device │sdd│ ││ └────────────────┤ agent ├────────────────► └───┘ ││ └─────────────┘ Block Device ││ │└─────────────────────────────────────────────────────────────────────────────┘如何在 ack-distro 中使用 open-local
1、初始化配置
前置条件：环境中已经安装 lvm 工具
# kubectl edit nlsc open-localapiVersion: csi.aliyun.com/v1alpha1kind: NodeLocalStorageInitConfigmetadata:name: open-localspec:globalConfig: # 全局默认节点配置，初始化创建 NodeLocalStorage 时会填充到其Spec中listConfig:vgs:include: # VolumeGroup 白名单，支持正则表达式- open-local-pool-[0-9]+- your-vg-name # 若环境中已有 VG，可以写入白名单由 open-local 纳管resourceToBeInited:vgs:- devices:- /dev/vdc # 若环境中没有 VG，用户需提供一个块设备name: open-local-pool-0 # 将块设备 /dev/vdc 初始化为名叫 open-local-pool-0 的 VG2、存储卷动态供应
# kubectl get scNAME PROVISIONER RECLAIMPOLICY VOLUMEBINDINGMODE ALLOWVOLUMEEXPANSION AGEopen-local-lvm local.csi.aliyun.com Delete WaitForFirstConsumer true 8dopen-local-lvm-xfs local.csi.aliyun.com Delete WaitForFirstConsumer true 6h56mopen-local-lvm-io-throttling local.csi.aliyun.com Delete WaitForFirstConsumer true # kubectl apply -f https://raw.githubusercontent.com/alibaba/open-local/main/example/lvm/sts-nginx.yaml# kubectl get podNAME READY STATUS RESTARTS AGEnginx-lvm-0 1/1 Running 0 3m5s# kubectl get pvcNAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGEhtml-nginx-lvm-0 Bound local-52f1bab4-d39b-4cde-abad-6c5963b47761 5Gi RWO open-local-lvm 104s# kubectl get pvNAME CAPACITY ACCESS MODES RECLAIM POLICY STATUS CLAIM STORAGECLASS AGElocal-52f1bab4-d39b-4cde-abad-6c5963b47761 5Gi RWO Delete Bound default/html-nginx-lvm-0 open-local-lvm 2m4skubectl describe pvc html-nginx-lvm-03、存储卷扩容
# kubectl patch pvc html-nginx-lvm-0 -p '{"spec":{"resources":{"requests":{"storage":"20Gi"}}}}'# kubectl get pvcNAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGEhtml-nginx-lvm-0 Bound local-52f1bab4-d39b-4cde-abad-6c5963b47761 20Gi RWO open-local-lvm 7h4m# kubectl get pvNAME CAPACITY ACCESS MODES RECLAIM POLICY STATUS CLAIM STORAGECLASS REASON AGElocal-52f1bab4-d39b-4cde-abad-6c5963b47761 20Gi RWO Delete Bound default/html-nginx-lvm-0 open-local-lvm 7h4m4、存储卷快照
# kubectl get volumesnapshotclassNAME DRIVER DELETIONPOLICY AGEopen-local-lvm local.csi.aliyun.com Delete 20m# kubectl apply -f https://raw.githubusercontent.com/alibaba/open-local/main/example/lvm/snapshot.yamlvolumesnapshot.snapshot.storage.k8s.io/new-snapshot-test created# kubectl get volumesnapshotNAME READYTOUSE SOURCEPVC SOURCESNAPSHOTCONTENT RESTORESIZE SNAPSHOTCLASS SNAPSHOTCONTENT CREATIONTIME AGEnew-snapshot-test true html-nginx-lvm-0 1863 open-local-lvm snapcontent-815def28-8979-408e-86de-1e408033de65 19s 19s# kubectl get volumesnapshotcontentNAME READYTOUSE RESTORESIZE DELETIONPOLICY DRIVER VOLUMESNAPSHOTCLASS VOLUMESNAPSHOT AGEsnapcontent-815def28-8979-408e-86de-1e408033de65 true 1863 Delete local.csi.aliyun.com open-local-lvm new-snapshot-test 48s# kubectl apply -f https://raw.githubusercontent.com/alibaba/open-local/main/example/lvm/sts-nginx-snap.yamlservice/nginx-lvm-snap createdstatefulset.apps/nginx-lvm-snap created# kubectl get po -l app=nginx-lvm-snapNAME READY STATUS RESTARTS AGEnginx-lvm-snap-0 1/1 Running 0 46s# kubectl get pvc -l app=nginx-lvm-snapNAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGEhtml-nginx-lvm-snap-0 Bound local-1c69455d-c50b-422d-a5c0-2eb5c7d0d21b 4Gi RWO open-local-lvm 2m11s5、原生块设备
# kubectl apply -f https://raw.githubusercontent.com/alibaba/open-local/main/example/lvm/sts-block.yaml# kubectl get podNAME READY STATUS RESTARTS AGEnginx-lvm-block-0 1/1 Running 0 25s# kubectl get pvcNAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGEhtml-nginx-lvm-block-0 Bound local-b048c19a-fe0b-455d-9f25-b23fdef03d8c 5Gi RWO open-local-lvm 36s# kubectl describe pvc html-nginx-lvm-block-0Name: html-nginx-lvm-block-0Namespace: defaultStorageClass: open-local-lvm...Access Modes: RWOVolumeMode: Block # 以块设备形式挂载入容器Mounted By: nginx-lvm-block-0...6、IO 限流
apiVersion: storage.k8s.io/v1kind: StorageClassmetadata: name: open-local-lvm-io-throttlingprovisioner: local.csi.aliyun.comparameters: csi.storage.k8s.io/fstype: ext4 volumeType: "LVM" bps: "1048576" # 读写吞吐量限制在 1024KiB/s 上下 iops: "1024" # IOPS 限制在 1024 上下reclaimPolicy: DeletevolumeBindingMode: WaitForFirstConsumerallowVolumeExpansion: true# kubectl apply -f https://raw.githubusercontent.com/alibaba/open-local/main/example/lvm/sts-io-throttling.yaml# kubectl exec -it test-io-throttling-0 sh# fio -name=test -filename=/dev/sdd -ioengine=psync -direct=1 -iodepth=1 -thread -bs=16k -rw=readwrite -numjobs=32 -size=1G -runtime=60 -time_based -group_reporting......
Run status group 0 (all jobs): READ: bw=1024KiB/s (1049kB/s), 1024KiB/s-1024KiB/s (1049kB/s-1049kB/s), io=60.4MiB (63.3MB), run=60406-60406msec WRITE: bw=993KiB/s (1017kB/s), 993KiB/s-993KiB/s (1017kB/s-1017kB/s), io=58.6MiB (61.4MB), run=60406-60406msec
Disk stats (read/write): dm-1: ios=3869/3749, merge=0/0, ticks=4848/17833, in_queue=22681, util=6.68%, aggrios=3112/3221, aggrmerge=774/631, aggrticks=3921/13598, aggrin_queue=17396, aggrutil=6.75% vdb: ios=3112/3221, merge=774/631, ticks=3921/13598, in_queue=17396, util=6.75%7、临时卷
# kubectl apply -f ./example/lvm/ephemeral.yaml# kubectl describe po file-serverName: file-serverNamespace: default......Containers: file-server: ...... Mounts: /srv from webroot (rw) /var/run/secrets/kubernetes.io/serviceaccount from default-token-dns4c (ro)Volumes: webroot: # 此为 CSI 临时卷 Type: CSI (a Container Storage Interface (CSI) volume source) Driver: local.csi.aliyun.com FSType: ReadOnly: false VolumeAttributes: size=2Gi vgName=open-local-pool-0 default-token-dns4c: Type: Secret (a volume populated by a Secret) SecretName: default-token-dns4c Optional: false8、监控大盘
关于视频回放和课件获取
加入微信群：添加社区助理-龙蜥社区小龙（微信：openanolis_assis），备注【龙蜥】与你同在；加入钉钉群：扫描下方钉钉群二维码。欢迎开发者/用户加入龙蜥社区（OpenAnolis）交流，共同推进龙蜥社区的发展，一起打造一个活跃的、健康的开源操作系统生态！
1.千人互动，18 位业界大咖，2022 开放原子全球开源峰会龙蜥专区总结来了
2.龙蜥社区支持全国首个政府采购云平台——政采云顺利完成 CentOS 迁移