新一代分布式文件系统XGFS揭秘——多协议客户端XClient
随着5G、AI、云多种技术的快速普及，全行业的数字化转型正在火热进行中。数据作为一种新的资产越来越被重视，数据量也在飞速增长，XSKY XGFS新一代分布式文件系统不仅容量大、而且性能好，其中有一个核心的组件发挥了关键的作用，这就是面向各行业中不同场景，高适应性的多协议客户端XClient。
首先，我们先介绍XGFS的XClient。
XGFS的秘密武器：XClient
多样性的场景和需求，XGFS都可以通过XClient来满足。XClient是XGFS区别于业界分布式文件的主要特征之一。
XClient对上，承载多场景多协议的非结构化访问需求：
完全自研的用户态文件客户端XClient，支持在X86/ARM多体系架构、Linux/Windows 多操作系统、容器/虚拟机/物理机多环境中部署使用，满足更多非结构化场景中的文件存储需求。
XClient既提供Libxmds动态库支持完备的类文件语义直接供HPC MPI应用程度调用，又可与XSKY Hadoop Connector、XSKY CSI Driver组合使用。
XSKY统一运维管理界面中还针对网关节点、文件系统等资源提供了丰富的性能、状态监控：文件数/容量使用情况、完善的性能数据（各类细分OPS、延迟、带宽、IO 大小）、共享个数等。
XClient对下，连接元数据集群和多个数据资源池：
XClient创新使用高性能网络模块来原生支持RDMA等高速网络，通过网络模块与IO栈的深度结合，既避免了不必要的线程上下文切换，又减少了入队出队的损耗，实现了元数据的快速通路，让IO延迟响应进入亚毫秒级别。
XGFS通过XClient来实现丰富的存储策略：动态整池扩容、多活动池、同时支持副本和EC数据池等功能；XClient还可按需配置各类别的文件访问日志审计，记录完整的文件创建、修改、删除等操作，并可使用日志审计功能对接常见的审计计费、日志分析工具，实现对数据访问的计费、分析和掌控。
XClient还支持自适应的垃圾回收，让应用从容应对多业务共存、海量文件删除等细分场景；XClient实现了完善的网络容错机制，高效准确地判断出本节点网络异常并执行自动流量切换。
下面对各种需求和场景展开分析，看XClient是如何解决的。
数据生产环节中的多类型文件协议需求
在应用和操作系统的发展历程中，对于文件类型的海量数据，逐渐形成了如下的NAS访问协议标准：
XGFS XClient不仅支持SMB/CIFS、NFS、FTP三类文件访问协议，而且支持完善的用户认证方式，还具备多协议共享、子目录共享等功能。
大数据生态快速演进：计算云化，存算分离
随着生产数据的快速增长与积累，越来越多的企业和机构使用Hadoop作为海量数据分析和清洗的解决方案，企业内逐步形成了如下的Hadoop部署架构，这样的架构带来了资源利用率低、分析效率低、数据孤岛等问题。
XGFS XClient支持完备的HDFS协议，不仅支持全新部署的存算分离架构：Hadoop + XGFS ，还可与已有HDFS共存部署：Hadoop + （HDFS/XGFS）。
XSKY块存储也可作为Hadoop各类组件：Spark、Flink、Impala云化部署（虚拟化或容器）时的存储底座。
HPC与AI分析的融合
XGFS XClient可以支持标准文件协议和10Gb/25Gb/50Gb/100Gb高速网络，以满足HPC和AI 场景需求。
XGFS还能支持Linux私有客户端以大幅降低文件协议开销，支持RDMA 100Gb网络互联，从而应对更高要求的分布式AI 训练、自动驾驶、基因测序、GIS大数据等场景。
构建云原生计算平台
XGFS XClient使用标准的CSI 接口对接各主要的容器平台：Openshift、Rancher等，XGFS不仅为各类有状态服务带来极致的IO 性能，而且面向海量应用场景实现了管理流水线优化：1分钟内可完成100 pod 创建。
最后，我们来总结一下XClient的优势。
多协议客户端XClient 的优势与价值
XSKY的XClient具有众多的优势：
完善的多协议支持：SMB/NFS/FTP/POSIX/CSI/HDFS，满足不同应用的存储需求。
超高性能和超低延迟：原生支持RDMA 等高速网络，软件栈面向远程调用深度优化。
部署灵活：既可以直接部署在主机侧使用POSIX 直联访问，也可以部署在存储侧作为标准文件协议网关。
优异的操作系统兼容性：不仅完备支持各发行版CentOS、EulerOS，还支持KylinOS 等国产操作系统。
支持HPC 并行文件系统：当XClient 部署在HPC 主机侧时，可以同时和多个存储节点进行并行IO交互。
XClient的独特价值：
XClient是在软件定义存储背景下，针对下一代分布式文件系统新兴的应用需求，面向异构化、高性能介质、大规模化的文件客户端设计并实现，它面向各行业多场景中的海量数据存储需求，一套存储同时满足多类型非结构化数据存储需求，一份数据可通过不同协议提供访问。
IT 领导者可基于XGFS 构建下一代的工作流：
海量业务数据的生产与统一存储
基于存算分离的Hadoop 平台实现数据清洗
使用HPC/AI 融合工具链执行高效的数据分析
术语表
英文 | 中文 |
XClient XSKY Client | XSKY 分布式文件客户端 |
XMDS XSKY Metadata Service | XSKY 独有专利的元数据服务 |
MDS Metadata Service | 元数据服务 |
LSM Tree Log-Structured Merge Tree | 日志结构合并树算法 |
RDMA Remote Direct Memory Access | 远程直接内存访问 |
XHC XSKY Hadoop Connector | XSKY Hadoop 连接器 |
libxmds XMDS Library | XSKY 元数据服务动态库 |
往期推荐