自制文件系统 — 01 文件系统的样子
前情提要
来一个硬核系列,得益于 Linux 一切皆文件的哲学,把文件系统玩转的飞起。文件系统所有人都听过,都用过,但是就很少有人深究。
对于文件系统,大家的态度可能是两个极端,要么就是觉得好深奥,好牛,你竟然懂这玩意!要么就是,文件系统是什么鬼?不就是那个。。。我在 Linux 用过无数次的。这玩意还用得着讲?
这两种态度可能都不合适,文件系统作为一个深入我们生活的事物,我们不应去忽略它,也不要去抬高或者贬低。我们应该要去了解它,打破对它的恐惧,因为恐惧是对未知事物产生的一种情绪。平视它,了解清楚脉络,从而掌握它。
小孩在为什么总是学习东西很快?因为他们都是从形到意,先直观的摸到,看到,嗅到,吃到,先感受到“形”,然后我们教导他这些东西是的含义。他们很快就接受了。
我们这个自制文件系统,就是想从形意结合,让读者朋友能够跟随着笔者一起经历一次文件系统由 0 到 1 的过程,构建好知识框架,后续的深造将会得心应手。
好,话不多说,我们先从什么是文件系统讲起,简单介绍一些探索文件系统的基础知识。
探索文件系统
Linux 文件系统相比大家都使用过。大家在自己的 Linux 上机器上执行 mount
命令就能看到当前系统上挂载的所有文件系统:
mount
示例如下:
root@localhost:~# mount
sysfs on /sys type sysfs (rw,nosuid,nodev,noexec,relatime,seclabel)
proc on /proc type proc (rw,nosuid,nodev,noexec,relatime)
/dev/mapper/cl-root on / type xfs (rw,relatime,seclabel,attr2,inode64,noquota)
....
比如通过这一行信息我们能看出来:
sysfs on /sys type sysfs (ro,nosuid,nodev,noexec,relatime)
信息拆解分析:
sysfs
:文件系统名称;/sys
:文件系统目录挂载点;sysfs
:文件系统类型(ro,nosuid,nodev,noexec,relatime)
:挂载参数
这里蕴含的重要信息:
同一个文件系统类型可以创建多个实例,挂载在不同的挂载点,就跟面向对象里的类和实例的关系; 挂载点必须是目录;
其实,mount
这个命令很强大,不仅能 list 所有的文件系统,还能挂载文件系统。如下:
挂载文件系统命令:
# 把已经格式化好的 /dev/sdb1 盘挂到 /mnt 目录上
mount -t ext4 /dev/sdb1 /mnt/
对应卸载文件系统命令:
# 卸载 /mnt 的挂载点
umount /mnt
mount
命令能看到所有的挂载列表,但是如果你想要看到所有文件系统的使用情况,则需要另一个命令:df
。df
命令用来查看当前操作系统挂载的文件系统和使用情况:
df -Tha
-T 参数能够让你看到所有的文件系统实例的类型; -h 参数能够以更符合人类的友好的形式展示数据; -a 参数展示所有的文件系统,包括 0 Blocks 的文件系统(默认是会过滤掉的);
示例如下:
root@localhost:~# df -ahT
Filesystem Type Size Used Avail Use% Mounted on
sysfs sysfs 0 0 0 - /sys
proc proc 0 0 0 - /proc
/dev/mapper/cl-root xfs 17G 11G 7.0G 60% /
...
注意,如果 df
没有加 -a
参数,类似于上面 sysfs,proc 这种用量 0 的会被过滤掉。这也是 mount
和 df
两个命令默认显式信息的区别。
文件系统挂载可以通过 mount
命令直接挂载,但是 mount
命令挂载并没有持久化,关机重启就没了。所以想要关机重启之后,还能自动挂载到指定目录,那么就要把挂载规则写到 /etc/fstab
文件中,fstab
就是 fs table 的缩写,很容易理解。
操作系统在启动的时候,就会解析这个文件,并按照这个文件里的配置,自动挂载文件系统了。
如下:
root@localhost:~# cat /etc/fstab
/dev/mapper/cl-root / xfs defaults 0 0
UUID=600e3771-af4a-48ca-a557-02204c9a48a5 /boot ext4 defaults 1 2
/dev/mapper/cl-swap swap swap defaults 0 0
fstab 的文件格式:
<设备标识> <挂载目录> <文件系统类型> <挂载参数> <dump选项> <fsck选项>
从左到右参数拆解:
设备标识:能够标识到唯一的文件系统所在的设备,这里可以是设备路径,也可以是 LABEL,或者 UUID; 挂载目录:文件系统挂载的目录点; 文件系统类型:比如 ext4,ext2,xfs 之类的; 挂载参数:可以填 defaults,也可以精细化配置,比如只读还是可写(rw/ro),同步刷盘还是异步(async/sync),等等; dump选项:让你能控制文件系统备份的频率,0 表示不备份; fsck选项:让你控制是否开机用 fsck 自检,0 表示不要;
这个直接去看内核模块即可:
ls /lib/modules/${kernel_version}/kernel/fs/
不同的 Linux 发行版略有不同,比如,centos 一般为:
ls -l /lib/modules/4.18.0-80.el8.x86_64/kernel/fs/
ubuntu 一般为:
ls -l /lib/modules/4.4.0-142-generic/kernel/fs/
在对应的目录找到对应的 .ko 模块,比如 ext4.ko
,如果想看内核已经加载的内核模块,可以调用 lsmod
看到。
简单普及一下 .ko 模块的知识:
ko 其实是 kernel object 的缩写,这类文件存在的意义其实和用户态的 .so 库类似,都是为了模块化的编程实践。内核把核心主干框架之外的功能拆解成模块,需要的时候就加载 ko 模块,不需要的时候卸载即可。这样带来的好处就是方便开发和使用,保持内核的核心代码极度精炼。
类似于文件系统,硬件驱动等等,都是以这种形式来加载使用的。
开发文件系统为什么难?
为什么文件系统的开发大家会觉得非常难?原因其实不在于实现,而在于调试和排障,因为早期文件系统的开发只能在内核之中,这个带来了非常高的门槛。
因为在此之前我们看到了文件系统是位于内核之中, vfs 之下,块存储模块之上的一个位置。对外呈现文件存储实现,对下管理裸块设备。划重点,文件系统是位于内核的一个模块,那就可以理解了,内核模块的开发之所以艰难就是难在调试和排障,用户态的程序你可以随意 debug,出问题最多也就是 panic,coredump,内核态的程序出了文件就是宕机,所有现场都丢失,你只能通过日志,kdump 等手段来排查。并且内核态程序的编写是要注意非常多的规范的,比如内存分配,比用户态的要谨慎的多。
那怎么办?我们本次的目标是要自制实现一个极简的文件系统,但总不能带大家趟一次内核开发的坑吧!那可是要吓退 99% 的小伙伴。
有办法的,内核开发者考虑到了这个问题,又考虑到文件系统的需求是千变万化的,所以提供了一种手段,把 IO 路径导向用户态,由用户态程序捕获到 IO ,从而实现文件的存储,这个机制就叫 FUSE 机制。
作为自制 FS 系列第一篇,我们不讲 FUSE 的实现,而是通过一个动画来演示 IO 的旅途:
这里的路径做了一些简化,简化了用户态之上的逻辑处理,为什么路径是这样子?什么是 FUSE ?下篇专题解释。
总结
本篇文章是为后续铺垫一些基础知识,从形的方面,系统介绍了一些命令,告诉你文件系统怎么配置,怎么挂载,怎么查看,怎么获取到使用详情。这些基础知识在后面自制文件系统的时候,都要用上。这些 Linux 命令都是帮助我们从文件系统的外围去用,去摸,去嗅,从而再去深入理解。
我们目标不止如此,我们是要亲手做一个文件系统,动手做过一遍的东西,你对它理解也将会突飞猛进,更加深刻。
下面总结一下上面的基础以上的知识:
mount
用来列举查看当前所有文件系统实例,也能支持挂载命令(但mount
挂载不会持久化,重启就没了),umount
用来卸载;/etc/fstab
是用来配置文件系统挂载规则的,是持久化的配置,重启不丢;df -aTh
用来查看每个文件系统挂载目录的详情,包括空间使用量,总量,挂载点等信息;内核模块的功能以 ko
文件的形式体现,在/lib/modules/${kernel_version}/kernel/fs/
目录可以看到支持的内核文件系统模块,lsmod
命令可以看到已经加载的内核模块;文件系统开发之所以难?是因为之前在内核中开发,内核开发最难的在于调试和排障手段不方便。那文件系统还有出路吗?有,奇伢带你自制一个极简的文件系统,基于 Linux 系统使用纯 Go 语言来做哦,敬请期待后续,自己动手,理解更深;
~完~
往期推荐
往期推荐
坚持思考,方向比努力更重要。关注我:奇伢云存储