CPU 访问硬盘速度很慢的原因找到了

Linux云计算网络 2021-12-21

The following article is from 真没什么逻辑 Author Draveness

机械硬盘（Hard Disk Drive、HDD）和固态硬盘（Solid State Drive、SSD）是两种最常见的硬盘，作为计算机的外部存储，CPU 想要访问它们存储的数据需要很长时间，如下表所示，在 SSD 中随机访问 4KB 数据所需要的时间是访问主存的 1,500 倍，机械磁盘的寻道时间是访问主存的 100,000 倍：

Work	Latency
L1 cache reference	0.5 ns
Branch mispredict	5 ns
L2 cache reference	7 ns
Mutex lock/unlock	25 ns
Main memory reference	100 ns
Compress 1K bytes with Zippy	3,000 ns
Send 1K bytes over 1 Gbps network	10,000 ns
Read 4K randomly from SSD*	150,000 ns
Read 1 MB sequentially from memory	250,000 ns
Round trip within same datacenter	500,000 ns
Read 1 MB sequentially from SSD*	1,000,000 ns
Disk seek	10,000,000 ns
Read 1 MB sequentially from disk	20,000,000 ns
Send packet CA->Netherlands->CA	150,000,000 ns

表 1 - 2012 年延迟数字对比[^1]

虽然磁盘的寻道时间只需要 10ms，但是在 CPU 看来已经是非常长的时间了，当我们将上述的时间等比例放大后，就能直观地感受到它们的性能差异。如果 CPU 访问 L1 缓存需要 1 秒，那么访问主存需要 3 分钟、从 SSD 中随机读取数据需要 3.4 天、磁盘寻道需要 2 个月，网络传输可能需要 1 年多的时间。

在计算机体系结构中，硬盘属于一种常见的输入输出设备，操作系统在启动时不一定需要硬盘，它既可以通过硬盘启动，也可以通过网络设备或者外部设备启动，所以硬盘不是计算机运行的必要条件。

von-neumann-architecture.svg

图 1 - 输入输出设备

作为一种外部的输入输出设备，与 CPU 缓存和内存相比，硬盘极慢的读取和写入速度就显得比较合理了，然而几千倍甚至几十万倍的速度差异也确实让人很难想象或者接受，在这篇文章中，我们会分析为什么 CPU 访问硬盘的速度非常慢：

CPU 访问硬盘数据的过程比较复杂，它会先通过 I/O 操作将磁盘中的数据读入内存，再访问内存的数据；
机械硬盘在访问磁盘中的数据依赖的是机械结构，需要移动磁盘中的机械臂；

I/O 操作

CPU 想要访问磁盘中的数据一定要先通过 I/O 操作将磁盘中的数据读入到内存中，再访问存储在内存中的数据。计算机中包含三种比较常见的 I/O 操作[^2] — 编程 I/O（Programmed I/O）、中断驱动 I/O（Interrupt-driven I/O）和直接内存访问（Direct Memory Access)，我们接下来将依次介绍上述的这几种操作[^3]：

io-operation

图 2 - 常见 I/O 操作

执行 I/O 操作最简单的形式就是使用编程 I/O，使用编程 I/O 时，CPU 会负责全部的工作，如果我们想要在屏幕上输出 Hello World，CPU 每次都会向 I/O 设备中写入一个新字符，写入后会轮询设备的状态等待它完成工作后写入新的字符。这种方式虽然简单，但是它会占用全部的 CPU 资源，在某些复杂的系统中会造成计算资源的严重浪费。

中断驱动 I/O 是执行 I/O 操作的一种更高效方式，在编程 I/O 中，CPU 会主动获取设备的状态并等待设备闲置，但是如果使用了中断驱动 I/O，设备会在闲置时主动发起中断暂停当前进程并保存上下文，而操作系统会执行 I/O 设备的中断处理程序：

如果当前不包含待打印的字符，停止中断处理程序并恢复暂停的进程；
如果当前包含待打印的字符，将下一个字符拷贝到设备中并恢复暂停的进程；

使用中断驱动 I/O 可以在设备繁忙时，让 CPU 能够处理其它任务，尽可能地提高 CPU 的利用率，不再浪费珍贵的计算资源。与编程 I/O 相比，中断驱动 I/O 将一部分工作交给了 I/O 设备，所以能够提高资源的利用率。

直接内存访问会利用 DMA 控制器来执行 I/O 操作，中断驱动 I/O 需要为每个字符触发操作系统中断，这会消耗一定的 CPU 时间。当我们使用 DMA 控制器时，CPU 会一次将缓冲区中的数据全部读到 DMA 控制器中，DMA 控制器会负责将数据按字符写入 I/O 设备：

dma-controller

图 3 - DMA I/O

虽然 DMA 控制器可以解放 CPU 并减少中断次数，但是它的执行速度与 CPU 相比却很慢，如果 DMA 控制器不能快速驱动 I/O 设备，CPU 可能就会等待 DMA 控制器触发中断，在这种情况下，中断驱动 I/O 或者编程 I/O 可以提供更快的访问速度。

在默认情况下，我们都会使用 DMA 控制器来执行 I/O 任务，不过编程 I/O 和中断驱动 I/O 也不是不能接受的选项。当 CPU 经常需要等待 DMA 控制器执行 I/O 任务时，使用中断驱动 I/O 甚至轮询的编程 I/O 都可以得到更高的吞吐量，然而无论使用哪种方式，I/O 都是程序中比较耗时的复杂操作。

机械硬盘

机械硬盘（Hard Disk Drive、HDD）是一种基于电子的、非易失的机械数据存储设备，它使用磁性存储器存储并查找磁盘上的数据，在读取和写入数据的过程中，硬盘机械臂连接的磁头会读写磁盘表面的位[^8]。

正是因为磁盘具有比较复杂的机械结构，所以磁盘的读取和写入都要花费很多时间，数据库的读写性能也基本都依赖于磁盘的性能，如果我们在使用机械硬盘的数据库中随机查询一条数据，这可能会触发磁盘的随机 I/O，然而将数据从磁盘读取到内存中所需要的成本是非常大的，普通磁盘（非 SSD）加载数据需要经过队列、寻道、旋转以及传输的这些过程，大概要花费 10ms 左右的时间。

disk-random-io

图 4 - 磁盘的随机 I/O

我们在估算数据库的查询时可以使用 10ms 这个数量级对随机 I/O 占用的时间进行估算，这里想要说的是随机 I/O 对于数据库的查询性能影响会非常大，而顺序读取磁盘中的数据时速度可以达到 40MB/s，这两者的性能差距有几个数量级，因此我们也应该尽量减少随机 I/O 的次数，这样才能提高性能。

固态硬盘（Solid State Drive、SSD）是一种以闪存作为持久存储器的电脑存储设备[^9]。与机械硬盘不同，固态硬盘中不包含任何的机械结构，我们使用它读取或者存储数据时不会使用到任何的机械结构，因为一切过程都是由电路完成的，所以 SSD 的读写速度比 HDD 快很多。

hdd-ssd-price

图 5 - HDD 和 SSD 的价格

机械硬盘和 SSD 从诞生后价格都在不断降低，机械硬盘是今天数据中心使用的主要外部存储，大多数通用的商用服务器都会使用机械硬盘作为主要的外部存储，但是因为 SSD 的读写速度是机械硬盘的几十倍，所以越来越多的服务器，尤其是数据库都会使用 SSD 作为外部存储。不过作为具有机械结构的外部存储设备，它虽然结构非常成熟并且具有较大的容量，但是它在受到震动时很容易受到外界的干扰。