Day02-04｜2.2.3 存储器
Day02-04｜2.2.3 存储器：从存储层次到数据可靠性
对应教材：上篇·综合知识·第 2 章“计算机系统基础知识”·2.2.3 计算机存储系统
学习定位：存储器是计算机硬件的重要组成部分。教材本节重点掌握寄存器、Cache、主存、外存和虚拟存储的层次关系；在架构实践中，再把这些原理延伸到磁盘、SSD、RAID 和分布式存储。它们共同回答一个问题：如何在容量、速度、成本、持久性、可靠性和一致性之间取得平衡。
一、今日目标
本节学习完成后，应能解释存储器的层次结构和局部性原理；掌握 Cache 的命中、替换和写策略；理解虚拟存储、分页和缺页中断；比较 HDD、SSD 和内存的访问特征；说明 RAID 的基本思想、级别差异和故障恢复代价；在性能案例中区分 CPU 瓶颈、内存瓶颈、磁盘瓶颈和网络存储瓶颈，并给出可验证的优化方案。
二、为什么需要存储层次
理想存储器应该同时具备寄存器的速度、内存的容量、磁盘的持久性和廉价介质的成本，但现实中不存在这样的单一设备。因此计算机采用多层存储结构，让访问频繁的数据停留在更快的层次，把容量大但访问慢的数据放在更低层次。
| 层次 | 速度与容量特征 | 是否持久 | 典型内容 |
|---|---|---|---|
| 寄存器 | 最快、容量极小 | 否 | 当前指令操作数、中间结果 |
| Cache | 很快、容量小到中等 | 否 | 热点指令和数据 |
| 主存 DRAM | 速度较快、容量较大 | 否 | 进程工作集、内核数据 |
| 本地 SSD/HDD | 延迟较高、容量大 | 是 | 文件、数据库、日志 |
| 网络存储 | 受网络影响、可共享 | 是 | 共享文件、对象、备份 |
层次化设计依赖访问局部性。时间局部性意味着最近访问过的数据很可能再次访问；空间局部性意味着某个地址被访问后，其附近地址也可能很快被访问。循环中的热点变量、连续数组和顺序文件访问通常具备较好局部性；随机跳转、分散对象和大范围扫描则可能破坏局部性。
从架构师角度看，缓存、消息队列、数据库缓冲池、CDN 和对象存储的分层，本质上也符合这一原则：把更可能被访问的数据放到更接近使用者的位置，同时建立失效、回源和一致性策略。
三、Cache 的工作原理
Cache 以缓存行或块为基本单位保存主存中的数据。CPU 访问某个地址时，先根据地址中的标记、组索引和块内偏移定位缓存位置。如果缓存中存在对应数据，就是命中；如果不存在，就是缺失，需要从下一层加载。
常见映射方式有三类：
| 映射方式 | 思路 | 优点 | 缺点 |
|---|---|---|---|
| 直接映射 | 一个主存块只能放到一个固定缓存行 | 硬件简单、访问快 | 容易发生冲突缺失 |
| 全相联 | 一个主存块可放入任意缓存行 | 冲突少、利用率高 | 比较电路复杂、成本高 |
| 组相联 | 缓存分组，块可放入对应组中的任意行 | 在成本与命中率之间折中 | 仍有组内冲突 |
缓存缺失可分为强制缺失、容量缺失和冲突缺失。强制缺失发生在数据第一次访问；容量缺失是工作集超过缓存容量；冲突缺失是多个数据映射到相同位置而互相驱逐。优化数据布局、增加缓存容量、改变访问模式和提高相联度，分别可能改善不同类型的缺失。
平均访问时间可以用简化模型表示：
平均访问时间 = 命中时间 + 缺失率 × 缺失代价。
这个公式说明，低延迟缓存不一定让系统更快。如果命中率很低，频繁访问更慢的下一级存储，整体收益可能很有限。架构设计中使用本地缓存也必须考虑命中率、缓存容量、回源代价和失效风暴，而不是把“加缓存”当成万能方案。
四、Cache 的写策略与一致性
处理器修改缓存数据后，何时把变化写回主存，是 Cache 的写策略问题。写直达在每次写缓存的同时更新下一级存储，数据一致性简单但写流量较大；写回只在缓存行被替换时写回，能减少写流量，但需要脏位并处理掉电和异常风险。
写分配表示写缺失时先把对应块加载到缓存，再修改缓存；不写分配则直接绕过缓存写入下一级。不同组合适用于不同访问模式。频繁修改、反复使用的数据适合利用缓存；一次性写入、很少再次读取的数据若强行进入缓存，可能污染热点数据。
多核处理器中，每个核心可能拥有私有 Cache。一个核心修改数据后，其他核心如何看到最新值，就涉及缓存一致性协议和内存可见性。软件层面的锁、原子操作和内存屏障，不仅是并发编程概念，也是在约束处理器和编译器对内存访问的重排。分布式缓存则进一步把一致性问题扩展到网络节点、失效通知、版本号和故障恢复。
五、虚拟存储与分页
虚拟存储把进程看到的虚拟地址空间与物理内存、外存上的页面建立映射。它让每个进程拥有相对独立的地址空间，并允许程序使用大于物理内存的逻辑空间。操作系统通常以页为单位管理虚拟地址与物理页框之间的映射，页表记录这种关系，TLB 缓存最近使用的地址转换结果。
一次内存访问可能先查询 TLB。如果命中，可以快速得到物理地址；如果 TLB 未命中，需要访问页表。若页表表明页面不在物理内存中，就会产生缺页异常，操作系统从磁盘或其他后备存储装入页面，必要时淘汰已有页面，更新页表后重新执行指令。
缺页代价远高于普通内存访问，因此“程序能运行”不等于“程序运行高效”。当工作集明显超过物理内存，系统可能不断换入换出，形成抖动。架构案例中，如果应用延迟突然升高、磁盘读写激增、内存接近耗尽而 CPU 不高，应检查页错误、交换空间、容器内存限制和进程工作集，而不能只扩大线程池。
页面置换算法包括先进先出、最近最少使用等思想。LRU 更符合时间局部性，但精确维护成本较高，实际系统常使用近似算法。数据库 Buffer Pool、缓存服务和应用对象缓存也常采用类似的淘汰思想。
六、外存：HDD、SSD 与 I/O 路径
机械硬盘的访问时间包括寻道、旋转等待和数据传输；随机访问需要频繁移动磁头，延迟明显高于顺序访问。固态硬盘使用闪存，没有机械寻道，随机访问性能更好，但仍受控制器、闪存页写入、擦除、垃圾回收、写放大和耐久度影响。
比较存储设备不能只看顺序读写峰值。架构服务更应该关注：
| 指标 | 含义 | 适合观察的场景 |
|---|---|---|
| 延迟 | 单次请求完成所需时间 | 在线接口、事务提交 |
| IOPS | 单位时间完成的 I/O 操作数 | 小块随机读写 |
| 吞吐量 | 单位时间传输的数据量 | 文件、备份、视频流 |
| 队列深度 | 等待中的 I/O 数量 | 判断设备是否饱和 |
| 写放大 | 实际介质写入量与业务写入量之比 | SSD 寿命和写性能 |
操作系统和应用之间还隔着文件系统、页缓存、数据库缓冲池、I/O 调度器和设备队列。一次数据库查询“感觉很慢”，并不一定是磁盘本身慢，也可能是同步刷盘、日志写放大、锁等待或队列排队。应通过分层监控确认具体等待点。
七、RAID：用多盘换取性能和可靠性
RAID 通过数据条带化、镜像和校验，把多个物理磁盘组织成逻辑存储。不同级别体现不同取舍：
| RAID 级别 | 基本思想 | 优点 | 风险或代价 |
|---|---|---|---|
| RAID 0 | 条带化，无冗余 | 读写并行、容量利用率高 | 任一磁盘故障可能导致整体丢失 |
| RAID 1 | 镜像复制 | 可靠性高、读取可并行 | 容量利用率低 |
| RAID 5 | 条带化加分布式校验 | 兼顾容量和容错 | 写入需计算校验，重建压力大 |
| RAID 6 | 双重校验 | 可容忍两块盘故障 | 写开销和容量开销更高 |
| RAID 10 | 镜像后条带化 | 性能和可靠性较好 | 磁盘数量与成本较高 |
RAID 不是备份。它主要应对磁盘故障，无法防止误删除、病毒加密、应用逻辑错误和数据覆盖。重建期间阵列性能下降，若剩余磁盘再次故障还可能造成数据不可用。因此生产架构需要结合备份、快照、异地复制、故障演练和恢复时间目标 RTO、恢复点目标 RPO 进行设计。
八、存储系统中的性能与可靠性权衡
缓存提高速度，却可能产生脏数据和失效风暴；写回降低写放大，却增加断电保护要求；分页扩大可用地址空间，却可能产生缺页抖动；RAID 提高可用性，却增加校验和重建开销；副本提高读取能力，却带来一致性和复制延迟。好的架构答案必须同时写出收益和代价。
例如，订单查询可以使用本地缓存和分布式缓存降低数据库压力，但订单状态更新后要设置合理的失效或更新策略；核心支付数据不能因为缓存命中而绕过持久化；大规模日志可以顺序写入并异步归档，但安全审计日志要考虑防篡改和可靠落盘。不同数据的价值、时效性和恢复要求不同，不能使用同一存储策略。
九、案例分析：数据库读写突然变慢
某业务平时接口 P95 为 80ms，促销期间升至 1.5s。监控显示 CPU 约 50%，内存使用 75%，数据库磁盘队列明显增长。请给出分析思路。
参考答案：首先区分读慢和写慢，确认延迟位于连接等待、锁等待、SQL 执行、日志刷盘还是结果传输。其次检查 Buffer Pool 命中率、数据库慢查询、索引变化、随机 I/O 比例和磁盘队列。若命中率下降，可能是促销查询扩大了工作集或全表扫描污染缓存；若写入延迟增加，可能是事务日志同步刷盘、校验计算或存储设备队列饱和；若只有某类接口异常，还要检查热点行锁和连接池等待。
优化应按证据选择：通过索引和查询改写减少无效扫描；用读写分离或只读副本承接查询；把非核心写入转为消息异步处理；对热点查询使用带失效策略的缓存；调整批量提交和存储布局；必要时扩容 IOPS 或迁移到更合适的 SSD。最终要用 P95/P99、数据库执行时间、Buffer Pool 命中率、I/O 延迟和错误率验证，不应只报告“磁盘升级后变快”。
十、综合知识练习
练习 1
下列说法正确的是（ ）。
A. RAID 一定可以替代异地备份
B. 写回 Cache 每次写入都立即更新主存
C. 虚拟存储发生频繁缺页时，系统性能可能显著下降
D. SSD 完全不存在写放大和垃圾回收问题
答案：C。 RAID 主要解决部分硬件故障，不能替代备份；写回通常在替换脏块时写回；SSD 仍存在写放大和垃圾回收等机制。
练习 2
为什么顺序读写通常比随机读写更容易获得高吞吐？
答案： 顺序访问具有空间局部性，能减少机械硬盘寻道与旋转等待，也更容易让操作系统、文件系统和设备进行预读、合并请求和批量传输。随机访问请求分散，队列和介质访问开销更高，缓存命中率也可能更低。
练习 3
某服务器内存没有耗尽，但性能变得极差，磁盘读写持续升高。最可能的系统层原因是什么？应观察哪些指标？
答案： 可能是工作集变化、页面置换频繁或容器/进程受到内存限制，导致缺页和交换。应观察 major/minor page fault、交换进出量、进程工作集、匿名页和文件页、内存回收、容器限制以及磁盘 I/O 延迟。确认后可通过减少内存占用、调整工作集、优化访问局部性、增加内存或避免不合理的交换配置解决。
十一、论文素材
在系统性能治理中，我将存储问题拆分为缓存命中、内存访问、文件系统、数据库缓冲池、设备队列和持久化策略几个层次。监控显示热点数据命中率下降且随机 I/O 队列持续增长，因此我通过调整数据访问模式、优化索引与数据布局、增加热点缓存并对非关键写入采用异步批处理降低设备压力。对于关键数据，则通过日志持久化、冗余存储、备份和恢复演练保证可靠性。优化后同时比较延迟、IOPS、吞吐、缓存命中率、错误率和恢复指标，避免以单一峰值性能替代系统性评价。
这段素材可以根据题目替换具体场景。论文中要强调：性能优化不是无条件追求更快，而是以业务重要性为依据，在速度、持久性、一致性、成本和可恢复性之间做出可解释的选择。
十二、今日复盘
- 存储层次为什么必然存在？局部性如何支撑它？
- Cache 命中率、缺失代价和平均访问时间之间是什么关系？
- 写直达和写回各有什么优缺点？多核下为什么还会出现一致性问题？
- 缺页异常为什么比普通内存访问昂贵？什么是抖动？
- RAID 0、RAID 1、RAID 5、RAID 6 和 RAID 10 的关键差别是什么？
- 数据库延迟上升时，如何从缓存、内存、锁、日志和设备队列逐层定位？
请记住本节主线：越靠近计算单元，存储越快但越贵；越靠近持久介质，容量越大但延迟越高。架构师的任务不是选择“最快的存储”，而是根据数据访问频率、生命周期、可靠性和恢复要求，把数据放到合适的层次。
