Day36-05｜17.2.4 存储网络架构：为数据访问提供高可靠、高吞吐通道
Day36-05｜17.2.4 存储网络架构：为数据访问提供高可靠、高吞吐通道
对应教材：第17章 通信系统架构设计理论与实践——17.2.4 存储网络架构
学习目标：理解存储网络的基本组成和架构类型；掌握 DAS、NAS、SAN、FC 和 iSCSI 等方式的特点；能够分析存储流量、性能、可用性、安全、扩展和灾备要求；能够在案例题中设计数据中心存储网络。
一、存储网络的定位
存储网络是服务器、存储设备、备份系统和灾备中心之间传输数据的专用或受控网络。它承载虚拟机磁盘、数据库、文件、备份、日志、视频和业务数据，对吞吐、时延、可靠性、数据完整性和安全有较高要求。
存储网络与普通办公网络不同。办公网络关注用户访问和应用连接，存储网络大量传输持续数据流，并且一个存储故障可能影响多个业务系统。架构设计必须把主机、交换、存储、协议、路径、数据保护和运维作为整体考虑。
典型结构如下：
服务器/虚拟化主机 → 存储网络 → 存储阵列/分布式存储 ↓ ↓ ↓ HBA/NIC/多路径 交换与隔离 控制器、磁盘和缓存 ↓ ↓ 备份/复制网络 → 灾备中心/对象存储
二、DAS、NAS 和 SAN
1. DAS
直接附加存储（DAS）通过 SATA、SAS、PCIe 等方式直接连接服务器。优点是结构简单、时延低、成本相对可控；缺点是共享和扩展能力有限，服务器故障可能导致数据访问中断，集中管理和迁移较困难。DAS 适合单机数据库、边缘设备和对本地性能有要求的场景。
2. NAS
网络附加存储（NAS）通过以太网和文件协议向多个主机提供共享文件系统。优点是文件共享方便、管理集中、适合办公和内容存储；缺点是协议层次较高，元数据和网络可能成为瓶颈，不能完全等同于块存储。
3. SAN
存储区域网络（SAN）提供主机到存储的块级访问，服务器将远端磁盘视为本地块设备，再由主机文件系统或虚拟化平台管理。SAN 可采用 Fibre Channel 或基于 IP 的 iSCSI 等协议，适合数据库、虚拟化和高可靠业务。
三者没有绝对优劣，应按访问方式、共享需求、性能、可靠性、距离、预算和运维能力选择。
三、FC SAN 与 iSCSI
FC SAN 使用专用光纤通道网络，具有较低时延、稳定性和隔离性，适合高性能数据中心。其成本、设备和专业运维要求较高，需要规划 HBA、光纤交换机、分区和多路径。
iSCSI 通过 IP 网络传输 SCSI 命令，设备和运维更容易与以太网融合，成本较低、距离和扩展灵活。缺点是会与普通 IP 流量竞争，必须通过专用网段、VLAN、QoS、网卡、路径和流量控制保障性能。
选择时要看业务性能、已有设备、团队能力、成本和灾备距离。关键数据库可能采用 FC，多数中小业务可以采用高性能以太网 iSCSI 或分布式存储。
四、存储网络分层与隔离
存储网络通常包括主机接入、存储交换、存储控制器和管理网络。管理流量、业务数据流量、复制流量和备份流量应尽量隔离，避免备份高峰影响在线 I/O。
隔离方式包括物理网络、VLAN、VRF、FC 分区、专用网卡和 QoS。FC 环境使用 zoning 限制主机与存储端口的可见关系；iSCSI 环境使用专用地址、认证和访问控制；分布式存储需要控制节点、数据节点和管理节点之间的网络边界。
存储网络不应直接暴露到办公和互联网。管理接口使用独立网络、多因素认证、堡垒机和审计。备份数据和快照也需要访问控制，防止勒索软件同时删除在线与备份数据。
五、性能设计
存储性能包括 IOPS、吞吐量、时延、队列深度、缓存命中率和带宽。随机小 I/O 关注 IOPS 和时延，连续大 I/O 关注吞吐；数据库日志和虚拟机启动对时延敏感，备份和视频对吞吐敏感。
端到端存储时延由应用、文件系统、虚拟化、主机总线、网络、交换机、存储控制器、缓存和磁盘共同决定。不能只看存储阵列宣传的峰值。测试要使用真实块大小、读写比例、并发和峰值。
网络设计要关注上行带宽、端口速率、缓存、拥塞、帧大小和路径。链路聚合提高总带宽和冗余，但单个连接可能仍受哈希限制。多队列和网卡卸载可以提高效率，但要验证驱动和虚拟化配置。
六、多路径与高可用
服务器到存储通常建立多条独立路径，使用多路径软件进行负载均衡和故障切换。多路径不仅需要两块网卡或两条光纤，还要保证路径经过不同 HBA、交换机、控制器、端口、电源和机房。
存储阵列可以采用双控制器、缓存保护、磁盘冗余和自动重建；分布式存储可以采用副本、纠删码和节点分散。冗余会消耗容量和网络，副本数量、重建窗口和性能要结合业务。
故障切换需要验证 I/O 是否暂停、文件系统是否损坏、数据库是否超时、虚拟机是否漂移以及恢复后路径是否重新均衡。没有演练的多路径配置可能存在“看似冗余、实际共路”。
七、数据保护
数据保护包括 RAID、快照、备份、复制、归档和灾备。RAID 主要应对磁盘故障，不能替代备份；快照便于快速恢复，但仍占用空间并可能被攻击者删除；备份需要独立介质、版本、保留策略和恢复测试。
复制可以是同步或异步。同步复制数据丢失目标低，但受距离和时延影响；异步复制适合远距离灾备，但可能存在 RPO。设计时要明确 RTO、RPO、切换流程和数据一致性。
备份网络应与在线存储流量隔离，设置窗口、限速和优先级。备份成功不代表可恢复，必须定期进行抽样和完整恢复演练。
八、存储网络安全
安全措施包括主机认证、存储访问控制、分区、LUN 掩码、CHAP、传输加密、管理隔离、快照保护和审计。主机只能访问获授权的卷，测试主机不能看到生产卷。
数据擦除、介质退役和快照保留也属于安全架构。敏感数据要进行加密和密钥管理；备份密钥不能与生产密钥混用；勒索软件防护可以使用不可变备份、离线备份和分层权限。
九、虚拟化与分布式存储
虚拟化平台大量依赖共享存储，虚拟机迁移、快照和克隆会产生突发流量。架构要区分管理、虚拟机业务、存储和迁移网络，避免迁移风暴影响在线业务。
分布式存储把数据分布在多个节点，通过副本或纠删码提供容量和可靠性。它对节点间网络、时钟、带宽、故障恢复和数据重平衡要求高。节点故障时重建会产生额外流量，必须设置恢复速率和业务优先级。
十、监控与运维
监控指标包括主机 I/O、队列、路径、端口错误、丢包、时延、吞吐、控制器、缓存、磁盘健康、重建、容量和快照。应用还要监控数据库日志延迟、虚拟机磁盘延迟和文件服务响应。
容量管理要关注已用容量、增长速度、快照、预留、重建空间和故障后的可用容量。达到阈值时应提前扩容，不能等存储满后再处理。配置、分区、映射和多路径要版本化备份。
十一、案例：数据中心虚拟化存储网络
某企业建设双数据中心虚拟化平台，承载 ERP、数据库和文件服务。架构采用独立存储交换网络，虚拟化主机配置双 HBA 和双网卡，存储阵列采用双控制器，主机到存储建立多路径；管理、业务、存储、迁移和备份网络分别隔离。
虚拟化主机 → 存储交换 A/B → 存储控制器 A/B → 磁盘池 ↓ ↓ ↓ 多路径 zoning/ACL RAID/缓存/快照 ↓ 备份网络 → 备份库 → 异地复制 → 灾备中心
数据库日志卷采用低时延存储，数据卷和备份卷分级；备份和异地复制限速；控制器、交换机、HBA 和链路分别进行故障切换；关键卷采用快照加备份；每季度执行恢复和灾备切换演练。
十二、考试答题模板
题目问“存储网络类型”，可比较 DAS、NAS、SAN、FC 和 iSCSI 的访问层次、性能、共享、成本和适用场景。题目问“如何提高存储高可用”，要写双控制器、双交换、双 HBA、双路径、多路径、存储冗余、备份和切换演练。题目问“如何保证性能”，要写 IOPS、吞吐、时延、队列、链路、隔离、QoS 和真实负载测试。
论文中可以写：我将管理、在线 I/O、迁移和备份流量隔离，主机和存储采用双路径及多路径，存储控制器和交换设备跨故障域部署；按数据库日志、业务数据和备份数据分级配置性能；通过 RAID、快照、异地复制、不可变备份和恢复演练满足 RTO/RPO，并使用 LUN 掩码、分区、认证和审计控制访问。
十三、课后练习
练习1
RAID 能否替代备份？
参考答案：不能。RAID 主要应对磁盘故障，无法防止误删除、逻辑损坏、勒索软件和站点灾难；必须结合快照、备份、复制和恢复测试。
练习2
为什么备份流量要与在线 I/O 隔离？
参考答案：备份通常产生持续大吞吐，可能占用带宽、队列和存储缓存，增加在线业务时延；应使用独立网络、限速、窗口和优先级。
练习3
多路径设计如何验证真实冗余？
参考答案：分别拔除 HBA、链路、交换机、控制器和电源，观察 I/O、数据库、虚拟机和文件系统行为；确认路径独立、切换时间、恢复后均衡和告警都符合目标。
十四、今日复盘
存储网络架构的核心是让数据访问在高负载、设备故障和灾难条件下仍然可靠。DAS、NAS、SAN、FC 和 iSCSI 有不同边界；性能要看端到端 I/O，可靠性要靠多路径和冗余，数据安全要靠备份、复制、权限和恢复演练。高级题必须把存储网络和业务 RTO/RPO 联系起来。
