DRAM and Memory System（DRAM 与内存系统）
CPU Cache 之上是 Memory Hierarchy and Cache；DRAM/HBM 是层次最底、容量最大、也是 AI 时代带宽瓶颈所在。Hennessy & Patterson 内存墙：DRAM 延迟 ~1.05×/年 vs 算力 ~1.5×/年（历史）→ 绝大多数 AI workload 带宽受限。
DRAM 物理与层次
Channel → DIMM/Rank → Chip → Bank → Row → Cell (1T1C)
访问时序（DDR5-6400 量级）：
| 参数 | 典型 | 含义 |
|---|---|---|
| t_RCD | ~14 ns | 行选通 → 列选通 |
| t_RP | ~14 ns | 行预充电 |
| t_CAS (tCL) | ~16 ns | 列选通 → 数据 |
| t_BURST | ~5 ns | 突发传输 |
| 场景 | 延迟 |
|---|---|
| 冷启动 / 跨行 | t_RP + t_RCD + t_CAS + Burst ≈ 49 ns |
| Row Buffer 命中 | t_CAS + Burst ≈ 21 ns（~4× 差距） |
Row Buffer 命中率由访问顺序决定（硬件被动）；不同于 Cache 可通过替换策略优化——推理 KV 访问模式差时命中率仅 ~30–50%。
带宽与并行
带宽 = 数据速率 (MT/s 或 GT/s) × 总线宽度 (bit) ÷ 8
| 类型 | 峰值带宽（示例） |
|---|---|
| DDR5-6400 单通道 | 51.2 GB/s |
| DDR5-6400 双通道 | 102.4 GB/s |
| HBM3 单 stack (1024b @ 6.4 GT/s) | 819.2 GB/s |
| H100（5× HBM3 stack） | 3350 GB/s |
三层并行：Channel（粗）→ Rank（中，交错隐藏 precharge）→ Bank（细，16–32 bank/rank）。单 bank 等效 ~2.1 GB/s；需多 bank 并行才能打满通道。
HBM：TSV 垂直堆叠 8-Hi/12-Hi，1024-bit 宽接口——在 die perimeter 受限下突破带宽；见 3D-Stacked AI Chip。
内存墙与 Roofline
H100 FP16：1979 TFLOPS / 3350 GB/s → Ridge Point ≈ 590 FLOPS/byte。
| 工作负载 | 算力强度 | 瓶颈 |
|---|---|---|
| GPT-3 175B 训练 forward | ~30 | 带宽 |
| LLM 推理 / Diffusion | ~50 | 带宽 |
| GPT-3 单 token 推理 | ~590 | 临界 |
算力强度 < Ridge Point → memory-bound（与 Prefill-Decode Resource Divergence decode 阶段一致）。100 TFLOPS @ 50 FLOPS/byte 需 2 TB/s——DDR5 双通道远不够，必须 HBM 或片上 SRAM。
WSE：用 SRAM 绕过 DRAM
| H100 HBM3 | WSE-3 片上 SRAM | |
|---|---|---|
| 容量 | ~80 GB | ~40 GB |
| 带宽 | ~3.35 TB/s | ~21 PB/s |
| 带宽/容量 | ~42 GB/s per GB | ~525,000 GB/s per GB |
无 DRAM、900K PE × 48 KB SRAM；带宽密度比 GPU 高约 12,500×，单 GB SRAM 成本远高于 HBM 但 AI 瓶颈在带宽而非容量——Cerebras WSE / DSA Processor Design Tradeoffs 的核心经济逻辑。
代价：整晶圆面积、良率、显式数据布局（Deterministic Execution）。
相关页面
- Memory Hierarchy and Cache — Cache 层与 AMAT
- 3D-Stacked AI Chip — TSV + 堆叠 DRAM
- Prefill-Decode Resource Divergence — decode 带宽 bound
- Reasoning Cliff — KV/HBM 容量饱和
- Quantitative Architecture Fundamentals — 局部性与量化权衡
- SSD and NVMe Storage System — DRAM 以下片外存储 tier
- End-to-End Memory Data Path — Day 17–22 存储篇综合
- NoC Fundamentals (H&P Appendix F) — NoC 五问（Day 21）
- GPU SIMT Architecture — H100 HBM Roofline 与 WSE 带宽密度对比（Day 24）
Citations
[1] arch-study-30d-day-17.md — H&P Ch.2 内存技术（Day 17）