DRAM and Memory System（DRAM 与内存系统）
CPU Cache 之上是 Memory Hierarchy and Cache；DRAM/HBM 是层次最底、容量最大、也是 AI 时代带宽瓶颈所在。Hennessy & Patterson 内存墙：DRAM 延迟 ~1.05×/年 vs 算力 ~1.5×/年（历史）→ 绝大多数 AI workload 带宽受限。
DRAM 物理与层次
Channel → DIMM/Rank → Chip → Bank → Row → Cell (1T1C)
访问时序（DDR5-6400 量级）：
| 参数 | 典型 | 含义 |
|---|---|---|
| t_RCD | ~14 ns | 行选通 → 列选通 |
| t_RP | ~14 ns | 行预充电 |
| t_CAS (tCL) | ~16 ns | 列选通 → 数据 |
| t_BURST | ~5 ns | 突发传输 |
| 场景 | 延迟 |
|---|---|
| 冷启动 / 跨行 | t_RP + t_RCD + t_CAS + Burst ≈ 49 ns |
| Row Buffer 命中 | t_CAS + Burst ≈ 21 ns（~4× 差距） |
Row Buffer 命中率由访问顺序决定（硬件被动）；不同于 Cache 可通过替换策略优化——推理 KV 访问模式差时命中率仅 ~30–50%。
带宽与并行
带宽 = 数据速率 (MT/s 或 GT/s) × 总线宽度 (bit) ÷ 8
| 类型 | 峰值带宽（示例） |
|---|---|
| DDR5-6400 单通道 | 51.2 GB/s |
| DDR5-6400 双通道 | 102.4 GB/s |
| HBM3 单 stack (1024b @ 6.4 GT/s) | 819.2 GB/s |
| H100（5× HBM3 stack） | 3350 GB/s |
三层并行：Channel（粗）→ Rank（中，交错隐藏 precharge）→ Bank（细，16–32 bank/rank）。单 bank 等效 ~2.1 GB/s；需多 bank 并行才能打满通道。
HBM：TSV 垂直堆叠 8-Hi/12-Hi，1024-bit 宽接口——在 die perimeter 受限下突破带宽；见 3D-Stacked AI Chip。
内存墙与 Roofline
H100 FP16：1979 TFLOPS / 3350 GB/s → Ridge Point ≈ 590 FLOPS/byte。
| 工作负载 | 算力强度 | 瓶颈 |
|---|---|---|
| GPT-3 175B 训练 forward | ~30 | 带宽 |
| LLM 推理 / Diffusion | ~50 | 带宽 |
| GPT-3 单 token 推理 | ~590 | 临界 |
算力强度 < Ridge Point → memory-bound（与 Prefill-Decode Resource Divergence decode 阶段一致）。100 TFLOPS @ 50 FLOPS/byte 需 2 TB/s——DDR5 双通道远不够，必须 HBM 或片上 SRAM。
WSE：用 SRAM 绕过 DRAM
| H100 HBM3 | WSE-3 片上 SRAM | |
|---|---|---|
| 容量 | ~80 GB | ~40 GB |
| 带宽 | ~3.35 TB/s | ~21 PB/s |
| 带宽/容量 | ~42 GB/s per GB | ~525,000 GB/s per GB |
无 DRAM、900K PE × 48 KB SRAM；带宽密度比 GPU 高约 12,500×，单 GB SRAM 成本远高于 HBM 但 AI 瓶颈在带宽而非容量——Cerebras WSE / DSA Processor Design Tradeoffs 的核心经济逻辑。
代价：整晶圆面积、良率、显式数据布局（Deterministic Execution）。
相关页面
- Memory Hierarchy and Cache — Cache 层与 AMAT
- 3D-Stacked AI Chip — TSV + 堆叠 DRAM
- Prefill-Decode Resource Divergence — decode 带宽 bound
- Reasoning Cliff — KV/HBM 容量饱和
- Quantitative Architecture Fundamentals — 局部性与量化权衡
- SSD and NVMe Storage System — DRAM 以下片外存储 tier
- End-to-End Memory Data Path — Day 17–22 存储篇综合
- NoC Fundamentals (H&P Appendix F) — NoC 五问（Day 21）
- GPU SIMT Architecture — H100 HBM Roofline 与 WSE 带宽密度对比（Day 24）
- DASH — HBF 与 HBM 并列近 GPU；专家权重走 Direct∥Relay，不经 HBM 阵列
- FLINT — 级联 HBF 当只读权重层；phantom-plane 把 NAND refresh 移出 decode 关键路径
- ReXpert — 用 ReRAM 读带宽密度（0.128 B/FLOP）绕开 HBM 权重复用膝点
- Handy HBM 开场 — Hot Chips 2026：HBM 吃 3× DDR 晶圆面积；DRAM 产能十年未涨
- SK hynix packaging — HBM4 2048 IO / 2048 GB/s；12Hi 量产、16Hi Qual
- OXMIQ HBF — HBF 是低 α/低 β 容量点；同机柜 ~14× 容量 / ~0.6× 带宽
- Pistil — 边缘 2.5D RPC-DRAM flower，512 MB / 51.2 GB/s
可编程内存控制器（2026-10-07）
Terracotta（MICRO 2026）：PuD、低成本维护、子阵列并行（MASA）、降延迟（ChargeCache/CROW）等技术共享”自定义命令 + 控制器状态/触发/更新/动作”结构。DDR5 上一次性标准化命令编码 + 可编程控制器，4 类技术保留 >96% 定制收益；DRAM 能耗开销 0.6–3.2%，面积/功耗 0.03%/0.56%。
Citations
[1] arch-study-30d-day-17.md — H&P Ch.2 内存技术（Day 17） [2] arXiv:2610.06475 — Terracotta