WSE Quantitative Architecture Analysis（晶圆级架构量化分析）
arch-study 并行篇 Day 26：不读新教材章节，把 Day 1–25 的 Amdahl、Roofline、NoC 拓扑、加速器 全部投射到 Cerebras WSE。目标：从「知道有 900K PE」升级到「能用量化方法审设计决策」。
Source: arch-study-30d-day-26.md
WSE-3 关键参数（速查）
| 维度 | 数值 | 备注 |
|---|---|---|
| 工艺 / 晶体管 | TSMC 5nm / ~4T | |
| PE / SRAM | ~900K / ~50 KB·PE → 44 GB 总量 | 分到单 PE 仍极小 |
| 拓扑 / 路由 | 2-D mesh + 虫孔 + DOR | 代际未改拓扑 |
| 片上聚合带宽 | ~21 PB/s | 官方；单链路需反推 |
| 片外系统 I/O | ~1.2 Tb/s | 比片上小 ~5 数量级 |
| FP16 算力 | ~125 PFLOPS（官方，精度口径未完全明确） |
Mesh 拓扑代入
对 n×n mesh：直径 2(n−1)，平均曼哈顿距离 ≈2n/3，双分带宽 B_bisect = n（条跨切链路）。
~948×948（≈900K PE）：
| 指标 | 值 |
|---|---|
| 直径 | ≈ 1,894 hops |
| 平均距离 | ≈ 632 hops |
| B_bisect | 948 条横向链路 |
| 最坏延迟（1 cycle/hop @ 1 GHz） | ≈ 1.9 μs（+排队 ~2–3 μs） |
单链路带宽与「21 PB/s」官方聚合不完全自洽——外部只能反推；属已知分析盲点。详见 Interconnection Topology Metrics、Mesh and Torus Topology。
Amdahl：可扩展性上限
若 LLM 推理 95% 可并行到 900K PE、5% 串行（权重加载/控制）：
S ≈ 1 / (0.05 + 0.95/900000) ≈ 20×
→ 串行部分主导；再加 100× PE 也难突破 ~20×。Gustafson 视角（固定时间扩问题规模）则近线性——WSE 哲学更接近「同样时间解决更大问题」。
研究含义：压缩串行 5%（权重 streaming、Reduce、片间同步）比盲目加 PE 更关键。Near-Optimal Wafer-Scale Reduce 的 3.27× Reduce 直接降低「有效串行比」。
权重 streaming 例：串行从 30%→10% → 整体加速上限 3.3×→10×（约 3× 系统级提升）——WaferLLM 系统优化的本质之一。
Roofline：低 Ridge 是杀手锏
Ridge ≈ 125 PFLOPS / 21 PB/s ≈ 6 FLOPs/Byte
| 对照 | Ridge (量级) |
|---|---|
| WSE-3 (SRAM) | ~6 |
| 典型 GPU | ~30–50 |
| A100 粗算 | ~2.9（算力/HBM） |
大 GEMM / Attention 的 AI ≫ 6 → WSE 上更容易 compute-bound。但无大容量 HBM → memory-capacity 敏感负载仍吃亏。
WaferLLM GEMV ~606× vs A100 边界
Decode GEMV：每 token 几乎整模权重从存储读出。
- A100：受 HBM ~3.35 TB/s 限制
- WSE：权重驻留分布式 SRAM，聚合带宽 ~21 PB/s
加速主要来自有效带宽差 × 利用率，而非「算力碾压」（官方 FP16 与 H100 同量级）。见 GEMM vs GEMV、Prefill-Decode Divergence。
片上 vs 片外：核心矛盾
片上 21 PB/s / 片外 ~1.5 TB/s ≈ 14,000×
- 片上充裕 → 最简单 2-D mesh 也够用
- 片外瓶颈 → 多 wafer / Rack-Scale 必须另造高带宽 fabric，否则 mesh 优势蒸发
良率与容错（NoC 研究机会）
泊松粗估：A≈46 cm²、D₀≈0.1/cm² → Yield ≈ e^(−4.6) ≈ 1%（无容错）。
| 层次 | 机制 |
|---|---|
| 硬件 | 路由器 bypass / Route-around |
| 软件 | 编译器避开缺陷 PE |
| 系统 | Fail-in-place（WSE-3） |
商业含义：卖系统而非「完美芯片」；容错 NoC 有直接经济价值。开放题：缺陷分布下连通性保证、缺陷密度–性能衰退模型、在线检测与动态重构。
WSE vs GPU 集群（六维）
| 维度 | WSE-3 | GPU 集群 (示意) |
|---|---|---|
| 算力 | ~125 PFLOPS FP16 | H100 ~同量级/卡，靠规模堆 |
| 片上/近存带宽 | ~21 PB/s SRAM | HBM ~数 TB/s/卡 |
| 跨芯片延迟 | 片内最坏 ~μs | NVLink/IB 常更高 |
| 内存容量 | 44 GB 片上 + memoryX | 大 HBM 池 |
| 编程 | CSL / SpaDA，placement 重 | CUDA 生态成熟 |
| 容错 | 缺陷旁路内建 | 通常假设 die 完好 |
研究优先级速查
| 优先级 | 方向 |
|---|---|
| P0 | Amdahl / Roofline / 拓扑 baseline；缺陷–性能模型 |
| P1 | LLM E2E 建模；片外 / Rack-Scale 互连 |
| P2 | SLA vs GPU core 面积效率（接 NPU） |
相关论文入口：WaferLLM、SpaDA、WSE Reduce。
相关页面
- Cerebras WSE — 实体与 Mesh/color
- DNN Accelerator Systolic Dataflow — Day 25 DSA/脉动
- Quantitative Architecture Fundamentals — Amdahl/良率基础
- Interconnection Topology Metrics — 直径/双分带宽
- DRAM and Memory System — HBM vs SRAM Roofline
- WaferLLM System — E2E LLM / MeshGEMV
- DSA Processor Design Tradeoffs — 砍通用性
- Deterministic Routing and DOR — 虫孔 + DOR
Citations
[1] arch-study-30d-day-26.md — Wafer-Scale 量化综合（Day 26）