Cerebras WSE

Cerebras WSE (Wafer-Scale Engine)

晶圆级 AI 加速器。WSE-3：900K 核心，44 GB SRAM，214 Pbit/s fabric 带宽。

Hot Chips 2026：CS-4 / Nexus / CS-6

CS-4 = 三片 WSE-3 Turbo。相对 CS-3：compute 125 → 750 PFLOPS；SRAM 44 → 132 GB；mem BW 21.6 → 129.6 PB/s；fabric 26.7 → 160.5 PB/s；I/O 1.2 → 7.2 Tbit/s；晶圆间 2 µs。新 Direct Wafer Links + RoCE。单晶圆标 43,200 TB/s vs Rubin 22 TB/s；wafer fabric 53.5 PB/s。GA Q3 2026。Nexus 预留 CS-5 / CS-6；CS-6 预告 wafer-scale SRAM + 3D stacked DRAM（FLOPS/BW 未知）。CS-5 数字标 internal projections。

与通用 CPU 体系结构的差异

维度	通用 OoO CPU	WSE
ILP	硬件 Tomasulo + 分支预测	编译器静态调度（Deterministic Execution）
内存	L1/L2/L3 + DRAM/HBM	44 GB 片上 SRAM，无 DRAM（DRAM and Memory System、Memory Hierarchy）
地址	MMU + TLB + 虚拟内存	无 MMU/TLB，物理/SRAM 直寻（Virtual Memory and TLB）
互连	片外总线/NoC + coherence	晶圆级 2D Mesh + 虫孔，无 coherence/shootdown
同步	MFENCE + coherence 链	PE barrier / 显式消息（Memory Consistency Model、Memory Fence and Barrier）
经济	小 die 高良率	整晶圆良率约束（Quantitative Architecture Fundamentals）

完整能力/代价矩阵见 DSA Processor Design Tradeoffs。

2D Mesh 拓扑

WSE-3 ~900K PE 排列为 ~949×949 2D Mesh，每 PE 4 端口（上下左右）：

度量	值
度	4
直径	≈ 2×948 = 1896 hops
平均距离	≈ 632 hops（d̄，见 Interconnection Topology Metrics）
二分带宽 B_b	≈ 949 条链路（~3.8 TB/s @ 4 GB/s/link）

相对 N 节点全连接，Mesh 以多跳换低端口数——约 145× 链路节省。未选 Torus：环绕长 wire 在晶圆上不可行（Interconnection Topology Metrics）。满注入带宽 vs B_b 差 ~947× → 必须算子融合与通信局部性（Interconnection Network Cost Model）。

虫孔交换与流量匹配

WSE 采用 wormhole routing 变体（非电路交换）：

• LLM 推理 traffic 为短突发消息（activation、gradient）+ 高并发 collective
• 电路交换：建路/拆路开销 >> 数据本身；N 跳通路独占沿途全部链路 → 并发度崩溃
• 虫孔：单 flit 注入、小 buffer、与 AllReduce 等 collective 天然契合

确定性路由

• 24 个 color（虚拟通道），编译时静态路由
• 每跳 ~0.4ns，color 之间互不阻塞
• 与 Nvidia Groq 3 Lpx 的 plesiosynchronous C2C 是不同路径实现确定性
• Color 机制详见 Cerebras Color Mechanism

与 Groq LPU 的对比

维度	Cerebras WSE	Groq 3 LPU
核心	900K 简单 PE	256 复杂 LPU
内存	44 GB 片上 SRAM + memoryX NVMe	128 GB 片上 SRAM
路由	24 color 静态	96 C2C plesiosynchronous
编程	CSL（数据流）	Compiler spatial
模型	分布式内存	分布式内存

Reduce/AllReduce Collective

• HPDC 2024 论文建立了 WSE 上 Reduce/AllReduce 的性能模型和算法体系
• Auto-Gen Reduce 距下界 ≤1.4×，比 vendor 方案快 3.27×
• 详见 Wse Performance Model、Wse Reduce Algorithms、Near Optimal Wafer Scale Reduce

memoryX 外置存储

WSE-3 经 PCIe Gen5 ×16（~64 GB/s）连接 memoryX：约 4× NVMe SSD（~30 TB 顺序读 ~28 GB/s 量级）+ host DRAM 池。片上 ~21 PB/s SRAM 与 NVMe 带宽差 ~750,000×——适合 checkpoint/冷加载，不适合 per-token KV 从 SSD 读取。详见 SSD and NVMe Storage System。

相关页面

• Virtual Memory and TLB — 无 MMU/TLB
• DSA Processor Design Tradeoffs — SLA vs Golden Cove 矩阵
• Cache Coherence — 900K PE 无 MESI/Directory
• Memory Consistency Model — 无共享内存、PE barrier 近似 SC
• Memory Fence and Barrier — 无 coherence 时 fence 退化
• DRAM and Memory System — 无 DRAM、21 PB/s SRAM 带宽
• SSD and NVMe Storage System — memoryX NVMe tier
• SpaDA Programming Language — place/dataflow/compute 高级 CSL 抽象
• Basic Data-Flow Processor — 数据流架构历史（Dennis & Misunas 1975）
• Deterministic Execution — 共同使用的确定性范式
• Memory Hierarchy and Cache — 无 L1/L2/L3 的设计对比
• Quantitative Architecture Fundamentals — 暗硅、良率、专用 PE
• Superscalar CPU Research (2023-2026) — WSE-aware Constabulary、控制核 vs PE 无 BP/OoO
• Out-of-Order Execution — WSE 不采用 OoO 的对比
• Nvidia Groq 3 Lpx — 对比参照
• Lpu Architecture — LPU 架构
• Wse Nom Contradiction Analysis — 矛盾论六步框架分析 NoW
• Cerebras Wse Vs Groq Network Comparison — WSE vs Groq 全面对比
• Cerebras Color Mechanism — Color 虚拟通道机制
• Noc Router Microarchitecture — WSE NoC Router 理论基础
• Collective-Capable NoC — 通用 tile mesh 片上 collective 对照（FlooNoC/DCA）
• Interconnection Topology Metrics — Mesh 度量与 Torus 对比
• Mesh and Torus Topology — ~949×949 2-D Mesh 选型
• Topology Optimization Variants — 为何未用 CMesh/Express/Hypercube
• Deterministic Routing and DOR — 分布式 XY 路由与 collective 延迟
• Adaptive Routing for NoC — 为何 WSE 倾向 DOR 而非拥塞自适应
• Deadlock-Free Routing CDG and Dally Theorem — Mesh 单 VC、为何不用 Torus（Day 13）
• Duato Escape VC Deadlock-Free Routing — 逃逸 VC；WSE 倾向避免而非恢复（Day 14）
• WaferLLM System — PLMR 模型、MeshGEMM/V、KV shift（WSE-2 E2E LLM）
• WSE Quantitative Architecture Analysis — Amdahl/Roofline/Mesh/良率量化（Day 26）
• LLM Distributed Training Collectives — 训练集体通信；多 wafer 限制（Day 27）
• Post-Moore Architecture Frontiers — Chiplet vs wafer 路径（Day 29）
• Arch-Study 30d Knowledge Map — 30 天知识地图（Day 30）
• DNN Accelerator Systolic Dataflow — TPU 脉动 vs SLA PE（Day 25）
• WaferLLM Compiler Research Gaps — 6 个未解瓶颈 + MLIR pass 设计
• Interconnection Network Cost Model — 延迟与 B_b 瓶颈
• Interconnection Network Design Space — 四层设计空间
• NoC Fundamentals (H&P Appendix F) — H&P App.F 五问（Day 21）
• End-to-End Memory Data Path — 存储+NoC 全景（Day 22）
• Multicore SMT and NUCA — 900K PE 扩展哲学（Day 23）
• Interconnection Network Protocol Stack — NI 与协议栈
• Switching Principles — 虫孔 vs 电路交换
• Flow Control Fundamentals — Flit/WH/HoL（互连 Day 15）
• Virtual Channel Flow Control — VC + Credit（互连 Day 16）
• NoC Router Pipeline and Allocators — 五级流水（互连 Day 17）
• NoC Router Pipeline Optimizations — 跳延迟优化动机（互连 Day 18）
• Network Interface and System-Level Design — 极简 PE NI（互连 Day 19）
• NoC Research Methodology and Case Studies — Polaris/WSE 反推（互连 Day 20）
• Interconn-Study 21d Knowledge Map — 21 天收束（互连 Day 21）
• TPU v4 OCS Reconfigurable Fabric — 4096-chip 可重构 vs 单晶圆 Mesh
• Layout-Aware NoC and Flexible Dataflow Accelerators — MAERI/SIGMA/FEATHER/Venus 5 类技术路线
• NVLink NVSwitch Scale-Up Fabric — GPU fat-tree 对照
• Paper Deep-Dive Map — 精读 Day 1–8
• Network-on-Wafer — WSE 是 field stitching 均匀 mesh；对照 WoW「同层不能直连」
• WoW Network Design — SoIC-WoW 第三条 WSI 路线
• Fovea — 同质 repeated-die 仍要按负载选实例；不是 WSE 式固定 field-stitch 模板
• Hot Chips 2026 CS-4 — 三晶圆机柜 + Direct Wafer Links + CS-6 3D DRAM

Citations

[1] Near-optimal_wafer-scale_reduce.pdf [2] SpaDA_Spatial_Dataflow_Architecture_Programming_Language_2026.pdf — SpaDA 语言与编译器（Gianinazzi et al. 2026） [3] interconn-study-21d-day-01.md — WSE Mesh 引入（互连 Day 1） [4] interconn-study-21d-day-02.md — WSE 虫孔选型（互连 Day 2） [5] interconn-study-21d-day-03.md — Mesh 拓扑度量（互连 Day 3） [6] interconn-study-21d-day-04.md — 成本/延迟模型（互连 Day 4） [7] arch-study-30d-day-02.md — 功耗/良率（体系结构 Day 2） [8] arch-study-30d-day-14.md — 无 Cache 对比（Day 14） [9] arch-study-30d-day-15.md — 无 MMU/TLB（Day 15） [10] arch-study-30d-day-16.md — DSA 能力矩阵（Day 16） [11] WaferLLM_LLM_Inference_at_Wafer_Scale_2025.pdf — WaferLLM PLMR/MeshGEMM（He et al. 2025） [12] arch-study-30d-day-26.md — WSE 量化综合（Day 26） [13] arch-study-30d-day-25.md — DSA/脉动 vs SLA（Day 25） [14] interconn-study-21d-day-13.md — CDG/Dally、Mesh vs Torus（Day 13） [15] interconn-study-21d-day-14.md — Duato / 逃逸 VC（Day 14） [16] hc2026-cerebras-cs4.md — CS-4 / Nexus, Hot Chips 2026