NoC Router Pipeline Optimizations（路由器流水线优化）
interconn-study 微架构篇 Day 18：Dally & Towles Ch.12 进阶 + Ch.13——标准五级在 ~百万 PE Mesh 上跳延迟不可接受，必须压缩关键路径与缓冲成本。基线流水见 NoC Router Pipeline and Allocators；CMesh/Express 拓扑侧见 Topology Optimization Variants。
Source: interconn-study-21d-day-18.md
为何必须优化
粗算：直径 ~O(√P) 跳 × 5 ns/跳 → 数十万 PE 时端到端 μs 级，AllReduce/集体通信吃不消。目标：把头延迟压向 ~1–2 ns/跳 量级（look-ahead + speculative + bypass）。
流水线压缩
| 技术 | 做法 | 效果 |
|---|---|---|
| Speculative SA | VA∥SA，赌能拿到 VC | 成功则 5→4 拍；失败浪费 1 拍 Crossbar |
| Look-ahead Routing | 上一跳就算好下一跳输出 | 藏掉 RC；再省 1 拍路径 |
| Pipelined Bypass | 同方向连续 flit 跳过重复仲裁 | 结构化流量命中率高时延迟大降 |
组合后常见：head 有效 3–4 拍；body 更可逼近 1–2 拍旁路。
缓冲组织
| Private VC Buffer | Shared Buffer | |
|---|---|---|
| 隔离 | 强 | 弱（需流控精细） |
| 利用率 | 低（碎片） | 高 |
| 实现 | 简单 | 指针/分配器复杂 |
动态 VC：按需从池分配，提高利用率；静态映射利于证明与 QoS。笔记对 WSE：少量 VC 深缓冲 + 共享容量 混合猜测（突发 AllReduce）。
High-Radix vs Concentrated Mesh
| Low-radix Mesh | High-radix | CMesh | |
|---|---|---|---|
| 跳数 | 多 | 少 | 路由器数÷c，跳数降 |
| 每路由器复杂度 | 低 | Crossbar N² 贵 | 中：1 router 服务 c PE |
| WSE 直觉 | 基线 4–5 端口 | 全局高基数难 | 局部集中可能 |
高基数把「延迟」换「每节点面积」；CMesh 是片上常用折中。详见 Topology Optimization Variants。
设计收束
延迟墙 → speculative + look-ahead + bypass
面积墙 → shared buffer + 克制 VC 数
拓扑墙 → CMesh / 局部高基数 / Express
正确性 → 仍服从 Duato/Dally VC 约束
相关页面
- NoC Router Pipeline and Allocators — Day 17 基线
- Virtual Channel Flow Control — Day 16
- Topology Optimization Variants — CMesh / Express / 高基数
- Flattened Butterfly Topology
- NoC Router 微架构
- Cerebras WSE — 低跳延迟动机
- WSE Reduce Algorithms — 集体通信对跳延迟敏感
- NoC Research Methodology and Case Studies — Polaris bypass 案例（Day 20）
Citations
[1] interconn-study-21d-day-18.md — D&T Ch.12–13（Day 18）