Interconnection Network Design Space（互连网络设计空间）
互连网络是多节点系统的通信骨架——系统性能上限往往由节点间通信效率决定，而非单节点算力。Dally & Towles 将设计问题组织为四层强耦合的设计空间。
四层设计空间
┌─────────────────────────────┐
│ 应用 / 算法 (Algorithms) │ ← 流量特征（burst、pattern、size）
├─────────────────────────────┤
│ 拓扑 (Topology) │ ← 物理/逻辑布局
│ 路由 (Routing) │ ← 路径选择
│ 流控 (Flow Control) │ ← 资源分配与缓冲
├─────────────────────────────┤
│ 微架构 (Microarchitecture) │ ← 路由器/链路硬件实现
└─────────────────────────────┘
耦合示例（层间不可独立优化）：
| 选择 | 连锁约束 |
|---|---|
| 2D Mesh | 最短路径集受限 → dimension-ordered / Torus 路由 |
| Wormhole 流控 | 需虚通道 (VC) 打破路由死锁环 |
| 高基数路由器 | 改变最优拓扑（Fat Tree / Flattened Butterfly 优于 Mesh） |
基本术语
| 术语 | 定义 | 例子 |
|---|---|---|
| Node | 通信端点 | CPU、GPU、Switch、PE |
| Link | 两节点间物理连接 | SerDes、光纤、片上 wire |
| Port | 节点上一个方向的物理接口 | Mesh PE 的上下左右各一 port |
| Channel | 链路 + 缓冲区，端到端资源单元 | 一条物理链路上的多条 VC |
| Message | 应用层逻辑数据单元 | AllReduce 一次操作 |
| Packet / Flit / Phit | 网络层 / 流控层 / 物理层细分单元 | 见 NoC Router 微架构 |
三大应用域
| 域 | 典型规模 | 优化目标 | 代表系统 |
|---|---|---|---|
| 处理器互连 | 8–100k 节点 | 延迟 + 吞吐量 | InfiniBand Fat Tree、HPC Torus |
| I/O 互连 | 数百–数千 | 可靠性 + 延迟 | Fibre Channel、SAS |
| 片上互连 (NoC) | 4–1000+ 节点 | 面积 + 功耗 + 延迟 | Cerebras WSE Mesh（Mesh and Torus Topology）、Linear and Ring Topology（TileLink Ring） |
拓扑选择约束：全连接不可制造。WSE-3 为 ~949×949 2D Mesh（度=4，直径≈1896，B_b≈949 条链路）——详见 Interconnection Topology Metrics 与 Interconnection Network Cost Model。
Mesh vs Fat Tree 的域差异
| NoC / HPC 机柜 | 数据中心 scale-out | |
|---|---|---|
| 约束 | 端口数、片上面积、布线密度 | 机架规模、bisection BW、成本 |
| 常见拓扑 | Mesh、Torus、k-ary n-cube | Clos and Fat-Tree Topology、CLOS（见 Switching Networks） |
| 原因 | 固定端口预算下 Mesh 可单片实现 | 高基数交换 + 多级结构提供可扩展 bisection BW |
性能瓶颈三视角
互连成为系统瓶颈时，可从三方面诊断：
- 物理上限：光速传播、SerDes 功耗、pin 密度
- 拓扑上限：bisection bandwidth、热点、contention（见 WSE Performance Model）
- 协议开销：序列化延迟、包头、流控 bubble
相关页面
- Interconnection Topology Metrics — 度/直径/二分带宽
- Clos and Fat-Tree Topology — Clos 定理与 Fat-Tree 代价等价
- Mesh and Torus Topology — 2-D Mesh/Torus 与 k-ary n-cube
- Linear and Ring Topology — 1-D 基线拓扑
- Interconnection Network Cost Model — 延迟与成本公式
- Switching Principles — 电路/分组/虫孔交换演进
- Interconnection Network Protocol Stack — 物理→传输四层接口
- NoC Router 微架构 — 微架构层实现
- Cerebras WSE — 晶圆级 Mesh NoC 实例
- Multi-plane Clos Topology for AI Training — 数据中心 Fat Tree 变体
- Butterfly and MIN Topology — 自路由 MIN（Day 8）
- Topology Optimization Variants — Folding/CMesh/Express（Day 9）
- Deterministic Routing and DOR — 确定性路由 / XY / e-cube（Day 11）
- Adaptive Routing for NoC — 拥塞感知 / VRR（Day 12）
- Deadlock-Free Routing CDG and Dally Theorem — CDG / Dally 定理（Day 13）
- Duato Escape VC Deadlock-Free Routing — Duato / 逃逸 VC（Day 14）
Citations
[1] interconn-study-21d-day-01.md — Dally & Towles Ch.1（Day 1） [2] interconn-study-21d-day-03.md — Ch.3.1–3.2（Day 3） [3] interconn-study-21d-day-04.md — Ch.3.3–3.5（Day 4） [4] interconn-study-21d-day-05.md — Ch.3 线性/Ring（Day 5） [5] interconn-study-21d-day-06.md — Ch.3 Mesh/Torus（Day 6） [6] interconn-study-21d-day-07.md — Ch.3 间接网络（Day 7） [7] interconn-study-21d-day-08.md — Ch.3 Butterfly/MIN（Day 8） [8] interconn-study-21d-day-09.md — Ch.3 拓扑变体（Day 9） [9] interconn-study-21d-day-10.md — Ch.3 综合（Day 10） [10] interconn-study-21d-day-11.md — Ch.4–5 Routing（Day 11） [11] interconn-study-21d-day-12.md — Ch.6–7 Adaptive（Day 12） [12] interconn-study-21d-day-13.md — Ch.8.1–8.4 CDG/Dally（Day 13） [13] interconn-study-21d-day-14.md — Ch.8.5–8.8 Duato（Day 14）