LLM Inference Acceleration: A Comprehensive Hardware Perspective
arXiv: 2410.04466v4 (2024) | PDF: LLM_Inference_Acceleration_Comprehensive_Hardware_Survey_2024.pdf
一句话总结
目前最完整的 LLM 推理加速硬件综述。系统梳理 HBM-assisted / SRAM-based 两大路线，覆盖 GPU/TPU/ASIC/FPGA/wafer-scale，并按 quantization / sparse attention / speculative decoding / paged attention / batching / HW-SW co-design 六大专题组织。
典型平台数据
| 平台 | 工艺 | 模型 | 吞吐 | 功耗 |
|---|---|---|---|---|
| HBM-assisted FPGA (Alveo U280) | 16nm | Llama-7B | 290 tok/s | 46W |
| HBM-assisted FPGA (Alveo U280) | 16nm | Llama-2.7B | 727 tok/s | 46W |
| SoC FPGA (Zynq KV260) | - | 4-bit LLaMA2-7B | 4.9 tok/s | 6.57W |
| MEADOW (TPHS dataflow) | - | LLaMA | - | - |
HBM-assisted 与 SRAM-based 的能耗差距 1-2 个数量级（HBM 64-256 GB/s/W vs SRAM 100s TB/s/W）。
六大专题要点
- Quantization（INT8/INT4/FP8/MXFP4）：与 tensor parallelism 协同，W4A8 是 LLM 推理 sweet spot
- Sparse attention（long context）：减少 KV cache 内存 + attention FLOPs，是长 context 关键
- Speculative decoding：Medusa、EAGLE、Lookahead —— 通过并行验证实现 2-4× 加速
- PagedAttention（vLLM）、Continuous batching、Chunked prefill —— GPU serving 系统层面
- Hardware-software co-design — 量化/稀疏/数据流的编译器融合
- Disaggregated inference — prefill/decode 分离部署
与 wiki 已有内容关联
- WaferLLM System — WSE 上的 LLM 推理代表
- FlashAttention 系列 — IO-aware attention
- FlashMoE Kernel — MoE 推理 kernel
- vLLM — KV cache 内存管理（计划补）
- DSpark Speculative Decoding — 投机解码
- Cerebras WSE — SRAM-based 路线代表
- Groq LPU — Deterministic pipeline 路线
- Disaggregated Inference — prefill/decode 分离
- FP4 QAT — 量化专题
Citations
[1] LLM_Inference_Acceleration_Comprehensive_Hardware_Survey_2024.pdf — (2024)