AI Infra Wiki
搜索
Search
暗色模式
亮色模式
探索
标签: prefill
此标签下有10条笔记。
2026年7月09日
GEMM vs GEMV in LLM Inference
gemm
gemv
arithmetic-intensity
roofline
compute-bound
bandwidth-bound
prefill
decode
matmul
kernel
2026年7月07日
Prefill-Decode Resource Divergence
inference
prefill
decode
kv-cache
latency
throughput
2026年7月02日
FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness
attention
gpu
llm
training
kernel
prefill
2026年7月02日
FlashAttention-2: Faster Attention with Better Parallelism and Work Partitioning
attention
gpu
llm
training
inference
kernel
prefill
2026年7月02日
FlashAttention
attention
gpu
llm
training
inference
kernel
prefill
memory-hierarchy
2026年7月02日
FlashAttention-2
inference
training
llm
gpu
attention
kernel
prefill
2026年7月02日
FlashAttention-3: Fast and Accurate Attention with Asynchrony and Low-precision
attention
gpu
llm
hopper
fp8
kernel
prefill
2026年7月02日
FlashAttention-3
attention
gpu
llm
training
inference
kernel
prefill
hopper
fp8
2026年6月25日
Voxel: 3D-Stacked AI Chip Efficiency for LLM Inference
accelerator
chiplet
memory-bandwidth
inference
prefill
decode
noc
interconnect
architecture
benchmark
2026年6月24日
Understanding Inference Scaling for LLMs
inference
reasoning
parallelism
kv-cache
decode
prefill
latency
throughput
serving
benchmark