AI Infra Wiki

标签: prefill

此标签下有10条笔记。

  • 2026年7月09日

    GEMM vs GEMV in LLM Inference

    • gemm
    • gemv
    • arithmetic-intensity
    • roofline
    • compute-bound
    • bandwidth-bound
    • prefill
    • decode
    • matmul
    • kernel
  • 2026年7月07日

    Prefill-Decode Resource Divergence

    • inference
    • prefill
    • decode
    • kv-cache
    • latency
    • throughput
  • 2026年7月02日

    FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness

    • attention
    • gpu
    • llm
    • training
    • kernel
    • prefill
  • 2026年7月02日

    FlashAttention-2: Faster Attention with Better Parallelism and Work Partitioning

    • attention
    • gpu
    • llm
    • training
    • inference
    • kernel
    • prefill
  • 2026年7月02日

    FlashAttention

    • attention
    • gpu
    • llm
    • training
    • inference
    • kernel
    • prefill
    • memory-hierarchy
  • 2026年7月02日

    FlashAttention-2

    • inference
    • training
    • llm
    • gpu
    • attention
    • kernel
    • prefill
  • 2026年7月02日

    FlashAttention-3: Fast and Accurate Attention with Asynchrony and Low-precision

    • attention
    • gpu
    • llm
    • hopper
    • fp8
    • kernel
    • prefill
  • 2026年7月02日

    FlashAttention-3

    • attention
    • gpu
    • llm
    • training
    • inference
    • kernel
    • prefill
    • hopper
    • fp8
  • 2026年6月25日

    Voxel: 3D-Stacked AI Chip Efficiency for LLM Inference

    • accelerator
    • chiplet
    • memory-bandwidth
    • inference
    • prefill
    • decode
    • noc
    • interconnect
    • architecture
    • benchmark
  • 2026年6月24日

    Understanding Inference Scaling for LLMs

    • inference
    • reasoning
    • parallelism
    • kv-cache
    • decode
    • prefill
    • latency
    • throughput
    • serving
    • benchmark

Created with Quartz v4.5.1 © 2026

  • Source Wiki
  • Quartz