LLM 推理优化 · 杂七杂八集

LLM Inference Optimization

KV Cache、Paged Attention、Flash Attention、Speculative Decoding 和 Continuous Batching 这类技术，让 LLM 在生产环境中变得更快，也更容易扩展。我们逐个学习这些技术。

LLM 中的 KV Cache

在这篇文章里，我们会学习 KV Cache：K 代表 Key，V 代表 Value；也会理解它为什么会用在大语言模型（LLM）里，用来加速文本生成。

我们会先看 LLM 如何一次生成一个 token，理解 Key、Value 和 Query 在模型内部的作用；再通过一个例子看看重复计算的问题；最后一步步看 KV Cache 如何通过保存并复用过去的结果来解决这个问题。

阅读这里： LLM 中的 KV Cache

LLM 中的 Paged Attention

在这篇文章里，我们会学习 Paged Attention。这是一种解决 KV Cache 内存浪费问题的技术，可以让 LLM 同时服务多得多的用户。

我们会先快速回顾 KV Cache，理解它带来的内存问题；再通过一个例子看看传统内存分配方式如何浪费空间；最后一步步看 Paged Attention 如何借用计算机管理内存的思路来解决这个问题。

阅读这里： LLM 中的 Paged Attention

解码 LLM 中的 Flash Attention

在这篇文章里，我们会一块一块拆开 Flash Attention 来学习：理解为什么标准注意力很慢，Flash Attention 为什么快，它如何巧妙使用 GPU 内存，以及为什么几乎每个现代大语言模型（LLM）都在使用它。

我们会讲这些内容：

快速回顾标准注意力
为什么标准注意力很慢
GPU 内存实际如何工作（HBM vs SRAM）
Flash Attention 的核心思路
Tiling：把工作拆成小块
Online softmax：不构建完整矩阵也能计算 softmax
反向传播（backward pass）中的重计算
Flash Attention 2
Flash Attention 3
Flash Attention 的优势和影响

阅读这里： 解码 LLM 中的 Flash Attention

Grouped Query Attention

在这篇文章里，我们会学习 Grouped-Query Attention（GQA），以及它和 Multi-Head Attention（MHA） 有什么不同。

今天我们会讲下面这些主题：

快速回顾：Multi-Head Attention（MHA）
Multi-Head Attention 的问题
什么是 Multi-Query Attention（MQA）？
什么是 Grouped-Query Attention（GQA）？
Grouped-Query Attention 如何工作
GQA 是 MHA 和 MQA 的泛化
GQA vs MHA vs MQA
真实世界用例
关于术语的一点说明
Uptraining：从 MHA 转成 GQA
快速总结

阅读这里： Grouped Query Attention

给你一个小提示

无论你在哪个技术领域工作，都应该熟悉这些主题：

LLM
RAG
MCP
Agent
Fine-tuning
Quantization

我们把它们整理进了一个视频：

AI Engineering Explained: LLM, RAG, MCP, Agent, Fine-Tuning, and Quantization

不用现在停下来去看——先收藏，等有时间再看。未来的你会感谢现在的你。

现在，我们回到主题。

Speculative Decoding

在这篇文章里，我们会学习 Speculative Decoding：它是什么，为什么没有它时 LLM 生成会慢，小型草稿模型（draft model）和大型目标模型（target model）如何配合来更快生成 token，能保证质量不下降的拒绝采样（rejection sampling）数学原理，展示 2 倍到 3 倍加速效果的真实数字，它在生产中用在哪里，以及需要注意哪些取舍。

我们会讲这些内容：