LLM 到底是怎么工作的：一份完整入门指南

你用过它们。你被它们惊艳过。你可能也被它们搞糊涂过、惹恼过，甚至还有点发毛。但当你敲下一个问题，它流利、自信、大段大段地回你答案时，你真的知道大语言模型到底在做什么吗？

大多数人会想象电脑里住着一个小天才。真相更奇怪——也有意思得多。读完这份指南，你对 LLM 的理解会超过 95% 随口把这个词挂在嘴边的人。我们把帘子拉开看看。

1. LLM 到底是什么

LLM 全称是 Large Language Model（大语言模型）。按字面拆开看：

让很多人意外的是：LLM 的核心其实就是一个高级版自动补全。它不会像人那样“思考”“知道”或“理解”。它是一个读过海量文本、并以惊人精度学会“下一个词通常是什么”的系统。

◆ 思维模型：把 LLM 想成手机上的自动补全——只不过它吞下了互联网上的大部分内容、书、代码和 Wikipedia，然后练习预测下一个词，练了一万亿次。

2. 唯一诀窍：预测下一个词

LLM 做的一切，都从一个不起眼的技能长出来：猜下一个是什么。

想象我给你这个句子，让你补完：

“The sky is ___”（天空是 ___）

你的脑子里会立刻冒出几个候选：blue（蓝的）、cloudy（多云的）、falling（正在下落的）、clear（晴朗的）。你还会给它们排序——“blue”显然比“spaghetti（意大利面）”更可能出现。LLM 做的正是这件事，只不过它会对词表里的每一个可能词都分配一个概率。

模型在 “The sky is…” 后面“看到”的是：

（这里展示的是模型可能给下一个词分配的示意概率。）

blue       ████████████████████████████  62%
clear      ████████                       18%
cloudy     █████                          12%
falling    ██                              5%
spaghetti  ▌                               1%

模型选一个词（通常是概率较高的词，再加一点随机性让结果有变化），把它接到句子后面，然后重复整个过程——预测下一个词，再下一个，再下一个。把成千上万次这样的预测串起来，你就得到了文章、代码、诗和邮件。

🧶 类比：就像一针一针织围巾。每一针（词）都依赖前面的针。模型事先看不到“整条围巾”——它只是不断加上最合理的下一针，直到你叫它停。

3. Token：AI 实际上怎么读文字

在预测任何东西之前，模型会先把文本切成 “token”。

这里有个微妙但关键的细节：LLM 不像我们那样按词读。它会把文本拆成 token——可能是一个完整的词、一个词的一部分，甚至是单个字符。模型完全是在这些 token 和它们对应的数字里“思考”。

✓ 这跟你有什么关系：“上下文窗口”和计费都是按 token 算的，不是按词算。一个工具说它能处理 “128K tokens”，大概意思是它一次能装下一本 300 页的书。这也解释了为什么 LLM 有时数不对一个词里有几个字母——它看到的不是字母，而是 token。

4. LLM 是怎么训练出来的（三个阶段）

训练会把一台空白的统计机器变成有用的助手。

刚从流水线上下来的原始模型没什么用——像一个没有记忆的大脑。把它变成 ChatGPT 或 Claude，大致要经过三个阶段。

1. Pre-training（预训练）——“读互联网” 模型会被喂进海量文本（书、网站、代码），然后一遍又一遍做同一件事：预测下一个 token。这一步让它吸收语法、事实、推理模式和写作风格。昂贵，也慢——这就是 LLM 里 “Large” 的来源。

2. Supervised fine-tuning（有监督微调）——“学会当助手” 人类写出理想回答的示例对话。模型学习“有帮助”的回答格式：回答问题、遵循指令、保持礼貌。

3. Reinforcement learning from human feedback（RLHF，基于人类反馈的强化学习）——“学会人类偏好” 人类给回答打分，判断哪个更好、哪个更差。模型会被推向人们更喜欢的回答，远离有害或没用的回答。这层“打磨”让它显得友好、安全。

◆ 关键洞察：模型的“知识”冻结在训练结束的那一刻。这就是为什么 LLM 可能不知道训练截止日期之后的事件——除非它接入了实时搜索或工具。

5. 模型“里面”到底有什么

里面没有事实数据库，没有答案文件夹，也没有小图书馆。模型学到的一切都压缩进了参数里——也就是数十亿个数字“旋钮”（也叫权重）。训练过程中，这些旋钮会被一遍又一遍、每次一点点地调，直到模型越来越擅长预测。

你可以把训练好的 LLM 想成它读过的一切的有损压缩摘要——像一张模糊的互联网 JPEG。

这也是为什么 LLM 有时被称为黑盒：就连构建它的工程师，也没法指着某个旋钮说“法国首都就存在这里”。知识摊在数十亿个数字里，由它们一起协作。

🎚️ 类比：想象一个巨大的调音台，上面有 1750 亿个旋钮。训练就是每次把每个旋钮轻轻推一点，直到“音乐”（预测）听起来对了。没人能告诉你某一个旋钮“具体管什么”——但它们合在一起，就能奏出好听的音乐。

6. LLM 为什么会 hallucinate（产生幻觉）

“Hallucination” 是预测机制本身带来的特性，不是随机 bug。

因为 LLM 唯一真正的技能是生成听起来合理的文本，所以它有时会产出听起来非常自信、但完全错误的内容。这叫 hallucination（幻觉）。

模型不是在撒谎——它没有“真相”这个概念。它只是在预测“合适”的词，而错误事实也可以和正确事实一样顺滑地接上去。一个假书名、一个编出来的数据，在统计形态上可以长得很像真的。

⚠ 重要：涉及事实、数字、引用、法律或医疗信息时，永远不要盲信 LLM。把它看成一个聪明、快速、偶尔过度自信的实习生——任何重要内容都要核实。

7. 怎么把 LLM 用得更好

理解背后的机制，会让你明显更会用它。

下面几条原则，都是直接从 LLM 的工作方式推出来的：

1. 给足上下文——模型只“知道”对话里的内容，加上它训练时学到的东西。你给的相关细节越多，它预测得越好。

2. 明确你要什么输出——说清格式、语气、长度和受众。“像给 12 岁小孩讲，列 3 个要点”比“解释一下这个”好得多。

3. 迭代，别指望一次完美——把它当成来回对话。像指导初级同事一样，继续打磨它的回答。

4. 重要内容要核实——用它起草和思考可以，但任何有现实后果的内容都要事实核查。

✓ 专业提示：prompting 是一门技能。输出质量很大程度上取决于输入质量。学会好好写 prompt，是从 AI 身上拿到价值的最高杠杆技能——而且完全不需要会编程。（见下面的免费指南。）

8. 要点总结

📚 想继续深入？推荐阅读

如果这份指南勾起了你的好奇心，下面这些容易读的书可以带你走得更远，而且不会把你淹没在技术细节里：

• Co-Intelligence: Living and Working with AI — Ethan Mollick 著。最好的一本非技术 AI 实用书，讲怎么在日常生活和工作里真正用 AI。实用、友好，而且扎实。
• The Coming Wave — Mustafa Suleyman 著。DeepMind 联合创始人写的 AI 大图景，讲 AI 会走向哪里，以及它对社会意味着什么。
• You Look Like a Thing and I Love You — Janelle Shane 著。一本好笑、真正适合初学者的 AI 入门书，讲 AI 怎么“思考”，也讲它怎么漂亮地翻车。

🎁 继续学习——免费入门指南

既然你已经理解了 LLM 怎么工作，下一步就是把它们用起来——用在你的工作、学习或收入上。下面这些免费、适合初学者的资源，是很好的起点：