在大多数人理解 AI 术语之前，AI 已成为主流。
这就是为什么很多 AI 对话听起来头头是道，其实含糊其词。大家把 "token"、"embedding"、"RAG"、"agent"、"LoRA"、"eval"、"guardrail" 挂在嘴上，仿佛每个人对这些词的理解都一样。
绝大多数时候，并不一样。
这种不一致很关键，因为这些不是花哨的术语。它们是机器的零件。
不懂 token，就不懂 context。 不懂 embedding，就不懂 semantic search。 不懂 RAG，就会高估检索能修的东西。 不懂 agent，就会把自主和循环搞混。 不懂 eval，就只能凭感觉评判 AI 系统。
所以我想写一份我自己会收藏的指南。
对新手够清晰。对工程师够准确。回头还能再翻。
下面是 25 个让现代 AI 没那么晕的概念。
1. Tokens
关于 LLM，首先要理解的一件事是：它们处理文本的方式，和我们阅读的方式并不相同。 它处理的是 token。
一个 token 可以是完整的词、词的一部分、标点、空格，或者特殊符号。所以一个词不一定等于一个 token。
这个小细节几乎决定了一切——context 长度、成本、延迟、截断、生成。当你发一段 prompt 过去，模型看到的不是"一段话"。它看到的是一串 token ID。
那串 ID 才是模型的原料。所以在搞 context window、定价、生成之前，得先搞懂 token。它们是这个系统里最小的实用单位。
2. Next-token prediction
说到底，语言模型一直在问同一个问题——下一个 token 该是什么？
它读当前的 context，给所有可能的下一个 token 算出一个概率分布。 选一个 token，加回 context 里，重复这个过程。一段完整的回答就这么出来——不是一次性的，是一个 token 一个 token 长出来的。
这也是为什么同一个 prompt 有时候给出不同答案。模型可能给好几条合理的延续都分了概率。是 decoding 策略决定走哪条。
Temperature 控制概率分布的尖锐还是平坦。 低 temperature 让模型更保守。高 temperature 让它更多变，但有时不稳。Top-k 把采样限制在概率最高的 k 个 token 里。Top-p（也叫 nucleus sampling）保留一组 token，让它们的概率累加刚好越过设定的阈值。
这些参数不会改变模型学到的东西。它们只改变模型怎么从已有的可能里做选择。
所以下次你觉得一段答案像认真写出来的，记住底下发生的事——模型在一步一步把序列长出来。
3. Context window
Context window 是模型一次运行能用的信息。
它可以装 system prompt、用户消息、对话历史、检索到的文档、工具调用结果、记忆片段、示例、约束。但 context 经常被误解。
更大的 context window 有用，但未必更好。 如果你给模型一堆乱、过期、重复或不相关的信息，问题不会消失。你只是把问题搬进了 prompt。
还有质量上的影响：埋在很长 context 中段的信息，被注意到的可靠性比开头或结尾低。
更准的心智模型是：context 是工作记忆。不是存储，不是真理，不是永久知识。只是模型此刻能用的信息。
好的 AI 系统会精挑什么进得了这个空间。它们不会一股脑塞进去，指望模型自己理清楚。
4. Attention
Attention 是让现代语言模型能在大规模上跑起来的关键想法之一。
简单版：token 可以从其他 token 那里加权吸收信息。 这让模型能建立对上下文敏感的表示。"Bank" 挨着 "river"（银行 / 河岸 + 河）和 "bank" 挨着 "loan"（银行 / 河岸 + 贷款）应该表现不同。Attention 让模型能做出这种区分。
但对现代 decoder-only 的 LLM 来说，有一条重要约束：causal self-attention（因果自注意力）。每个 token 只能 attend 它前面的 token，不能看后面的。这个未来 token mask 保证了 autoregressive 生成。模型不能偷看还没生成的 token。
所以 attention 不是"模型像人一样在理解"。它是一种在可见 context 里路由信息的机制。强大，但仍然只是机制。
5. Transformers
Transformer 是现在大多数文本 LLM 背后的架构。
最初的突破是把 attention 当成核心操作，不再依赖 recurrence 或 convolution 来做序列建模。一个 transformer block 通常包含 attention、前馈层、残差连接、归一化。把很多这样的 block 叠起来，大规模训练，就有了现代语言模型的骨架。
有一个微妙但重要的细节——transformer 在训练和处理 prompt 时可以并行处理输入 token，但生成仍然是 autoregressive 的。模型还是一个 token 一个 token 地输出。
所以 "Transformer" 不是某一个模型，也不是某家公司的产品。它是一类架构，让现代 LLM 的大规模扩展成为可能。
6. Embeddings
Embedding 把数据变成向量。
文本能转成向量。代码也能。图像和音频同样可以。它们的实用之处在于相似度：如果两段内容相关，它们的向量可能落得很近。
这就是 semantic search 成立的基础。"how do I make my site faster?"（怎么让我的网站更快？）这样一句查询，能匹配到讲 "page load optimization"（页面加载优化）的文档，哪怕字面上完全不重叠。
但 embedding 不代表语义。它们是学到的表示。保留某些关系，丢失另一些。
适合产品搜索的 embedding 模型，不一定适合法律文档。适合英文技术支持文档的，不一定适合代码。
真正要问的不是：我们用没用 embedding？
真正要问的是：这套 embedding 对这个任务有用吗？
7. Vector databases（向量数据库）
向量数据库存 embedding，并能高效地检索附近的向量。
常见流程很简单：把文档切成 chunk、生成 embedding、连同元数据一起存、把用户查询也 embed、搜附近的向量、返回可能的匹配。
听起来很简洁。真正复杂的是一切周边的工程。
文档怎么切的 chunk？元数据保留了吗？过期文档过滤掉了吗？权限处理了吗？精确字段处理了吗？结果重排了吗？
向量数据库不是大脑。它不知道一份文档真不真。它不知道某条政策昨天改没改。它只是基于向量相似度和你写在外面的过滤逻辑返回候选。
是有用的基础设施。不是完整的 AI 系统。
8. Semantic search（语义搜索）
关键词搜索匹配的是词。Semantic search 匹配的是语义表示。
所以即使用户提问时和你文档用词不同，它也能找到有用的结果。这很关键，因为真实用户几乎不会照着你文档里的原话提问。
但 semantic search 并非在所有场景下都优于关键词搜索。当精确字眼很重要时——错误码、API 名、法律条款、版本号、产品 SKU——关键词搜索反而更可靠。
这些情况下，纯 semantic search 会漏掉关键词搜索能抓到的东西。
所以很多强检索系统用的是混合搜索。Semantic search 给灵活性。关键词搜索给精度。元数据给约束。重排优化排序。
搜索不是一招。它是一条 pipeline。
9. Retrieval（检索）
检索是指在查询时把外部信息引入系统。
之所以需要它，是因为语言模型有认知边界。它看不到你的私有数据，除非你给。它不会自动知道训练之后发生了什么。它没法把整个知识库塞进每次请求。
检索是系统在模型回答之前找到相关证据的方式。但检索不只是"搜文档"。它包含切 chunk、建索引、过滤、排序、重排、权限、新鲜度、context 构造。
很多错误答案不是因为模型弱。是因为模型拿到的上下文质量差：错的 chunk、缺的 chunk、太多的 chunk、过期的 chunk，或者根本没有溯源链路。
检索的质量经常在模型动笔之前，就把答案的质量定了。
10. RAG
RAG 是 Retrieval-Augmented Generation 的缩写。
基本想法很简单：先检索相关信息，再拿这些信息生成答案。这就把两件事拆开了：检索器找证据，生成器把证据变成答案。
所以 RAG 对私有文档、时效性信息、带出处的答案、领域知识都有用。
但 RAG 也是 AI 圈被滥用得最厉害的词之一。它不是简单的"和 PDF 聊天"。它解决不了 hallucination。它没法让质量差的文档变可靠。它没法让弱检索变好。
RAG 真正起作用的前提是：对的证据被检索到、被排序、被放进 context、被正确使用。弱检索照样给出错误答案。
RAG 不是真理机器。它是一种设计模式。
11. Prompting（提示词）
Prompting 是指令层。
它告诉模型你想要什么、它该扮演什么角色、按什么格式、什么约束、模仿什么例子。一个好 prompt 能带来天壤之别。
但 prompt 不是咒语。它不会更新模型权重。它不会补上缺失的知识。它修不好坏掉的检索。它没法让不安全的工具变安全。它替代不了 evaluation。
很多新手就卡在这里。他们一直想用更好的措辞解决系统问题。
有时候问题是 prompt。但很多时候，问题在数据、检索、工具、context、权限或 eval。
Prompting 很重要，但它只是其中一层，不是整个系统。
12. Context engineering（上下文工程）
Context engineering 决定模型该看到什么。
这包括 prompt，也包括检索到的文档、对话历史、工具输出、用户状态、记忆、示例、策略、中间产物。模型只能在它收到的 token 上运转，所以这些 token 的内容、顺序、质量、新鲜度都很重要。
这就是为什么"用更长的 context window"不够。长 context 给的是容量。Context engineering 给的是相关性。
好系统会问：现在什么有用？什么过期了？什么该总结？什么该检索？什么该隐藏？什么会让模型困惑？
在严谨的 AI 系统里，context 是工程问题。不是事后才考虑的。
13. Tool calling（工具调用）
Tool calling 让模型能和外部系统交互。
模型可以请求计算器、数据库、搜索引擎、代码执行器、文件查询、日历、CRM、API。但模型通常不直接执行工具。是应用在执行。
模型发起 tool call。系统验证它。应用执行它。结果返回给模型。
这个分离很重要，因为它把权限、数据访问、副作用都留在软件控制下。
tool call 不证明动作发生了。它是一个请求。应用仍然负责验证、授权、执行、重试和错误处理。
模型可以请求。系统必须决定。
14. Function calling
Function calling 是结构化的 tool calling。
模型不再返回一段松散文本，而是返回符合某个 schema 的参数。比如：function get_weather, location Mumbai, unit celsius。
这种结构让软件更容易解析、验证、路由、测试和拒绝。这就是 function calling 在生产系统里很重要的原因。
自由文本是灵活的。结构化输出是可控的。
但同一条规则仍然适用：function call 不代表函数已经跑过了。它是一个结构化请求。应用仍然要决定要不要执行、怎么执行。
Schema 在前。执行在后。这是生产级思维。
15. Agents
"Agent" 是 AI 里被用滥的词之一。
我自己实用的理解：agent 是一个能循环的系统。它能 plan、调用工具、观察结果、更新状态、决定下一步。
这个循环就是它和单次 prompt-response 的差别。但自主性有程度之分。很多有用的 agent 并不完全自主。它们是有边界的系统：工具有限、目标窄、停止条件清晰、有风险动作时需要人审批。
这往往更好。
而且，agent 不会自动跨 session 记住一切。持久记忆得显式设计：存什么、什么时候检索、怎么更新、什么时候忽略。
好 agent 强大不是因为它能做任何事。它有用是因为它能在正确的边界里做正确的事。
难的不是给模型工具。难的是控制这些工具的使用方式。
16. Fine-tuning
Fine-tuning 改变模型。Prompting 改变输入。
这一个区分能澄清很多事。
Fine-tuning 从一个预训练模型出发，继续在更窄的任务或领域示例上训练它。它对重复出现的 pattern 有用：tone、术语、分类、格式、领域行为或任务执行。
但 fine-tuning 不是所有 AI 问题的答案。如果模型缺少最新知识，检索可能更好。如果问题是输出结构，prompting 或 function calling 可能就够。如果问题是安全，你需要 guardrails 和 evals。
很多人也正是在这里把 fine-tuning 和 alignment 混淆。搭一个 assistant 的常见流水线是： pretraining（预训练） → supervised fine-tuning（监督微调） → reward modeling（奖励建模） → RL optimization（强化学习优化）
预训练给模型宽广的能力。Supervised fine-tuning 用精选样本教它跟随指令。RLHF 再用人类偏好反馈精修行为。RLAIF 是同一思路的变体：用 AI 反馈替代或补充人类反馈。
所以有用的心智模型是：fine-tuning 调整行为，instruction tuning 教响应格式和合规，RLHF/RLAIF 精修对齐。它们相关，但不是同一回事。
17. LoRA
LoRA 是 Low-Rank Adaptation 的缩写。
它是一种只需训练少量参数的模型适配方法。LoRA 不更新所有模型权重，而是冻结基础模型，只在选定层里训练小的低秩矩阵。
这把可训练参数的数量大幅降下来。更少内存、更少算力、更快实验。
基础模型基本保持原样。Adapter 承载任务专属的变化。这就是 LoRA 在开源模型工作流里如此流行的原因。这才让"适配"变得更实际。
核心想法很简单：你通常不需要更新整个模型，就能让模型行为改变。一个学到的微小更新就够。
18. Quantization（量化）
量化通过降低数值精度，让模型跑起来更便宜。
不再用高精度的数表示权重或激活，而是用更低精度的格式：FP32 到 FP16、FP16 到 INT8，有时到 4-bit。
好处很实在：内存更小、带宽更低、有时推理更快、部署更便宜。
但代价不是均匀的。大模型有时能在很激进的量化下表现得意外地好。小模型在同样精度下可能丢失更多质量。方法、硬件、校准数据、模型大小、任务，全都很重要。
量化不教模型新行为。它改的是模型的数字表示方式。
不是更聪明。是更好部署。
而在实际产品里，"好部署"这件事本身很重要。
19. Distillation（蒸馏）
蒸馏训练一个小模型去模仿一个更强的模型。
大模型是教师模型。小模型是学生模型。学生模型从教师模型的输出、标签、概率分布或生成的推理轨迹里学习。
目标通常是效率。一个小模型可以更便宜、更快、更容易部署、对某个具体用例足够好。
在现代 LLM 工作流里，蒸馏经常也意味着用一个更强的模型生成合成训练数据，再用来训小模型。同样的核心思路：把有用行为从更强的系统迁移到更便宜的系统。
但蒸馏不是完美复制。学生模型可能丢掉广度、罕见能力，或者教师模型能处理的边界情况。
有用的问题不是：学生模型跟教师模型一样强吗？
有用的问题是：在这个成本下，它对这件事够用吗？
蒸馏在这个问题上变成了一项工程问题。
20. Inference（推理）
Inference 是训练好的模型被使用的过程。
训练更新权重。Inference 使用权重。对一个 LLM 来说，inference 就是读 context、算 token 概率、选 token、一步一步生成输出。
这是产品级的现实。延迟是关键。成本是关键。吞吐量是关键。硬件是关键。上下文长度是关键。缓存是关键。批处理是关键。工具延迟是关键。
一个模型可能在 benchmark 或 demo 上看着惊艳，但实际可能太慢、太贵、太不稳，没法上生产环境。
训练造出能力。Inference 决定那种能力能不能真的交付到用户手里。
21. Evals（评估）
Eval 就是你停止凭感觉评判 AI 的方式。
它们测试模型或系统的行为是不是符合预期。一个好 eval 可以衡量准确度、格式、风格、检索质量、工具使用、grounding、安全、延迟或任务成功率。
最好的 eval 应反映真实场景：真实问题、真实边界条件、清晰标准、可重复打分。不是精挑的 demo。不是玩具示例。
Eval 在系统有变更时最关键：新模型、新 prompt、新检索器、新切分策略、新工具、新 guardrail。
好 eval 证明不了系统完美，它减少的是认知盲区。
这本身就是一次重大升级。
22. Hallucination（幻觉）
Hallucination 是听起来合理、但没有支撑或不正确的输出。
问题在于"听起来合理"。模型输出可能同时流畅、自信、结构清晰，但其实是错的。
Hallucination 可以表现为：假引用、瞎编的事实、错误的计算、虚构的 API、错误的总结，或者对工具结果的误读。
这件事会发生，是因为模型在生成"可能的文本"。它不会自动验证真伪。
你用检索、grounding、工具、validation、eval 和人工审查降低 hallucination 风险。但你没法完全消除。
我反复提及的一条规则："fluency is not evidence. Confidence is not correctness."（流畅不是证据。自信不是正确。）
23. Grounding
Grounding 把答案和证据连起来。
证据可以来自文档、数据库、网页搜索、工具输出、日志、引用或计算。
Grounding 让你能问：这个答案是哪来的？我能验证吗？证据相关吗？模型用对了吗？
Grounding 比 RAG 更宽。RAG 通过检索到的文本 ground。工具能通过实时数据 ground。数据库能通过记录 ground。计算器能通过计算 ground。
但 grounding 只在证据真实、相关、可见的时候有用。一个不支撑答案的引用不是 grounding，只是摆样子。
Grounding 改善可追溯性。不能让系统因此变完美。
24. Guardrails（护栏）
Guardrail 是 AI 系统周围的控制。
它们可以作用在输入、输出、tool call、数据访问、权限、schema 和工作流步骤上。
弱的 guardrail 策略是在最外层加一个安全过滤器。强的策略是分层的：
→ 用户能问什么？ → 模型能看到什么数据？
→ 它能调哪些工具？ → 允许什么参数？ → 哪些动作要审批？ → 什么输出算合法？ → 什么需要被记录？
好 guardrail 能降低风险，但不会让系统刀枪不入。这就是系统设计里的权衡。
太松，系统就有风险。太紧，系统就让人窝火。
好 guardrail 不是摆设。它是产品设计。
25. Observability（可观测性）
Observability 意味着你能看见 AI 系统实际做了什么。
不只是最终答案。整次运行的全过程。
用了什么 prompt？检索到了哪些文档？哪些 chunk 被选了？调用了哪个工具？传了什么参数？工具返回了什么？每一步耗时多少？系统在哪里失败了？用户接下来做了什么？
这件事很关键，因为 AI 失败常常隐现在中间。模型可能不是问题。检索器可能取错了文档。工具可能返回了过期数据。Context 可能被污染了。Guardrail 可能挡错了东西。
没有 observability，你只能凭感觉调试。有 observability，你才能调试系统。
生产 AI 需要的是 trace，不是截图。
我现在对现代 AI 最简单的理解：
模型只是其中一层。
Token 定义它处理的是什么。 Decoding 控制它说话的形态。 Context 决定它能用什么。
Attention 帮它在信息之间建立连接。 Transformer 让 scaling 变实用。 Embedding 让相似度可搜索。 Retrieval 把外部知识带进来。 RAG 把证据和生成结合起来。 Prompt 引导行为。 Context engineering 决定模型看到什么。 Tools 把它和软件连起来。 Function calling 让那些连接结构化。 Agent 把模型调用变成循环。 Fine-tuning 和 LoRA 调整行为。 Quantization 和 distillation 让部署变实用。 Inference 把能力变成产品体验。 Eval 衡量质量。 Grounding 把答案绑到证据上。 Guardrail 降低风险。 Observability 让你看见真正发生了什么。
AI 已经不只是"怎么向模型问更好的问题"这件事。它关乎在模型周围搭建更好的系统。
而一旦你看见了这个系统，那套词汇才真正讲得通。
感谢阅读。结束撒花！！！！