25 个常被挂在嘴上、但没几个人真懂的 AI 概念
作者: @techNmak 发布: 2026-05-25 原文: https://x.com/techNmak/status/2058886981090951627
AI 在大多数人搞清它的词汇之前，就成了主流。
所以你听到的很多 AI 对话，听起来很自信，其实模糊。大家把 "token"、"embedding"、"RAG"、"agent"、"LoRA"、"eval"、"guardrail" 挂在嘴上，仿佛每个人对这些词的理解都一样。
绝大多数时候，并不一样。
这个差距很要紧，因为这些不是花哨的术语。它们是机器的零件。
不懂 token，就不懂 context。 不懂 embedding，就不懂 semantic search。 不懂 RAG，就会高估检索能修的东西。 不懂 agent，就会把自主和循环搞混。 不懂 eval，就只能凭感觉评判 AI 系统。
所以我想写一份我自己会收藏的指南。
对新手够清晰。对工程师够准确。回头还能再翻。
下面是 25 个让现代 AI 没那么晕的概念。
1. Tokens
关于 LLM，要懂的第一件事：它处理文本的方式，跟我们读文本的方式不一样。 它处理的是 token。
一个 token 可以是完整的词、词的一部分、标点、空格，或者特殊符号。所以一个词不一定等于一个 token。
这个小细节几乎决定了一切——context 长度、成本、延迟、截断、生成。当你发一段 prompt 过去，模型看到的不是"一段话"。它看到的是一串 token ID。
那串 ID 才是模型的原料。所以在搞 context window、定价、生成之前，得先搞懂 token。它们是这个系统里最小的实用单位。
2. Next-token prediction（下一个 token 预测）
说到底，语言模型一直在问同一个问题——下一个 token 该是什么？
它读当前的 context，给所有可能的下一个 token 算出一个概率分布。 选一个 token，加回 context 里，重复这个过程。一段完整的回答就这么出来——不是一次性的，是一个 token 一个 token 长出来的。
这也是为什么同一个 prompt 有时候给出不同答案。模型可能给好几条合理的延续都分了概率。是 decoding 策略决定走哪条。
Temperature 控制概率分布的尖锐还是平坦。 低 temperature 让模型更保守。高 temperature 让它更多变，但有时不稳。Top-k 把采样限制在概率最高的 k 个 token 里。Top-p（也叫 nucleus sampling）保留一组 token，让它们的概率累加刚好越过设定的阈值。
这些参数不会改变模型学到的东西。它们只改变模型怎么从已有的可能里做选择。
所以下次你觉得一段答案像"在写作"，记住底下发生的事——模型在一步一步把序列长出来。
3. Context window
Context window 是模型一次运行能用的信息。
它可以装 system prompt、用户消息、对话历史、检索到的文档、工具调用结果、记忆片段、示例、约束。但 context 经常被误解。
更大的 context window 有用，但不自动等于更好。 如果你给模型一堆乱、过期、重复或不相关的信息，问题不会消失。你只是把问题搬进了 prompt。
还有质量上的影响：埋在很长 context 中段的信息，被注意到的可靠性比开头或结尾低。
更准的心智模型是：context 是工作记忆。不是存储，不是真理，不是永久知识。只是模型此刻能用的信息。
好的 AI 系统会精挑什么进得了这个空间。它们不会一股脑塞进去，指望模型自己理清楚。
4. Attention
Attention 是让现代语言模型在大规模上 work 的关键想法之一。
简单版：token 可以从其他 token 那里加权吸收信息。 这让模型能建立对上下文敏感的表示。"Bank" 挨着 "river" 和 "bank" 挨着 "loan" 应该表现不同。Attention 帮模型造出这个差别。
但对现代 decoder-only 的 LLM 来说，有一条重要约束：causal self-attention（因果自注意力）。每个 token 只能 attend 它前面的 token，不能看后面的。这个未来 token mask 保住了 autoregressive 生成。模型不能偷看还没生成的 token。
所以 attention 不是"模型像人一样在理解"。它是一种在可见 context 里路由信息的机制。强大，但仍然只是机制。
5. Transformers
Transformer 是现在大多数文本 LLM 背后的架构。
最初的突破是把 attention 当成核心操作，不再依赖 recurrence 或 convolution 来做序列建模。一个 transformer block 通常包含 attention、前馈层、残差连接、归一化。把很多这样的 block 叠起来，大规模训练，就有了现代语言模型的骨架。
有一个细节要注意——transformer 在训练和处理 prompt 时可以并行处理输入 token，但生成仍然是 autoregressive 的。模型还是一个 token 一个 token 地输出。
所以 "Transformer" 不是某一个模型，也不是某家公司的产品。它是一族架构，是现代 LLM 能做大规模的原因。
6. Embeddings
Embedding 把数据变成向量。
文本能变向量。代码能变向量。图像和音频也能。它有用的属性是相似度：如果两段内容相关，它们的向量可能落得很近。
semantic search 就是这么成立的。"how do I make my site faster?" 这样一句查询，能匹配到讲 "page load optimization" 的文档，哪怕字面上完全不重叠。
但 embedding 不是魔法意义。它们是学到的表示。保留某些关系，丢失另一些。
适合产品搜索的 embedding 模型，不一定适合法律文档。适合英文支持文档的，不一定适合代码。
真正要问的不是：我们用没用 embedding？
真正要问的是：这套 embedding 对这个任务有用吗？
7. Vector databases（向量数据库）
向量数据库存 embedding，并能高效地检索附近的向量。
常见流程很简单：把文档切成 chunk、生成 embedding、连同元数据一起存、把用户查询也 embed、搜附近的向量、返回可能的匹配。
听上去很干净。麻烦的是周围的一切。
文档怎么切的 chunk？元数据保留了吗？过期文档过滤掉了吗？权限尊重了吗？精确字段处理了吗？结果重排了吗？
向量数据库不是大脑。它不知道一份文档真不真。它不知道某条政策昨天改没改。它只是基于向量相似度和你写在外面的过滤逻辑返回候选。
是有用的基础设施。不是完整的 AI 系统。
8. Semantic search（语义搜索）
关键词搜索匹配的是词。Semantic search 匹配的是类似"含义"的表示。
所以哪怕用户和文档用词不同，它也能拿到有用结果。这件事很要紧，因为人很少会用你文档里的精确字眼提问。
但 semantic search 不总是比关键词搜索好。有时精确字眼很重要：错误码、API 名、法律条款、版本号、产品 SKU。
这些情况下，纯 semantic search 会漏掉关键词搜索能抓到的东西。
所以很多强检索系统用的是混合搜索。Semantic search 给灵活性。关键词搜索给精度。元数据给约束。重排改善顺序。
搜索不是一招。它是一条 pipeline。
9. Retrieval（检索）
检索是指在查询时把外部信息引入系统。
之所以需要它，是因为语言模型有边界。它看不到你的私有数据，除非你给。它不会自动知道训练之后发生了什么。它没法把整个知识库塞进每次请求。
检索是系统在模型回答之前找到相关证据的方式。但检索不只是"搜文档"。它包含切 chunk、建索引、过滤、排序、重排、权限、新鲜度、context 构造。
很多烂答案不是因为模型弱。是因为模型拿到的证据弱：错的 chunk、缺的 chunk、太多的 chunk、过期的 chunk，或者根本没有来源链。
检索的质量经常在模型动笔之前，就把答案的质量定了。
10. RAG
RAG 是 Retrieval-Augmented Generation 的缩写。
基本想法很简单：先检索相关信息，再拿这些信息生成答案。这把两件事拆开了。检索器找证据。生成器把证据变成答案。
所以 RAG 对私有文档、新鲜信息、有出处的答案、领域知识都有用。
但 RAG 也是 AI 圈被滥用得最厉害的词之一。它不是简单的"和 PDF 聊天"。它不是 hallucination 的保证修复。它没法让烂文档变可靠。它没法让弱检索变好。
RAG 真正起作用的前提是：对的证据被检索到、被排序、被放进 context、被正确使用。烂检索照样给烂答案。
RAG 不是真理机器。它是一种设计模式。
11. Prompting
Prompting 是指令层。
它告诉模型你想要什么、它该扮演什么角色、按什么格式、什么约束、模仿什么例子。一个好 prompt 能产生巨大差别。
但 prompt 不是咒语。它不会更新模型权重。它不会补上缺失的知识。它修不好坏掉的检索。它没法让不安全的工具变安全。它替代不了 evaluation。
很多新手就卡在这里。他们一直想用更好的措辞解决系统问题。
有时候问题是 prompt。但很多时候，问题在数据、检索、工具、context、权限或 eval。
Prompting 重要，但它只是一层，不是整个系统。
12. Context engineering（上下文工程）
Context engineering 是决定模型该看到什么。
这包括 prompt，也包括检索到的文档、对话历史、工具输出、用户状态、记忆、示例、策略、中间产物。模型只能在它收到的 token 上运转，所以这些 token 的内容、顺序、质量、新鲜度都很要紧。
这就是为什么"用更长的 context window"不够。长 context 给的是容量。Context engineering 给的是相关性。
好系统会问：现在什么有用？什么过期了？什么该总结？什么该检索？什么该藏起来？什么会让模型困惑？
在认真的 AI 系统里，context 是一个工程层面的东西。不是事后补的。
13. Tool calling（工具调用）
Tool calling 让模型能和外部系统交互。
模型可以请求计算器、数据库、搜索引擎、code runner、文件查询、日历、CRM、API。但模型通常不直接执行工具。是应用在执行。
模型提议一次 tool call。系统验证它。应用执行它。结果发回给模型。
这个分离很要紧，因为它把权限、数据访问、副作用都留在软件控制下。
一次 tool call 不证明动作发生了。它是一个请求。应用仍然负责验证、授权、执行、重试和错误处理。
模型可以请求。系统必须决定。
14. Function calling
Function calling 是结构化的 tool calling。
模型不再返回一段松散文本，而是返回符合某个 schema 的参数。比如：function get_weather, location Mumbai, unit celsius。
这种结构让软件更容易解析、验证、路由、测试和拒绝。这就是 function calling 在生产系统里的价值。
自由文本是灵活的。结构化输出是可控的。
但同一条规则仍然适用：function call 不代表函数已经跑过了。它是一个结构化请求。应用仍然要决定要不要执行、怎么执行。
Schema 在前。执行在后。这是生产心智。
15. Agents
"Agent" 是 AI 里被拉得最长的词之一。
我自己实用的理解：agent 是一个能循环的系统。它能 plan、调用工具、观察结果、更新状态、决定下一步。
这个循环就是它和单次 prompt-response 的差别。但自主性是个光谱。很多有用的 agent 并不完全自主。它们是有边界的系统：工具有限、目标窄、停止条件清晰、有风险动作时需要人审批。
这往往才是更好的。
而且，agent 不会自动跨 session 记住一切。持久记忆得显式设计：存什么、什么时候检索、怎么更新、什么时候忽略。
好 agent 强大不是因为它能做任何事。它有用是因为它能在正确的边界里做正确的事。
难的不是给模型工具。难的是控制这些工具怎么被使用。
16. Fine-tuning
Fine-tuning 改变模型。Prompting 改变输入。
这一个区分能澄清很多事。
Fine-tuning 从一个预训练模型出发，继续在更窄的任务或领域示例上训练它。它对重复出现的 pattern 有用：tone、术语、分类、格式、领域行为或任务执行。
但 fine-tuning 不是所有 AI 问题的答案。如果模型缺新鲜知识，检索可能更好。如果问题是输出结构，prompting 或 function calling 可能就够。如果问题是安全，你需要 guardrail 和 eval。
很多人把 fine-tuning 和 alignment 混淆，也是在这里。搭一个 assistant 的常见流水线是： pretraining → supervised fine-tuning → reward modeling → RL optimization
预训练给模型宽广的能力。Supervised fine-tuning 用精选样本教它跟随指令。RLHF 再用人类偏好反馈精修行为。RLAIF 是一个相关思路，让 AI 反馈替代或补充人类反馈。
所以有用的心智模型是：fine-tuning 调整行为，instruction tuning 教响应格式和合规，RLHF/RLAIF 精修对齐。它们相关，但不是同一回事。
17. LoRA
LoRA 是 Low-Rank Adaptation 的缩写。
它是一种参数高效的大模型适配方法。LoRA 不更新所有模型权重，而是冻结基础模型，只在选定层里训练小的低秩矩阵。
这把可训练参数的数量大幅降下来。更少内存、更少算力、更快实验。
基础模型基本保持原样。Adapter 承载任务专属的变化。这就是 LoRA 在开源模型工作流里这么火的原因。它让"适配"变实用了。
核心想法很简单：你常常不需要把整个模型搬走，才能改变有用的行为。一个学到的小更新就够。
18. Quantization（量化）
量化通过降低数值精度，让模型跑起来更便宜。
不再用高精度的数表示权重或激活，而是用更低精度的格式：FP32 到 FP16、FP16 到 INT8，有时到 4-bit。
好处很实在：内存更小、带宽更低、有时推理更快、部署更便宜。
但代价不是均匀的。大模型有时能在很激进的量化下表现得意外地好。小模型在同样精度下可能丢失更多质量。方法、硬件、校准数据、模型大小、任务都要紧。
量化不教模型新行为。它改的是模型的数字怎么被表示。
不是更聪明。是更好部署。
而在真实产品里，"好部署"这件事本身就要紧。
19. Distillation（蒸馏）
蒸馏训练一个小模型去模仿一个更强的模型。
大模型是 teacher。小模型是 student。Student 从 teacher 的输出、标签、概率分布或生成的推理轨迹里学。
目标通常是效率。一个小模型可以更便宜、更快、更容易部署、对某个具体用例足够好。
在现代 LLM 工作流里，蒸馏经常也意味着用一个更强的模型生成合成训练数据，再用来训小模型。同样的大思路：把有用行为从更强的系统迁到更便宜的系统。
但蒸馏不是完美复制。Student 可能丢掉广度、罕见能力，或者 teacher 处理得了的边界情况。
有用的问题不是：student 跟 teacher 一样强吗？
有用的问题是：在这个成本下，它对这件事够用吗？
蒸馏在这个问题上变成工程。
20. Inference（推理）
Inference 是训练好的模型被使用的过程。
训练更新权重。Inference 使用权重。对一个 LLM 来说，inference 就是读 context、算 token 概率、选 token、一步一步生成输出。
这是产品现实出现的地方。延迟要紧。成本要紧。吞吐要紧。硬件要紧。Context 长度要紧。Caching 要紧。Batching 要紧。工具延迟要紧。
一个模型可能在 benchmark 或 demo 上看着惊艳，仍然太慢、太贵、太不稳，没法上真实产品。
训练造出能力。Inference 决定那种能力能不能真的交付到用户手里。
21. Evals（评估）
Eval 是你停止凭感觉判断 AI 的方式。
它们测试模型或系统的行为是不是符合预期。一个好 eval 可以衡量准确度、格式、风格、检索质量、工具使用、grounding、安全、延迟或任务成功率。
最好的 eval 看起来像真实使用：真实问题、真实边界情况、清晰的标准、可重复的打分。不是精挑的 demo。不是玩具示例。
Eval 在有变更时最要紧：新模型、新 prompt、新检索器、新切分策略、新工具、新 guardrail。
好 eval 不证明系统完美。它减少无知。
这本身就是很认真的进步。
22. Hallucination（幻觉）
Hallucination 是听起来合理、但没有支撑或不正确的输出。
"听起来合理"才是问题。模型可以同时是流畅的、自信的、结构化的，并且是错的。
Hallucination 可以表现为：假引用、瞎编的事实、错误的计算、虚构的 API、错误的总结，或者对工具结果的误读。
这件事会发生，是因为模型在生成"可能的文本"。它不会自动验证真伪。
你用检索、grounding、工具、validation、eval 和人工审查降低 hallucination 风险。但你没法完全消除。
我反复回到的一条规则："fluency is not evidence. Confidence is not correctness."（流畅不是证据，自信不是正确）
23. Grounding（接地）
Grounding 把答案和证据连起来。
证据可以来自文档、数据库、网页搜索、工具输出、日志、引用或计算。
Grounding 让你能问：这个答案是哪来的？我能验证吗？证据相关吗？模型用对了吗？
Grounding 比 RAG 更宽。RAG 通过检索到的文本 ground。工具能通过实时数据 ground。数据库能通过记录 ground。计算器能通过计算 ground。
但 grounding 只在证据真实、相关、可见的时候有用。一个不支撑答案的引用不是 grounding。是装饰。
Grounding 改善可追溯性。它不会让系统变完美。
24. Guardrails
Guardrail 是 AI 系统周围的控制。
它们可以作用在输入、输出、tool call、数据访问、权限、schema 和工作流步骤上。
弱的 guardrail 策略是在最后加一个安全过滤器。强的策略是分层的：
→ 用户能问什么？ → 模型能看到什么数据？ → 它能调哪些工具？ → 允许什么参数？ → 哪些动作要审批？ → 什么输出算合法？ → 什么需要被记录？
Guardrail 降低风险。它们不会让系统刀枪不入。它们也带来权衡。
太松，系统就有风险。太紧，系统就让人窝火。
好 guardrail 不是装饰。它是产品设计。
25. Observability（可观测性）
Observability 意味着看见你的 AI 系统真正做了什么。
不只是最终答案。整次运行的全过程。
用了什么 prompt？检索到了哪些文档？哪些 chunk 被选了？调用了哪个工具？传了什么参数？工具返回了什么？每一步耗时多少？系统在哪里失败了？用户接下来做了什么？
这件事要紧，是因为 AI 失败常常藏在中间。模型可能不是问题。检索器可能取错了文档。工具可能返回了过期数据。Context 可能被污染了。Guardrail 可能挡错了东西。
没有 observability，你只能凭感觉调试。有 observability，你才能调试系统。
生产 AI 需要的是 trace，不是截图。
我现在对现代 AI 最简单的理解：
模型只是其中一层。
Token 定义它处理的是什么。 Decoding 控制它说话的形态。 Context 决定它能用什么。 Attention 帮它在信息之间建立连接。 Transformer 让 scaling 变实用。 Embedding 让相似度可搜索。 Retrieval 把外部知识带进来。 RAG 把证据和生成结合起来。 Prompt 引导行为。 Context engineering 决定模型看到什么。 工具把它和软件连起来。 Function calling 让那些连接结构化。 Agent 把模型调用变成循环。 Fine-tuning 和 LoRA 调整行为。 Quantization 和 distillation 让部署变实用。 Inference 把能力变成产品体验。 Eval 衡量质量。 Grounding 把答案绑到证据上。 Guardrail 降低风险。 Observability 让你看见真正发生了什么。
AI 不再只是关于"怎么向模型问更好的问题"。它关乎在模型周围搭建更好的系统。
而一旦你看见了这个系统，那套词汇才真正讲得通。
感谢阅读。结束撒花！！！！