Human-in-the-Loop agent 是如何工作的?

Human-in-the-Loop(人在回路)agent 会在重要时刻停下来,请人检查、批准、修改或回答问题,然后再继续。大部分工作仍由 agent 自行完成,但关键决策始终由人掌控。

本文将介绍 Human-in-the-Loop agent 的工作方式。我们还会讨论全自动 agent 为什么有风险、人可以在哪些环节介入、agent 如何暂停并在人回复后继续、如何判断哪些操作需要人来处理,以及这种方式适合哪些场景、又会在哪些地方拖慢速度。

本文将介绍以下内容:

  • 全自动 agent 的问题
  • 什么是 Human-in-the-Loop agent?
  • 人可以在哪些环节介入?
  • Human-in-the-Loop agent 是如何工作的?
  • agent 如何暂停并继续?
  • 一个简单的代码示例
  • 哪些操作需要人来处理?
  • 常见错误
  • 优点和缺点

我是 Amit Shekhar,Outcome School 创始人。我教授和指导过许多开发者,他们凭借自己的努力获得了高薪技术工作;我也帮助许多科技公司解决了各自的难题,并创建了多个被头部公司采用的开源库。我热衷于通过开源项目、博客和视频分享知识。

我在 Outcome School 讲授 AI 与机器学习。

下面进入正题。

全自动 agent 的问题

AI agent 是一种围绕 LLM 构建、循环运行的系统:它思考目标、选择工具、查看结果,然后反复执行,直到完成任务。 LLM 会请求调用工具,例如 send_email 或 book_flight,再由我们的代码执行。

假设我们对 agent 说:“帮我预订下周五去孟买的航班。”agent 会搜索航班、比较价格、选中一班并完成预订。在全自动 agent 中,没有人检查这些步骤。

但 agent 可能犯错,而且犯错的速度很快。

假设 agent 误解了“下周五”,订错了日期;或者选了一班价格是我们预期五倍的航班;或者把邮件发给了错误的客户;又或者删除了我们需要的文件。

有些错误很小,也很容易撤销;另一些错误则会造成金钱损失、损害信任,甚至根本无法挽回。

因此,全自动 agent 会带来以下问题:

  • 它可能执行无法撤销的错误操作。
  • 本该询问时,它可能自行猜测。
  • 它可能做出违反公司规定的事情。
  • 没有人为最终决定负责。

我们需要一种方案:大部分工作仍由 agent 完成,但重要环节由人检查。Human-in-the-Loop agent 正是为此而来。

什么是 Human-in-the-Loop agent?

Human-in-the-Loop agent 是一种会在指定节点暂停,等待人批准、修改、拒绝或回答后再继续的 AI agent。

在这里,人作为其中一个步骤,被放进 agent 的循环中。这种方式通常简称为 HITL。

可以把它想成一名初级员工和一位经理。初级员工负责调查、填写表格并准备好所有材料。但在签署大额合同或花费大笔资金之前,他会找到经理说:“这是我准备做的事,可以批准吗?”经理可以同意、拒绝,或者做一点调整。

agent 就是初级员工,我们则是经理。

agent 不会事事都问,否则只会浪费经理的时间。它只在重要时刻询问。

准备转向 AI 领域?

无论你目前从事哪个技术领域,只要付出努力,都可以转向这些岗位:

  • AI 工程师
  • 前线部署工程师(Forward Deployed Engineer)
  • AI Agent 工程师
  • Harness 工程师
  • 语音 AI 工程师
  • AI 架构师
  • LLM 工程师
  • LLM 推理工程师
  • 生成式 AI 工程师
  • MLOps 工程师
  • 机器学习工程师
  • 深度学习工程师

Outcome School 的 AI 与机器学习课程可以帮助你走向这些岗位。

人可以在哪些环节介入?

下面看看人通常会在哪些环节加入循环。

操作前批准: agent 准备执行某项操作,例如“发送这封邮件”或“支付 2 万卢比”,然后等待。人可以先批准、拒绝或修改它。这是最常见的模式。

回答问题: agent 不确定时会主动询问,而不是自行猜测。例如:“你说的是下周五。你指的是 10 月 9 日,还是 10 月 16 日?”

审核输出: agent 先写出报告或客户回复等草稿,再由人审核后发出。

卡住时接手: 如果 agent 一再失败,或遇到异常情况,它会把任务交给人。这叫作 升级处理(escalation),也就是把问题交给权限更高的人。

提供反馈: 人指出哪些地方做得好、哪些地方有问题,这些反馈以后可以用来改进 agent。

下面用表格整理这些介入点,方便理解。

介入点 发生时机 示例
批准 执行高风险操作之前 “批准发送这封邮件吗?”
回答 agent 不确定时 “你指的是哪个周五?”
审核 草稿准备好之后 人修改一份客户回复
接手 agent 卡住时 把复杂退款交给客服人员处理
反馈 任务结束后 “这份摘要漏掉了价格。”

Human-in-the-Loop agent 是如何工作的?

我们继续用航班示例,一步一步来看。

第 1 步: agent 自行工作。它搜索航班并比较价格。这些操作只读取数据,不会改变任何东西,因此很安全,不需要人介入。

第 2 步: agent 准备执行高风险操作。它想调用会花钱的 book_flight 工具。我们的代码已经把这个工具标记为“需要批准”。

第 3 步: agent 暂停。系统不会直接运行工具,而是中止循环并创建一条审批请求,向人清楚展示 agent 想做什么:“预订 AB-203 航班,10 月 9 日星期五早上 7 点,价格 5400 卢比。”

第 4 步: 人作出决定。可以批准,可以说明理由后拒绝,也可以修改具体信息,例如改成晚上的航班。

第 5 步: agent 继续。如果获得批准,就运行工具;如果信息被修改,就用新的信息运行工具;如果遭到拒绝,agent 会收到理由,然后换一种办法,或者停止。

可以用下面的流程图表示:

          +----------------------+
          |    Search flights    |
          |     (safe, auto)     |
          +----------------------+
                     ↓
          +----------------------+
          |    Compare prices    |
          |     (safe, auto)     |
          +----------------------+
                     ↓
          +----------------------+
          |    Wants to book     |
          |       (risky)        |
          +----------------------+
                     ↓
          +----------------------+
          |   PAUSE: ask human   |
          +----------------------+
                     ↓
      +--------------+--------------+
      ↓              ↓              ↓
   Approve         Edit          Reject
      ↓              ↓              ↓
   Book as       Book with     Tell agent
   planned        changes      the reason

从中可以看到,安全步骤会自动运行,只有高风险步骤才会交给人处理。

顺便提醒一句

无论你从事哪个技术领域,都应该熟悉这些主题:

  • LLM
  • RAG
  • MCP
  • Agent
  • 微调
  • 量化

我们在一个视频中把它们串到了一起:

AI 工程详解:LLM、RAG、MCP、Agent、微调与量化

不必停下来立刻观看。先收藏,等有时间再看,未来的你会感谢现在的自己。

现在回到正题。

agent 如何暂停并继续?

接下来的关键问题是:程序怎样“等待”人来处理?人可能两秒后回复,也可能两天后才回复。

我们不可能让程序持续运行并等待两天。服务器可能会重启,届时所有信息都会丢失。

解决办法是 保存状态。这里的 状态,是 agent 此刻掌握的全部信息:目标、已经完成的步骤、工具返回的结果,以及接下来准备执行的操作。

具体过程如下:

  • agent 暂停时,系统会把完整状态保存到数据库。这个保存下来的副本叫作 检查点(checkpoint)。
  • 系统向人发送审批请求,例如聊天应用里的按钮、邮件,或者仪表盘中的一项任务。
  • 此时程序可以彻底停止。检查点安全地保存在数据库里,因此不会丢失任何信息。
  • 人回复后,系统会加载检查点、加入人的回答,然后从暂停的位置继续循环。

可以把它想成书里的书签。我们停止阅读,夹好书签,然后合上书。几天后重新翻到书签所在的位置,从同一行继续读。

我们另有一篇关于图工程(Graph Engineering)的详细文章,介绍检查点如何让 AI 系统一步一步暂停和恢复。

主流 agent 框架直接支持这种机制。例如,LangGraph 提供了 interrupt 函数,可以暂停 agent 并保存检查点;之后再带上人的回答恢复 agent。

基本思路如下:

from langgraph.types import interrupt, Command

def booking_step(state):
    decision = interrupt({"action": "book_flight",
                          "details": state["chosen_flight"]})
    if decision == "approve":
        book_flight(state["chosen_flight"])
    return state

# Later, when the human clicks "approve":
graph.invoke(Command(resume="approve"), config)

从这段代码可以看到:

  • interrupt(...) 会在这一行暂停 agent、保存检查点,并把详细信息发送给我们的应用,以便展示给人。
  • 在收到回复前,agent 不会做任何事情。
  • 人回复后,我们调用 graph.invoke,并传入 Command(resume="approve")。这里的 graph 是我们的 agent,config 则告诉它应该继续哪段已保存的对话。
  • agent 会加载检查点,然后从头重新运行这一步。这一次,interrupt 不会暂停,而是直接返回人的回答,因此 decision 的值变成了 "approve",随后执行航班预订。

注意:

  • 由于这一步恢复后会从头重新运行,任何真正执行操作的代码,例如预订航班,都必须放在 interrupt 之后,不能放在它之前。
  • 要让这一机制生效,还必须为 agent 配置 checkpointer(检查点保存组件),负责把检查点保存到内存或数据库。

如果你想学习 agent 的工具使用、记忆、架构和 LangGraph,并从零构建一个 AI 编程 agent,可以查看 Outcome School 的 AI 与机器学习课程。

一个简单的代码示例

下面用一个很小的 Python 示例说明基本思路。这个示例只是为了便于理解,所以把所有逻辑都放在一个简单程序里。

RISKY_TOOLS = {"book_flight", "send_email", "delete_file"}

def run_tool_with_approval(tool_name, args):
    if tool_name not in RISKY_TOOLS:
        return run_tool(tool_name, args)   # safe tool, run directly

    print(f"Agent wants to call {tool_name} with {args}")
    choice = input("approve / edit / reject: ")

    if choice == "approve":
        return run_tool(tool_name, args)
    if choice == "edit":
        new_args = ask_human_for_new_args(args)
        return run_tool(tool_name, new_args)
    reason = input("Why reject? ")
    return f"Human rejected this action. Reason: {reason}"

这段代码中:

  • RISKY_TOOLS 是需要人批准的工具列表。
  • 如果工具没有风险,就直接运行;这里的 run_tool 是我们用于执行各种工具的函数。
  • 如果工具有风险,就向人展示 agent 想做什么,并要求作出选择。
  • 选择 "approve" 时,按原计划运行工具。
  • 选择 "edit" 时,调用 ask_human_for_new_args,让人修改输入,然后用新的输入运行工具。
  • 选择 "reject" 时,不运行工具,而是把拒绝理由作为工具结果返回。agent 读到理由后,可以换一种方式尝试。

注意: 在真实系统中,我们不会使用 input(),因为它会阻塞程序。我们会像上一节介绍的那样保存检查点、向人发送请求,并在收到回复后继续。

哪些操作需要人来处理?

如果 agent 每执行一个小步骤都要申请批准,人很快就会疲惫,然后看也不看地一直点击 "approve"。这叫作 审批疲劳(approval fatigue),会让人工检查形同虚设。

因此,我们必须谨慎选择介入点。一个简单方法是针对每项操作问两个问题:

  • 它可以撤销吗? 读取文件不会改变任何东西,因此无须撤销;发送邮件则无法撤回。
  • 如果出错,会造成多大损失? 重命名一份草稿影响很小;支付款项或删除客户数据的影响则很大。

可以把操作分成以下几类:

风险等级 操作示例 处理方式
低 搜索、读取、总结 自动运行
中 创建草稿、修改一项小设置 直接运行,但记录日志,供人稍后检查
高 支付款项、向客户发送内容、删除数据 一律先由人批准

我们也可以设置简单规则,例如:“退款金额不超过 500 卢比时自动执行,超过 500 卢比则需要批准。”这样,人只需要关注真正重要的决定。

常见错误

构建这类 agent 时,我们经常会犯一些错误。下面看看常见问题:

  • 展示的信息太少。 “批准操作吗?”这样的请求毫无用处。必须让人清楚看到会发生什么:调用哪个工具、输入是什么,以及为什么要这样做。
  • 忽略拒绝理由。 人拒绝操作时,agent 必须收到理由,避免再次尝试同一个错误操作。
  • 没有超时机制。 如果一直没人回复,请求不能永远等下去。我们应该提前设定安全的默认处理方式,例如 24 小时后取消,或者提醒相关人员。

优点和缺点

优点:

  • 高风险操作会在执行前由人检查。
  • 信息不明确时,agent 会主动询问,而不是自行猜测。
  • 重要决定仍然由人负责。
  • 人们会更加信任系统,也更愿意使用它。
  • 人的修改和拒绝可以成为改进 agent 的反馈。

缺点:

  • 速度更慢,因为 agent 需要等待人处理。
  • 需要有人能够及时响应。
  • 实现起来需要投入更多工作,包括状态保存、审批界面和超时机制。
  • 设计不当会导致审批疲劳。

因此,这本质上是在速度与安全之间作取舍。操作的风险越高,花时间等待人工检查就越值得。

到这里,我们应该已经理解 Human-in-the-Loop agent 的工作方式了。

常见问题

Human-in-the-Loop agent 每一步都需要批准吗?

不需要。它只在重要时刻提出请求。搜索、读取和总结等安全操作会自动运行;只有支付款项、向客户发送内容或删除数据等高风险操作,才会先交给人处理。每个小步骤都要求批准会造成审批疲劳,让人开始不加检查地点击 "approve"。

人拒绝某项操作后会发生什么?

工具不会运行。相反,agent 会把人的拒绝理由作为工具结果接收,然后换一种方式尝试,或者停止。把理由传回去很重要,因为这样可以防止 agent 再次尝试同一个错误操作。

如果一直没人回复审批请求,应该怎么办?

请求不能永远等待。我们应该提前设定安全的默认处理方式,例如 24 小时后取消操作,或者提醒相关人员。由于 agent 的状态已经保存为检查点,程序在等待期间不需要持续运行。

为什么 LangGraph 中真正执行操作的代码必须放在 interrupt 之后?

因为 agent 恢复后,会从头重新运行暂停的步骤。这一次,interrupt 不会暂停,而是直接返回人的回答。因此,预订航班等真正执行操作的代码必须放在 interrupt 之后,不能放在它之前。

本文到此结束。

感谢阅读。

Amit Shekhar
Outcome School 创始人