读完可拿任务准入表、权限边界表与验收表,用七天试点判断哪些操作可自动执行、需人工审批或必须禁用。

观山静思
观山静思

作者:进学斋 · 观山书院

全文约3261字 · 阅读约需11分钟


最近讨论 AI Agent,常听到一句话:模型会写、会查、会调用工具。可一旦接到真实工单,问题马上出现:谁批准它改订单?答错了怎么回退?哪些步骤只能生成草稿?

这篇文章不讲宏大架构,只给一套试点启动包:三张表收口场景,七天七步跑通验收,让业务、技术、运营在同一口径下判断,今天可自动化什么,必须人工卡在哪里。

一、先判断该不该做:Agent 试点的三处缺口

不少团队立项时从模型能力出发,先找最炫的任务。更稳的方法是反过来,先找业务缺口。缺口通常有三类:信息整理慢、跨系统搬运多、规则判断易遗漏。若 Agent 只是把答案说得更流畅,却没有改变流程成本,就不值得做。

1. 先挑高频、低破坏、可验收

试点任务最好满足三个条件:发生频率高,出错影响有限,结果能拿样本判定。工单摘要、资料归类、草稿生成适合先做;支付退款、批量改价、合同盖章不适合首批。

你可以用一句话筛选:如果这件事每天发生,且一次错误能在短时间内补救,就适合进入只读试点。

2. 每个任务必须有输入、输出、成功条件

很多项目卡在能聊不能交付,是因为任务没有边界。Agent 输入什么、输出什么、什么算通过、失败退到哪,都要写清楚。

任务示例:客户工单首屏摘要。输入=工单编号|用户原话|附件清单|历史交互记录;输出=三行摘要|待办列表|风险等级候选值;成功=摘要覆盖关键诉求、待办可转指定组、风险等级可统计;失败=保留原文,标记需人工初筛,不生成自动回复。

若写不出失败退路,说明场景还太虚。先不要接工具。

3. 首批默认只读或草稿态

让 Agent 产生候选,而不是直接改线上数据。只读模式能看到上下文,草稿模式能生成可人工修改的结果。这两档适合建立信任,也能保留追责入口。

—— 先收口,再放权

配图·湖光暮色

配图·湖光暮色

二、三张立项表:把场景收口为可验收试点

试点不是开一个对话框。落地前先把场景变成三张表:准入表决定做什么,权限表决定能碰什么,验收表决定怎样才算过。

1. 任务准入表

这张表适合业务负责人填,目标是避免什么都想做。

  • 任务名称:例如售后工单分派建议。
  • 频率:高、中、低。高频才容易形成规模收益。
  • 影响面:只影响内部流程,还是触达客户、资金、权限。
  • 可回滚程度:是否能通过草稿、撤销、人工覆盖快速补救。
  • 负责人:谁判断质量,谁处理异常。

2. 权限边界表

这张表由技术和安全共同维护。Agent 不能拿到万能密钥,而要按工具、字段、动作分级。

权限示例:订单售后场景。工具/API=订单查询接口|工单创建接口|用户通知接口;读写级别=订单查询只读|工单创建草稿|用户通知需审批;敏感字段=手机号|地址|退款原因|发票信息默认脱敏;审批人=售后主管或值班运营;禁用项=自动退款|批量改价|删除原始工单|跨租户读取。

原则是:读比写宽,草稿比执行宽,敏感动作必须有审批人和留痕。

3. 验收表

验收表把结果分成三档,避免上线会上只剩看起来不错。

档位触发条件处理动作样本要求错误容忍
自动通过输入完整、格式校验通过、风险字段为空或低风险写入候选池,进入人工队列首批覆盖正常样例与边界样例只允许低风险格式或提示类错误
人工复核涉及敏感字段、历史结论冲突、工具返回异常、判断依据不足暂停自动执行,提交审批人确认按类别抽样复核可接受误判,但必须记录原因
直接禁用跨系统写入、资金处置、客户承诺、合规条款生成仅生成说明文本,不执行动作建立禁用清单并定期重审零容忍,越界即熔断

样本量不要拍脑袋。据公开资料与行业实践,首批可用正常样例、历史失败样例、边界样例三类各抽一批;能形成可复算的通过率、误判类型和人工耗时,再谈放大。

—— 七天不是冲刺,是校准

配图·晨雾山色

配图·晨雾山色

三、七天试点节奏:从沙箱到可控运行

第1步:建立任务画像

拉齐业务、技术、运营,确认一个主场景。不要同时做客服、营销、研发助手。当天输出物是任务准入表和权限边界表草稿。

第2步:跑正常历史样例

接入脱敏历史数据,先跑常见、完整、低风险任务,确认 Agent 能稳定输出格式。这一步不要追求惊艳答案,只追求可复用结构。

第3步:压异常样例

准备缺字段、乱码、超长文本、互相冲突的记录。异常样例能暴露 Agent 的猜测边界,也能提前发现流程缺口。

第4步:开放最小工具权限

从最安全的工具开始,例如查询、摘要、草稿创建。每次调用都要带日志字段:调用者、工具名、输入摘要、输出摘要、耗时、结果状态。

示例日志字段:event=agent_tool_call;tool=ticket.create_draft;scope=read_write_draft;actor=ops_01;result=success;latency_ms=320;trace_id=pilot_07。

第5步:人工复核并记录误判原因

让复核人不只点通过或驳回,还要记录原因:缺上下文、规则未更新、工具选择错误、模型臆测、字段脱敏不足。误判原因比准确率更重要。

第6步:做故障回退演练

故意制造三类问题:接口超时、权限不足、输出不符合格式。观察是否能退回草稿模式、是否能找到负责人、是否能保留人工处理入口。

第7步:输出分级清单

复盘会只回答三个问题:哪些可自动,哪些需审批,哪些应禁用。随后确定观测指标:一次任务平均耗时、人工干预率、错误回退率、敏感操作越界次数。

—— 能跑不是终点,能算清才是

四、常见坑与选型:把成本和风险算清楚

1. 选型不追新,先看三件事

模型、提示词、工具链不要按最新比较。稳定、可审计、可控成本更重要。稳定看格式是否可校验;可审计看调用是否能追踪;可控成本看耗时、调用次数和失败重试带来的额外消耗。

比较项适合试点的做法常见坑
模型固定版本候选池,保留可替换接口频繁换模型,结果不可比
提示词模板化管理,记录版本号口头微调,无法复盘
工具链最小权限、白名单、沙箱运行一个 Agent 挂满所有接口
数据脱敏样本、可回放日志直接用生产敏感数据调试
成本按成功交付次数统计只看单次消耗,不看人工返工

2. 至少埋三类日志

请求耗时、工具调用成功或失败、人工干预点。没有这三类,就不知道优化什么。观测不是给老板看漂亮曲线,而是给第二天定位问题用。

你可以先做最小版:一行事件日志,加一个追踪编号。后续再补监控面板。

3. 长链任务先拆成短步骤

不要把读完资料、判断风险、生成方案、发送邮件一口气交给 Agent。拆成摘要、分类、草稿、审批四段,每段可验证。长链越短,失败越容易定位,成本也越容易算清。

启动前检查清单

  • ☐ 已选定一个主场景,不混入三个以上业务线。
  • ☐ 已写清输入、输出、成功条件与失败退路。
  • ☐ 已区分只读、草稿、审批、禁用四级动作。
  • ☐ 已准备正常样例、失败样例、边界样例。
  • ☐ 已指定质量负责人和异常值班人。
  • ☐ 已设计回退路径,能一键退回人工流程。

—— 上线只是换一种维护方式

五、上线后维护:让 Agent 可追责、可回退

1. 建立案例库

好样例、坏样例、边界样例分别留档。好样例用于回归测试,坏样例用于规则补丁,边界样例用于升级审批流程。案例库不是素材收集,而是下一次事故处理的地图。

2. 设置回滚阈值

不要等投诉才退。可设三类触发:连续失败达到既定次数、成本超过预算线、出现敏感操作越界。触发后自动降回草稿模式。

回滚规则草案:if 连续失败次数 >= 阈值 then 状态=草稿模式;if 当日成本超预算线 then 限制=仅允许查询;if 敏感操作越界 then 熔断=关闭工具白名单并通知业务、技术、安全负责人。

阈值可按团队基线调整。行业实践里,早期宁可阈值保守,先保住信任。

3. 明确值班和升级路径

Agent 不能替代最终责任人。每个自动动作必须知道:谁负责审核,谁负责处理客户问题,谁负责停用工具。若没有负责人,就不能把该动作放进自动通过。

三句话讲透

Agent 试点不是让模型更自由,而是让流程更清楚。

三张表把场景收口:任务准入表回答做不做,权限边界表回答碰什么,验收表回答怎么判。

七天七步把风险降下来:只读、异常压测、最小权限、人工复核、回退演练,最后才分级运行。

你可以把这篇转给业务、技术和运营三方。建议收藏,下次立项时直接对照填表。

免责声明:本文内容整理自公开网络资料,仅供学习交流参考,不代表观山书院立场。如涉及版权侵权,请联系我们删除。

联系邮箱:chenxj.g@gmail.com