读完可拿到规划、记忆、工具三类边界验收表,用只读试点判断哪些步骤能自动执行,避免越权与记忆污染。
作者:进学斋 · 观山书院
全文约3204字 · 阅读约需11分钟
你可以把这篇文章当成一张评审会用的验收表。读完会拿到规划、记忆、工具三类边界,并用只读试点判断哪些步骤可自动执行。文章不泛泛讲 Agent 能力,只讲一次长任务里哪些能放权、哪些必须拦住、哪些需要留证据。
长任务 Agent 的难点不在单句回答是否漂亮,而在多步骤连续推进时,目标会不会漂移,临时结论会不会变成持久事实,工具会不会越过只读边界。边界不是限制,而是自动执行开关。
一、先给概念:边界不是限制,而是自动执行开关
把一次任务拆成三段
你要看的不是模型会不会答,而是一次任务从开始到结束如何推进。开始前是目标拆解,运行中是状态推进,结束前是证据保留。
据公开技术文档/行业实践,长任务控制常用关键词包括任务状态机、沙箱执行、人工在环、工具白名单、记忆隔离和失败回滚。它们共同服务一个目标:让 Agent 能继续跑,但不会把业务状态带偏。
你可以在评审会上先问三个问题。子任务是否可验证?中间状态是否可回查?工具副作用是否可撤销?三个问题有答案,才谈自动化。
配图·江水竹影



二、拆机制:规划、记忆、工具各自要管住什么
规划边界:管方向,也管重规划
规划不是让模型列一个漂亮计划就结束。它要持续回答三件事:子任务是否合理,目标是否漂移,什么情况下必须重新规划。
如果模型在运行中把整理资料改成修改系统配置,这就是目标漂移。你需要让规划层能识别新目标,并触发人工确认,而不是一路自行改写任务方向。
可自动的规划通常有边界:输入已确认,输出可检查,步骤可回滚,失败后可重试或降级。越界的规划往往扩大范围、跨任务迁移、改变权限。
记忆边界:区分短期上下文、长期知识和临时假设
记忆污染常来自把一次试错结论沉淀成长期知识。Agent 在某个任务里假设「A 方案可行」,下一次没验证就继续引用,旧判断会影响新任务。
你需要把记忆分成三类。短期上下文只服务当前任务,可随任务结束归档。长期知识要经过确认,有来源和版本。临时假设必须标记未验证,不能直接变成事实。
据公开资料/行业观察,较稳妥的记忆写入通常带四个字段:来源、任务 ID、有效期、确认状态。缺少这些字段,记忆就会从辅助变成风险。
工具边界:先只读,再处理写操作
工具边界的核心是最小权限。先开放查询、读取、预览、生成草稿等只读动作,再逐步允许导出、写入草稿、提交审批等半可逆动作。
删除、发布、转账、生产库变更、权限修改这类强副作用动作,不应因为工具能调用就自动执行。你需要用工具白名单、参数模板、幂等处理和失败重试来兜住。
提示词可以约束意图,但工程上更可靠的是参数校验。例如搜索接口只能接收已授权字段,导出接口只能写入沙箱目录,调用前必须检查目标环境和账户。
三能力联动:断一环,长任务就断链
规划、记忆、工具不是三套独立开关。计划改变会影响记忆写入,记忆内容会约束工具选择,工具结果又必须能触发重新规划。
如果工具查询失败,Agent 只会不断重试,而不更新计划,任务就会卡死。如果记忆写入没有来源,后续规划会基于错误前提继续展开。工程验收要把联动路径画出来。
配图·秋色温黄
三、可照做步骤:一周只读试点与验收表
第 1 天:选 3 类真实任务
先选信息查询、跨文档整理、可逆操作三类任务。不要一上来接生产权限。信息查询看准确性,跨文档整理看上下文和记忆,可逆操作看状态回滚。
你可以用低风险但高频的任务做样板。比如产品问题资料汇总、会议纪要结构化、草稿生成。它们能暴露规划、记忆和工具问题,又不至于直接改生产状态。
第 2 天:建只读沙箱和日志链
准备一个隔离环境,只允许读取文件、查询接口、生成临时产物。每次运行记录任务状态、工具输入输出、记忆写入点和失败原因。
日志链至少回答四个问题:谁发起了任务,调用了什么工具,写入了什么记忆,在哪个节点需要人工确认。只有聊天记录不够,状态版本和产物路径也要保留。可记录 task_id、tool_input、memory_write、rollback_point。
第 3 天:填写三栏验收表
下面这张表可以直接放到评审材料里。你只需按业务改工具名称和权限等级,就能判断哪些步骤可自动执行。
| 维度 | 可自动执行 | 需人工确认 | 禁止执行 |
|---|---|---|---|
| 规划 | 生成子任务、检查目标一致、预算阈值内重试、失败后降级 | 扩大任务范围、改变目标、跨任务迁移、调整执行顺序 | 无目标泛化、自行添加删除或发布、不可解释的规划 |
| 记忆 | 写入临时笔记、带来源、绑定任务 ID、设置过期时间 | 沉淀到长期知识库、更新共享假设、跨任务复用结论 | 无来源结论、覆盖用户事实、把试错当成长期知识 |
| 工具 | 只读查询、读取沙箱、生成预览、读取公开资料 | 导出草稿、提交审批、写入测试目录、调用半可逆写接口 | 删除数据、发布内容、转账支付、修改生产库或权限 |
第 5 天:用决策树判断放权
放权不要按模型聪明程度决定,要按错误后果决定。任务可逆且错误可回滚,可走自动。任务半可逆,要走审批。任务不可逆,必须人工确认。
决策树可以这样写。第一问是否影响生产数据。第二问是否有撤销路径。第三问是否有可回查证据。三问都通过,才考虑自动执行。
试点检查清单
☐ 已选 3 类低风险任务。
☐ 已接只读沙箱。
☐ 已记录工具输入输出。
☐ 已标记记忆写入点。
☐ 已形成三栏验收表。
☐ 已区分自动、审批、禁止。
☐ 已准备失败回滚路径。
☐ 已准备人工确认入口。
四、常见坑与选型路径
坑一:伪完成
最常见的坑是模型声称任务结束,但没有可回查证据。它可能说已整理完成,却拿不出产物路径、输入清单和失败记录。
验收时不要把看起来完成当终点。你要把产物、日志和回滚点作为门槛。没有证据链的任务,只能算未完成。
坑二:记忆污染
记忆污染比单次答错更难发现,因为它会影响后续多次任务。某个临时假设如果进入长期知识,后续 Agent 会把它当成事实。
给记忆写入加来源、有效期和确认状态是基本做法。你可以把未验证结论放在短期区,只有经过人工确认才进入长期区。
坑三:工具越权
工具越权往往不是 Agent 故意作恶,而是接口设计太粗。一个名为处理订单的工具,里面同时包含查询、修改、取消、支付,风险会突然放大。
你需要把工具拆成最小动作。查询归查询,导出归导出,写入归写入。强副作用动作单独审批,并且限制目标环境、账户和参数。
选型路径:先单任务,再编排,再协作
据公开资料/行业观察,公开技术博客和产品文档里常见的路径是先做单任务工具接入,再考虑多步骤编排。先验证记忆可隔离,再评估多智能体协作。
如果单任务里的只读工具还不能稳定运行,多智能体只会增加沟通成本。如果长期记忆还不能确认来源,协作智能体更容易传播错误假设。
五、延伸:从试点到生产的观测点
不要只看任务成功率
任务成功只是表象。你还要看人工接管率、错误回滚耗时、越权尝试次数和记忆误用率。这些指标才能说明边界是否有效。
如果一个 Agent 频繁请求人工确认,说明规划或工具边界还没收敛。如果它能自动完成但经常删除测试文件,说明副作用控制失效。
审计要留可复盘结构
聊天记录适合看对话,不适合看责任。生产化审计应保存状态版本、工具调用链、审批记录和可回滚快照。
你可以把每次运行看成一个可恢复的工作流。任务 ID、步骤 ID、工具调用 ID、记忆写入 ID 要能串起来。复盘时才不会靠猜测定位问题。
生产化先从灰度开始
不要把试点直接换成生产写操作。先选低风险任务小流量灰度,再逐步扩展可逆写能力。
每一步都要有退出条件和责任边界。退出条件可以很简单:连续出现目标漂移,或越权尝试被拦截,就回到只读。责任边界也要写明:谁确认目标,谁审批写操作,谁处理事故。
收束:三条马上可做的行动
先做只读试点,不急着接写操作。用沙箱和日志链把任务过程看清楚。
先建规划、记忆、工具三栏边界验收表。把可自动、需确认、禁止执行写清楚。
先保留可回滚证据和人工确认点。产物、日志、状态版本和审批记录,比模型的一次流畅回答更重要。
你可以收藏这篇文章,用于 Agent 上线评审会,也可以转发给正在搭 Agent 的同事,先拿三栏表做一次试点。
