正在加载文章,请稍候…
企业级 Agent 的工具与 Skills 治理:分层发现与精准调用
内容提要
先给出简要回答,再展开工具与 skill 的职责划分、动态发现、渐进加载、参数与流程校验,并以报销撤回场景说明如何评测真实业务效果。
简要回答
企业 Agent 面对大量工具和 skills 时,建议采用“统一能力目录、分层检索、按需加载、执行校验、持续评测”。每轮向模型提供当前任务所需的能力,并分别优化能力选择、参数生成、执行顺序和业务结果判断。
- 管理能力规模
- 按业务域和职责组织能力,合并重复项,明确相似能力的边界。
- 先检索摘要,再加载相关 skill、工具定义及必要资源。
- 提升调用准确性
- 说明何时使用、何时不用,并提供容易混淆的正反例。
- 模型提出调用,程序落实参数、权限、业务状态和流程约束。
- 衡量真实收益
- 分别观察检索召回、能力选择、参数正确性、流程合规与最终完成情况。
- 对照延迟和累计成本持续回归,再决定是否升级模型或拆分 Agent。
详细说明
1. 区分工具与 skill,建立清晰的能力边界
工具提供可以执行的具体操作及输入输出契约;skill 组织处理某类任务的方法、规则、脚本和参考资料。一个 skill 可以组合多个工具,一个工具也可以被多个 skill 复用。不同框架对 skill 的实现方式可能不同,企业需要先统一自己的能力定义。
| 能力类型 | 主要职责 | 示例 |
|---|---|---|
| 工具 Tool | 查询或修改具体业务对象,提供明确的参数与返回值 | 查询报销状态、撤回报销单 |
| Skill | 描述任务适用条件、处理方法、依赖和验收要求 | 报销撤回:识别单据、检查条件、执行操作并核实结果 |
| 工作流或状态机 | 通过程序维护固定依赖、状态变化和执行门槛 | 单据未定位时禁止撤回,结果未知时先核对 |
能力数量增加时,先处理重复和重叠。相同操作存在多个别名,会增加选择困难;一个工具同时承担查询、修改和审批,也会让使用边界变得模糊。工具粒度应围绕稳定的业务职责设计,固定且可靠的操作组合可以封装成业务工具。
工具命名、职责划分、返回内容和描述都需要通过真实任务评测调整。相关原则见 Anthropic:Writing effective tools for agents。
2. 用能力目录支持分层发现
统一目录不等于把全部能力定义放进每次请求。目录用于发现和治理,模型每轮实际加载的内容应与当前任务相关。建议至少维护以下信息:
| 信息 | 用途 |
|---|---|
| 名称、业务域与适用场景 | 支持检索与业务路由 |
| 排除场景和相邻能力区别 | 减少相似工具之间的误选 |
| 输入、输出和业务对象类型 | 说明参数来源及结果含义 |
| 读写属性和权限要求 | 过滤不适用能力,并支持执行端校验 |
| 依赖、负责人和版本 | 管理加载、兼容性和变更回归 |
发现阶段可以结合关键词检索和语义检索:关键词适合产品名、业务术语和明确动作,语义检索补充同义表达。根据需要重排候选,再向模型提供完整定义。业务对象 ID、租户和权限仍由可信上下文及服务端解析。
任务上下文应参与检索,包括用户原话、近期修正、当前业务对象、已完成步骤和下一阶段目标。跨域任务允许召回多个业务域;候选不足时扩大检索或澄清需求,保留未识别出口。
3. 按阶段加载,控制每轮候选范围
推荐链路:用户请求 → 识别任务与请求类型 → 按身份和权限过滤 → 检索候选能力 → 加载相关说明 → 调用工具 → 核实结果。
这是一种逻辑分层,不要求每层单独调用一次模型。明确的固定入口可以直接路由;复杂指代或跨域任务再使用模型判断,避免为了分层而增加无效调用。
- 目录层:提供名称、摘要和适用条件,用于发现候选能力。规模很大时,摘要也按业务域或索引检索。
- 说明层:确认相关后,读取完整 skill 和所需工具定义。
- 资源层:执行到对应场景时,再读取参考资料、脚本和详细示例。
- 阶段控制:依据当前步骤开放候选工具;读取、审批和写入各阶段都继续执行服务端授权检查。
候选数量需要结合任务复杂度和评测结果确定。过少可能漏掉正确能力,过多可能造成混淆;应同时观察候选召回率、候选内选择准确率和总延迟。大型工具返回也应按需筛选字段或传递产物引用,保留必要证据、限制和回查入口。
渐进加载的设计可参考 Anthropic:Agent Skills;工具按需发现可参考 Anthropic:Advanced tool use。上面的分层链路是企业工程设计建议,具体效果需要业务评测验证。
4. 用明确的描述和对照示例减少误选
工具说明要回答四个问题:什么时候使用、什么时候不用、参数从哪里来、返回值代表什么。对于容易混淆的工具,应在说明中直接解释职责差异,并提供代表性的正反例。
| 设计要点 | 建议写法 |
|---|---|
| 命名 | 使用明确的业务对象与动作,例如 get_expense_status、withdraw_expense |
| 适用条件 | 查询工具用于获取单据状态;撤回工具用于用户明确要求执行撤回的任务 |
| 参数来源 | 单据 ID 来自用户明确提供或可信查询结果,存在多个候选时先消除歧义 |
| 副作用与结果 | 说明是否修改资源,返回的是受理回执、异步任务 ID 还是最终业务结果 |
Skill 同样需要清楚的触发与排除条件。边界反例往往比重复描述“功能很强大”更有帮助。规则出现冲突时,应修正或合并能力定义;skill 不能扩大运行时授权,也不能通过文字声明跳过业务门槛。
5. 用程序保证参数和执行条件
模型适合理解自然表达、消解指代和选择能力;固定业务判断与执行约束由程序落实。调用准确性需要分别考虑结构合法和业务正确。
- 参数格式:使用明确类型、枚举和 schema,平台支持时启用严格模式。
- 参数语义:校验对象是否存在、属于哪个租户、时间范围是否明确,避免把合法格式当作正确业务含义。
- 执行条件:核验权限、对象版本、当前状态及业务要求的审批;条件变化后重新判断。
- 执行顺序:通过工作流或状态机维护前置依赖;有歧义或缺必要参数时补充查询或追问。
- 业务回执:区分已接收、运行中、成功、失败和结果未知,写操作重试保留同一次业务动作的幂等标识。
例如,严格 schema 可以约束“expense_id 是字符串”,却不能证明该单据属于当前用户、仍可撤回。OpenAI 的 function calling 提供严格 schema 和可调用工具范围等控制,实际业务授权仍需应用执行端校验。参见 OpenAI:Function calling。
当流程要求审批时,批准应关联实际目标、参数和适用条件。接口超时后先核实动作是否发生;模型输出“执行成功”或工具返回“已受理”,都不能独立证明最终业务完成。
6. 用报销撤回场景串起完整调用链
同一业务对象可能对应咨询、查询、执行和取消等不同请求。系统应识别当前意图,并在用户修正后更新待执行任务。
| 用户表达 | 应选能力 | 关键边界 |
|---|---|---|
| “报销怎么撤回?” | 查询规则或读取说明 | 解释方法,保持咨询语义 |
| “查一下 BX001 的进度” | 查询单据状态 | 核验数据访问权限 |
| “帮我撤回 BX001” | 进入撤回 skill,调用相关业务工具 | 验证单据归属、状态、权限与必要审批 |
| “先别撤回了,只查状态” | 停止原待执行动作,切换查询 | 已提交或在途动作仍需核实真实结果 |
撤回流程:解析单据 → 查询真实状态 → 校验归属及执行条件 → 满足必要审批要求后提交撤回 → 查询或核对回执 → 报告业务结果。
缺少单据编号时,只补必要信息;匹配到多个对象时展示候选并绑定用户选择。提交前发现状态变化时重新评估,结果未知时保留追踪入口。这样可以把意图判断、对象定位、权限和业务状态分别核实。
7. 分层评测,定位精确性下降的位置
整体任务失败率无法直接说明问题发生在哪里。评测需要覆盖能力发现、选择、参数、流程和最终结果,并接受等价工具和合法执行路径,避免强制所有任务遵循唯一调用序列。
| 环节 | 关注指标 | 典型问题 |
|---|---|---|
| 能力发现 | 所需能力是否进入候选集 | 检索遗漏、业务域过滤过早 |
| 能力选择 | 选用是否合适,是否出现不必要调用 | 近似工具混淆、把咨询当作执行 |
| 参数生成 | 对象、时间、范围、枚举是否正确 | 使用旧对象、歧义未消除 |
| 流程执行 | 必要检查点与依赖是否满足 | 跳过前置查询、复用失效确认 |
| 业务完成 | 按业务任务去重后的成功、失败、未知 | 把受理回执当成最终完成 |
| 效率与成本 | 端到端延迟、累计调用与消耗 | 检索、重排或审阅开销过高 |
评测样本应包括正常请求、相似表达、否定与修正、缺失参数、同名对象、跨域任务,以及无需调用工具或当前无合适能力的请求。新增相似工具后,要回归原有任务,确认新能力没有干扰旧能力的选择。
原始预测、候选集、实际调用、业务回执和后续复核应关联记录,保留模型、提示词、skill 与工具版本。指标明确样本、分母和观察窗口,结果未知单独报告;不能只复核失败请求或忽略未完成任务。日志保留必要业务证据和脱敏引用。
8. 按错误来源决定优化顺序
- 先选高频业务建立真实样本基线,区分检索、选择、参数和执行错误。
- 清理重复能力,补充职责边界、参数来源和对照示例。
- 接入分层检索与按需加载,比较召回、准确率、延迟和成本。
- 把固定顺序与关键业务条件放进工作流和执行端,减少不必要的模型决策。
- 在剩余错误明确后,再评估更强模型或微调;工具变更频繁时,持续维护目录与契约。
- 具有独立专业分工、可并行工作或明确权限边界时,再评估按业务域拆分 Agent,并计算交接与协调开销。
上线后按业务类型、风险和版本持续观察。能力描述可按版本缓存,执行授权仍需重新核验;每次新增、下线或修改工具与 skill,都应检查相关任务的召回、调用和最终业务结果。
