Agent 生产架构、评估与可观察性

Agent PRD 与生产控制

规则明确、步骤稳定的任务优先使用固定 Workflow；需要在多种工具与路径中动态选择时，才考虑 Agent。很多可靠系统其实是“固定骨架＋局部 Agent 判断”。

不要把多 Agent 当作先进程度。每增加一个 Agent，就增加一次理解偏差、通信、成本与治理难度。

输入契约说明来源、格式、必填项、权限与完整性；输出契约说明结构、使用者、后续动作和质量要求。

缺少关键输入时，系统应主动询问、拒绝或转人工，而不是猜测补齐。结构化输出可以减少后续系统解析错误。

一份 Agent PRD 包含用户与场景、业务价值、流程、人机分工、输入输出、上下文、工具、状态、评估、风险、日志、成本和维护责任。

PRD 的目的不是写得厚，而是让业务、技术与治理角色对同一系统形成可执行共识。

工具、状态、记忆与失败控制

Skill 是可复用的业务动作，例如检索制度、计算指标、查询库存、生成草稿或创建工单。每个工具都要定义参数、权限、返回结果和失败方式。

查询、建议、写入和外部发送具有不同风险。高风险工具需要更严格的身份、审批、范围和审计。

工作流需要知道任务进行到哪里、哪些信息已经确认、哪个版本正在运行。记忆应服务当前任务，不应无边界保存所有对话和敏感资料。

重试要有上限，超时要能降级，不确定要能转人工，不可逆动作要有确认。失败控制是 Agent 设计的一部分。

Golden Set 与多维评估

同一个“准确率”在不同场景意义不同。营销草稿可以允许人编辑，合规审核漏掉关键风险则可能造成重大损失。评估标准必须与任务、责任和风险容忍度对应。

模型不能只给自己打分。业务专家需要参与定义样本、标准答案、可接受差异与严重错误。

Golden Set 是持续使用的代表性评估集，应覆盖常见任务、边界情况、异常输入和对抗情况。每条样本记录来源、预期结果、判断依据和严重程度。

评估集不是一次性考试卷。生产中发现的新失败模式，应经过审核后回流，形成持续改进资产。

质量可以看准确性、完整性、一致性、来源可追溯和格式合规；工程可以看时延、成本、稳定性；业务可以看效率、质量、增长或风险；采用可以看实际使用与绕行。

指标不宜过多。选择能够支持当前 Scale、Iterate 或 Stop 决策的最小指标集。

错误分类与安全上线门

错误可能来自输入缺失、知识过期、检索失败、模型推理、工具调用、流程设计或人工使用。只有分类，才能把问题交给正确负责人。

根据发生频率、业务影响和可发现性排序。低频但不可发现的严重错误，可能比高频格式问题更值得优先处理。

风险台账记录场景、触发条件、影响、控制措施、Owner 与监测方式。需要考虑隐私泄露、权限越界、提示注入、错误执行、内容风险和供应商变化。

上线门明确最低质量、人工兜底、日志、回滚和停止条件。治理从场景定义开始，不是在上线前补一张表。

建立日志、指标、追踪与告警

为请求、模型、检索、工具、权限、人工接管和业务结果建立可关联追踪，对错误率、延迟、成本和高风险失败设置有业务意义的告警。