文章集 / 错误操作问题：为什么具代理能力的 AI 需要不同的治理方式
作者 Gianluca Busato · 创始人、CEO 与 AI 系统架构师 · 2026-06-17
作者：Gianluca Busato — 创始人、CEO 与 AI 系统架构师，Enkronos
在大多数 AI 时代，风险的单位曾是一个个体 错误答案. 模型返回文本；有人阅读并决定下一步。如果答案错误，人类会在事态发生前发现。一次错误的波及范围不过是一句糟糕的句子。
具代理能力的 AI 将风险单位转变为一个整体 错误操作. 自主代理现在能规划、调用工具、调用 API 并触发真实效果——移动资金、编辑记录、发送消息、配置基础设施——往往在中间无人阅读任何内容的情况下完成。错误的影响半径不再只是一个句子，而是代理能触及到的任何事物。
这是质的飞跃，打破了大多数 AI 安全研究所基于的假设。
大量努力用于提高模型的准确性，这有助于错误答案的情况。但对错误行为几乎无济于事，因为失败模式不只是“模型错了”——还有“模型是 权限 并且仍然做了它本不该被允许做的事。"
代理可能会正确推理出解决某个工单的最快方法是删除数据库。在那里，准确性并不是问题。 权限机构 是。对代理性 AI 来说，重要的问题不是“输出是否正确？”，而是“该行为是否被授权、是否可审计、以及是否可逆？”
遏制错误动作需要纵深防御——独立的层级，每一层都重新校验，而非信任之前的层：
可验证身份。
确定性地。
在行动发生前进行审查；高影响操作需要人工批准。
可重建。
力量来自独立性。即便某个代理被攻破或行为失常，也能被遏制，因为每一层都会独立校验权限。一处失效不会连锁蔓延。
两个借自安全工程的理念在此处极为重要：
必须受限。一个能做任何事的代理无论多聪明都是隐患。
在更强检查背后。
这些并非对能力的限制，而是让你能够做到的前提。 授权 安全地赋能能力。
在具代理性 AI 中获胜的组织不会是运行代理最多的组织，而是那些能信任其代理的组织。这里的“信任”不是感情层面的，而是通过架构层面的工程化实现：身份、确定性策略、受控执行与不可篡改的审计。
把这些做对后，自主 AI 不再是赌博而成为基础设施。
这是问题所在 AINOVA的多层治理架构旨在解决这些问题。更多信息见 gianlucabusato.com.