指令面安全 是做什么的?
一条记忆条目、一次配置编辑或一次交接,都可能改变下一个智能体所依赖的权威内容。保护从可变内容到有效指令或能力之间的过渡。将文本警告视为纵深防御,而将可执行的决策置于运行环境中。
何时激活
- 审计编码、研究或多智能体运行时如何发现指令、记忆、技能、工具或权限策略。
- 为影响后续轮次、会话、工作进程或部署的变更设计批准边界。
- 调查意外的指令漂移,或检查恢复是否还原了有效的运行时状态。
- 评估在重载、重启或交接过程中,遏制与合法任务完成的情况。
不适用于通用工具设计、没有指令或权限边界的常规编辑,或通用应用程序安全。请使用 context-degradation 处理意外漂移,使用 self-managed-context 处理对模型实时语境的有界编辑。使用 harness-engineering 处理通用优化器和评估器治理。
核心概念
- 有效面。 所选运行时实际用于设置指令、工具、可执行行为或权限的输入。包括每个来源的角色、作用域、优先级、解析器或导入、写入器以及激活触发器。同一个文件在一个运行时中可能是数据,在另一个运行时中则可能是加载的指导。
- 写入与激活。 写入更改存储状态。激活更改智能体消耗或能够执行的内容。两者都需要强制执行边界。仓库审查对合并进行把关,但可能使工作副本的激活完全暴露在外。
- 完整性与授权。 摘要标识内容,经过验证的签名标识签名者。独立的策略必须授权该主体、修订版本、目标和效果。一条交接、记忆条目或审查说明携带证据和建议。它赋予的任何权威必须来自经过身份验证的委托封装和接收方自身的运行时策略。
- 证据范围。 Mind Viruses 预印本在其测试工具中观察到持久指令和转发行为。提示警告在有限实验中减少了传播,但仍有残留的第一跳行为。在解读论文或比较干预措施时,请阅读研究证据。
实践指导
- 映射一个具体的运行时。 明确构建、配置文件、工作空间根目录和有效的智能体角色。跟踪从启动到恢复、目录更改、工具发现以及(如果支持)委派期间的加载器。对于每个承载权威的输入,记录谁可以生成或替换它、谁消耗它、何时生效以及什么阻止了未授权的更改。标记未知条目。使用加载器诊断或从受信任的检查环境中检查已安装的实现。
- 将建议暂存为数据。 保持普通任务输出和建议可写。保持暂存的更改不在承载权威的加载路径中。工作进程仍然可以通过仅限数据的索引检索带来源标签的笔记或暂存建议。将候选文本作为引用的数据进行审查。仅在必要时使用独立的受限预览。在暂存中不授予任何权威。
- 批准实际变更。 比较候选对象与最后批准的配置,包括作用域、能力和导入依赖项的差异。将绑定批准到确切的制品或解析后的快照、目标配置和作用域、活动基线和策略修订版,以及经授权的批准者。使用在候选对象之外以及在智能体可写状态之外进行验证的批准或签名。
- 中介激活。 使用运行时、启动器或外部策略边界来精确地激活经过审查的输入。在首次使用时以及每次支持的有效输入发生变化时进行验证。保持激活时使用的文件或不可变快照与已验证的内容一致。拒绝过期或未绑定的更改。当主机无法强制执行此操作时,将运行时限制在批准的输入集内,或明确报告剩余的暴露面。
- 从模型外部进行验证。 观察加载了哪些内容以及哪些能力可用,然后执行一个有界的行为检查和一个授权任务。合规性声明是诊断性的。对于意外的更改,暂停受影响的启动或敏感操作,保存相关证据,并通过可信路径恢复到已知良好的输入和设置。从干净的会话中进行验证,并考虑受影响的缓存和已恢复的状态。
对于审计,提供有效面映射、证据链接和未解决的路径。对于设计,确定执行组件、其批准合约以及恢复路径。使用运行时审查与晋升参考获取清单和批准记录,或作为提示与实际控制措施一起使用。使用评估协议进行防御性实验。
示例
一个研究 worker 提出的格式偏好可以作为数据记录保留,并在样本文档上进行评估。父进程可以继续在其现有指令下编译报告。在将该偏好设为工作空间默认值之前,策略授权的审查者批准确切的修订版本和范围,下一个干净的会话记录其加载的修订版本。
一个项目在合并规则更改之前检查审批。其交互式运行时也会读取工作副本规则。为发布和本地激活分别记录边界,然后在加载时验证后者。成功的合并检查仅确认了发布结果。
指导原则
- 当变更被暂存或阻止时,保持在上一个批准状态下合法工作的能力。返回受影响的面、决策、证据和下一个允许的操作。
- 将控制措施与效果匹配。保护任何授予权限或自动引导未来智能体的内容。保持常规的临时记忆和任务制品作为数据可用,前提是其加载器和权限支持这种区分。
- 使用接收方的有效权限来审计委派的工作。在交接时携带来源和作用域,并要求对敏感效果进行独立授权。
陷阱
- 文件名列表会遗漏有效输入。 嵌套规则、已解析的导入、插件状态、动态工具注册和恢复的上下文都可能改变实际生效的内容。观察实际的加载器。
- 启动后检查来得太晚。 差异或金丝雀检测可以在输入生效后才发现变更。在变更生效之前对加载或能力使用进行把关。
- 批准可能超出其审查范围。 替换路径或更改导入、作用域或策略可能会使批准失效,即使主要文件的字节匹配。
- 拒绝可能掩盖失败。 模型可能报告它拒绝了操作,而另一个写入器已经更改了状态。检查可信的生命周期事件和状态,包括恢复和常规任务完成。
集成
使用 harness-engineering 保护控制器和日志,使用 multi-agent-patterns 处理委派拓扑和角色分配,使用 evaluation 处理确定性评分器和回归覆盖率。此技能拥有在加载或使用期间,提议内容与权限之间的边界。