自主安全行动中的人工监督
什么是人工智能中的人工监督(以及它不是什么)?
人为监督包含哪些内容
- 主动监控: 安全分析师在执行前后审查人工智能生成的警报、威胁分类和自动响应操作。
- 干预权: 指定人员有权在输出结果偏离预期行为时,覆盖、暂停或关闭人工智能驱动的流程。
- 反馈回路: 为人工操作员提供结构化机制,以纠正 AI 模型、改进检测规则并标记误报或漏报的威胁。
- 责任分配: 明确记录谁对人工智能辅助做出的决策负责,确保任何行动都不会出现问责真空。
人为监督不是什么
人工监督并非橡皮图章。仅仅指派一名人员名义上负责审查人工智能的输出结果,却缺乏相应的培训、工具或权限去质疑这些结果,这根本算不上有效的监督。它也不是部署过程中一次性的配置步骤。监督必须是持续的、适应性的,并且需要充足的资源支持。如果组织将监督视为走过场,那么它们将面临与完全无人监督的自动化系统相同的风险。
在安全运营领域,像 Stellar Cyber 这样的平台提供了多层可视性,使真正的监管成为可能。当人工智能系统将数千条警报关联起来,形成优先级事件时,分析师需要的是上下文细节,而不仅仅是一个分数,才能做出明智的判断。
为什么人类监督是负责任的人工智能的基石?
大规模预防自动化错误
维护组织信任
监管和法律必要性
适应对抗性条件
人机协作:人工智能服务工作流的实用模型
模型比较
|
型号 |
人类角色 |
何时使用 |
安全运营示例 |
|
人在环 |
所有决策在执行前均需获得批准。 |
高风险行为,后果严重 |
屏蔽被标记为已入侵的生产服务器 IP 地址。 |
|
人机交互 |
监控人工智能行为并在需要时进行干预 |
中等风险、高交易量的操作 |
批量审查自动化隔离操作 |
|
人机交互 |
制定政策并审查总体结果 |
低风险、易于理解的自动化 |
定义自动删除钓鱼邮件的规则 |
选择合适的型号
扩大人类参与规模而不出现瓶颈
- 基于风险的分诊: 只有当决策超过既定的风险阈值时,才将其提交给人工审核。
- 情境丰富化: 向分析人员提供相关证据、历史背景和建议的行动方案,以便他们在几秒钟内而不是几分钟内做出决策。
- 低风险任务的自动化: 把人类的注意力留给那些真正需要判断的决策。
- 异步审阅: 允许某些自动化操作在规定的时间窗口内进行强制性执行后审计。
人机增强型自主系统 SOC人工智能与人类专业知识的融合之处
人工监督并不会降低自主安全运营的价值——它反而能帮助组织充分发挥其潜力。最有效的安全运营中心(SOC)并非取代安全分析师,而是……SOCs) 使用人机增强型自主系统 SOC 该模型中,人工智能负责处理速度、规模和重复性分析,而经验丰富的分析师则提供背景判断、验证和战略决策。
在这个模型中,人工智能持续关联遥测数据,确定事件优先级,推荐响应措施,并自动执行常规修复。而人工分析师则专注于更高价值的任务,例如调查复杂的攻击、验证高影响力的自动化决策、优化检测逻辑,以及根据业务风险的变化调整安全策略。最终实现的安全运营将机器效率与人类推理能力相结合,既减轻了分析师的疲劳,又提高了检测准确率,并确保了责任落实。
这种平衡的方法与本文讨论的负责任人工智能原则和监管要求高度契合。组织不应将自动化和人工监管视为相互冲突的优先事项,而应将其视为相辅相成、彼此增强的能力。
解读欧盟人工智能法案第14条对高风险人工智能系统的影响
第十四条规定的关键要求
- 可理解性: 人工智能系统的设计必须让人类监管者能够充分了解系统的功能和局限性。
- 输出结果的可解释性: 监督人员必须能够正确解读人工智能系统的输出,包括理解置信水平、误差范围和已知的故障模式。
- 能够覆盖或停止: 人工监管人员必须具备推翻自动化决策或完全关闭系统的技术能力。
- 对自动化偏见的认识: 各组织必须采取措施,防止过度依赖人工智能的输出结果,尤其是在这些输出结果影响有关个人的决策时。
对安全团队的实际意义
欧盟之外:全球监管趋同
通过人工干预实现人工智能的真正问责制
在人工智能驱动的安全运营中,问责制意味着每一个后果性操作——无论是自动化操作还是人为操作——都可以追溯到责任方。如果在关键时刻缺乏人为干预,这种可追溯性就会失效。
问责链
- 模型开发商 对人工智能模型的准确性、公平性和已记录的局限性负责。
- 平台运营商 负责其环境中人工智能系统的正确配置、调优和持续验证。
- 安全分析师 他们对审查的质量、干预的及时性以及推翻决定的理由负责。
- 安全领导 负责制定政策,明确何时以及如何应用人工监督。
记录决策以备审计
避免责任分散
在您的组织中建立人为监督的最佳实践
明确升级标准
- 影响程度: 影响生产系统、客户数据或关键基础设施的行动需要更高级别的审核。
- 置信度分数: 置信度较低的检测结果应转交给人工分析员;置信度较高的检测结果,且有明确的应对方案,可以减少监督。
- 新奇: 以前未曾见过的攻击模式或异常情况,如果超出人工智能模型的训练分布范围,则必须进行人工审查。
投资分析师培训
实施分层评审流程
|
级别 |
动作类型 |
监督级别 |
审核时间 |
|
1 |
信息警报、日志丰富 |
自动化,并定期采样 |
每周批次审核 |
|
2 |
端点隔离,账户暂停 |
人机交互 |
30分钟以内 |
|
3 |
网络分段,服务关闭 |
人机交互(预先审批) |
执行前 |
利用平台功能
应对人力监督实施过程中常见的挑战
警报疲劳和自动化偏见
技能差距和资源限制
- 对安全分析师进行人工智能基础知识和模型行为方面的交叉培训。
- 为人工智能工程师提供安全领域背景信息,以便他们能够构建更易于理解的系统。
- 使用能够抽象化复杂性并以易于理解的方式呈现人工智能推理的平台。
平衡速度和彻底性
组织阻力
将监督融入人工智能治理生命周期
设计阶段
部署和验证阶段
- 在实际条件下测试手动关闭和关机功能。
- 验证人工智能输出是否包含足够的上下文信息,以便人类进行解读。
- 确认升级途径能够在可接受的时间范围内将问题反馈给合格人员。
- 进行桌面演练,模拟需要人为干预的场景。
运营阶段
审查和改进阶段
- 模型漂移: 人工智能系统的准确率是否随着时间推移而下降,需要更密集的人工审核?
- 工艺效率: 监管流程是否造成了不必要的延误,而没有带来相应的风险降低?
- 监管变化: 新的合规要求是否改变了人工参与的最低标准?
- 反馈整合: 分析师的修正和调整是否被系统地反馈到模型重新训练中?

