自主安全行动中的人工监督

随着人工智能在安全运营中承担越来越重要的责任,人工监督成为区分有效自动化和不受控制的风险的关键保障。本文探讨了人工监督在实践中的意义、其对人工智能驱动的安全的重要性,以及组织如何在工作流程中实施结构化的监督模型。
#图片标题

人工智能和机器学习如何改善企业网络安全

连接复杂威胁形势中的所有点

#图片标题

亲身体验人工智能驱动的安全!

探索 Stellar Cyber​​ 的尖端 AI,实现即时威胁检测和响应。立即安排您的演示!

什么是人工智能中的人工监督(以及它不是什么)?

要理解什么是人工监督,就必须超越“留意”这种模糊的概念。人工智能领域的人工监督指的是合格人员有意识地、系统地参与人工智能系统的设计、部署、监控和纠正过程。它确保自动化决策始终符合组织意图、道德标准和监管要求。

人为监督包含哪些内容

  • 主动监控: 安全分析师在执行前后审查人工智能生成的警报、威胁分类和自动响应操作。
  • 干预权: 指定人员有权在输出结果偏离预期行为时,覆盖、暂停或关闭人工智能驱动的流程。
  • 反馈回路: 为人工操作员提供结构化机制,以纠正 AI 模型、改进检测规则并标记误报或漏报的威胁。
  • 责任分配: 明确记录谁对人工智能辅助做出的决策负责,确保任何行动都不会出现问责真空。

人为监督不是什么

人工监督并非橡皮图章。仅仅指派一名人员名义上负责审查人工智能的输出结果,却缺乏相应的培训、工具或权限去质疑这些结果,这根本算不上有效的监督。它也不是部署过程中一次性的配置步骤。监督必须是持续的、适应性的,并且需要充足的资源支持。如果组织将监督视为走过场,那么它们将面临与完全无人监督的自动化系统相同的风险。

在安全运营领域,像 Stellar Cyber​​ 这样的平台提供了多层可视性,使真正的监管成为可能。当人工智能系统将数千条警报关联起来,形成优先级事件时,分析师需要的是上下文细节,而不仅仅是一个分数,才能做出明智的判断。

为什么人类监督是负责任的人工智能的基石?

在人工智能领域,尤其是在网络安全等高风险领域,人工监督的重要性就显得尤为突出。自主检测和响应可以显著缩短平均响应时间,但如果没有人工检查,错误可能会以机器的速度迅速蔓延。

大规模预防自动化错误

基于历史数据训练的人工智能模型会继承这些数据中固有的偏差、缺陷和假设。一个校准不当的威胁检测模型可能会抑制合法流量或忽略新的攻击途径。人工监督可以在这些缺陷演变成系统性问题之前发现它们。当…… 自动驾驶 SOC 每天处理数百万个事件,即使一小部分分类错误也可能造成重大的运营影响。

维护组织信任

从董事会成员到客户,所有利益相关者都需要确保人工智能驱动的安全决策能够体现组织的价值观和风险承受能力。对人工智能进行人工监督,通过在关键操作背后建立可验证的人工判断链,就能提供这种保证。如果没有这种监督,组织就无法令人信服地宣称对其自身安全态势拥有控制权。

监管和法律必要性

全球范围内的法规日益要求在自动化决策过程中必须有人类参与。欧盟人工智能法案、美国国家标准与技术研究院(NIST)人工智能风险管理框架以及各行业的具体要求都指向同一个方向:组织必须证明人类始终切实参与人工智能的运行。否则,将面临法律责任和声誉损失。

适应对抗性条件

威胁行为者会主动探测和操纵人工智能系统。对抗性机器学习技术可以污染训练数据、绕过检测模型,或触发有利于攻击者的自动响应。人类分析师能够提供当前人工智能系统无法复制的上下文推理和对抗性思维,因此,对人工智能进行人工监督已成为一种实际操作上的必要,而非一种理念上的选择。

人机协作:人工智能服务工作流的实用模型

“人机协同”的概念描述了一种设计模式,即在特定的干预点将人类判断融入人工智能的决策过程中。目前存在多种实用模型,每种模型都适用于人工智能服务工作流程中不同的风险级别和操作要求,并需要在人工监督下进行。

模型比较

型号

人类角色

何时使用

安全运营示例

人在环

所有决策在执行前均需获得批准。

高风险行为,后果严重

屏蔽被标记为已入侵的生产服务器 IP 地址。

人机交互

监控人工智能行为并在需要时进行干预

中等风险、高交易量的操作

批量审查自动化隔离操作

人机交互

制定政策并审查总体结果

低风险、易于理解的自动化

定义自动删除钓鱼邮件的规则

选择合适的型号

合适的模型取决于潜在后果的严重程度、人工智能系统的成熟度以及组织的风险承受能力。大多数成熟的安全运营采用混合方法。例如,Stellar Cyber​​ 的平台支持分层响应配置,其中低置信度的检测结果会路由到分析师队列,而高置信度、低影响的操作则会自动执行,并在操作后进行审查。

扩大人类参与规模而不出现瓶颈

人们普遍担心人机协同模型会造成吞吐量瓶颈。当监管机制设计不完善时,这种担忧不无道理。有效的实施方案可以通过以下方式解决这个问题:
  1. 基于风险的分诊: 只有当决策超过既定的风险阈值时,才将其提交给人工审核。
  2. 情境丰富化: 向分析人员提供相关证据、历史背景和建议的行动方案,以便他们在几秒钟内而不是几分钟内做出决策。
  3. 低风险任务的自动化: 把人类的注意力留给那些真正需要判断的决策。
  4. 异步审阅: 允许某些自动化操作在规定的时间窗口内进行强制性执行后审计。

人机增强型自主系统 SOC人工智能与人类专业知识的融合之处

人工监督并不会降低自主安全运营的价值——它反而能帮助组织充分发挥其潜力。最有效的安全运营中心(SOC)并非取代安全分析师,而是……SOCs) 使用人机增强型自主系统 SOC 该模型中,人工智能负责处理速度、规模和重复性分析,而经验丰富的分析师则提供背景判断、验证和战略决策。

在这个模型中,人工智能持续关联遥测数据,确定事件优先级,推荐响应措施,并自动执行常规修复。而人工分析师则专注于更高价值的任务,例如调查复杂的攻击、验证高影响力的自动化决策、优化检测逻辑,以及根据业务风险的变化调整安全策略。最终实现的安全运营将机器效率与人类推理能力相结合,既减轻了分析师的疲劳,又提高了检测准确率,并确保了责任落实。

这种平衡的方法与本文讨论的负责任人工智能原则和监管要求高度契合。组织不应将自动化和人工监管视为相互冲突的优先事项,而应将其视为相辅相成、彼此增强的能力。

解读欧盟人工智能法案第14条对高风险人工智能系统的影响

欧盟《人工智能法》第14条对高风险人工智能系统的人工监管提出了具体要求。对于安全运营团队而言,理解这些要求至关重要,因为许多人工智能驱动的威胁检测和响应系统,根据其部署环境的不同,可能属于高风险系统。

第十四条规定的关键要求

  • 可理解性: 人工智能系统的设计必须让人类监管者能够充分了解系统的功能和局限性。
  • 输出结果的可解释性: 监督人员必须能够正确解读人工智能系统的输出,包括理解置信水平、误差范围和已知的故障模式。
  • 能够覆盖或停止: 人工监管人员必须具备推翻自动化决策或完全关闭系统的技术能力。
  • 对自动化偏见的认识: 各组织必须采取措施,防止过度依赖人工智能的输出结果,尤其是在这些输出结果影响有关个人的决策时。

对安全团队的实际意义

这些要求转化为具体的技术和组织义务。安全平台必须提供可解释的输出,而不仅仅是威胁评分。分析师需要接受针对其部署环境的人工智能系统局限性的培训。此外,各组织必须以经得起监管审查的方式记录其监督程序。该领域的供应商正在做出相应的调整。例如,Stellar Cyber​​ 提供基于关联的事件叙述,向分析师展示特定警报分组和优先级排序的原因,从而满足第 14 条规定的可解释性要求。

欧盟之外:全球监管趋同

虽然第14条是欧盟特有的,但类似的原则也出现在美国(NIST人工智能风险管理框架)、加拿大(自动化决策指令)和其他司法管辖区的框架中。在全球范围内运营的组织应根据最严格的适用标准来设计其监管框架,而目前最严格的标准往往是欧盟人工智能法案。

通过人工干预实现人工智能的真正问责制

在人工智能驱动的安全运营中,问责制意味着每一个后果性操作——无论是自动化操作还是人为操作——都可以追溯到责任方。如果在关键时刻缺乏人为干预,这种可追溯性就会失效。

问责链

为自主企业设计完善的问责机制 SOC 包含多个层:
  1. 模型开发商 对人工智能模型的准确性、公平性和已记录的局限性负责。
  2. 平台运营商 负责其环境中人工智能系统的正确配置、调优和持续验证。
  3. 安全分析师 他们对审查的质量、干预的及时性以及推翻决定的理由负责。
  4. 安全领导 负责制定政策,明确何时以及如何应用人工监督。

记录决策以备审计

所有人工干预——无论是批准、修改还是拒绝人工智能建议——都应记录时间戳、理由以及当时可获得的证据。这些记录有三个用途:支持合规性、便于事后分析以及提供训练数据以持续改进人工智能模型。

避免责任分散

当人工智能和人类共同拥有决策权时,双方都可能感觉不到自己负有全部责任。组织必须在工作流程的每个阶段明确责任归属。如果人工智能系统建议隔离受损终端,​​且分析师批准了该操作,则该分析师对该决策负责。如果人工智能根据预先批准的策略自主执行了该操作,则授权该策略的人员承担责任。

在您的组织中建立人为监督的最佳实践

有效实施人工监督需要对技术、流程和人员进行周密规划。以下实践代表了那些在安全运营中成功平衡自动化与人工判断的组织所采用的成熟方法。

明确升级标准

并非所有人工智能输出都需要同等程度的人工干预。应根据以下因素设定明确的阈值:
  • 影响程度: 影响生产系统、客户数据或关键基础设施的行动需要更高级别的审核。
  • 置信度分数: 置信度较低的检测结果应转交给人工分析员;置信度较高的检测结果,且有明确的应对方案,可以减少监督。
  • 新奇: 以前未曾见过的攻击模式或异常情况,如果超出人工智能模型的训练分布范围,则必须进行人工审查。

投资分析师培训

人工监管的有效性取决于执行监管的人员素质。分析人员不仅要了解安全领域,还要了解他们所监管的具体人工智能系统。培训内容应涵盖模型架构的概念层面、已知的故障模式、常见的误报来源,以及如何提供能够提升模型性能的正确反馈流程。

实施分层评审流程

根据每种行动类型的风险状况来构建审核工作流程。三级方法适用于大多数组织:

级别

动作类型

监督级别

审核时间

1

信息警报、日志丰富

自动化,并定期采样

每周批次审核

2

端点隔离,账户暂停

人机交互

30分钟以内

3

网络分段,服务关闭

人机交互(预先审批)

执行前


利用平台功能

选择能够促进而非阻碍监管的安全平台。Stellar Cyber​​ 的 Open XDR 例如,平台可以将来自多个来源的警报整合到具有完整上下文的关联事件中,从而减轻分析人员的认知负担,并更快、更准确地做出监管决策。合适的平台可以将监管从一项负担转变为运营工作流程的自然组成部分。
即使是出于良好意愿的监督计划也会遇到障碍。及早认识到这些挑战,可以让组织提前做好准备,而不是事后被动应对失败。

警报疲劳和自动化偏见

分析师每天审查数百条人工智能生成的建议时,会出现两种失效模式。 由于警报疲劳,分析师会完全略读或跳过评论。自动化偏见导致分析师在未进行批判性评估的情况下就盲目采纳人工智能的建议。这两种情况都削弱了监督的目的。应对措施包括轮换审查职责、定期开展“挑战演练”(要求分析师对人工智能的建议进行论证)以及通过提高相关性和去重来减少警报数量。

技能差距和资源限制

有效的监督需要分析师既了解安全领域,又了解他们所监管的人工智能系统。许多组织都面临着具备这种双重专业知识的人员短缺问题。弥补这一缺口需要:
  • 对安全分析师进行人工智能基础知识和模型行为方面的交叉培训。
  • 为人工智能工程师提供安全领域背景信息,以便他们能够构建更易于理解的系统。
  • 使用能够抽象化复杂性并以易于理解的方式呈现人工智能推理的平台。

平衡速度和彻底性

安全事件需要快速响应。在时间紧迫的工作流程中加入人工审核可能会延误事件控制。解决方案并非取消审核,而是优化审核流程。针对常见场景预先批准的响应手册可以实现即时自动化操作,并在执行后进行审核。对于新颖或影响巨大的场景,系统会将预先准备好的上下文信息包发送给分析人员,从而最大限度地缩短调查时间。

组织阻力

有些团队将监督要求视为对其人工智能投资缺乏信任。在此,措辞至关重要。人工监督并非对人工智能技术投下不信任票,而是一种风险管理机制,旨在通过结构化的反馈来保护组织并逐步提升人工智能的性能。领导层必须始终如一地传达这一信息。

将监督融入人工智能治理生命周期

人工监督不应作为一项孤立的活动,附加在现有的工作流程中。它必须融入人工智能治理的整个生命周期,从初始系统设计到持续运行,直至最终退役。

设计阶段

在部署人工智能系统之前,应明确监管要求。在设计阶段,组织应确定哪些决策需要人工参与,分析人员需要哪些信息才能做出明智的判断,以及哪些机制允许人工干预或中止自动化操作。Stellar Cyber​​ 将这些考量融入其平台架构,提供可配置的自动化级别,以满足每个组织的治理要求。

部署和验证阶段

在将人工智能系统投入生产环境之前,务必验证监督机制是否按预期运行。这包括:
  1. 在实际条件下测试手动关闭和关机功能。
  2. 验证人工智能输出是否包含足够的上下文信息,以便人类进行解读。
  3. 确认升级途径能够在可接受的时间范围内将问题反馈给合格人员。
  4. 进行桌面演练,模拟需要人为干预的场景。

运营阶段

在日常运营中,必须持续衡量和改进监督有效性。关键指标包括分析师否决率(过低可能表明自动化存在偏差,过高可能表明模型性能不佳)、升级事项的决策时间,以及经人工审核员验证的人工智能建议的准确性。

审查和改进阶段

定期治理审查应评估当前的监督模式是否仍然适用于威胁环境、组织风险承受能力和人工智能系统能力的变化。这些审查应包括以下内容:
  • 模型漂移: 人工智能系统的准确率是否随着时间推移而下降,需要更密集的人工审核?
  • 工艺效率: 监管流程是否造成了不必要的延误,而没有带来相应的风险降低?
  • 监管变化: 新的合规要求是否改变了人工参与的最低标准?
  • 反馈整合: 分析师的修正和调整是否被系统地反馈到模型重新训练中?
通过将人工监督视为一种持续的治理机制而非静态配置,组织可以确保其人工智能驱动的安全运营保持高效、负责,并与业务目标和监管要求保持一致。其目标并非限制人工智能,而是创造人工智能与人类判断相互促进的条件,从而实现任何一方单独都无法实现的安全成果。

听起来太好了
是真的吗?
自己看吧!

滚动到顶部