从影响到证据:教学 SOC 不要重蹈覆辙

一年前我提出了一个论点。今年,我们对其进行了验证。

去年夏天我写了关于…… 影响力金字塔 — 人类增强技术中的想法 SOC, 并非所有分析师的反馈都具有相同的价值。 点击“误报”属于第一层级,它只是装饰界面。 “FP,因为 powershell.exe 正在此主机上进行补丁自动化” ——那是第四级。那不是贴标签,那是…… 教学。

我在那篇文章的结尾写下了一句话,我相信这句话,但当时还无法证明:

此 SOC 通过向最好的老师学习而变得更聪明:这位分析师知道何时该轻推,何时该否决,以及何时该…… 教会系统不要犯同样的错误两次。

我们对愿景充满信心,但对实现愿景的途径也保持务实态度。因此,今年我们做了最不起眼的部分:我们构建了将第四层级反馈传递下去的机制——机构记忆——然后进行了实验,以验证其有效性。

是的。这是收据。


机制:向前传递的反馈

记忆功能将一次性修正转化为持久改变。当分析师基于充分理由推翻原有判断时,平台会保留该理由并将其应用于下一个匹配的警报。这并非盲目执行的硬性规则,而是一种影响。人工智能会权衡利弊,最终由分析师做出决定。这如同轻推方向盘,而非强行干预。

承诺很简单:只需训练系统一次,它就不会再犯同样的错误。问题始终在于,实际效果如何。


考试

我们不需要演示版本,我们想要的是一个我们自己都信服的数字。

因此,我们从生产环境中选取了 150 条真实警报。为了确定正确的判断结果——不依赖任何单一系统的偏见——我们让几位实力雄厚的独立人工智能审核员对每条警报进行盲审,然后将这些判断结果与人类安全专家的标签进行比对。这样,我们就为每条警报都提供了一个可靠的参考依据。

然后我们找到了原始生产结果与参考结果不一致的警报——这些都是分析师会发现并纠正的典型错误。对于每一个警报,我们都像你们团队每天做的那样:将更正结果记录下来,作为机构知识。然后,我们以两种方式重新运行了故障排查——一种是不使用记忆,另一种是使用记忆——并将每次结果与参考结果进行比较。


结果

在这些已纠正的警报中,与正确判决相符的决策比例从没有记忆时的约 13% 增加到有记忆时的约 52%。

一旦系统从反馈中学习,正确率大约会提高四倍。

简单来说:当我们教会系统如何应对错误时,它下次遇到类似警报时,正确处理的概率会大大提高。金字塔式反馈中的第四层级并非徒有其表,而是能够切实改善结果。

务实派的附注——因为我承诺过要务实:这些数据来自内部针对一组经过修正的警报进行A/B测试的结果,并非生产环境中的实际效果保证。我们仍在验证这种效果在更广泛的日常流量中的适用范围。但其核心机制——反馈输入,优化输出——已不再是空谈,而是实实在在的衡量标准。


这对你来说为什么重要? SOC

而且,由于每一项学习成果都源于人类的决策,所以这并非一个黑箱。你总能查看决策的依据——并推翻它。这种自主性充分尊重你的意见,并允许它引导机器。

反馈依然是动力——现在多了个衡量标准。

一年前,“反馈是动力”还只是一种信念。如今,它已成为一个数字。而且我们并未止步:下一步是让分析师预先训练系统​​——主动描述他们的环境,而不是一次只处理一个警报——这样,机器就能在进入系统前就了解你的补丁服务器、客户机分区和服务帐户。

此 SOC 它本身不会变得更聪明。它需要向分析师学习才能变得更聪明,分析师知道何时应该引导它,何时应该否决它,以及何时应该告诉它不要重蹈覆辙。

去年我提出了这个观点。今年我可以证明这一点。

参见星际赛博人增强代理 SOC ——包括机构记忆——在实践中。 预约演示 或者与您的 Stellar Cyber​​ 代表谈谈自主系统 SOC 添加在。

滚动到顶部