1년 전 저는 어떤 주장을 펼쳤습니다. 올해 우리는 그것을 측정했습니다.
지난 여름에 저는 ~에 대해 글을 썼습니다. 영향력의 피라미드 — 인간 증강 환경에서의 아이디어 SOC, 모든 분석가의 피드백이 동일한 가치를 지니는 것은 아닙니다. "오탐"을 클릭하는 것은 1단계입니다. 인터페이스를 보기 좋게 꾸며줄 뿐입니다. 하지만 "FP는 powershell.exe가 이 호스트에서 패치 자동화를 실행하기 때문에 발생합니다." — 그건 4단계예요. 태그하는 게 아니라... 가르치는.
나는 그 글을 내가 믿지만 아직 증명할 수는 없는 한 문장으로 마무리했다.
The SOC 시스템은 최고의 스승, 즉 언제 살짝 자극해야 할지, 언제 개입을 중단해야 할지, 언제 멈춰야 할지 아는 분석가로부터 배우면서 더욱 똑똑해집니다. 시스템이 같은 실수를 두 번 다시 하지 않도록 가르칩니다.
비전에 대해서는 낙관적이고, 그 비전을 실현하는 방법에 대해서는 현실적입니다. 그래서 올해 우리는 화려하지는 않지만 중요한 일을 해냈습니다. 바로 4단계 피드백, 즉 조직 기억이 다음 단계로 전달될 수 있는 메커니즘을 구축하고, 그것이 실제로 효과가 있는지 실험해 보는 것입니다.
네, 그렇습니다. 여기 영수증이 있습니다.
메커니즘: 앞으로 전달되는 피드백
메모리는 일회성 수정을 지속적인 변화로 바꾸는 핵심 요소입니다. 분석가가 타당한 이유로 기존 판단을 뒤집으면, 플랫폼은 해당 근거를 저장해 다음 매칭 알림에 적용합니다. 이는 맹목적으로 적용되는 엄격한 규칙이 아니라, 일종의 영향력 행사입니다. AI가 이를 고려하면 최종 결정은 분석가가 내립니다. 마치 운전대를 살짝 미는 것과 같지, 손을 도로에서 떼는 것과는 다릅니다.
핵심은 간단합니다. 시스템에 한 번만 학습시키면 같은 실수를 반복하지 않는다는 것입니다. 하지만 문제는 실제로 측정했을 때 그 약속이 지켜지는지 여부였습니다.
시험
데모 영상이 아니었어요. 우리가 직접 확인할 수 있는 수치를 원했습니다.
그래서 우리는 실제 운영 환경에서 발생한 150개의 경고를 수집했습니다. 특정 시스템의 편향에 의존하지 않고 올바른 판단을 내리기 위해 , 여러 명의 강력하고 독립적인 AI 검토자가 각 경고를 블라인드 테스트 방식으로 평가한 후, 인간 보안 전문가의 라벨을 통해 그 판단을 보완했습니다. 이를 통해 모든 경고에 대한 신뢰할 수 있는 기준을 확보할 수 있었습니다.
그런 다음 원래 생산 결과가 참조 결과와 일치하지 않는 경고를 발견했습니다 . 이는 분석가가 발견하고 수정하는 실제 오류 사례입니다. 각 사례에 대해 저희는 귀사 팀이 매일 하는 것과 똑같이 수정 사항을 조직 지식으로 기록했습니다. 그리고 두 가지 방식으로, 즉 메모리를 사용하지 않은 경우 와 사용한 경우 로 분류 작업을 다시 실행하고 각 결과를 참조 결과와 비교했습니다.
결과
수정된 경고에 따르면, 정확한 판결과 일치하는 결정의 비율은 기억 기능이 없을 때 약 13%에서 기억 기능이 있을 때 약 52%로 증가했습니다.
시스템이 피드백을 통해 학습한 후에는 대략 네 배 더 자주 정답을 맞혔습니다 .
쉽게 말해, 시스템에 오류를 학습시키면 다음에 비슷한 경고를 받았을 때 제대로 처리할 가능성이 훨씬 높아집니다. 피라미드 구조의 4단계 피드백은 단순히 장식용이 아닙니다. 결과에 실질적인 변화를 가져옵니다.
현실적인 관점에서 덧붙이자면(약속했으니), 이 수치들은 수정된 알림들을 대상으로 한 내부 A/B 테스트 결과이며, 실제 운영 환경에서의 결과를 보장하는 것은 아닙니다. 더 광범위한 일상 트래픽에 걸쳐 효과가 얼마나 지속되는지는 아직 검증 중입니다. 하지만 핵심 메커니즘, 즉 피드백을 입력받아 더 나은 결과를 도출하는 방식은 더 이상 주장이 아니라 측정된 결과입니다.
이것이 당신에게 중요한 이유 SOC
- 이미 무시했던 소음은 더 이상 돌아오지 않습니다. 잘못된 양성 반응이 반복되는 횟수가 줄어들면 진정으로 새로운 것에 관심이 집중될 수 있습니다.
- 선임 분석가들의 지식은 그들이 세상을 떠난 후에도 영원히 남습니다. 그들이 당신의 환경을 이해하는 방식은 오래 지속되고 체계적으로 관리되는 지식이 되며, 인력 교체 시 사라지는 단순한 부족적 기억이 아닙니다.
- 그것은 누적됩니다. 팀이 시스템을 오래 사용할수록 시스템은 해당 팀의 환경을 더욱 정확하게 반영하게 됩니다. 이는 사용량이 늘어날수록 강해지는 경쟁 우위 요소입니다.
- MSSP는 고객 수에 따라 수익을 얻습니다. 지식은 엄격한 격리 하에 단일 테넌트에 한정됩니다. 각 고객의 상황은 자체적인 우선순위 결정 과정을 더욱 정교하게 만들어주며, 다른 고객과의 정보는 절대 공유되지 않습니다.
모든 학습된 항목은 인간의 결정에 기반하기 때문에 이 모든 과정은 블랙박스가 아닙니다. 어떤 요인이 판단에 영향을 미쳤는지 항상 확인할 수 있으며, 필요에 따라 판단을 번복할 수도 있습니다. 사용자의 의견을 존중하여 기계를 이끌어가는 자율 시스템입니다.
피드백은 여전히 원동력입니다. 이제는 측정 도구까지 갖추게 되었죠.
1년 전만 해도 "피드백은 원동력"이라는 말은 신념이었지만, 이제는 수치로 표현됩니다. 그리고 아직 끝이 아닙니다. 다음 단계는 분석가들이 시스템에 환경을 미리 학습시킬 수 있도록 하는 것입니다 . 즉, 한 번에 하나의 경고만 발생하는 것이 아니라 사전에 환경을 설명함으로써 시스템이 패치 서버, 게스트 세그먼트, 서비스 계정 등을 이미 알고 있도록 하는 것입니다.
The SOC 시스템은 저절로 똑똑해지지 않습니다. 시스템은 분석가의 도움을 받아 학습함으로써 똑똑해지는 것입니다. 분석가는 언제 시스템을 자극하고, 언제 시스템을 재정의하며, 언제 같은 실수를 반복하지 않도록 가르쳐야 하는지 알고 있습니다.
작년에 저는 그렇게 주장했습니다. 올해는 그것을 증명할 수 있습니다.
뛰어난 사이버 인간 증강 에이전트를 확인하세요 SOC — 제도적 기억을 포함하여 — 실제로 적용되는 모습입니다. 데모 요청 또는 Stellar Cyber 담당자에게 자율 시스템에 대해 문의하십시오. SOC 부가 기능.
