Rok temu przedstawiłem argument. W tym roku go zmierzyliśmy.
Ostatniego lata pisałem o Piramida wpływów — pomysł, że w świecie rozszerzonym o człowieka SOC, nie wszystkie opinie analityków są sobie równe. Kliknięcie „Fałszywie pozytywny” to poziom 1. Ozdabia interfejs. Ale „FP, ponieważ powershell.exe automatyzuje łatki na tym hoście” — to jest poziom 4. To nie jest tagowanie, to nauczanie.
Zakończyłem ten wpis zdaniem, w które wierzyłem, lecz którego nie mogłem jeszcze udowodnić:
SOC staje się mądrzejszy, ucząc się od swojego najlepszego nauczyciela: analityka, który wie, kiedy szturchnąć, kiedy zignorować i kiedy naucz system, aby nie popełniał tego samego błędu dwa razy.
Optymiści co do wizji. Realiści co do tego, co nas tam doprowadzi. W tym roku zajęliśmy się mniej efektowną częścią: zbudowaliśmy mechanizm, który przekazuje dalej tę informację zwrotną z czwartego poziomu – pamięć instytucjonalną – a następnie przeprowadziliśmy eksperyment, aby sprawdzić, czy to rzeczywiście działa.
Tak. Oto paragon.
Mechanizm: sprzężenie zwrotne, które przenosi się do przodu
Pamięć to element, który przekształca jednorazową korektę w trwałą zmianę. Kiedy analityk podważa werdykt, podając prawdziwy powód, platforma zachowuje to uzasadnienie i stosuje je do kolejnego pasującego alertu. Nie jako sztywną regułę, która działa bezmyślnie — jako wpływ. Sztuczna inteligencja rozważa je, a analityk i tak podejmuje decyzję. Szturchnięcie kierownicy, a nie oderwanie ręki od drogi.
Obietnica jest prosta: naucz system raz, a nie powtórzy błędu. Pytanie zawsze brzmiało, czy to się sprawdzi, gdy się to zmierzy.
Test
Nie chcieliśmy wersji demonstracyjnej. Chcieliśmy numeru, któremu sami będziemy ufać.
Zebraliśmy więc 150 prawdziwych alertów ze środowiska produkcyjnego. Aby zdecydować, jaki powinien być właściwy werdykt – bez opierania się na uprzedzeniach pojedynczego systemu – poprosiliśmy kilku doświadczonych, niezależnych recenzentów AI o ślepą ocenę każdego alertu, a następnie powiązaliśmy te oceny z etykietami ekspertów ds. bezpieczeństwa. Dało nam to wiarygodny punkt odniesienia dla każdego alertu.
Następnie znaleźliśmy alerty, w których pierwotny werdykt produkcyjny nie zgadzał się z tym odniesieniem – prawdziwe przykłady błędów, które analityk wychwytuje i koryguje. W każdym przypadku zrobiliśmy dokładnie to, co robi Twój zespół na co dzień: zarejestrowaliśmy korektę jako wiedzę instytucjonalną. Następnie przeprowadziliśmy triaż na dwa sposoby – bez pamięci i z pamięcią – porównując każdy wynik z werdyktem referencyjnym.
Wynik
Po uwzględnieniu tych skorygowanych alertów odsetek decyzji zgodnych z prawidłowym werdyktem wzrósł z około 13% bez pamięci do około 52% z pamięcią.
Około cztery razy częściej odpowiedź była prawidłowa , gdy system wyciągnął wnioski z informacji zwrotnych.
Mówiąc wprost: kiedy informowaliśmy system o błędzie, znacznie zwiększało się prawdopodobieństwo, że następnym razem, gdy zobaczył podobny alert, zrobi to poprawnie. Informacja zwrotna z poziomu 4 z tej piramidy nie jest ozdobą. Wymiernie wpływa na wyniki.
Przypis realisty – bo obiecałem nim być: te dane pochodzą z wewnętrznych testów A/B na kontrolowanym zestawie skorygowanych alertów, a nie z gwarancji produkcyjnych. Wciąż sprawdzamy, jak daleko ten efekt sięga w szerszym, codziennym ruchu. Ale główny mechanizm – informacja zwrotna, lepsze werdykty – nie jest już twierdzeniem. To pomiar.
Dlaczego to ma znaczenie w Twoim przypadku SOC
- Hałas, który już ignorowałeś, przestaje powracać. Mniejsza liczba powtarzających się fałszywych wyników oznacza, że uwaga skupia się na tym, co naprawdę nowe.
- Wiedza Twoich starszych analityków jest ważniejsza niż ich samych. Ich zrozumienie twojego otoczenia staje się trwałą, uporządkowaną wiedzą — nie jest to pamięć plemienna, która znika w mgnieniu oka.
- To się kumuluje. Im dłużej Twój zespół korzysta z systemu, tym bardziej odzwierciedla on Twoje środowisko. To fosa, która rośnie wraz z użytkowaniem.
- Dostawcy usług MSSP otrzymują je za każdego klienta. Wiedza jest przypisana do pojedynczego klienta i ściśle izolowana — kontekst każdego klienta wyostrza jego własną selekcję i nigdy się nie przenika.
A ponieważ każda nauczona rzecz ma swoje źródło w ludzkiej decyzji, nic z tego nie jest czarną skrzynką. Zawsze możesz sprawdzić, co wpłynęło na werdykt — i go unieważnić. Autonomia, która szanuje Twój wkład na tyle, by pozwolić mu kierować maszyną.
Informacja zwrotna to nadal paliwo — teraz z miernikiem
Rok temu przekonanie, że „informacja zwrotna to paliwo”, było powszechne. Teraz to liczba. I to nie koniec: kolejnym krokiem jest umożliwienie analitykom wcześniejszego nauczenia systemu – proaktywnego opisywania środowiska zamiast wysyłania pojedynczych alertów – aby maszyna od razu znała serwery poprawek, segmenty gości i konta usług.
SOC Nie staje się mądrzejszy sam z siebie. Staje się mądrzejszy, ucząc się od analityka, który wie, kiedy go szturchnąć, kiedy zignorować i kiedy nauczyć go, żeby nie popełniał tego samego błędu dwa razy.
W zeszłym roku to argumentowałem. W tym roku mogę to udowodnić.
Zobacz agenta Stellar Cyber Human-Augmented SOC — w tym pamięć instytucjonalna — w działaniu. Poproś o prezentację lub porozmawiaj ze swoim przedstawicielem Stellar Cyber na temat autonomicznego SOC dodatek.
