Vor einem Jahr habe ich argumentiert. Dieses Jahr haben wir es gemessen.
Letzten Sommer schrieb ich über die Einflusspyramide — die Idee, dass in einem Mensch-erweiterten SOC, Analystenfeedback ist nicht immer gleichwertig. Das Klicken auf „Falsch positiv“ ist Stufe 1. Es dient der Verschönerung der Benutzeroberfläche. Aber „FP, da powershell.exe auf diesem Host die Patch-Automatisierung durchführt.“ — Das ist Stufe 4. Das ist kein Taggen, das ist Lehren.
Ich beendete diesen Beitrag mit einem Satz, an den ich glaubte, den ich aber noch nicht beweisen konnte:
Das SOC wird klüger, indem er von seinem besten Lehrmeister lernt: dem Analysten, der weiß, wann er anstoßen, wann er eingreifen und wann er Dem System beibringen, denselben Fehler nicht zweimal zu machen.
Wir sind von der Vision überzeugt, aber realistisch, was den Weg dorthin angeht. Deshalb haben wir dieses Jahr den unglamourösen Teil erledigt: Wir haben den Mechanismus entwickelt, der das Feedback der vierten Ebene weiterleitet – das institutionelle Gedächtnis – und anschließend ein Experiment durchgeführt, um seine Wirksamkeit zu überprüfen.
Ja, das stimmt. Hier ist die Quittung.
Der Mechanismus: Rückkopplung, die sich vorwärts ausbreitet
Das Speicherelement macht aus einer einmaligen Korrektur eine nachhaltige Veränderung. Wenn ein Analyst ein Urteil mit einer nachvollziehbaren Begründung revidiert, speichert die Plattform diese Begründung und wendet sie auf die nächste passende Warnung an. Nicht als starre Regel, die blindlings greift – sondern als Orientierungshilfe. Die KI wägt die Faktoren ab; die Entscheidung liegt weiterhin beim Analysten. Ein sanfter Impuls, kein Eingriff in die Entscheidungsfindung.
Das Versprechen ist einfach: Man muss dem System nur einmal beibringen, dass es den Fehler nicht wiederholt. Die Frage war immer, ob das auch in der Praxis zutrifft.
Der Test
Wir wollten keine Demo. Wir wollten eine Zahl, der wir selbst vertrauen konnten.
Wir haben 150 reale Warnmeldungen aus einer Produktionsumgebung analysiert. Um die korrekte Bewertung zu gewährleisten – ohne uns von der Voreingenommenheit eines einzelnen Systems leiten zu lassen – haben wir mehrere unabhängige KI-Prüfer jede Warnmeldung anonym bewerten lassen und diese Bewertungen anschließend mit den Kennzeichnungen eines menschlichen Sicherheitsexperten abgeglichen. Dadurch erhielten wir für jede Warnmeldung eine verlässliche Referenz.
Dann identifizierten wir die Warnmeldungen, bei denen das ursprüngliche Produktionsurteil von der Referenz abwich – konkrete Beispiele für Fehler, die Analysten erkennen und korrigieren. Für jede dieser Meldungen gingen wir genauso vor wie Ihr Team täglich: Wir erfassten die Korrektur als internes Wissen. Anschließend führten wir die Triage auf zwei Arten erneut durch – einmal ohne und einmal mit Speicherung der Ergebnisse – und verglichen jedes Ergebnis mit dem Referenzurteil.
Das Ergebnis
Bei den korrigierten Warnmeldungen stieg der Anteil der Entscheidungen, die mit dem korrekten Ergebnis übereinstimmten, von etwa 13 % ohne Speicherfunktion auf etwa 52 % mit Speicherfunktion.
Etwa viermal so oft richtig , sobald das System aus dem Feedback gelernt hatte.
Einfach ausgedrückt: Wenn wir dem System einen Fehler beibrachten, war es viel wahrscheinlicher, dass es beim nächsten Mal, wenn eine ähnliche Warnung auftrat, den Fehler korrekt erkannte. Das Feedback der Stufe 4 aus dieser Pyramide ist nicht nur dekorativ. Es führt messbar zu besseren Ergebnissen.
Anmerkung von Realist – denn ich hatte es versprochen: Diese Zahlen stammen aus internen A/B-Tests mit einem kontrollierten Satz korrigierter Warnmeldungen und stellen keine Produktionsgarantie dar. Wir prüfen noch, inwieweit sich der Effekt auf den breiteren, alltäglichen Datenverkehr auswirkt. Der Kernmechanismus – Feedback rein, bessere Ergebnisse raus – ist jedoch keine Behauptung mehr, sondern messbar.
Warum das in Ihrem Leben wichtig ist SOC
- Der Lärm, den Sie bereits ignoriert haben, hört auf, wiederzukommen. Weniger wiederholte Fehlalarme bedeuten, dass die Aufmerksamkeit auf das gerichtet wird, was wirklich neu ist.
- Das Wissen Ihrer leitenden Analysten überdauert ihren Tod. Ihr Verständnis Ihrer Umgebung wird zu dauerhaftem, geregeltem Wissen – nicht zu einer Stammeserinnerung, die mit dem nächsten Personalwechsel verloren geht.
- Es verstärkt sich. Je länger Ihr Team mit dem System arbeitet, desto besser spiegelt es Ihre spezifische Umgebung wider. Das ist ein Wettbewerbsvorteil, der mit der Nutzung wächst.
- MSSPs erhalten es pro Kunde. Das Wissen ist auf einen einzelnen Mandanten beschränkt und streng isoliert – der Kontext jedes Kunden schärft seine eigene Priorisierung und es gibt niemals Überschneidungen.
Und da jede gelernte Information auf eine menschliche Entscheidung zurückgeht, ist das Ganze keine Blackbox. Sie können jederzeit nachvollziehen, was zu einem Urteil geführt hat – und es gegebenenfalls korrigieren. Autonomie, die Ihre Eingaben so sehr respektiert, dass sie die Maschine steuert.
Feedback ist nach wie vor Treibstoff – jetzt mit einem Messinstrument.
Vor einem Jahr war „Feedback ist Treibstoff“ noch eine Überzeugung. Jetzt ist es eine Zahl. Und wir sind noch nicht am Ziel: Im nächsten Schritt sollen Analysten das System von vornherein anlernen – indem sie ihre Umgebung proaktiv beschreiben, anstatt jede Warnung einzeln zu bearbeiten. So kennt das System bereits Ihre Patch-Server, Ihre Gastsegmente und Ihre Servicekonten.
Das SOC Es wird nicht von selbst intelligenter. Es wird intelligenter, indem es von dem Analysten lernt, der weiß, wann er einen Anstoß geben, wann er eingreifen und wann er ihm beibringen muss, denselben Fehler nicht zweimal zu machen.
Letztes Jahr habe ich das behauptet. Dieses Jahr kann ich es beweisen.
Siehe den Stellar Cyber Human-Augmented Agentic SOC — einschließlich des institutionellen Gedächtnisses — in Aktion. Demo anfordern oder sprechen Sie mit Ihrem Stellar Cyber-Vertreter über das autonome System. SOC Add-on.
