De l'influence aux preuves : enseigner SOC Ne pas commettre deux fois la même erreur

Il y a un an, j'ai avancé un argument. Cette année, nous l'avons mesuré.

L'été dernier, j'ai écrit à propos de Pyramide d'influence — l'idée que dans un monde augmenté par l'humain SOC, Tous les commentaires des analystes ne se valent pas. Cliquer sur « Faux positif » correspond au niveau 1. Cela embellit l'interface. Mais « FP car powershell.exe est l'automatisation des correctifs sur cet hôte » — C'est le niveau 4. Ce n'est pas du marquage, c'est enseignement.

J'ai conclu ce message par une phrase à laquelle je croyais, mais que je ne pouvais pas encore prouver :

Le SOC devient plus intelligent en apprenant de son meilleur professeur : l’analyste qui sait quand donner un coup de pouce, quand intervenir et quand… Apprendre au système à ne pas répéter deux fois la même erreur.

Optimistes quant à la vision. Réalistes quant aux moyens d'y parvenir. Alors cette année, nous nous sommes attelés à la partie ingrate : nous avons mis en place le mécanisme qui assure la transmission des retours d'information de niveau 4 — la mémoire institutionnelle — et nous avons ensuite mené l'expérience pour vérifier son efficacité.

Oui. Voici le reçu.


Le mécanisme : une rétroaction qui se propage vers l'avant

La mémoire est l'élément qui transforme une correction ponctuelle en un changement durable. Lorsqu'un analyste nuance un verdict en apportant une justification valable, la plateforme conserve ce raisonnement et l'applique à la prochaine alerte correspondante. Non pas comme une règle absolue appliquée aveuglément, mais comme une influence. L'IA prend en compte l'élément ; l'analyste garde le contrôle de la décision. Un coup de pouce, pas une main tendue.

La promesse est simple : il suffit d’enseigner au système une seule fois pour qu’il ne répète pas l’erreur. La question a toujours été de savoir si cela se vérifie à l’épreuve des faits.


Le test

Nous ne voulions pas d'une démonstration. Nous voulions un chiffre auquel nous pourrions nous fier.

Nous avons donc analysé 150 alertes réelles issues d'un environnement de production. Afin de déterminer le verdict approprié , sans être influencés par les biais d'un système en particulier, plusieurs experts en IA indépendants et performants ont évalué chaque alerte à l'aveugle, puis ont validé ces évaluations par l'avis d'un expert en sécurité humain. Nous avons ainsi obtenu une référence fiable pour chaque alerte.

Nous avons ensuite identifié les alertes où le verdict initial de la production différait de la référence — des exemples concrets d'erreurs qu'un analyste repère et corrige. Pour chacune d'elles, nous avons procédé comme votre équipe au quotidien : nous avons intégré la correction dans notre savoir-faire. Puis, nous avons relancé le triage de deux manières — sans et avec mémoire — en comparant chaque résultat au verdict de référence.


Le résultat

Sur ces alertes corrigées, la part des décisions correspondant au verdict correct est passée d' environ 13 % sans mémoire à environ 52 % avec mémoire.

Environ quatre fois plus souvent juste , une fois que le système avait appris des retours d'information.

En clair : lorsque nous avons appris au système à identifier une erreur, il était bien plus susceptible de la corriger lors de la détection d'une alerte similaire. Le retour d'information de niveau 4 de cette pyramide n'est pas superflu. Il a un impact concret et mesurable sur les résultats.

Note de Realist — car je m'y étais engagé : ces chiffres proviennent de tests A/B internes réalisés sur un ensemble contrôlé d'alertes corrigées, et non d'une garantie de production. Nous évaluons encore l'impact de ces résultats sur un trafic quotidien plus large. Mais le principe fondamental — retours d'information pour des diagnostics plus précis — n'est plus une affirmation, mais une réalité mesurée.


Pourquoi cela est important dans votre SOC

Et comme chaque élément appris est lié à une décision humaine, rien n'est opaque. Vous pouvez toujours consulter les éléments qui ont motivé une décision et la modifier. Une autonomie qui respecte suffisamment votre contribution pour guider la machine.

Le retour d'information reste un carburant – désormais avec une jauge.

Il y a un an, « le feedback est essentiel » était une conviction. Aujourd'hui, c'est un chiffre. Et ce n'est pas fini : la prochaine étape consiste à permettre aux analystes de paramétrer le système en amont — en décrivant leur environnement de manière proactive plutôt que de recevoir une alerte à la fois — afin que le système connaisse déjà vos serveurs de correctifs, vos segments invités et vos comptes de service.

Le SOC Le système ne devient pas plus intelligent par lui-même. Il le devient en apprenant de l'analyste qui sait quand intervenir, quand prendre le dessus et quand lui apprendre à ne pas répéter la même erreur.

L'an dernier, j'ai soutenu cela. Cette année, je peux le démontrer.

Voir l'agent cybernétique stellaire augmenté par l'humain SOC — y compris la mémoire institutionnelle — en action. Démo en visio ou discutez avec votre représentant Stellar Cyber ​​au sujet de l'autonomie SOC add-on.

Remonter en haut