Da influência à evidência: ensinando o SOC Não cometer o mesmo erro duas vezes.

Há um ano, apresentei um argumento. Este ano, nós o avaliamos.

No verão passado, escrevi sobre o Pirâmide da Influência — a ideia de que em um Humano-Aumentado SOC, Nem todo feedback de analistas é igual. Clicar em “Falso Positivo” é Nível 1. Serve apenas para enfeitar a interface. Mas “FP porque o powershell.exe está executando a automação de patches neste host” — Isso é Nível 4. Isso não é etiquetagem, é ensino.

Encerrei aquela postagem com uma frase em que acreditava, mas que ainda não conseguia provar:

O SOC Aprimora-se aprendendo com seu melhor professor: o analista que sabe quando incentivar, quando anular e quando... Ensinar o sistema a não cometer o mesmo erro duas vezes.

Estamos otimistas com a visão. Somos realistas quanto ao que nos levará até lá. Então, este ano, fizemos a parte menos glamorosa: construímos o mecanismo que leva adiante esse feedback de Nível 4 — a memória institucional — e então realizamos o experimento para ver se ele realmente funciona.

Sim, funciona. Aqui está o recibo.


O mecanismo: feedback que se propaga para a frente

A memória é o elemento que transforma uma correção pontual em uma mudança duradoura. Quando um analista anula um veredicto com base em uma justificativa sólida, a plataforma armazena esse raciocínio e o aplica ao próximo alerta correspondente. Não como uma regra rígida que é acionada cegamente, mas sim como uma influência. A IA pondera a decisão; o analista ainda a toma. Um pequeno ajuste no volante, não uma intervenção brusca.

A promessa é simples: ensine o sistema uma vez e ele não deverá repetir o erro. A questão sempre foi se isso se confirmaria na prática.


O teste

Não queríamos uma demonstração. Queríamos um número em que pudéssemos confiar.

Então, selecionamos 150 alertas reais de um ambiente de produção. Para decidir qual seria o veredito correto — sem nos basearmos no viés de nenhum sistema específico —, contamos com a avaliação imparcial de vários revisores de IA experientes e independentes para cada alerta, e, em seguida, validamos esses julgamentos com as classificações de um especialista em segurança humano. Isso nos forneceu uma referência confiável para cada alerta.

Em seguida, encontramos os alertas em que o veredicto de produção original divergia da referência — exemplos reais do tipo de erro que um analista detecta e corrige. Para cada um deles, fizemos exatamente o que sua equipe faz todos os dias: registramos a correção como conhecimento institucional. E executamos a triagem novamente de duas maneiras — sem memória e com memória — comparando cada resultado com o veredicto de referência.


O resultado

Nos alertas corrigidos, a proporção de decisões que coincidiram com o veredicto correto passou de cerca de 13% sem memória para cerca de 52% com memória.

Aproximadamente quatro vezes mais frequentemente correto , depois que o sistema aprendeu com o feedback.

Em termos simples: quando ensinamos ao sistema sobre um erro, ele teve muito mais probabilidade de acertar na próxima vez que visse um alerta semelhante. O feedback de Nível 4 dessa pirâmide não é meramente decorativo. Ele impacta os resultados de forma mensurável.

Nota do realista — porque prometi ser realista: esses números vêm de testes A/B internos em um conjunto controlado de alertas corrigidos, não de uma garantia de produção. Ainda estamos validando o alcance do efeito em um tráfego mais amplo e cotidiano. Mas o mecanismo principal — feedback recebido, veredictos melhores recebidos — não é mais uma afirmação. É uma mensuração.


Por que isso é importante para você? SOC

E como cada item aprendido remonta a uma decisão humana, nada disso é uma caixa preta. Você sempre pode ver o que embasou um veredicto — e anulá-lo. Autonomia que respeita sua contribuição o suficiente para permitir que ela guie a máquina.

O feedback continua sendo combustível — agora com um indicador.

Há um ano, "feedback é combustível" era uma convicção. Agora é um número. E não paramos por aí: o próximo passo é permitir que os analistas "ensinem" o sistema antecipadamente — descrevendo seu ambiente proativamente, em vez de um alerta por vez — para que a máquina já conheça seus servidores de patches, seus segmentos de máquinas virtuais e suas contas de serviço.

O SOC Não fica mais inteligente sozinha. Ela fica mais inteligente aprendendo com o analista que sabe quando dar um empurrãozinho, quando intervir e quando ensiná-la a não cometer o mesmo erro duas vezes.

No ano passado eu argumentei isso. Este ano eu posso provar.

Veja o agente cibernético estelar humano-aumentado SOC — incluindo a memória institucional — em ação. Solicite uma demonstração ou fale com seu representante da Stellar Cyber ​​sobre o Autônomo SOC adicionar.

Voltar ao Topo