Рік тому я висунув аргумент. Цього року ми це виміряли.
Минулого літа я писав про Піраміда впливу — ідея про те, що в доповненій людиною SOC, Не всі відгуки аналітиків однакові. Натискання кнопки «Хибнопозитивний результат» – це перший рівень. Це прикрашає інтерфейс. Але «FP, оскільки powershell.exe є автоматизацією виправлень на цьому хості» — це 4-й рівень. Це не мічення, це викладання.
Я закінчив той пост фразою, в яку вірив, але яку ще не міг довести:
Команда SOC стає розумнішим, навчаючись у свого найкращого вчителя: аналітика, який знає, коли підштовхнути, коли відхилити, а коли навчити систему не робити ту саму помилку двічі.
Оптимістично налаштовані. Реалістично налаштовані щодо того, що нас туди приведе. Тож цього року ми зробили не надто привабливу частину: створили механізм, який передає цей зворотний зв'язок 4-го рівня — інституційну пам'ять — а потім провели експеримент, щоб побачити, чи він насправді працює.
Так. Ось квитанція.
Механізм: зворотний зв'язок, що поширюється вперед
Пам'ять – це та частина, яка перетворює одноразову корекцію на тривалу зміну. Коли аналітик скасовує вердикт, наводячи справжню причину, платформа зберігає це міркування та застосовує його до наступного відповідного сповіщення. Не як жорстке правило, яке спрацьовує наосліп, а як вплив. Штучний інтелект зважує це; аналітик все одно приймає рішення. Поштовх до керма, а не відрив руки від дороги.
Обіцянка проста: навчіть систему один раз, і вона не повинна повторювати помилку. Питання завжди полягало в тому, чи витримає це випробування.
Тест
Нам не потрібна була демоверсія. Нам потрібна була цифра, якій ми самі могли б довіряти.
Отже, ми взяли 150 реальних сповіщень з робочого середовища. Щоб вирішити, яким має бути правильний вердикт — не спираючись на упередженість жодної окремої системи — ми залучили кількох сильних, незалежних експертів зі штучного інтелекту, які оцінювали кожне сповіщення наосліп, а потім закріплювали ці оцінки мітками експерта з людської безпеки. Це дало нам надійне посилання для кожного сповіщення.
Потім ми знайшли сповіщення, де початковий вердикт виробництва не узгоджувався з цим еталонним значенням — реальні приклади того типу помилок, які аналітик виявляє та виправляє. Для кожного з них ми зробили саме те, що ваша команда робить щодня: зафіксували виправлення як інституційні знання. І ми повторно провели сортування двома способами — без пам’яті та з пам’яттю — порівнюючи кожен результат з еталонним вердиктом.
Результат
У цих виправлених сповіщеннях частка рішень, які відповідали правильному вердикту, зросла з приблизно 13% без пам'яті до приблизно 52% з пам'яттю.
Приблизно в чотири рази частіше , як тільки система навчилася на зворотному зв'язку.
Простіше кажучи: коли ми пояснювали системі помилку, вона мала набагато більше шансів зробити її правильно наступного разу, коли побачить подібне сповіщення. Зворотній зв'язок четвертого рівня з цієї піраміди не є декоративним. Він помітно впливає на результати.
Примітка реаліста — бо я обіцяв бути одним із них: ці цифри отримані в результаті внутрішнього A/B-тестування контрольованого набору виправлених сповіщень, а не гарантії ефективності. Ми все ще перевіряємо, наскільки цей ефект поширюється на ширший, повсякденний трафік. Але основний механізм — зворотний зв'язок, кращі висновки — це вже не твердження. Це вимірювання.
Чому це важливо для вас SOC
- Шум, який ви вже відкинули, перестає повертатися. Менша кількість повторних хибнопозитивних результатів означає, що увага зосереджується на тому, що справді нового.
- Знання ваших старших аналітиків переживають їх самих. Їхнє розуміння вашого оточення стає міцним, керованим знанням, а не племінною пам'яттю, яка зникає при зміні складу.
- Це поєднується. Чим довше ваша команда працює з системою, тим більше вона відображає саме ваше середовище. Це рів, який зростає з використанням.
- Постачальники послуг MSSP отримують це за кожного клієнта. Знання обмежуються одним клієнтом із суворою ізоляцією — контекст кожного клієнта загострює його власне сортування та ніколи не перетинається.
А оскільки кожен вивчений елемент є результатом людського рішення, ніщо з цього не є чорною скринькою. Ви завжди можете побачити, що вплинуло на вердикт — і скасувати його. Автономія, яка достатньо поважає ваш внесок, щоб дозволити йому керувати машиною.
Зворотній зв'язок все ще є паливом — тепер із датчиком
Рік тому переконанням було «зворотний зв’язок – це паливо». Тепер це число. І ми не закінчили: наступний крок – дозволити аналітикам навчити систему заздалегідь – описуючи своє середовище проактивно, а не по одному сповіщенню за раз – щоб машина вже знала ваші сервери патчів, ваші гостьові сегменти, ваші облікові записи служб.
Команда SOC не стає розумнішим сам по собі. Він стає розумнішим, навчаючись у аналітика, який знає, коли підштовхнути, коли ігнорувати та коли навчити його не робити ту саму помилку двічі.
Минулого року я це стверджував. Цього року можу це показати.
Дивіться на Зоряного Кібер-Агента, Доповненого Людиною SOC — включаючи інституційну пам’ять — у дії. Запросити демо або поговоріть зі своїм представником Stellar Cyber щодо автономної SOC надбудова
