Безпека агентів на базі штучного інтелекту: як безпечно впроваджувати автономні агенти у вашій SOC

Безпека агентного штучного інтелекту стала визначальним викликом для SOC команди, що впроваджують автономні робочі процеси. Розгортання агентів, які планують, досліджують та діють без постійного людського керівництва, забезпечує реальні операційні переваги, але також виявляється проблеми безпеки агентного ШІ що традиційні фреймворки просто не були створені для вирішення цієї проблеми. Важливо правильно підібрати архітектуру.
#заголовок_зображення

Як штучний інтелект та машинне навчання покращують кібербезпеку підприємств

З'єднання всіх точок у складному ландшафті загроз

#заголовок_зображення

Відчуйте безпеку на базі штучного інтелекту в дії!

Відкрийте для себе передовий штучний інтелект Stellar Cyber ​​для миттєвого виявлення загроз та реагування на них. Заплануйте свою демонстрацію вже сьогодні!

Чому SOC Команди звертаються до агентного ШІ

Тиск на SOC команди перейшли від управління складністю до управління масштабом. Обсяги сповіщень зростали швидше, ніж цикли найму, черги розслідувань поглибилися, а MTTR став показником зали ради директорів, а не операційною приміткою.

Коли гучність сповіщень стає структурною проблемою

Сучасні корпоративні середовища генерують більше телеметрії безпеки, ніж будь-яка команда аналітиків може обробити вручну. Співвідношення сигналу до доступної уваги докорінно змінилося, і аналітики більшості організацій витрачають основну частину свого робочого часу на сортування сповіщень, які виявляються шумом, залишаючи справжні загрози в чергах довше, ніж може витримати будь-яка програма безпеки.

Роками стандартною відповіддю було додавання інструментів: більше правил виявлення, більше SIEM запити, більше логіки кореляції. Нашарування більшої кількості правил на вже насичений робочий процес значною мірою посилило проблему, оскільки більше логіки виявлення генерує більше сповіщень, що підтримує той самий цикл.

Чим відрізняється агентний ШІ

Традиційний штучний інтелект доповнює окремі завдання: підсумовування сповіщення, оцінювання ризику або рекомендацію відповіді. Агентський ШІ виконує розслідування самостійно. Автономний агент, якому доручено попередження про фішинг, запитуватиме SIEM для пов’язаної активності, отримувати телеметрію кінцевих точок, перевіряти потоки інформації про загрози, оцінювати індикатори горизонтального руху та складати структурований вердикт за час, необхідний аналітику для відкриття першої консолі.

Агентні системи не чекають чітких вказівок на кожному кроці. Вони міркують про мету, адаптуються, коли проміжні результати змінюють картину, і передають роботу аналітикам-людям із уже сформованим контекстом. Можливості аналітиків перенаправляються на рішення, які дійсно потребують людського судження, а не на збір інформації, яку машина могла б отримати швидше. Це справжній зсув у тому, як виконується робота з безпеки, який змінює роль аналітика з основного дослідника на того, хто приймає рішення.

Ставки правильного впровадження

Тиск розгортання реальний, і він штовхає команди до швидкості, а не до структури. Автономний агент із широким доступом до інструментів та недостатнім контролем додає поверхні для атаки поряд з ефективністю. Організації, які впроваджують агентний ШІ, добре ставляться до нього як до архітектурного рішення з першого дня. Безпека агентного ШІ формує основу, від якої залежить вся операційна модель.

Чому традиційна автоматизація SOAR зазнає невдачі

ЗАЛУЧИТИ зробило справжній крок вперед: дії реагування, які не вимагали від аналітика копіювання індикаторів між консолями вручну, та методичні рекомендації, які могли ізолювати кінцеву точку або деактивувати обліковий запис без участі людини на кожному кроці. Архітектура мала сенс для середовища, для якого вона була створена. Проблема полягає в тому, що середовище загроз змінювалося швидше, ніж архітектура могла за ним встигати.

Коли підручники з правил ламаються під тиском

Схема дій SOAR – це дерево рішень з фіксованим набором гілок. Коли інцидент чітко відображається на відомий шаблон, він працює. Коли зловмисник відхиляється від цього шаблону, несподівано використовуючи легітимний інструмент, рухаючись латерально шляхом, який схема дій не враховує, або комбінуючи тактики, що перетинають області виявлення, схема дій або зупиняється, або виконує неправильну гілку. Команди безпеки зрештою отримують... автоматизовані відповіді які вирішують неправильну проблему, або з ескалаціями, які повертаються до черги ручного розгляду, яку сценарій мав би виключити. Сповіщення все одно розслідується, але тепер із додатковою затримкою та підірваною довірою до автоматизації.

Тягар налаштування, який ніколи не вирішується

Підтримка актуальності SOAR-планів є безперервною інженерною роботою. Кожне нове правило виявлення, кожне нове джерело даних і кожна зміна інфраструктури потенційно потребують оновлення плану. У швидкозмінних середовищах портфель робіт з обслуговування зростає швидше, ніж команда інженерів безпеки може його вирішити. Результатом є бібліотека планів, де зростаюча частка частково застаріла, а аналітики навчилися не довіряти автоматизації настільки, що перевіряють її результати вручну, що зводить нанівець їхню мету. Плани, розроблені для економії часу аналітиків, зрештою створюють паралельний робочий процес перевірки.

Розрив у контексті, який SOAR ніколи не мав заповнювати

Глибше обмеження є структурним. SOAR обробляє сповіщення послідовно та застосовує логіку, написану до того, як стався інцидент. Він не має механізму для синтезу контексту з різних джерел даних у режимі реального часу, не має можливості зважити важливість однієї знахідки порівняно з іншою, а також не має можливості коригувати свій підхід на основі того, що він виявляє під час розслідування. Кожна проблема безпеки агентного ШІ, яка включає неоднозначну, багатоетапну або міждоменну діяльність, виявляє саме цю прогалину. Агентний ШІ заповнює її, замінюючи дотримання правил міркуваннями. Автономний агент оцінює свої висновки на кожному кроці, відповідно коригує свій шлях розслідування та виносить вердикт, який відображає фактичний стан інциденту. Безпечні агентні системи ШІ роблять можливим такий операційний зсув, а архітектура, що їх оточує, визначає, чи витримає він реальні умови.

Реальні загрози безпеці від агентного штучного інтелекту в SOC Середовища

Загрози безпеці агентного штучного інтелекту в SOC не є теоретичними проблемами, запозиченими з дослідницьких робіт. Вони виникають безпосередньо з операційної моделі: агенти з широким доступом до інструментів, повноваженнями приймати рішення в режимі реального часу та підключеннями до інфраструктури безпеки виробничого середовища. Розуміння їх є необхідною умовою для проектування розгортання, яке витримує тиск з боку суперників.

Робочі процеси цільового сортування для оперативного введення ін'єкцій

Оперативне впровадження є однією з найбільш добре документованих загроз безпеці, спричинених агентним штучним інтелектом, і в SOC У різних середовищах це набуває певної та послідовної форми. Коли агент обробляє вхідний фішинговий електронний лист, підозрілий документ або сповіщення, що містить контент, контрольований зловмисником, цей контент може містити вбудовані інструкції, призначені для зміни поведінки агента. Добре продумана ін'єкція призначена для того, щоб зливатися з даними, які агент вже має прочитати та на які реагувати. Агент, маніпульований за допомогою оперативної ін'єкції в робочому процесі сортування, може пересилати конфіденційні дані справи на зовнішню адресу, придушувати ескалацію або ініціювати виклик інструменту, який мав на увазі зловмисник, а не очікував аналітик. Ризик зростає в середовищах, де агенти обробляють велику кількість сповіщень з мінімальною перевіркою кожного елемента людиною.

Зловживання інструментами та маніпуляції з API

Взаємодія автономних агентів із зовнішніми інструментами та API є основною частиною їхньої функції. Зловмисники можуть використовувати це, маніпулюючи виходами інструментів, вставляючи корисні навантаження через відповіді API або створюючи умови, за яких агент викликає непередбачену кінцеву точку. Агент, який довіряє виходам інструментів без перевірки, фактично стає ретранслятором для виконання інструкцій, що походять з-за меж стеку безпеки. SOC У середовищах, де агенти регулярно отримують дані з каналів розвідки загроз, платформ EDR та постачальників ідентифікаційних даних, рівень інтеграції інструментів являє собою значущу проблему безпеки для агентів у сфері штучного інтелекту, яка вимагає особливої ​​уваги під час планування розгортання.

Автономний латеральний рух між агентами

У багатоагентних архітектурах, де спеціалізовані агенти співпрацюють на різних етапах розслідування, скомпрометований агент може впливати на агентів нижче за течією. Інструкції, що передаються між агентами, несуть неявну довіру, і зловмисник, який контролює один вузол у робочому процесі, може використовувати цю позицію для перенаправлення поведінки інших. Латеральний рух між агентами посилює вплив однієї компрометації, розширюючи охоплення зловмисника через конвеєр розслідування, не запускаючи сигнали на рівні кінцевих точок, на які відстежують традиційні засоби виявлення.

Хибні петлі впевненості

Агенти можуть діяти з високою впевненістю на основі даних, які були непомітно пошкоджені. Коли джерела знань, які агент запитує під час виконання, були підроблені, процес міркування агента залишається недоторканим, тоді як його висновки стають систематично неправильними. Хибні петлі впевненості особливо важко виявити, оскільки агент поводиться нормально в усіх спостережуваних аспектах. Єдиним сигналом є якість його виводу, що вимагає активного моніторингу, а не пасивного оповіщення.

Де пісочниця вирішує ці ризики

Пісочниця обмежує можливості скомпрометованого або маніпульованого агента. Обмежуючи виконання агента контрольованим середовищем з інструментами з дозволеного списку, обмеженим доступом до мережі та перевіреними вихідними шляхами, пісочниця перетворює необмежену загрозу на обмежену. Діапазон шкоди, яку може завдати маніпульований агент, значно зменшується, коли його середовище виконання належним чином обмежене. У добре розробленій агентиці... SOC, пісочниця функціонує як структурний контроль, вбудований в архітектуру з самого початку.

Аргументи на користь доповненої людиною автономії

Швидкість та масштаб – основні аргументи на користь агентного ШІ в SOCАвтономний агент, який може ізолювати кінцеві точки, вимикати облікові записи або придушувати ескалації, також має повноваження завдати реальної шкоди, якщо ним маніпулювати або неправильно налаштувати. Визначення того, де закінчуються автономні дії та починається людське судження, є центральним архітектурним питанням для будь-якої SOC розгортання агентного ШІ у великих масштабах.

Багаторівнева автономія: відповідність обсягу агента рівню ризику

Ефективне розгортання розподіляє автономію залежно від рівня ризику кожної точки прийняття рішень. Агенти самостійно виконують роботу з великим обсягом та низькими ставками: дедуплікацію сповіщень, збагачення IOC, початкову оцінку сортування та складання контексту на кінцевих точках, мережах та телеметрії ідентифікації. Рішення з вищим рівнем впливу, ті, що стосуються змін у виробничій системі, модифікацій облікових записів або дій з стримування, що впливають на бізнес-операції, проходять перевірку аналітиків перед виконанням. У звичайному режимі агенти обробляють сотні сповіщень за зміну, складаючи збагачені пакети інцидентів, які включають корельовані події, уражені активи, пов'язану активність користувачів та зіставлення технік MITRE ATT&CK. Аналітик, який в іншому випадку витратив би більшу частину години на ручне складання цього контексту, переглядає його за лічені хвилини, звільняючи увагу для фактичних вимог до розслідування. Багаторівнева автономія працює, оскільки вона застосовує швидкість агента там, де швидкість має найбільше значення, та людське судження там, де воно змінює результат. Аналітики переглядають рішення, які потребують перегляду, коли повний пакет розслідування агента зібраний та готовий до дії. Співвідношення сповіщень, що потребують уваги людини, значно знижується, і увага аналітиків зосереджується на дійсно важливих рішеннях.

Оцінка достовірності та архітектура вердиктів

Добре розроблений агент SOC генерує оціночні вердикти, що відображають рівень впевненості агента, докази, що підтверджують його висновок, та кроки розслідування, які він зробив для його досягнення. Аналітики бачать висновок агента разом із ланцюжком доказів, що до нього призвело, що дозволяє їм швидко перевіряти та діяти на основі обґрунтованих висновків. Оцінка впевненості також визначає, де знаходиться межа автономії для певного сповіщення. Вердикти з високою впевненістю щодо добре зрозумілих моделей загроз автоматично виконують дії стримування. Вердикти з низькою впевненістю щодо нової або неоднозначної активності посилюються разом із повним контекстом розслідування, тому аналітик приходить до точки прийняття рішення вже орієнтованим.

Структуровані шляхи ескалації

У моделі з доповненою людиною ескалація є розробленою функцією робочого процесу. Агенти ескалюють, коли впевненість падає нижче визначеного порогу, коли сповіщення стосується активів або рахунків, позначених як високоцінні, коли запитувана дія є незворотною або коли спостережувана поведінка відхиляється від встановлених базових рівнів таким чином, що агент не був навчений приймати рішення. Ефективні шляхи ескалації передбачають передачу структурованих пакетів розслідувань. Аналітик отримує вердикт агента, список доказів, рекомендовану дію та чітке пояснення причини запуску ескалації. Структуровані передачі скорочують час від ескалації до прийняття рішення, що на практиці є основою для накопичення прибутку від MTTR.

Людський нагляд як прямий контроль безпеки

Механізми «людина в циклі» роблять більше, ніж просто покращують якість рішень. Вони функціонують як прямий контроль безпеки проти загроз безпеці агентного ШІ, описаних у попередньому розділі. Зловмисник, який успішно маніпулює агентом шляхом оперативного впровадження або зловживання інструментами, все одно стикається з перевіркою людиною, перш ніж можна буде виконати найшкідливіші дії. Рівень нагляду перетворює потенційно серйозну компрометацію на виявлену та стримувану. Нагляд людини як архітектурний принцип також з часом створює краще калібровану агентну систему ШІ. Коли аналітики перевіряють, коригують або скасовують вердикти агента, ці рішення враховуються в моделі, покращуючи її точність у майбутніх сповіщеннях. Цикл зворотного зв'язку поєднує людський досвід з машинним навчанням таким чином, що робить обидва більш ефективними. Безпечні агентні системи ШІ побудовані на розумінні того, що людський нагляд та автономні можливості підсилюють взаємно одне одного. Підхід Stellar Cyber ​​до агентного... SOC Операції відображають це. Аналітична перевірка, керована ескалація та контрольована автоматизація функціонують як інтегровані компоненти однієї моделі безпеки, кожен з яких посилює здатність платформи точно реагувати в умовах небезпеки. Безпека агентного штучного інтелекту вбудована в те, як система приймає рішення на кожному етапі.

Архітектурні вимоги до безпечного агента SOC

Проблеми безпеки агентного ШІ, описані в попередніх розділах, не вирішуються лише шляхом налаштування. Вони вимагають базової архітектури, розробленої для підтримки автономного прийняття рішень на високій швидкості, зберігаючи при цьому прозорість і контроль, необхідні командам безпеки для управління поведінкою агентів. Кожен компонент цієї архітектури виконує певну функцію, забезпечуючи ефективність і безпеку системи.

Уніфікована телеметрія та Open XDR

Автономний агент приймає рішення на основі того, що він бачить. Агент, який працює на основі неповної або ізольованої телеметрії, видає неповні або неправильні висновки, а в операціях безпеки неправильні висновки мають реальні наслідки. Уніфікована телеметрія на рівнях кінцевих точок, мережі, ідентифікації, хмари та додатків надає агентам повний спектр контексту, необхідний для точного міркування про складні, багатоетапні загрози.

Open XDR робить уніфіковану телеметрію можливою без необхідності для організацій замінювати існуючий стек безпеки. Агенти отримують нормалізовані дані з платформ EDR, мережевих датчиків, постачальників ідентифікації та вже встановлених хмарних засобів контролю безпеки та співвідносять їх у узгоджені часові рамки інцидентів. Прогалини в телеметрії є основною причиною збоїв в міркуванні агентів. Open XDR безпосередньо вирішує цю структурну проблему.

Вбудовані рівні виявлення: NG-SIEM, НДР, UEBA, ITDRта CDR

Уніфікована телеметрія закладає основу. Шари виявлення обробляють ці дані, щоб визначити, чи можуть агенти ефективно їх обмірковувати. NG-SIEM який отримує журнали без зв'язку з NDR, що контролює горизонтальне переміщення, або ITDR система, яка позначає аномалії ідентифікації без підключення до UEBA поведінкові базові лінії, створюють ті самі сліпі зони виявлення, які належним чином інтегрована архітектура покликана закрити.

У добре інтегрованій системі кожен рівень виявлення інформує інші. NDR-поверхні виявляють індикатори бічного руху, які спрацьовують. UEBA аналіз пов’язаних облікових записів користувачів. ITDR позначає аномалії облікових даних, які NG-SIEM корелює з телеметрією кінцевих точок від CDR. Агенти, що працюють на цьому інтегрованому рівні, мають доступ до повного представлення ланцюжка знищення та корельованого контексту, необхідного для обмірковування багатоетапних атак.

Нормалізація API та автоматизація з урахуванням ідентифікації

Агенти взаємодіють із зовнішніми системами через API, а безпека цих взаємодій залежить від того, наскільки добре базова платформа контролює та моніторить їх. Нормалізація API гарантує, що дані, що надходять у конвеєри міркувань агента, перевірені, структуровані та позбавлені потенційних векторів введення, перш ніж агент їх обробляє. Ненормалізований рівень API наражає агентів саме на ті ризики маніпуляцій з інструментами, що розглядалися в попередньому розділі. Автоматизація з урахуванням ідентифікації додає додатковий рівень контролю. Кожна дія агента повинна бути пов'язана з перевіреною ідентифікатором агента, що має визначені дозволи та повний журнал аудиту. Коли агент викликає API, запитує джерело даних або виконує дію відповіді, ця дія приписується певній ідентичності з визначеною областю авторизації. Агенти, що працюють поза контекстом своєї авторизованої ідентичності, запускають сповіщення так само, як і скомпрометований обліковий запис користувача.

Спостереження за поведінкою агента під час виконання

Безпечні агентні системи штучного інтелекту вимагають постійної видимості поведінки агента під час виконання: послідовності викликів інструментів, джерел даних, до яких здійснюється доступ, рішень, зареєстрованих на кожному кроці, та будь-яких відхилень від встановлених базових поведінкових рівнів. SOC У цьому контексті спостереження під час виконання безпосередньо впливає на можливості виявлення платформи. Аналітика поведінки агентів працює разом з аналітикою кінцевих точок та мережі, співвідносячи активність агента з ширшою телеметрією безпеки. Агент, який запитує джерела даних поза межами своєї звичайної області застосування або здійснює виклики інструментів у незвичних обсягах, генерує той самий сигнал виявлення, що й будь-яка інша аномальна сутність у середовищі.

Пісочниця як структурний контроль

Пісочниця у зрілому агентському середовищі SOC кваліфікується як архітектурна вимога. Кожне середовище виконання агента повинно працювати в межах визначених меж: інструменти та API з дозволеного списку, обмежений доступ до мережі, перевірені вихідні шляхи та реєстрація всіх граничних взаємодій. Пісочниця обмежує радіус вибуху скомпрометованого агента та надає рівню спостережуваності платформи чітку базову лінію, відносно якої аномалії стають виявленими. Основний принцип полягає в тому, що середовища виконання агентів чітко обмежені, активно контролюються та розроблені для стримування збоїв. Ізоляція на основі контейнерів, забезпечення дотримання шлюзів API та конвеєри перевірки виводу виконують цю функцію. На такій платформі, як Stellar Cyber, де безпека агентного ШІ вбудована в архітектуру, пісочниця працює в координації зі спостережуваністю під час виконання та автоматизацією з урахуванням ідентифікації, формуючи узгоджену захисну позицію на кожному етапі виконання агента.

Який зрілий агент SOC Як виглядатимуть платформи до 2027 року

Організації, що впроваджують агентний ШІ у своїх SOCСьогоднішні компанії випереджають регуляторний та стандартизаційний ландшафт. Те, що з'являється, змінить вимоги до розгортання в галузі протягом наступних двох років.

Регуляторний тиск змінює стандарти розгортання

Уряди та регуляторні органи рухаються до чітких вимог до автономних систем штучного інтелекту, які приймають важливі рішення. Положення Закону ЄС про штучний інтелект щодо високоризикового штучного інтелекту тлумачаться як такі, що включають агентні системи, що працюють у контексті безпеки, а аналогічні структури розробляються на інших основних ринках. Очікується, що до 2027 року вимоги до дотримання вимог щодо прозорості агентів, аудиту та людського нагляду однаково впливатимуть на рішення щодо закупівель та практику розгортання. Команди безпеки створюють агентні системи. SOC Тепер операційні підрозділи повинні розглядати поточні проекти нормативних актів як сигнал щодо напрямку розвитку вимог та відповідно структурувати свою архітектуру.

Ідентифікація агента стає примітивом безпеки

Галузеві групи працюють над стандартизованими протоколами для автентифікації між агентами та перевірки особи, спираючись на принципи, встановлені OAuth та SAML для автентифікації людини та програм. Оскільки багатоагентні архітектури стають все більш поширеними в SOC середовища, перевірка ідентичності агентів, встановлення довіри між агентами та аудит міжагентної взаємодії перейдуть від рекомендованих рекомендацій до базової вимоги. Платформи з вбудованою автоматизацією на основі ідентифікації будуть у кращих позиціях після формалізації цих стандартів.

Безперервне об'єднання в команди Red-Teaming для робочих процесів агентів

Починають з'являтися автоматизовані платформи для створення команди "червоних команд", створені спеціально для агентної безпеки на основі штучного інтелекту. Спеціалізовані платформи постійно тестують агентів на наявність варіантів швидкого впровадження, сценаріїв маніпуляцій з інструментами та умов хибної довіри, надаючи командам безпеки постійну перевірку поведінки агентів під тиском з боку суперника. Так само, як тестування на проникнення стало стандартною практикою для традиційної інфраструктури, автоматизована команда "червоних команд" стане рутинною операційною вимогою для будь-якої організації, що працює автономно. SOC робочі процеси.

Повний цикл автономного SOC операції

Траєкторія, до якої рухаються зрілі платформи, така: повноцикловий автономний SOC операція: прийом сповіщень, збагачення, розслідування, вердикт та стримування добре вивчених моделей загроз, що виконуються без ручного втручання, а аналітики-люди зосереджуються на нових загрозах, граничних випадках та стратегічних рішеннях, що вимагають організаційного контексту та оцінки. Архітектура Stellar Cyber ​​розроблена навколо цієї траєкторії. Інвестиції в уніфіковану телеметрію, інтегровані шари виявлення, пісочницю та доповнену людиною автономію сьогодні є інфраструктурою, на якій працює повноциклова автономна робота. Безпека агентного ШІ – це те, що робить це бачення операційно життєздатним.
Прокрутка до початку