1年前、私はある主張をした。そして今年、私たちはそれを検証した。
去年の夏、私は 影響力のピラミッド 人間拡張型 SOC, アナリストのフィードバックはすべて同じ価値を持つわけではない。 「誤検出」をクリックするのはティア1です。インターフェースを装飾します。しかし 「FPは、このホスト上でpowershell.exeがパッチ適用自動化ツールとして動作しているためです」 — それはティア4です。それはタグ付けではなく、 教えます。
私はその投稿を、自分が信じてはいるもののまだ証明できていない一文で締めくくった。
SOC 最高の教師から学ぶことで賢くなる。それは、いつ促し、いつ上書きし、いつ システムに同じ間違いを二度と繰り返さないように教える。
ビジョンには自信を持ちつつも、そこへ到達するための現実的な方法も模索している。そこで今年は、地味ながらも重要な作業に取り組んだ。第4段階のフィードバックを継承する仕組み、つまり組織的な記憶を構築し、それが実際に機能するかどうかを検証する実験を行ったのだ。
はい、そうです。領収書はこちらです。
そのメカニズム：前方へ伝わるフィードバック
記憶こそが、一度限りの修正を永続的な変化へと変える鍵となる。アナリストが正当な理由に基づいて判断を覆した場合、プラットフォームはその根拠を記憶し、次の該当するアラートに適用する。盲目的に発動する厳格なルールとしてではなく、影響力として。AIはそれを考慮に入れるが、最終的な決定はアナリストが行う。ハンドルを軽く握るだけで、ハンドルから手を離すようなものではない。
その約束は単純だ。システムに一度学習させれば、同じ間違いは繰り返さないはずだ。問題は、実際に測定したときにそれが本当に成り立つかどうかだった。
テスト
デモは求めていなかった。自分たちが信頼できる数字が欲しかったのだ。
そこで、実際の運用環境から150件のアラートを抽出しました。特定のシステムの偏りに左右されることなく、正しい判断を下すために、複数の強力な独立AIレビュアーが各アラートをブラインドテストで評価し、その評価結果を人間のセキュリティ専門家によるラベルで裏付けました。これにより、すべてのアラートについて信頼できる基準が得られました。
次に、元の運用判断がその参照結果と一致しなかったアラートを特定しました。これは、アナリストが発見し修正するような見落としの実例です。それぞれのアラートについて、貴チームが日々行っていることと全く同じ手順を実行しました。つまり、修正内容を組織的な知識として記録したのです。そして、記憶なしと記憶ありの2つの方法でトリアージを再実行し、それぞれの結果を参照判断と比較しました。
結果
修正されたアラートのうち、正しい判断と一致した決定の割合は、記憶がない場合は約13%だったのに対し、記憶がある場合は約52%に増加した。
システムがフィードバックから学習した後は、正解率が約4倍に増加した。
簡単に言うと、システムに間違いを学習させると、次に同様の警告を受けた際に正しく処理できる可能性がはるかに高くなるということです。このピラミッド構造における第4段階のフィードバックは、単なる飾りではありません。成果を確実に向上させるものです。
現実主義者としての注釈（約束通り現実主義者であることを明記します）：これらの数値は、修正済みアラートの限定されたセットを用いた社内A/Bテストの結果であり、本番環境での保証ではありません。より広範な日常的なトラフィックにおいて、この効果がどの程度及ぶかはまだ検証中です。しかし、フィードバックを入力として、より良い判断を下すという中核的なメカニズムは、もはや主張ではなく、測定可能な数値となっています。
これがあなたの SOC
- すでに無視した騒音は、もう聞こえなくなります。 誤検出の繰り返しが減れば、本当に新しいものに注目が集まるようになる。
- 上級アナリストたちの知識は、彼ら自身よりも長く生き続ける。 彼らがあなたの環境について理解することは、永続的で体系化された知識となり、人員交代時に消え去ってしまうような部族的な記憶とはならない。
- それは複合的に作用する。 チームがシステムを長く使い続けるほど、システムはチームの環境をより的確に反映するようになります。それは、使い込むほどに強固になる強みです。
- MSSPは顧客ごとに報酬を受け取ります。 知識は単一のテナントに限定され、厳密な分離が保たれています。各顧客の状況は、それぞれのトリアージをより的確なものにし、決して他のテナントの知識と混ざり合うことはありません。
そして、学習されたすべての項目は人間の判断に遡るため、これは決してブラックボックスではありません。判断の根拠を常に確認でき、必要に応じて覆すことも可能です。あなたの意見を尊重し、機械の意思決定を導く自律性を実現しています。
フィードバックは依然として燃料である――今度はゲージ付きで
1年前、「フィードバックは燃料だ」というのは信念でした。今ではそれが具体的な数値になっています。そして、これで終わりではありません。次のステップは、アナリストが事前にシステムに学習させることです。つまり、アラートを1つずつ出すのではなく、環境を事前に記述することで、システムはパッチサーバー、ゲストセグメント、サービスアカウントなどを既に把握した状態で運用を開始できるようになります。
SOC システムは自ら賢くなるわけではありません。いつ促すべきか、いつ介入すべきか、そしていつ同じ過ちを二度と繰り返さないように教えるべきかを理解しているアナリストから学ぶことで賢くなるのです。
昨年はそう主張したが、今年はそれを証明できる。
ステラサイバーヒューマン拡張エージェントをご覧ください SOC ―組織的記憶を含む―が実際に機能している様子。 デモ版をお申し込み または、Stellar Cyberの担当者に自律型について相談してください。 SOC アドオン。
