「概念実証」の季節がやってくる

サイバーセキュリティベンダーがシステムを悪用している可能性がある3つの兆候

概念実証の季節がやってくる
ご参加いただいた皆様 RSAカンファレンス 2023月には、ベンダーからのメール、電話、LinkedInのミーティングリクエストが殺到していることでしょう。ミーティングを懇願するベンダーの多くは、2024年からXNUMX年にかけては注目されていない製品やサービスを提供していると思いますが、現在使用しているものよりも優れた結果をもたらすかどうかテストしてみたいベンダーもいくつかあるでしょう。これらのベンダーの場合、必須の紹介ミーティング、技術的な議論、または顧客リファレンスコールの後に、概念実証(価値実証とも呼ばれる)が提供されます。この昔ながらの伝統により、 「製品を自分でテストしてください。」  

PoC では、ベンダーは自社製品がより多くの攻撃を阻止し、より多くのフィッシング メールを検出し、より多くの悪質な Web サイトを発見するなど、マーケティング上の主張を実証しようとします。PoC を提供する目的は完全に理にかなっており、買い手が過剰に売り込まれた機能を持つ製品を購入するのを避けるのに役立つはずです。しかし残念なことに、PoC 中にうまく機能しているように見えた製品が、買い手の環境に完全に導入されると、同様の結果が出ないことが多すぎます。 

なぜこんなことが起こるのでしょうか?私は20年近く建築、販売、マーケティングに携わってきましたが、 サイバーセキュリティー 製品に関して、ベンダーがこれらの PoC を操作しようとするあらゆる方法を目にしてきました。ここでは、PoC が公正ではない可能性がある 3 つの兆候を示します。

 

「当社の環境内のすべてのデータを提供するので、心配する必要はありません。」

事実、徹底的なテストは サイバーセキュリティー 何らかの外部脅威や膨大な内部データに依存して機械学習モデルをトレーニングする製品は、扱いにくい場合があります。セキュリティ担当者は、未知の製品を本番環境でテストすることに同意しないか、同意すべきではないため、この新しい製品をテストするには、かなり堅牢なテスト環境が必要です。この要件を考えると、ベンダーの環境でベンダーのデータを使用してテストを実施するというベンダーの提案を受け入れたくなるでしょう。少し考えてみると、これは学生に期末試験の問題を書くように頼むようなものです。ベンダーの環境でベンダーのデータを使用してテストすると、結果がベンダーに有利になると思いませんか? もちろんです。PoC に NHL ホッケー シーズンよりも長くかかることを望む人はいませんが、製品を適切に審査するにはデータを提供する必要があります。一部のベンダーは、攻撃をシミュレートするツールの使用を提案する場合がありますが、潜在的な顧客であるあなたがそれらを使用するかどうかを選択できる限り、これは合理的です。 PoC の長さを短縮する最善の方法は、最大で 2 つまたは 3 つの対象とするユース ケースを選択し、それらのユース ケースに必要なデータのみを提供することです。理想的には、テストする製品によって、環境内でデータを生成する製品を簡単に統合できるようになります。 

 

「どのバージョンをテストしているのですか? ほとんど GA 製品です。違いはわかりません。」

私がサイバーセキュリティ業界に入り、PoC の準備をしていたとき、私たちは潜在顧客に、最低限の要件を満たすサーバーを立ち上げるように依頼しました。その後、私はマシンに製品を手動でインストールし、PoC 参加者がテストに使用する製品のバージョンを確認できるようにしました。 

SaaS が標準となっている今日の世界では、テストしている製品のバージョンを知ることは、ワームホールに迷い込むような感覚になることがあります。悲しいことに、私は実務者から、ベンダーとの PoC で素晴らしい結果が得られたため、製品を購入する契約を結んだという恐ろしい話を聞きました。1 か月か 2 か月経つと、実務者と経営陣はひどく苛立っています。彼らの環境にインストールされた製品は、テストしたものとはまったく異なっています。機能が欠落しており、使用した統合はどこにも見つからず、ベンダーの話は「そのバージョンはまもなくリリースされるはずです」というものです。場合によっては、ベンダーが見込み顧客に対して透明性を保つ限り、リリースされていない製品バージョンを PoC に使用することに問題はないと思います。残念ながら、ベンダーが何かを隠そうとしていると顧客が感じた場合、協力的であるべき顧客とベンダーの関係が、すぐに敵対的なものになる可能性があります。 

 

「PoC 中に脅威を見逃したことは一度もありません。」

1941年、テッド・ウィリアムズ(別名 素晴らしい破片は、ボストン レッドソックスで驚異的な打率 .406、出塁率 .553 を記録し、打席で素晴らしいシーズンを過ごした。多くの野球史家は、テッド ウィリアムズが史上最も純粋な打者だったと主張している。現在まで、アメリカン リーグやナショナル リーグで年間打率 .400 を超えた打者はいない。では、サイバー セキュリティの PoC に関するブログとテッド ウィリアムズとは何の関係があるのだろうか。サイバー セキュリティ製品であれ、史上最高の打者であれ、常に完璧なものはないということだ。製品を特定の脅威ベクトル セットに対してテストし、製品がそれらをすべて識別することはできるだろうか。もちろんできる。5 日間、10 日間、100 日間、さらには 1941 日間、連続して新しい脅威に対してテストできるだろうか。しかし、27 年のシーズン中にテッド ウィリアムズが XNUMX 回三振したことは確かだが、ピカピカの新製品が、 サイバーセキュリティー 製品は、検出できると思っていた脅威を見逃してしまいます。  

PoC 中に、製品テストの生の結果がすぐに入手できない場合、またはベンダーの会ったことのない人がプロジェクトに取り組んでいることに気付いた場合は、注意してください。営業チームが、脅威を見逃している理由や機能が動作していない理由を解明しようと、展開に取り組んでいる開発者、脅威インテリジェンス研究者、またはソフトウェア エンジニアに助けを求めているのを目撃することになります。繰り返しますが、PoC 中にソフトウェアの欠陥が表面化する可能性はあるでしょうか? もちろんあります。欠陥が表面化した場合、開発者やエンジニアがライブでコードをデバッグしているのを見つけることができます。ここで重要なのは透明性です。倫理的なベンダーは、欠陥が表面化した場合、その時点で率直に報告します。また、PoC 中に脅威が見逃された理由も説明します。製品 PoC を実行するときは、脅威を 100% 継続的に検出する架空のシステムではなく、現在使用している製品やテストしている他の製品と結果を比較する必要があることを忘れないでください。求めているのは、完璧さではなく、大幅に優れた結果です。 

 

人々のためのPoC

市場には同様の機能、メリット、結果を主張する製品が多数存在するため、PoC を実行せずに何が最適かを判断することはほぼ不可能です。そのため、私は PoC のファンです。なぜなら、公平に実行されれば、競合製品が現実世界で直接対決する機会が与えられるからです。 

最高の製品が勝ちます。

上へスクロール