您的网络安全供应商可能在玩弄系统的三个迹象
对于那些参加过 RSA大会 在 2023 月，我确信供应商电子邮件、电话和 LinkedIn 会议请求的轰炸正在进行中。 虽然我敢打赌，许多乞求会议的供应商提供的产品或服务在 2024 年至 XNUMX 年不在您的考虑范围之内，但您可能希望对少数几个供应商进行测试，看看它们是否能提供比它们更好的结果您目前正在使用什么。 对于这些供应商，在强制性介绍会议、一些技术讨论甚至客户参考电话之后，您将获得概念证明（有时也称为价值证明）。 这个历史悠久的传统让您 “亲自测试产品。”
在 PoC 期间，供应商试图向您展示他们的产品如何阻止更多攻击、检测更多网络钓鱼电子邮件、发现更多恶意网站等，以验证他们的营销声明。 提供 PoC 背后的意图非常有意义，应该可以帮助买家避免购买具有超卖功能的产品。 但不幸的是，在 PoC 期间似乎表现良好的产品一旦完全部署在买方的环境中就不会提供类似的结果。
怎么会这样？ 在我将近 20 年的建筑、销售和营销经验中 网络安全 产品，我几乎看到了供应商试图玩弄这些 PoC 的所有方式。 以下三个迹象表明您的 PoC 可能不尽如人意。
“我们在我们的环境中提供所有数据，因此您不必担心。”
事实是彻底测试 网络安全 依赖某种外部威胁或大量内部数据来训练机器学习模型的产品可能会很麻烦。 由于没有安全从业者会或应该同意在其生产环境中测试未知产品，因此他们将需要一个相当稳健的测试环境来测试这个新产品。 鉴于此要求，很容易接受供应商的提议，在供应商的环境中使用他们的数据进行测试。 如果你想一想，这就像要求学生为他们的期末考试写问题。 您不认为在供应商的环境中使用他们的数据进行测试可能会使结果偏向对他们有利的方向吗？ 当然。 虽然没有人希望他们的 PoC 花费比 NHL 曲棍球赛季更长的时间，但您需要提供数据以正确审查产品。 一些供应商可能会提供使用一些模拟攻击的工具，这是合理的，只要您作为潜在客户可以选择是否使用它们。 缩短 PoC 长度的最佳方法是选择最多两个或三个目标用例，并单独为这些用例提供必要的数据。 理想情况下，您测试的产品将使在您的环境中生成数据的产品的集成变得容易。
“我们测试的是什么版本？ 这几乎是我们的 GA 产品。 你无法区分。”
当我进入网络安全行业并准备 PoC 时，我们要求潜在客户提供满足我们最低要求的服务器。 然后，我会在机器上手动安装产品，这样 PoC 参与者就可以看到我们将使用哪个版本的产品进行测试。
在以 SaaS 为标准的当今世界，了解您正在测试的产品的版本感觉就像是在虫洞中旅行。 可悲的是，我从从业者那里听到了可怕的故事，他们与供应商进行了 PoC，结果非常出色，因此他们签订了购买产品的合同。 快进一两个月，从业者和管理层都非常沮丧。 安装在他们环境中的产品看起来与他们测试的产品完全不同。 功能缺失，他们使用的集成无处可寻，供应商的故事是，“那个版本应该很快就会出来。” 在某些情况下，只要供应商对潜在客户透明，我认为使用未发布的产品版本进行 PoC 没有问题。 不幸的是，当客户觉得供应商试图向他们隐瞒某些事情时，本应协作的客户/供应商关系可能会立即变得好斗。
“在 PoC 期间，我们从未错过任何威胁。”
1941 年，Ted Williams，也被称为 华丽的碎片，在本垒打中度过了一个神奇的赛季，以惊人的 406 安打率和 553 的上垒率结束了他在波士顿红袜队的赛季。 许多棒球历史学家认为泰德威廉姆斯是有史以来最纯粹的击球手。 迄今为止，在 AL 或 NL 中没有击球手超过今年的 .400 平均水平。 那么，Ted Williams 与有关网络安全 PoC 的博客有什么关系？ 关键是，无论是网络安全产品还是玩游戏的最佳击球手，没有什么是完美的。 您能否针对一组特定的威胁向量测试产品，并且该产品可以识别所有这些威胁向量？ 绝对地。 它能否连续两天、5 天、10 天甚至 100 天对新威胁进行攻击？ 但据我所知，在 1941 年的那个赛季，泰德·威廉姆斯 (Ted Williams) 出局 27 次，总有一天，你闪亮的新 网络安全 产品错过了您认为会检测到的威胁。
在 PoC 期间，如果无法立即获得产品测试的原始结果，或者您注意到来自供应商的人员从事您从未见过的项目，请注意。 您正在目睹销售团队向从事您的部署工作的开发人员、威胁情报研究人员或软件工程师寻求帮助，试图找出他们缺少威胁或功能无法正常工作的原因。 同样，软件缺陷会在 PoC 期间浮出水面吗？ 绝对地。 当他们这样做时，你能找到开发人员和工程师实时调试代码吗？ 这里的关键是透明度。 如果出现缺陷，道德供应商将与您坦诚相待。 他们还将解释为什么在 PoC 期间遗漏了威胁（如果有的话）。 请记住，在运行产品 PoC 时，您应该将结果与您当前使用的产品和您正在测试的其他产品进行比较，而不是一个持续检测 100% 威胁的虚构系统。 您正在寻找明显更好的结果，而不是完美。
面向大众的 PoC
市场上有如此多的产品声称具有相似的功能、优势和结果，如果不运行 PoC，几乎不可能确定哪种产品最适合您。 因此，我是 PoC 的粉丝，因为当公平运行时，它让竞争产品有机会在现实世界中正面交锋。
让最好的产品获胜。
