数据管理方法:读取模式与写入模式

有效的网络安全始于数据,终于数据。

由于攻击者可以在几秒钟内部署有效载荷,因此确保您的安全团队不会等待几分钟或几小时,让他们的安全运营平台注意到攻击正在进行,这可能意味着孤立威胁和大范围入侵之间的区别。虽然大多数现代网络安全产品可以快速检测威胁,但最终影响其整体性能的是产品开发过程早期的设计选择,特别是产品如何处理数据管理和处理。在这篇博客中,我将使用一个虚构的组织,使用五十种不同的安全产品和五十种不同的数据源来保护其环境,讨论人工智能驱动的威胁检测如何与每种方法配合使用。

关于人工智能驱动的威胁检测
 
与基于规则的威胁检测(寻找特定数据源的特定触发器来生成警报)不同,人工智能驱动的威胁检测可以识别与多个数据源中的预期行为相比的异常。鉴于这种能力,试图使用人工智能技术有效推导威胁的安全产品需要复杂的逻辑来规范和丰富这五十个数据源中的数据。

两种不同的数据管理方法

读模式

Schema-on-Read 是一种数据管理方法,在该方法中,原始数据提取无需应用任何预定义模式。这种方法可以更快地集成许多不同的数据源,因为无需预先了解数据源格式。相反,原始数据按原样存储,处理所需的任何模式都在读取时发生,而不会改变原始数据。许多数据工程师更喜欢 Schema on Read,因为它使他们能够:

  • 由于不需要预先构建,因此可以更快地提取数据。
  • 适应数据格式不断变化的情况下。
  • 处理各种数据源而无需修改其模式。

与任何技术一样,采用 Schema-on-Read 方法进行数据管理也有缺点:

  • 搜索性能受到影响
  • 数据分析需要大量计算资源
  • 数据不一致和错误的可能性更高。

在“读取模式”世界中实现人工智能驱动的威胁检测

现在我们已经讨论了 Schema-on-Read 的优缺点。让我们考虑一下,如果没有数据模式,AI 驱动的威胁检测将如何工作。如前所述,AI 驱动的威胁检测会识别与预期行为相比的异常。鉴于这一要求,基于 AI 的安全产品将需要复杂的逻辑,旨在跨不同格式的存储数据“动态”规范和丰富数据。每条记录都必须动态处理,以避免遗漏任何异常。不难想象,这种方法很快就会变得昂贵,因为它需要持续的大量处理能力和内存来临时存储用于不同 AI 驱动检测的处理后数据。因此,虽然提取原始数据的想法听起来不错,可能适用于一些与 AI 驱动的威胁检测有关的非网络安全用例,但持续的成本很快就会失控。当数据存储和 AI 驱动的检测来自不同的供应商时,价格可能会变得非常昂贵且不可预测。

写入时架构

与 Schema on Read 不同,Schema on Write 会执行 ETL(提取、转换、加载),即预先将某种结构(模式)应用于数据,在写入任何数据存储之前转换和验证所提取的数据。正如您所料,Schema on Write 的好处如下:

  • 提高数据完整性并尽量减少其不一致性
  • 快速、高效的搜索
  • 轻松快速的数据分析

公平地说,Schema-on-Write 数据管理方法存在一些局限性:

  • 数据源数据格式的改变可能需要更新架构。
  • 需要更新数据模式以适应新的数据源。

在“读取模式”世界中实现人工智能驱动的威胁检测

确定了 Schema-on-Write 的优缺点后,现在让我们来看看在写入数据库之前应用数据模式的 AI 驱动威胁检测。我们假设我们与同一家公司合作,使用 50 种不同的安全产品来保护他们的环境。在将数据聚合到 Schema-on-Write 安全平台时,数据转换在加载到数据库之前发生。在此预处理过程中,所有数据都经过规范化,并丰富了来自其他来源的数据。AI 驱动的威胁检测功能现在可以处理具有上下文的标准格式的干净数据集,创建各种基线并快速、高效、准确地识别异常。例如,由于在写入数据库之前在丰富过程中将地理位置添加到数据中,因此可以轻松优化从不寻常的物理位置检测受损凭据活动。同样,例如,由于规范化过程,所有 IP 地址都可以丰富位置信息,确保轻松检测到任何不寻常的用户活动。

哪一个才是您的正确选择?

当您考虑相对于攻击者的可持续竞争优势时,数据管理方法可能不是您首先想到的,但它应该是。虽然上面讨论的每种数据管理方法都有利弊,但最终,您必须在采用产品数据管理策略之前权衡其对您的目标的影响,因为这对成本、通过有效搜索进行威胁搜寻的能力以及您开发自己的 AI 驱动甚至手动威胁检测规则的能力有着巨大的影响。

Stellar Cyber​​ 基于写时模式 (Schema-on-Write) 数据管理方法构建,为客户提供高效精准的 AI 驱动型威胁检测结果、快速威胁搜寻以及灵活的威胁分析开发能力。此外,当企业使用我们平台的自带数据湖 (BYODL) 功能时,只需将检测结果存储在自身的数据湖或现有存储系统中,即可显著节省成本。 SIEM要了解更多关于 Stellar Cyber​​ 如何优化我们与您数据的互动方式, 立即联系我们,进行个性化咨询。

滚动到顶部