建立自己的数据湖:以正确的方式做事

在……花费了大量时间 SIEM 在行业中,我看到了塑造行业格局的各种模式和演变。其中最显著的变化之一是从传统的、单一的模式向多元化模式的转变。 SIEM 部署更灵活、可扩展的解决方案,使组织能够在不进行重大调整的情况下进行调整和发展。

的演变 SIEM 存放

从历史上看, SIEM 像 ArcSight 这样的解决方案需要专用的 Oracle 数据库才能运行。我记得以前一台运行 Oracle 的大型 SUN 服务器专门用于存储日志和安全事件。这种垂直扩展是应对日益增长的数据负载的唯一方法。然而,随着数据量的增长,市场上出现了专用的日志管理解决方案,实现了水平扩展。
Splunk、Loglogic 和 ArcSight Logger 等公司是数据湖存储领域的先驱,它们创建了首批数据湖层。这些解决方案集中了数据存储,从而实现了数据湖的构建。 SIEM 平台应专注于关联性和分析,而不是数据管理的复杂性。

迈入多数据平台时代 SIEM

时光荏苒,15年后的今天,我们已步入多数据平台时代。 SIEM这些解决方案认识到数据引力的作用——这是一个比喻性的概念,即数据会吸引其他数据和应用程序向自身移动,类似于太空中的大质量物体利用其引力吸引其他物体。
现代 SIEM 这些解决方案运用数据引力概念,避免了彻底替换流程的复杂性和高昂成本。它们的核心价值在于:将分析层无缝集成到现有数据湖中。这种方法通过将数据和应用程序保留在靠近其源头的位置,确保了最佳性能、降低存储/保留成本并简化数据管理。

应用程序和服务被数据湖所吸引,以实现最佳性能和成本效益。
自带数据湖 (BYODL)

Stellar Cyber​​ 近期宣布支持“自带数据湖”(BYODL),这标志着这一发展历程中的一个重要里程碑。已将数据存储标准化到 Splunk、Snowflake、Elastic 或 AWS 等平台上的组织现在可以无缝集成 Stellar Cyber​​ 的 AI 驱动型数据湖。 Open XDR Stellar Cyber​​ 的平台无需进行数据迁移即可存储这些数据。该平台充分利用现有数据湖,其方法强调优化数据摄取和数据预处理(例如规范化和丰富化)的重要性,然后再将数据用于通过机器学习进行自动化威胁检测或情境化警报调查。以下是这种结构化方法相比传统方法具有明显优势的原因:

优化采集和交钥匙集成

Stellar Cyber​​ 的解耦部署从优化的数据收集和过滤开始。这可确保只有与安全相关的高质量数据进入系统,从而降低噪音并提高信噪比。直接的好处包括:

  • 改进的性能: 通过在流程早期过滤掉不相关的数据,系统可以更高效地运行,从而减少下游流程的负载。
  • 增强的数据质量: 确保仅获取干净、相关的数据可减少误报的可能性并提高分析的准确性。
规范化和富集

收集数据后,Stellar Cyber​​ 会对其进行规范化和丰富,添加有价值的背景信息,例如威胁情报、地理位置、用户信息和漏洞详细信息。此步骤至关重要,原因如下:

  • 情境数据: 丰富的数据为安全事件提供了更丰富的背景,使得关联和分析潜在威胁变得更加容易。
  • 简化分析: 规范化数据可实现一致且准确的查询,使安全分析师能够进行更有效的调查。它还允许将相同的机器学习算法应用于具有不同原始格式的多个数据源。
检测与分析

Stellar Cyber​​ 的方法最大限度地利用了干净且丰富的数据来进行检测和分析工具。此集成提供:

  • 开箱即用的分析: 由机器学习提供支持的即用型分析工具可以快速检索和分析结构化数据,从而快速检测和响应威胁。
  • 降低复杂性: 通过标准化的数据格式,数据湖和分析工具之间的集成变得简单,减少了对定制集成和临时解决方案的需求。
灵活的数据管理,提高成本效率

Stellar Cyber​​ 灵活的数据管理方法使组织能够决定是仅向第三方数据湖发送警报还是向第三方数据湖发送所有规范化和丰富的事件。这种灵活性对于优化第三方数据湖的使用至关重要,尤其是像 Splunk 这样成本高昂的数据湖。主要优势包括:

  • 成本效益: 通过选择性地存储高质量和有用的数据,组织可以显著减少不必要的数据存储成本。这确保了存储投资得到优化,避免了与维护大量不相关数据相关的费用。
  • 增强的数据质量: 仅存储规范化和丰富的数据可确保数据湖包含高完整性、有价值的信息。这提高了查询和数据检索的效率,使提取有意义的见解变得更加容易,并增强了整体数据分析能力。
增强定制应用程序

数据湖中的结构化和丰富数据也使可能需要访问安全数据的自定义应用程序受益。 主要优势包括:

  • 优化威胁搜寻: 高质量、标准化且具有上下文的数据简化了查询和检索相关信息的过程。
  • 更好的报告: 确保报告等定制应用程序接收干净、丰富的数据,可提高其性能和准确性,从而带来更好的整体安全结果。
与传统方法的比较

相比之下,传统杂交 SIEM 部署过程中经常面临重大挑战:

  • 临时集成: 将原始数据与检测和分析工具相集成通常需要定制的临时解决方案,这会增加复杂性和运营开销。
  • 特制检测装置: 如果没有规范化和丰富的数据,通过机器学习创建有效的检测规则和分析就会变得更具挑战性,需要专门的、定制的解决方案。
  • 原始数据问题: 将原始数据湖与检测工具直接集成可能会导致效率低下和不准确,因为数据缺乏必要的背景和规范化。
结语

Stellar Cyber​​ 的自带数据处理 (BYODL) 方法采用结构化流程,在数据消费和存储之前对其进行处理和分析,从而在性能、准确性和运营效率方面带来显著优势。借助 Stellar Cyber​​,企业可以显著提升安全态势并简化其运营流程。 SIEM 通过整合数据存储,确保数据在存储前和/或通过机器学习进行检测和分析后得到清理、规范化和丰富,从而降低复杂性和成本,并最大限度地发挥安全数据的价值,为有效的威胁检测和响应奠定坚实的基础。

对于希望优化安全运营并充分发挥数据湖潜力的组织来说,采用这种结构化方法可能会改变游戏规则。

热点报道:

  • 干净的数据才是王道: 你的质量 SIEM其输出结果与所摄取数据的质量直接相关。确保数据湖在进入检测和分析工具之前是干净且经过丰富处理的,对于准确检测威胁和高效运行至关重要。
  • 无缝集成降低复杂性: 规范化数据的结构化方法可确保数据湖与分析工具之间的无缝集成。这减少了对定制、临时解决方案的需求并简化了操作。
  • 轻松的可扩展性: 利用结构化数据构建整合的数据湖,可以实现横向扩展,而无需传统替换方法带来的复杂性和高昂成本。这确保您 SIEM 解决方案可根据贵组织的需求进行扩展。

关闭的思考

准备好通过灵活的方式提升您的安全态势了吗? SIEM 解决方案?我们的专家团队随时为您提供帮助,助您了解各种方案,并量身定制适合您的部署策略。立即联系我们或预约个性化咨询,让我们共同打造强大、灵活、无惧任何挑战的安全体系。

要了解有关“自带数据湖”的更多信息,请阅读 同伴博客 or 联系 Stellar Cyber 与平台专家进行个人咨询。

滚动到顶部