데이터 관리 접근 방식: 읽기 시 스키마와 쓰기 시 스키마

효과적인 사이버 보안은 데이터로 시작하고 끝납니다.

공격자는 몇 초 만에 페이로드를 배포할 수 있으므로 보안 팀이 보안 운영 플랫폼에서 공격 진행을 인지할 때까지 몇 분 또는 몇 시간을 기다리지 않도록 하는 것은 고립된 위협과 광범위한 손상의 차이를 의미할 수 있습니다. 대부분의 최신 사이버 보안 제품은 위협을 빠르게 감지할 수 있지만 궁극적으로 전체 성능에 영향을 미치는 것은 제품 개발 프로세스 초기에 결정된 설계 선택, 특히 제품이 데이터 관리 및 처리를 처리하는 방법입니다. 이 블로그에서는 환경을 보호하기 위해 50가지 보안 제품과 50가지 데이터 소스를 사용하는 가상의 조직을 사용하여 AI 기반 위협 탐지가 각 접근 방식에서 어떻게 작동할 수 있는지 논의하겠습니다.

AI 기반 위협 탐지에 대한 간략한 설명
 
경고를 생성하기 위해 특정 데이터 소스의 특정 트리거를 찾는 규칙 기반 위협 탐지와 달리 AI 기반 위협 탐지는 여러 데이터 소스에서 예상되는 동작과 비교하여 이상 현상을 식별할 수 있습니다. 이러한 기능을 고려할 때 AI 기술을 사용하여 위협을 효과적으로 유도하려는 보안 제품에는 이러한 50개의 데이터 소스에 걸쳐 데이터를 정규화하고 강화하도록 설계된 복잡한 논리가 필요합니다.

두 가지 서로 다른 데이터 관리 접근 방식

읽기 스키마

Schema-on-Read는 사전 정의된 스키마를 적용하지 않고 원시 데이터 수집이 발생하는 데이터 관리 접근 방식입니다. 이 접근 방식은 데이터 소스 형식을 미리 이해할 필요가 없으므로 다양한 데이터 소스를 더 빠르게 통합합니다. 대신 원시 데이터는 있는 그대로 저장되며 처리에 필요한 모든 스키마는 원시 데이터를 변경하지 않고 읽기 시 발생합니다. 많은 데이터 엔지니어는 다음을 수행할 수 있기 때문에 Schema on Read를 선호합니다.

  • 사전 구조화가 필요하지 않으므로 데이터를 더 빠르게 수집할 수 있습니다.
  • 데이터 형식이 끊임없이 변화하는 상황에 적응하세요.
  • 스키마를 수정하지 않고도 광범위한 데이터 소스를 처리할 수 있습니다.

모든 기술과 마찬가지로 데이터 관리에 Schema-on-Read 접근 방식을 채택하면 다음과 같은 단점이 있습니다.

  • 검색 성능 저하
  • 데이터 분석은 컴퓨팅에 리소스를 많이 사용합니다.
  • 데이터 불일치 및 오류에 대한 경향이 더 높습니다.

Schema-on-Read 세계에서 AI 기반 위협 탐지

이제 Schema-on-Read의 장단점에 대해 논의했습니다. 데이터에 대한 스키마 없이 AI 기반 위협 탐지가 어떻게 작동할 수 있는지 생각해 보겠습니다. 앞서 언급했듯이 AI 기반 위협 탐지는 예상되는 동작과 비교하여 이상 현상을 식별합니다. 이러한 요구 사항을 고려할 때 AI 기반 보안 제품에는 다양한 형식으로 저장된 데이터 전체에서 "즉시" 데이터를 정규화하고 강화하도록 설계된 복잡한 논리가 필요합니다. 변칙 사항 누락을 방지하려면 각 기록을 즉시 처리해야 합니다. 다양한 AI 기반 탐지를 위해 처리된 데이터를 일시적으로 저장하려면 지속적으로 상당한 처리 능력과 메모리가 필요하기 때문에 이 접근 방식은 빠르게 비용이 많이 들 수 있다고 상상하는 것은 어렵지 않습니다. 따라서 원시 데이터를 수집한다는 아이디어는 좋게 들리고 AI 기반 위협 탐지와 관련된 일부 비사이버 보안 사용 사례에 적용될 수 있지만 지속적인 비용은 금방 감당할 수 없을 정도로 커질 수 있습니다. 데이터 스토리지와 AI 기반 감지 기능을 다른 공급업체에서 제공하는 경우 가격이 엄청나게 비싸고 예측하기 어려울 수 있습니다.

쓰기 시 스키마

Schema on Read와 달리 Schema on Write는 데이터 저장소에 쓰기 전에 일부 구조(스키마)를 데이터에 미리 적용하고 변환하고 수집된 데이터의 유효성을 검사하는 ETL(추출, 변환, 로드)을 수행합니다. 예상한 대로 Schema on Write의 이점은 다음과 같습니다.

  • 데이터 무결성 향상 및 불일치 최소화
  • 빠르고 효율적인 검색
  • 쉽고 빠른 데이터 분석

공평하게 말하자면, 데이터 관리에 대한 Schema-on-Write 접근 방식에는 몇 가지 제한 사항이 있습니다.

  • 데이터 원본 데이터 형식을 변경하려면 스키마를 업데이트해야 할 수 있습니다.
  • 새로운 데이터 소스를 수용하려면 데이터 스키마를 업데이트해야 합니다.

Schema-on-Read 세계에서 AI 기반 위협 탐지

Schema-on-Write의 장단점이 확인되었으므로 이제 데이터베이스에 쓰기 전에 데이터 스키마를 적용한 AI 기반 위협 탐지를 살펴보겠습니다. 우리는 환경을 보호하기 위해 50가지 보안 제품을 사용하는 동일한 조직과 협력한다고 가정합니다. 데이터 변환은 쓰기 시 스키마 보안 플랫폼에 데이터를 집계할 때 데이터베이스에 로드되기 전에 발생합니다. 이 전처리 과정에서 모든 데이터는 정규화되고 다른 소스의 데이터로 보강됩니다. AI 기반 위협 탐지 기능은 이제 컨텍스트가 포함된 표준 형식의 깨끗한 데이터 세트와 함께 작동하여 다양한 기준을 생성하고 이상 현상을 빠르고 효율적이며 정확하게 식별합니다. 예를 들어, 데이터베이스에 쓰기 전 강화 프로세스 중에 지리적 위치가 데이터에 추가되었으므로 비정상적인 물리적 위치에서 손상된 자격 증명 활동을 감지하는 것이 쉽게 최적화됩니다. 마찬가지로, 예를 들어 정규화 프로세스를 통해 모든 IP 주소에 위치 정보가 추가되어 비정상적인 사용자 활동을 쉽게 감지할 수 있습니다.

당신에게 올바른 선택은 무엇입니까?

공격자에 비해 지속 가능한 경쟁 우위를 생각할 때 데이터 관리 접근 방식이 가장 먼저 떠오르는 것은 아닐 수도 있지만 그래야 합니다. 위에서 설명한 각 데이터 관리 접근 방식에는 장단점이 있지만 궁극적으로 제품 데이터 관리 전략을 채택하기 전에 목표에 미치는 영향을 평가해야 합니다. 이는 비용, 효과적인 솔루션을 통한 위협 사냥 능력에 막대한 영향을 미치기 때문입니다. 검색 및 위협 탐지를 위한 자체 AI 기반 또는 수동 규칙을 개발할 수 있는 능력도 있습니다.

Stellar Cyber는 Schema-on-Write 데이터 관리 방식을 기반으로 구축되어 고객에게 효과적이고 정확한 AI 기반 위협 탐지 결과, 빠른 위협 탐색, 그리고 위협 분석을 위한 유연한 개발 기능을 제공합니다. 또한, 조직은 당사 플랫폼의 BYODL(Bring Your Own Data Lake) 기능을 활용하여 결과를 자체 데이터 레이크 또는 기존 시스템에만 저장함으로써 상당한 비용 절감을 실현할 수 있습니다. SIEMStellar Cyber가 고객 데이터와의 상호작용을 최적화하기 위해 어떤 노력을 기울이는지 자세히 알아보려면 다음을 참조하십시오. 지금 저희에게 연락하여 맞춤형 상담을 받으십시오.

위쪽으로 스크롤