데이터 수집 도구 선택

기록 데이터에 대한 대상 플랫폼을 선택한 후 다음 단계는 데이터를 전송할 도구를 선택하는 것입니다.

이 문서에서는 기록 데이터를 선택한 대상 플랫폼으로 전송하는 데 사용되는 다양한 도구 집합에 대해 설명합니다. 이 표에는 각 대상 플랫폼에 사용할 수 있는 도구와 수집 프로세스에 도움이 되는 일반 도구가 나와 있습니다.

Azure 기본 로그/아카이브 모니터링 Azure Data Explorer Azure Blob 저장소 일반 도구
• Azure 사용자 지정 로그 수집 도구 모니터링
• Direct API		 • LightIngest
• Logstash		 • Azure Data Factory 또는 Azure Synapse
• AzCopy		 • Azure Data Box
• SIEM 데이터 마이그레이션 가속기

Azure 기본 로그/아카이브 모니터링

데이터를 수집하여 기본 로그 모니터링 또는 아카이브 Azure 전에 수집 가격을 낮추려면 작성하는 테이블이 기본 로그로 구성되어 있는지 확인합니다. Azure Monitor 사용자 지정 로그 수집 도구 및 Azure Monitor 기본 로그에 대한 직접 API 메서드를 검토합니다.

Azure 사용자 지정 로그 수집 도구 모니터링

사용자 지정 로그 수집 도구는 사용자 지정 데이터를 Azure 모니터 로그 작업 영역으로 보내는 PowerShell 스크립트입니다. 스크립트는 모든 로그 파일이 있는 폴더를 가리키고 스크립트는 파일을 해당 폴더로 푸시합니다. 스크립트는 로그 파일에 대한 CSV 또는 JSON 형식을 허용합니다.

Direct API

이 옵션을 사용하면 사용자 지정 로그를 Azure 모니터 로그에 수집합니다. REST API를 사용하는 PowerShell 스크립트를 사용하여 로그를 수집합니다. 또는 다른 프로그래밍 언어를 사용하여 수집을 수행하고 다른 Azure 서비스를 사용하여 Azure Functions 또는 Azure Logic Apps와 같은 컴퓨팅 계층을 추상화할 수 있습니다.

Azure Data Explorer

여러 가지 방법으로 ADX(Azure Data Explorer)에 데이터를 수집할 수 있습니다.

ADX에서 허용하는 수집 메서드는 다음과 같은 다양한 구성 요소를 기반으로 합니다.

  • .NET, Go, Python, Java, NodeJS 및 API와 같은 다양한 언어에 대한 SDK입니다.
  • Event Grid 또는 Storage Blob Event Hubs와 같은 관리형 파이프라인 및 Azure Data Factory.
  • Logstash, Kafka, Power Automate 및 Apache Spark와 같은 커넥터 또는 플러그 인

데이터 마이그레이션 사용 사례에 더 적합한 두 가지 방법인 LightIngest 및 Logstash를 검토합니다.

LightIngest

ADX는 기록 데이터 마이그레이션 사용 사례를 위해 LightIngest 유틸리티 를 개발했습니다. LightIngest를 사용하여 로컬 파일 시스템에서 데이터를 복사하거나 Azure Blob Storage ADX로 복사할 수 있습니다.

다음은 LightIngest의 몇 가지 주요 이점과 기능입니다.

  • 수집 기간에 시간 제약 조건이 없으므로 LightIngest는 많은 양의 데이터를 수집하려는 경우에 가장 유용합니다.
  • LightIngest는 레코드를 수집한 시간이 아니라 생성된 시간에 따라 쿼리하려는 경우에 유용합니다.
  • 유틸리티가 실제 복사본을 수행하지 않으므로 LightIngest의 복잡한 크기 조정을 처리할 필요가 없습니다. LightIngest는 복사해야 하는 Blob에 대해 ADX에 알리고 ADX는 데이터를 복사합니다.

LightIngest를 선택하는 경우 다음 팁과 모범 사례를 검토합니다.

  • 마이그레이션 속도를 높이고 비용을 줄이려면 ADX 클러스터의 크기를 늘려 수집에 사용할 수 있는 노드를 더 많이 만듭니다. 마이그레이션이 끝나면 크기를 줄입니다.
  • ADX에 데이터를 수집한 후 보다 효율적인 쿼리를 위해 복사한 데이터가 원래 이벤트에 타임스탬프를 사용하는지 확인합니다. 데이터는 데이터가 ADX에 복사되는 시점의 타임스탬프를 사용하면 안 됩니다. LightIngest에 타임스탬프를 CreationTime 속성의 일부로 파일 이름의 경로로 제공합니다.
  • 경로 또는 파일 이름에 타임스탬프가 포함되지 않은 경우에도 분할 정책을 사용하여 데이터를 구성하도록 ADX에 지시할 수 있습니다.

Logstash

Logstash는 여러 원본에서 동시에 데이터를 수집하고, 데이터를 변환한 다음, 즐겨 찾는 "stash"로 데이터를 보내는 오픈 소스 서버 쪽 데이터 처리 파이프라인입니다. Logstash에서 Azure Data Explorer 데이터를 수집하는 방법을 알아봅니다. Logstash는 Windows, Linux 및 macOS 컴퓨터에서 실행됩니다.

성능을 최적화하려면 초당 이벤트에 따라 Logstash 계층 크기를 구성 합니다. LightIngest는 복사를 수행하기 위해 ADX 클러스터 컴퓨팅을 사용하므로 가능한 경우 LightIngest 를 사용하는 것이 좋습니다.

Azure Blob 저장소

데이터를 수집하여 여러 가지 방법으로 Azure Blob Storage 수 있습니다.

데이터 마이그레이션 사용 사례에 더 적합한 ADF(Azure Data Factory) 및 Azure Synapse 메서드를 검토합니다.

Azure Data Factory 또는 Azure Synapse

Azure Data Factory(ADF) 또는 Synapse 파이프라인에서 복사 작업 사용하려면 다음을 수행합니다.

  1. 자체 호스팅 통합 런타임을 만들고 구성합니다. 이 구성 요소는 온-프레미스 호스트에서 데이터를 복사하는 작업을 담당합니다.
  2. 원본 데이터 저장소(파일 시스템 및 싱크 데이터 저장소 Blob Storage)에 대한 연결된 서비스를 만듭니다.
  3. 데이터를 복사하려면 데이터 복사 도구를 사용합니다. 또는 PowerShell, Azure Portal, .NET SDK 등과 같은 메서드를 사용할 수 있습니다.

AzCopy

AzCopy 는 스토리지 계정으로 또는 스토리지 계정에서 파일을 복사하는 간단한 명령줄 유틸리티입니다. AzCopy는 Windows, Linux 및 macOS에서 사용할 수 있습니다. AzCopy를 사용하여 온-프레미스 데이터를 Azure Blob Storage에 복사하는 방법을 알아봅니다.

다음 옵션을 사용하여 데이터를 복사할 수도 있습니다.

Azure Data Box

원본 SIEM이 Azure 대한 연결이 좋지 않은 시나리오에서는 이 섹션에서 검토한 도구를 사용하여 데이터를 수집하는 것이 느리거나 불가능할 수 있습니다. 이 시나리오를 해결하려면 Azure Data Box를 사용하여 고객의 데이터 센터에서 어플라이언스 로컬로 데이터를 복사한 다음 해당 어플라이언스 Azure 데이터 센터로 배송할 수 있습니다. Azure Data Box는 AzCopy 또는 LightIngest를 대체하는 것은 아니지만 이 도구를 사용하여 고객 데이터 센터와 Azure 간의 데이터 전송을 가속화할 수 있습니다.

Azure Data Box는 마이그레이션할 데이터의 양에 따라 세 가지 SKU를 제공합니다.

마이그레이션을 완료한 후 데이터는 Azure 구독 중 하나의 스토리지 계정에서 사용할 수 있습니다. 그런 다음 AzCopy, LightIngest 또는 ADF 를 사용하여 스토리지 계정에서 데이터를 수집할 수 있습니다.

SIEM 데이터 마이그레이션 가속기

수집 도구를 선택하는 것 외에도 팀은 기본 환경 설정에 시간을 투자해야 합니다. 이 프로세스를 쉽게 하기 위해 다음 작업을 자동화하는 SIEM 데이터 마이그레이션 가속기를 사용할 수 있습니다.

  • 원본에서 대상 플랫폼으로 로그를 이동하는 데 사용할 Windows 가상 머신을 배포합니다.
  • 다음 도구를 다운로드하여 가상 머신 데스크톱에 추출합니다.
  • 기록 로그를 호스트할 대상 플랫폼을 배포합니다.
    • Azure Storage 계정(Azure Blob Storage)
    • 클러스터 및 데이터베이스 Azure Data Explorer
    • Azure 로그 작업 영역 모니터링(기본 로그, Microsoft Sentinel 사용)

SIEM 데이터 마이그레이션 가속기를 사용하려면 다음을 수행합니다.

  1. SIEM 데이터 마이그레이션 가속기 페이지에서 페이지 아래쪽의 Azure 배포를 클릭하고 인증합니다.
  2. 기본 사항을 선택하고 리소스 그룹 및 위치를 선택한 다음, 다음을 선택합니다.
  3. 마이그레이션 VM을 선택하고 다음을 수행합니다.
    • 가상 머신 이름, 사용자 이름 및 암호를 입력합니다.
    • 기존 vNet을 선택하거나 가상 머신 연결에 대한 새 vNet을 만듭니다.
    • 가상 머신 크기를 선택합니다.
  4. 대상 플랫폼을 선택하고 다음 중 하나를 수행합니다.
    • 이 단계를 건너뜁니다.
    • ADX 클러스터 및 데이터베이스 이름, SKU 및 노드 수를 제공합니다.
    • Azure Blob Storage 계정의 경우 기존 계정을 선택합니다. 계정이 없는 경우 새 계정 이름, 유형 및 중복성을 제공합니다.
    • Azure 모니터 로그의 경우 새 작업 영역의 이름을 입력합니다.

다음 단계

이 문서에서는 대상 플랫폼에 데이터를 수집하는 도구를 선택하는 방법을 알아보았습니다.

데이터 수집

  • Last updated on