이상 탐지

이 페이지는 이상 탐지가 무엇인지, 무엇을 모니터링하는지, 그리고 어떻게 사용하는지 설명합니다.

이상 탐지란?

변칙 검색을 사용하면 스키마의 모든 테이블에서 데이터 품질을 모니터링할 수 있습니다. 기록 패턴을 분석하여 Azure Databricks 각 테이블의 완전성과 새로 고침을 자동으로 평가합니다. 결과는 카탈로그 탐색기에서 사용할 수 있습니다.

요구 사항

• Unity 카탈로그가 활성화된 작업 영역.
• 서버리스 컴퓨팅 은 작업 영역에서 사용할 수 있어야 합니다(Unity 카탈로그를 사용하는 작업 영역에서 기본적으로 사용).
• 스키마에 이상 탐지를 활성화하려면 카탈로그 스키마에 대한 "관리" SCHEMA 또는 "관리" CATALOG 권한이 있어야 합니다.
• 테이블의 상태 표시기 상태를 보려면 SELECT 권한 또는 BROWSE 권한이 필요합니다.

이상 탐지는 어떻게 작동하나요?

Azure Databricks는 테이블의 신선도와 완료성을 모니터링하는 백그라운드 작업을 만듭니다.

새로 고침 은 테이블이 얼마나 최근에 업데이트되었는지를 나타냅니다. 데이터 품질 모니터링은 테이블에 대한 커밋 기록을 분석하고 테이블별 모델을 빌드하여 다음 커밋 시간을 예측합니다. 커밋이 비정상적으로 늦으면 테이블이 부실로 표시됩니다.

완전성은 지난 24시간 동안 테이블에 기록될 것으로 예상되는 행 수를 나타냅니다. 데이터 품질 모니터링은 기록 행 수를 분석하고 이 데이터를 기반으로 예상 행 수를 예측합니다. 지난 24시간 동안 커밋된 행 수가 이 범위의 하한보다 작으면 테이블이 불완전한 것으로 표시됩니다.

Azure Databricks 지능형 검사를 사용하여 테이블 스캔 빈도를 자동화합니다. 지능형 검색은 인기도 및 다운스트림 사용량에 따라 결정되는 영향력이 높은 테이블의 우선 순위를 지정하고 덜 중요한 테이블에 대한 빈도를 줄입니다. 테이블을 수동으로 제외하려면 모니터 만들기 또는 모니터 업데이트 API를 사용하고 매개 변수에서 excluded_table_full_names 제외된 테이블을 지정합니다. 자세한 내용은 API 설명서를 참조하세요.

변칙 검색 은 모니터링하는 테이블을 수정하지 않으며 이러한 테이블을 채우는 작업에 오버헤드를 추가하지도 않습니다.

완료도에 대한 백분율 null

백분율 null은완성도에 추가 품질 세부 정보를 추가합니다. 백분율 null은 지정된 열에 대해 null 값이 있을 것으로 예상되는 지난 24시간 동안 테이블에 기록된 행의 백분율입니다. 데이터 품질 모니터링은 각 열의 기록 추세를 분석하고 이 데이터를 기반으로 범위를 예측합니다. 지난 24시간 동안 열의 null 퍼센트가 이 범위의 상한선을 초과하면, 테이블이 불완전한 것으로 표시됩니다.

스키마에서 이상 탐지 사용

스키마에서 변칙 검색을 사용하도록 설정하려면 Unity 카탈로그의 스키마로 이동합니다.

1. 스키마 페이지에서 세부 정보 탭을 클릭합니다.

   

2. 활성화를 클릭합니다. 데이터 품질 모니터링 대화 상자에서 변칙 검색이 설정되었는지 확인하고 저장을 클릭합니다.

3. 검사가 시작됩니다. Databricks는 업데이트된 동일한 빈도로 각 테이블을 자동으로 검사하여 각 테이블에 대해 수동 구성을 요구하지 않고도 up-to-date 인사이트를 제공합니다. 2025년 9월 24일 이전에 사용하도록 설정된 스키마의 경우 Databricks는 첫 번째 검사에서 기록 데이터("백테스팅")에서 모니터를 실행하여 2주 전에 스키마에서 데이터 품질 모니터링을 사용하도록 설정한 것처럼 테이블의 품질을 확인했습니다.

4. 검사가 완료되면 다음과 같은 방법으로 테이블에 대한 변칙 검색 결과를 볼 수 있습니다.

• 상태 표시기는 스키마 내의 각 테이블에 대한 카탈로그 탐색기에 표시됩니다. 상태 지표를 참조하세요.
• 데이터 품질 모니터링을 사용하도록 설정된 스키마의 세부 정보 탭에서 결과 보기를 클릭한 다음 데이터 품질 모니터링에서 결과를 봅니다. UI에서 데이터 품질 모니터링 결과 보기를 참조하세요.
• 검색된 품질 문제가 출력 시스템 테이블에 기록됩니다. 이상 탐지 로그된 결과 검토를 참조하세요.

이상 탐지 사용 안 함

이상 탐지를 사용하지 않도록 설정하려면 다음을 수행합니다.

1. 연필 아이콘을 클릭합니다.

   

2. 데이터 품질 모니터링 대화 상자에서 토글을 클릭합니다.

   중요합니다

   변칙 검색을 사용하지 않도록 설정하면 변칙 검색 작업과 모든 변칙 검색 테이블 및 정보가 삭제됩니다. 이 작업은 취소할 수 없습니다.

   

3. 저장을 클릭합니다.

건강 지표

스키마에서 변칙 검색을 사용하도록 설정하면 상태 표시기가 카탈로그 탐색기의 스키마 및 테이블 개요 페이지에 표시됩니다. 상태 표시기는 데이터 품질 모니터링 UI로 이동할 필요 없이 데이터 소비자 및 비즈니스 사용자의 테이블 상태 요약을 보여 줍니다. 사용자가 상태 표시를 보려면 SELECT 권한 또는 BROWSE 권한이 필요합니다.

다음 표에서는 각 상태 표시기 상태를 설명합니다.

UI에서 데이터 품질 모니터링 결과 보기

스키마에서 데이터 품질 모니터링을 사용하도록 설정한 후 결과 보기를 클릭하여 결과 페이지를 열 수 있습니다. 카탈로그 탐색기에서 모니터링을 사용하도록 설정된 모든 스키마의 결과에 액세스할 수도 있습니다.

결과 UI에는 카탈로그 및 스키마 드롭다운이 포함됩니다. 카탈로그를 선택하면 스키마 드롭다운이 데이터 품질 모니터링을 사용하도록 설정된 해당 카탈로그의 스키마로 채워집니다.

• 카탈로그에 대한 관리 또는 SELECT 권한이 있는 경우 카탈로그 수준에서 인시던트 보기를 수행할 수 있습니다. 카탈로그의 모든 인시던트를 보려면 스키마 드롭다운 메뉴에서 모든 스키마를 선택합니다.

  

• 특정 스키마에 대한 인시던트를 보려면 해당 스키마에 대한 관리 또는 SELECT 권한도 있어야 합니다. 그런 다음 스키마를 선택하면 해당 스키마에 대한 인시던트만 표시됩니다.

결과 페이지에는 정상 테이블의 백분율과 현재 모니터링되는 스키마/테이블의 백분율을 포함하여 선택한 범위에 대한 전체 데이터 품질을 표시하는 요약 섹션이 맨 위에 표시됩니다. 이 섹션 아래에는 선택한 범위에서 모니터링되는 모든 테이블의 인시던트를 나열하는 테이블이 있습니다. 단추를 사용하여 비정상, 정상 또는 오류 테이블을 표시합니다.

다음 표는 비정상, 정상, 또는 오류를 선택할 때 다소 다른 열에 대해 설명합니다.

메타스토어 수준 결과 보기

이 섹션에서는 작업 영역으로 가져올 수 있는 템플릿을 제공합니다. 이 템플릿은 메타스토어 전체에서 모든 품질 결과를 볼 수 있는 대시보드를 만듭니다.

이 템플릿을 사용하려면 테이블에 대한 액세스 권한이 system.data_quality_monitoring.table_results 있어야 합니다. 기본적으로 계정 관리자만 이 테이블에 액세스할 수 있습니다. 필요에 따라 다른 사용자에게 액세스 권한을 부여할 수 있습니다.

템플릿을 사용하는 방법

아래 단계를 수행하세요.

1. 템플릿 파일을 다운로드합니다. metastore-quality-dashboard.lvdash.json.
2. 작업 영역 사이드바에서 대시보드를 클릭합니다.
3. 오른쪽 위 모서리의 대시보드 만들기 드롭다운 메뉴에서 파일에서 대시보드 가져오기를 선택합니다.
4. 대화 상자에서 파일 선택을 클릭하고 템플릿 파일로 이동한 다음 대시보드 가져오기를 클릭합니다.

파일을 가져오고 대시보드가 나타납니다.

테이블 품질 세부 정보

테이블 품질 세부 정보 UI를 사용하면 추세를 자세히 살펴보고 스키마의 특정 테이블에 대해 변칙이 검색된 이유를 이해할 수 있습니다. 이 보기는 다음과 같은 여러 가지 방법으로 액세스할 수 있습니다.

• 결과 UI(새 환경)에서 인시던트 목록의 검토 링크를 클릭합니다.
• 모니터링 대시보드 (레거시 Lakeview 대시보드)에서, 품질 개요 탭의 테이블 이름을 클릭하여.
• UC 테이블 뷰어에서 테이블 페이지의 품질 탭을 방문합니다.

모든 옵션을 선택하면 선택한 테이블에 대해 동일한 테이블 품질 세부 정보 보기로 이동됩니다.

테이블이 지정된 경우 UI는 각 평가 타임스탬프에서 예측 및 관찰된 값의 그래프와 함께 테이블에 대한 각 품질 검사의 요약을 표시합니다. 그래프는 지난 1주 동안의 데이터 결과를 표시합니다.

테이블이 품질 검사에 실패한 경우 UI는 근본 원인으로 식별된 업스트림 작업도 표시합니다.

경고 설정

출력 결과 테이블에서 Databricks SQL 경고를 구성하려면 변칙 검색에 대한 경고를 참조하세요.

제한점

• 이상 탐지는 뷰 또는 외부 테이블을 지원되지 않습니다.
• 완전성 결정은 null, 0 값 또는 NaN의 분수와 같은 메트릭을 고려하지 않습니다.

레거시 이상 탐지

다음 섹션에서는 데이터 품질 대시보드 및 변칙 검색 작업 구성이라는 두 가지 레거시 기능을 다룹니다. 현재 버전의 이상 탐지에는 이러한 기능이 들어있지 않습니다. 대시보드가 데이터 품질 모니터링 결과 UI로 대체되었습니다.

[
  {
    "disable_check": false,
    "tables_to_skip": null,
    "tables_to_scan": null,
    "table_threshold_overrides": null,
    "table_latency_threshold_overrides": null,
    "static_table_threshold_override": null,
    "event_timestamp_col_names": null,
    "metric_type": "FreshnessConfig"
  },
  {
    "disable_check": true,
    "tables_to_skip": null,
    "tables_to_scan": null,
    "table_threshold_overrides": null,
    "metric_type": "CompletenessConfig"
  }
]