데이터 엔지니어 위한 Livy API란?

적용 대상:✅ Fabric 데이터 엔지니어링 및 데이터 과학

Microsoft Fabric Livy API를 사용하면 사용자가 Fabric Lakehouse와 연결된 Spark 컴퓨팅 내에서 Spark 코드를 제출하고 실행할 수 있으므로 Notebook 또는 Spark 작업 정의 아티팩트를 만들 필요가 없습니다. Lakehouse와 통합하면 OneLake에 저장된 데이터에 쉽게 액세스할 수 있습니다.

기능

Fabric Livy API는 다음 작업 유형을 지원합니다.

  • 세션 작업 - Livy 세션 작업은 Livy API와의 상호 작용 전체에서 활성 상태로 유지되는 Spark 세션을 설정합니다. 세션은 대화형 워크로드에 유용합니다. 세션은 작업이 제출될 때 시작되며 사용자가 작업을 종료하거나 시스템이 20분 동안 비활성 상태로 종료될 때까지 지속됩니다. 세션 내에서 여러 작업을 실행하여 실행 간에 상태 및 캐시된 데이터를 공유할 수 있습니다.
  • Batch 작업 - Livy 일괄 처리 작업은 단일 작업 실행을 위해 Spark 애플리케이션을 제출합니다. 세션 작업과 달리 일괄 처리 작업은 진행 중인 Spark 세션을 유지하지 않습니다. 각 작업은 작업이 완료되면 종료되는 새 Spark 세션을 시작합니다. 이 세션은 이전 계산을 사용하지 않거나 상태를 유지 관리해야 하는 작업에 적합합니다.
  • 높은 동시성 세션 - 높은 동시성(HC) 세션을 사용하면 클라이언트가 여러 개의 독립적인 실행 컨텍스트를 획득할 수 있도록 하여 동시 Spark를 실행할 수 있습니다. 각 HC 세션은 공유 기본 Livy 세션 내에서 Spark REPL(읽기Eval-Print 루프)에 매핑되어 병렬 실행, 예측 가능한 리소스 사용 및 동시 요청 간의 격리를 지원합니다. 자세한 내용은 Fabric Livy API의 동시성 지원 참조하세요.

메모

높은 동시성 지원은 가산적이며 기존 Livy API 계약을 변경하지 않습니다. 기존 Livy 세션 및 일괄 처리 워크로드는 수정 없이 계속 작동합니다.

Livy API 시작

관련 콘텐츠

  • Last updated on