다음을 통해 공유


데이터 흐름이란?

팁 (조언)

엔터프라이즈를 위한 올인원 분석 솔루션인 Microsoft Fabric 데이터 팩터리에서 Dataflow Gen2를 사용해 보세요. Microsoft Fabric 데이터 이동에서 데이터 과학, 실시간 분석, 비즈니스 인텔리전스 및 보고에 이르기까지 모든 것을 다룹니다. 무료로 새 평가판을 시작하는 방법을 알아봅니다!

데이터 흐름은 셀프 서비스, 클라우드 기반 데이터 준비 기술입니다. 데이터 흐름을 통해 고객은 Microsoft Dataverse 환경, Power BI 작업 영역 또는 조직의 Azure Data Lake Storage 계정으로 데이터를 수집, 변환 및 로드할 수 있습니다. 데이터 흐름은 Excel 및 Power BI 포함하여 많은 Microsoft 제품에 이미 있는 통합 데이터 연결 및 준비 환경인 파워 쿼리 사용하여 작성됩니다. 고객은 요청 시 또는 일정에 따라 자동으로 실행되도록 데이터 흐름을 트리거할 수 있습니다. 데이터는 항상 최신 상태로 유지됩니다.

여러 Microsoft 제품에서 데이터 흐름을 만들 수 있습니다.

데이터 흐름은 여러 Microsoft 제품에 포함되며 데이터 흐름 관련 라이선스를 만들거나 실행할 필요가 없습니다. 데이터 흐름은 Power Apps, Power BI 및 Dynamics 365 Customer Insights에서 사용할 수 있습니다. 데이터 흐름을 만들고 실행하는 기능은 해당 제품의 라이선스와 함께 제공됩니다. 데이터 흐름 기능은 대개 포함된 모든 제품에서 공통적이지만, 특정 제품에서만 사용할 수 있는 기능이 있는 경우도 있습니다. 한 제품에서 만든 데이터 흐름과 다른 제품에서 만든 데이터 흐름 간에 차이가 있을 수 있습니다.

데이터 흐름은 어떻게 작동하나요?

데이터 흐름이 원본 데이터에서 변환 프로세스로, 그리고 스토리지에 어떻게 작동하는지에 대한 다이어그램

이전 이미지는 데이터 흐름이 정의되는 방법에 대한 전체 보기를 보여 줍니다. 데이터 흐름은 다른 데이터 원본에서 데이터를 가져옵니다(이미 80개 이상의 데이터 원본이 지원됨). 그런 다음 파워 쿼리 작성 환경으로 구성된 변환에 따라 데이터 흐름은 데이터 흐름 엔진을 사용하여 데이터를 변환합니다. 마지막으로 데이터는 Microsoft Power Platform 환경, Power BI 작업 영역 또는 조직의 Azure Data Lake Storage 계정일 수 있는 출력 대상으로 로드됩니다.

클라우드에서 실행되는 데이터 흐름

데이터 흐름은 클라우드 기반입니다. 데이터 흐름이 작성되고 저장되면 해당 정의가 클라우드에 저장됩니다. 데이터 흐름도 클라우드에서 실행됩니다. 그러나 데이터 원본이 온-프레미스인 경우 온-프레미스 데이터 게이트웨이를 사용하여 데이터를 클라우드로 추출할 수 있습니다. 데이터 흐름 실행이 트리거되면 클라우드에서 데이터 변환 및 계산이 수행되고 대상은 항상 클라우드에 있습니다.

데이터 원본에서 클라우드에서 실행되는 데이터 흐름, 클라우드에서 실행되는 데이터 흐름, 스토리지로 데이터 흐름이 실행되는 방식의 다이어그램.

데이터 흐름은 강력한 변환 엔진을 사용합니다.

파워 쿼리 데이터 흐름에 사용되는 데이터 변환 엔진입니다. 이 엔진은 많은 고급 변환을 지원할 수 있습니다. 또한 파워 쿼리 편집기라는 간단하면서도 강력한 그래픽 사용자 인터페이스를 사용합니다. 이 편집기에서 데이터 흐름을 사용하여 데이터 통합 솔루션을 더 빠르고 쉽게 개발할 수 있습니다.

파워 쿼리 변환의 예를 보여 주는 스크린샷입니다.

Microsoft Power Platform 및 Dynamics 365 데이터 흐름 통합

데이터 흐름은 결과 테이블을 클라우드 기반 스토리지에 저장하므로 다른 서비스는 데이터 흐름에서 생성된 데이터와 상호 작용할 수 있습니다.

데이터 흐름이 Microsoft Power Platform 및 Dynamics 365와 통합되는 방식을 보여주는 다이어그램입니다.

예를 들어 Power BI, Power Apps, Power Automate, Power Virtual Agents 및 Dynamics 365 애플리케이션은 데이터 흐름 생성 시 구성된 대상에 따라 Dataverse, Power Platform 데이터 흐름 커넥터 또는 레이크를 통해 직접 연결하여 데이터 흐름에서 생성된 데이터를 가져올 수 있습니다.

데이터 흐름의 이점

다음 목록에서는 데이터 흐름을 사용할 때의 이점 중 일부를 강조 표시합니다.

  • 데이터 흐름은 Power BI 솔루션의 모델링 및 시각화 계층에서 데이터 변환 계층을 분리합니다.

  • 데이터 변환 코드는 여러 아티팩트 간에 분산되지 않고 중앙 위치인 데이터 흐름에 상주할 수 있습니다.

  • 데이터 흐름 작성자는 파워 쿼리 기술만 필요합니다. 여러 작성자가 있는 환경에서 데이터 흐름 작성자는 전체 BI 솔루션 또는 운영 애플리케이션을 함께 빌드하는 팀의 일원이 될 수 있습니다.

  • 데이터 흐름은 제품에 구애받지 않습니다. Power BI 구성 요소가 아니라 다른 도구 및 서비스에서 해당 데이터를 가져올 수 있습니다.

  • 데이터 흐름은 강력한 그래픽 셀프 서비스 데이터 변환 환경인 파워 쿼리 활용합니다.

  • 데이터 흐름은 전적으로 클라우드에서 실행됩니다. 추가 인프라가 필요하지 않습니다.

  • Power Apps, Power BI 및 Customer Insights에 대한 라이선스를 사용하여 데이터 흐름 작업을 시작하기 위한 여러 옵션이 있습니다.

  • 데이터 흐름은 고급 변환이 가능하지만 셀프 서비스 시나리오용으로 설계되었으며 IT 또는 개발자 배경이 필요하지 않습니다.

데이터 흐름에 대한 사용 사례 시나리오

여러 용도로 데이터 흐름을 사용할 수 있습니다. 다음 시나리오에서는 데이터 흐름에 대한 일반적인 사용 사례의 몇 가지 예를 제공합니다.

레거시 시스템에서 데이터 마이그레이션

이 시나리오에서 조직은 레거시 온-프레미스 시스템이 아닌 새 사용자 인터페이스 환경에 Power Apps 사용하기로 결정합니다. Power Apps, Power Automate 및 AI Builder 모두 기본 데이터 스토리지 시스템으로 Dataverse를 사용합니다. 기존 온-프레미스 시스템의 현재 데이터는 데이터 흐름을 사용하여 Dataverse로 마이그레이션할 수 있으며 이러한 제품은 해당 데이터를 사용할 수 있습니다.

데이터 흐름을 사용하여 데이터 웨어하우스 빌드

데이터 흐름을 다른 ETL(추출, 변환, 로드) 도구의 대체로 사용하여 데이터 웨어하우스를 빌드할 수 있습니다. 이 시나리오에서 회사의 데이터 엔지니어는 데이터 흐름을 사용하여 Data Lake Storage 팩트 및 차원 테이블을 포함하여 스타 스키마가 디자인된 데이터 웨어하우스를 빌드하기로 결정합니다. 그런 다음 Power BI 데이터 흐름에서 데이터를 가져오면 보고서 및 대시보드를 생성하는 데 사용됩니다.

데이터 흐름을 사용하여 데이터 웨어하우스를 빌드하는 방법의 다이어그램

데이터 흐름을 사용하여 차원 모델 빌드

데이터 흐름을 다른 ETL 도구의 대체로 사용하여 차원 모델을 빌드할 수 있습니다. 예를 들어 회사의 데이터 엔지니어는 데이터 흐름을 사용하여 Azure Data Lake Storage Gen2 팩트 및 차원 테이블을 포함하여 별모양 스키마 디자인 차원 모델을 빌드하기로 결정합니다. 그런 다음 Power BI 데이터 흐름에서 데이터를 가져오면 보고서 및 대시보드를 생성하는 데 사용됩니다.

데이터 흐름을 사용하여 차원 모델을 빌드하는 방법의 다이어그램

여러 Power BI 솔루션에서 데이터 준비 및 의미 체계 모델 재사용 중앙 집중화

여러 Power BI 솔루션이 동일한 변환된 버전의 테이블을 사용하는 경우 테이블을 만드는 프로세스가 여러 번 반복됩니다. 이렇게 하면 원본 시스템의 부하가 증가하고, 더 많은 리소스가 사용되며, 여러 실패 지점이 있는 중복 데이터가 생성됩니다. 대신 단일 데이터 흐름을 만들어 모든 솔루션에 대한 데이터를 계산할 수 있습니다. 그런 다음 Power BI 모든 솔루션에서 변환 결과를 다시 사용할 수 있습니다. 이러한 방식으로 사용되는 경우 데이터 흐름은 파워 쿼리 코드 중복을 방지하고 데이터 통합 계층의 유지 관리 비용을 줄이는 강력한 Power BI 구현 아키텍처의 일부가 될 수 있습니다.

여러 솔루션에서 테이블을 다시 사용할 수 있는 방법의 다이어그램

  • Microsoft Power Platform
  • Power BI