적용 대상:
Azure Data Factory 
Azure Synapse Analytics
팁
Microsoft Fabric의 데이터 팩토리는 더 간단한 아키텍처, 기본 제공 AI 및 새로운 기능을 갖춘 차세대 Azure 데이터 팩토리입니다. 데이터 통합을 접하는 경우 Fabric Data Factory부터 시작합니다. 기존 ADF 워크로드는 Fabric 업그레이드하여 데이터 과학, 실시간 분석 및 보고 전반에 걸쳐 새로운 기능에 액세스할 수 있습니다.
- Fabric 무료 평가판을 시작합니다.
Microsoft Fabric의 Data Factory로 Azure Data Factory를 업그레이드합니다
데이터 레이크 또는 EDW(엔터프라이즈 데이터 웨어하우스)를 Microsoft Azure 마이그레이션하려면 Azure Data Factory 사용하는 것이 좋습니다. Azure Data Factory 다음 시나리오에 적합합니다.
- Big data 워크로드를 Amazon Simple Storage 서비스(Amazon S3) 또는 온-프레미스 Hadoop 분산 파일 시스템(HDFS)에서 Azure로 마이그레이션 하기
- Oracle Exadata, Netezza, Teradata 또는 Amazon Redshift에서 Azure EDW 마이그레이션
Azure Data Factory 데이터 레이크 마이그레이션을 위해 PB(페타바이트) 데이터와 데이터 웨어하우스 마이그레이션을 위해 수십TB(테라바이트) 데이터를 이동할 수 있습니다.
데이터 마이그레이션에 Azure Data Factory 사용할 수 있는 이유
- Azure Data Factory 고성능, 복원력 및 확장성을 통해 서버리스 방식으로 데이터를 이동하는 처리 능력을 쉽게 확장할 수 있습니다. 또한 사용한 만큼만 요금을 지불합니다. 다음 사항도 유의해야 합니다.
- Azure Data Factory 데이터 볼륨 또는 파일 수에 제한이 없습니다.
- Azure Data Factory 네트워크 및 스토리지 대역폭을 완전히 사용하여 사용자 환경에서 가장 많은 양의 데이터 이동 처리량을 달성할 수 있습니다.
- Azure Data Factory 종량제 방법을 사용하므로 Azure 데이터 마이그레이션을 실행하는 데 실제로 사용하는 시간에 대해서만 비용을 지불합니다.
- Azure Data Factory 일회성 기록 로드와 예약된 증분 로드를 모두 수행할 수 있습니다.
- Azure Data Factory Azure IR(통합 런타임)을 사용하여 공개적으로 액세스할 수 있는 데이터 레이크와 웨어하우스 엔드포인트 간에 데이터를 이동합니다. 또한 VNet(Azure Virtual Network) 내부 또는 방화벽 뒤에서 데이터 레이크 및 웨어하우스 엔드포인트의 데이터를 이동하는 데 자체 호스팅 IR을 사용할 수 있습니다.
- Azure Data Factory 엔터프라이즈급 보안이 있습니다. 보안 서비스 간 통합에 MSI(Windows Installer) 또는 서비스 ID를 사용하거나 자격 증명 관리에 Azure Key Vault 사용할 수 있습니다.
- Azure Data Factory 코드 없는 제작 환경과 풍부한 기본 제공 모니터링 대시보드를 제공합니다.
온라인 데이터 마이그레이션과 오프라인 마이그레이션 비교
Azure Data Factory 네트워크(인터넷, ER 또는 VPN)를 통해 데이터를 전송하는 표준 온라인 데이터 마이그레이션 도구입니다. 오프라인 데이터 마이그레이션을 사용하는 반면, 사용자는 조직에서 Azure 데이터 센터로 데이터 전송 디바이스를 물리적으로 전송합니다.
온라인 마이그레이션 방법과 오프라인 마이그레이션 방법 중에서 선택할 때 다음 세 가지 주요 사항을 고려해야 합니다.
- 마이그레이션할 데이터 크기
- 네트워크 대역폭
- 마이그레이션 윈도우
Azure Data Factory를 사용하여 2주 이내에 데이터 마이그레이션을 완료할 계획이라고 가정합니다(마이그레이션 기간). 다음 표에서 분홍색/파란색 절단선을 확인하세요. 지정된 열에서 가장 아래에 있는 분홍색 셀은 마이그레이션 기간이 2주 미만인 데이터 크기/네트워크 대역폭 쌍을 보여줍니다. (파란색 셀의 모든 크기/대역폭 쌍은 온라인 마이그레이션 기간이 2주를 초과합니다.)
이 표에서는 데이터 크기와 사용 가능한 네트워크 대역폭에 따라 Azure Data Factory(온라인 마이그레이션)을 통해 의도한 마이그레이션 기간을 충족할 수 있는지 여부를 결정하는 데 도움이 됩니다. 온라인 마이그레이션 기간이 2주를 초과하면 오프라인 마이그레이션을 사용하는 것이 좋습니다.
참고
온라인 마이그레이션을 사용하면 단일 도구를 통해 기록 데이터 로드와 증분 피드 모두 엔드투엔드로 수행할 수 있습니다. 이 방법을 통해 전체 마이그레이션 기간 동안 기존 저장소와 새 저장소 간에 데이터를 동기화된 상태로 유지할 수 있습니다. 즉, 새로 고쳐진 데이터를 사용하여 새 저장소에서 ETL 논리를 다시 빌드할 수 있습니다.
관련 콘텐츠
AWS S3에서 Azure 온-프레미스 hadoop 클러스터에서 Azure 온-프레미스 Netezza 서버에서 Azure