การวางแผนการย้าย: กลุ่ม SQL เฉพาะของ Azure Synapse Analytics ไปยัง Fabric คลังข้อมูล

นําไปใช้กับ:✅ Warehouse ใน Microsoft Fabric

บทความนี้ให้รายละเอียดเกี่ยวกับกลยุทธ์ ข้อควรพิจารณา และวิธีการโยกย้ายคลังข้อมูลในพูล SQL เฉพาะของ Azure Synapse Analytics ไปยัง Microsoft Fabric คลังข้อมูล

บทนําการโยกย้าย

ในฐานะที่ Microsoft ได้แนะนํา Microsoft Fabric ซึ่งเป็นโซลูชันการวิเคราะห์ SaaS แบบครบวงจรสําหรับองค์กรที่มีชุดบริการที่ครอบคลุม ซึ่งรวมถึง Data Factory, วิศวกรข้อมูล ing, คลังข้อมูล, วิทยาศาสตร์ข้อมูล, ข่าวกรองแบบเรียลไทม์ และ Power BI

บทความนี้มุ่งเน้นไปที่ตัวเลือกสําหรับการโยกย้าย schema (DDL) การย้ายรหัสฐานข้อมูล (DML) และการโยกย้ายข้อมูล Microsoft มีหลายตัวเลือกและที่นี่เรากล่าวถึงแต่ละตัวเลือกโดยละเอียดและให้คําแนะนําเกี่ยวกับตัวเลือกเหล่านี้ที่คุณควรพิจารณาสําหรับสถานการณ์ของคุณ บทความนี้ใช้เกณฑ์มาตรฐานอุตสาหกรรม TPC-DS สําหรับภาพประกอบและการทดสอบประสิทธิภาพ ผลลัพธ์จริงของคุณอาจแตกต่างกันโดยขึ้นอยู่กับปัจจัยหลายอย่าง รวมถึงชนิดของข้อมูล ชนิดข้อมูล ความกว้างของตาราง เวลาแฝงของแหล่งข้อมูล ฯลฯ

เตรียมพร้อมสําหรับการโยกย้าย

วางแผนโครงการการย้ายข้อมูลของคุณอย่างรอบคอบก่อนที่คุณจะเริ่มต้นใช้งาน และตรวจสอบให้แน่ใจว่าสคีมา โค้ด และข้อมูลของคุณเข้ากันได้กับ Fabric คลังข้อมูล มีข้อจํากัดบางอย่างที่คุณต้องพิจารณา วัดปริมาณงานการปรับโครงสร้างของรายการเข้ากันไม่ได้ ตลอดจนทรัพยากรอื่น ๆ ที่จําเป็นก่อนที่จะส่งการโยกย้ายข้อมูล

เป้าหมายหลักอีกประการหนึ่งของการวางแผนคือการปรับการออกแบบของคุณเพื่อให้แน่ใจว่าโซลูชันของคุณใช้ประโยชน์จากประสิทธิภาพการสืบค้นระดับสูงที่ Fabric คลังข้อมูล ได้รับการออกแบบมาเพื่อมอบให้อย่างเต็มที่ การออกแบบคลังข้อมูลสําหรับมาตราส่วนแนะนํารูปแบบการออกแบบที่ไม่ซ้ํากัน ดังนั้นวิธีดั้งเดิมจึงไม่ได้ดีที่สุดเสมอไป ตรวจสอบ หลักเกณฑ์ด้านประสิทธิภาพการทํางานเนื่องจากแม้ว่าการปรับปรุงการออกแบบบางอย่างจะสามารถดําเนินการได้หลังจากการโยกย้ายข้อมูล แต่การเปลี่ยนแปลงในกระบวนการก่อนหน้านี้จะช่วยคุณประหยัดเวลาและความพยายาม การโยกย้ายจากเทคโนโลยี/สภาพแวดล้อมหนึ่งไปยังอีกเทคโนโลยีหนึ่งเป็นความพยายามที่สําคัญเสมอ

แผนภาพต่อไปนี้แสดงถึงวงจรชีวิตการโยกย้ายที่แสดงเสาหลักที่ประกอบด้วยประเมินและประเมินแผนและออกแบบโยกย้ายการตรวจสอบและควบคุมปรับให้เหมาะสมและปรับโครงสร้างให้ทันสมัยด้วยงานที่เกี่ยวข้องในแต่ละเสาเพื่อวางแผนและเตรียมพร้อมสําหรับการโยกย้ายที่ราบรื่น

Runbook สําหรับการโยกย้าย

พิจารณากิจกรรมต่อไปนี้เป็นรันบุ๊กการวางแผนสําหรับการโยกย้ายของคุณจากพูล SQL เฉพาะของ Synapse ไปยัง Fabric คลังข้อมูล

1. ประเมินและประเมิน
   1. ระบุวัตถุประสงค์และแรงจูงใจ สร้างผลลัพธ์ที่ชัดเจนตามที่ต้องการ
   2. การค้นพบ การประเมิน และพื้นฐานสถาปัตยกรรมที่มีอยู่
   3. ระบุผู้ถือผลประโยชน์ร่วมและผู้สนับสนุนหลัก
   4. กําหนดขอบเขตของสิ่งที่จะโยกย้าย
      1. เริ่มต้นด้วยขนาดเล็กและเรียบง่าย เตรียมพร้อมสําหรับการโยกย้ายข้อมูลขนาดเล็กหลายรายการ
      2. เริ่มต้นการตรวจสอบและจัดทําเอกสารลําดับขั้นทั้งหมดของกระบวนการ
      3. สร้างสินค้าคงคลังของข้อมูลและกระบวนการสําหรับการโยกย้าย
      4. กําหนดการเปลี่ยนแปลงแบบจําลองข้อมูล (ถ้ามี)
      5. ตั้งค่าพื้นที่ทํางานของผ้า
   5. skillset/preference ของคุณคืออะไร?
      1. ทํางานโดยอัตโนมัติได้ทุกที่ที่เป็นไปได้
      2. ใช้เครื่องมือและคุณลักษณะที่มีอยู่ภายใน Azure เพื่อลดความพยายามในการโยกย้าย
   6. ฝึกอบรมพนักงานก่อนเวลาบนแพลตฟอร์มใหม่
      1. ระบุความต้องการที่เพิ่มขึ้นและสินทรัพย์การฝึกอบรม รวมถึง Microsoft Learn
2. การวางแผนและการออกแบบ
   1. กําหนดสถาปัตยกรรมที่ต้องการ
   2. เลือก วิธีการ/เครื่องมือสําหรับการโยกย้าย เพื่อทํางานต่อไปนี้ให้สําเร็จ:
      1. การแยกข้อมูลจากแหล่งข้อมูล
      2. การแปลง Schema (DDL) รวมถึงเมตาดาต้าสําหรับตารางและมุมมอง
      3. การนําเข้าข้อมูล รวมถึงข้อมูลในอดีต
         1. หากจําเป็น ให้วิศวกรแบบจําลองข้อมูลอีกครั้งโดยใช้ประสิทธิภาพของแพลตฟอร์มใหม่และการปรับขนาด
      4. การโยกย้ายรหัสฐานข้อมูล (DML)
         1. โยกย้ายหรือปรับโครงสร้างขั้นตอนการจัดเก็บและกระบวนการทางธุรกิจใหม่
   3. สินค้าคงคลังและแยกคุณลักษณะการรักษาความปลอดภัยและสิทธิ์ของวัตถุจากแหล่งข้อมูล
   4. ออกแบบและวางแผนเพื่อแทนที่/ปรับเปลี่ยนกระบวนการ ETL/ELT ที่มีอยู่สําหรับการโหลดแบบเพิ่มหน่วย
      1. สร้างกระบวนการ ETL/ELT แบบขนานไปยังสภาพแวดล้อมใหม่
   5. เตรียมแผนการย้ายข้อมูลโดยละเอียด
      1. แมปสถานะปัจจุบันไปยังสถานะใหม่ที่ต้องการ
3. อพยพ
   1. ดําเนินการ Schema ข้อมูล การโยกย้ายโค้ด
      1. การแยกข้อมูลจากแหล่งข้อมูล
      2. การแปลงเค้าร่าง (DDL)
      3. การนําเข้าข้อมูล
      4. การโยกย้ายรหัสฐานข้อมูล (DML)
   2. หากจําเป็น ให้ปรับมาตราส่วนทรัพยากรพูล SQL เฉพาะเพื่อช่วยความเร็วในการโยกย้ายชั่วคราว
   3. ใช้ความปลอดภัยและสิทธิ์
   4. โยกย้ายกระบวนการ ETL/ELT ที่มีอยู่สําหรับการโหลดแบบเพิ่มหน่วย
      1. โยกย้ายหรือปรับโครงสร้างกระบวนการโหลด ETL/ELT แบบเพิ่มหน่วย
      2. ทดสอบและเปรียบเทียบกระบวนการโหลดส่วนเพิ่มแบบขนาน
   5. ปรับแผนการย้ายรายละเอียดข้อมูลตามความจําเป็น
4. การตรวจสอบและกํากับดูแล
   1. เรียกใช้พร้อมกัน เปรียบเทียบกับสภาพแวดล้อมต้นทางของคุณ
      1. ทดสอบแอปพลิเคชัน แพลตฟอร์มข่าวกรองธุรกิจ และเครื่องมือคิวรี
      2. Benchmark และปรับประสิทธิภาพคิวรีให้เหมาะสม
      3. ตรวจสอบและจัดการค่าใช้จ่าย ความปลอดภัย และประสิทธิภาพการทํางาน
   2. มาตรฐานนโยบายการกํากับดูแลและการประเมิน
5. ปรับให้เหมาะสมและปรับให้ทันสมัย
   1. เมื่อธุรกิจมีความสะดวก แอปพลิเคชันการเปลี่ยนแปลงและแพลตฟอร์มการรายงานหลักไปยัง Fabric
      1. ปรับมาตราส่วนทรัพยากรขึ้น/ลงเป็นการเปลี่ยนปริมาณงานจาก Azure Synapse Analytics เป็น Microsoft Fabric
      2. สร้างเทมเพลตที่ทําซ้ําได้จากประสบการณ์สําหรับการโยกย้ายในอนาคต ย้ํา
      3. ระบุโอกาสสําหรับการปรับต้นทุนให้เหมาะสม การรักษาความปลอดภัย ความสามารถในการปรับขนาด และความเป็นเลิศในการดําเนินงาน
      4. ระบุโอกาสในการปรับปรุงอสังหาริมทรัพย์ของคุณให้ทันสมัยด้วย คุณลักษณะ Fabric ล่าสุด

'ลิฟท์และกะ' หรือทันสมัย?

โดยทั่วไปแล้ว มีสถานการณ์การโยกย้ายข้อมูลสองประเภทโดยไม่คํานึงถึงวัตถุประสงค์และขอบเขตของการย้ายที่วางแผนไว้: การยกและเปลี่ยนตามที่เป็น หรือวิธีการแบบเป็นระยะที่รวมการเปลี่ยนแปลงสถาปัตยกรรมและรหัส

ลิฟท์และกะ

ในการโยกย้ายลิฟต์และกะ โมเดลข้อมูลที่มีอยู่จะถูกโยกย้ายด้วยการเปลี่ยนแปลงเล็กน้อยไปยัง Fabric คลังข้อมูล ใหม่ วิธีการนี้จะลดความเสี่ยงและเวลาการโยกย้ายข้อมูลโดยลดการทํางานใหม่ที่จําเป็นในการตระหนักถึงประโยชน์ของการโยกย้ายข้อมูล

การโยกย้ายแบบยกและเลื่อนนั้นเหมาะสมสําหรับสถานการณ์เหล่านี้:

• คุณมีสภาพแวดล้อมที่มีอยู่พร้อมคลังสินค้าจํานวนน้อยที่จะโยกย้าย
• คุณมีสภาพแวดล้อมที่มีข้อมูลที่อยู่ในโครงสร้างแบบดาวหรือแบบจําลองแบบจําลองที่ออกแบบมาอย่างดีแล้ว
• คุณอยู่ภายใต้แรงกดดันด้านเวลาและต้นทุนในการย้ายไปยัง Fabric คลังข้อมูล

โดยสรุป วิธีการนี้ทํางานได้ดีสําหรับปริมาณงานที่ได้รับการปรับให้เหมาะสมกับสภาพแวดล้อมพูล SQL เฉพาะของ Azure Synapse ปัจจุบันของคุณ ดังนั้นจึงไม่จําเป็นต้องมีการเปลี่ยนแปลงที่สําคัญใน Fabric

ปรับให้ทันสมัยด้วยวิธีการแบบเป็นระยะ ๆ ด้วยการเปลี่ยนแปลงทางสถาปัตยกรรม

หากคลังข้อมูลเดิมมีการพัฒนามาเป็นเวลานาน คุณอาจต้องทําวิศวกรใหม่เพื่อรักษาระดับประสิทธิภาพที่จําเป็น

นอกจากนี้คุณอาจต้องการออกแบบสถาปัตยกรรมใหม่เพื่อใช้ประโยชน์จากเครื่องมือและคุณลักษณะใหม่ที่พร้อมใช้งานในพื้นที่ทํางาน Fabric

ความแตกต่างของการออกแบบ: พูล SQL เฉพาะของ Synapse และ Fabric คลังข้อมูล

พิจารณาความแตกต่างของคลังข้อมูล Azure Synapse และ Microsoft Fabric ต่อไปนี้ โดยเปรียบเทียบพูล SQL เฉพาะกับ Fabric คลังข้อมูล

ข้อควรพิจารณาของตาราง

เมื่อคุณย้ายตารางระหว่างสภาพแวดล้อมที่แตกต่างกัน โดยทั่วไปแล้วเฉพาะข้อมูลดิบและการโยกย้ายเมตาดาต้าจริง องค์ประกอบฐานข้อมูลอื่น ๆ จากระบบต้นทาง เช่น ดัชนี โดยปกติแล้วจะไม่ถูกโยกย้ายเนื่องจากอาจไม่จําเป็นหรือนํามาใช้แตกต่างกันในสภาพแวดล้อมใหม่

การปรับประสิทธิภาพให้เหมาะสมในสภาพแวดล้อมต้นทาง เช่น ดัชนี ระบุตําแหน่งที่คุณอาจเพิ่มการปรับประสิทธิภาพให้เหมาะสมในสภาพแวดล้อมใหม่ แต่ตอนนี้ Fabric จะดูแลคุณโดยอัตโนมัติ

ข้อควรพิจารณาของ T-SQL

มีความแตกต่างของไวยากรณ์ Data Manipation Language (DML) หลายแบบที่ต้องระวัง ดูที่พื้นที่พื้นผิว T-SQL ในคลังข้อมูลผ้า พิจารณาการประเมินโค้ดเมื่อเลือกวิธีการโยกย้ายสําหรับรหัสฐานข้อมูล (DML)

คุณอาจจําเป็นต้องเขียนส่วนต่างๆ ของรหัส T-SQL DML ของคุณใหม่ ทั้งนี้ขึ้นอยู่กับความแตกต่างของพาริตีในช่วงเวลาของการโยกย้าย

ความแตกต่างในการแมปชนิดข้อมูล

มีความแตกต่างของชนิดข้อมูลหลายชนิดใน Fabric คลังข้อมูล สําหรับข้อมูลเพิ่มเติม ดูชนิดข้อมูลใน Microsoft Fabric

ตารางต่อไปนี้แสดงการแมปของชนิดข้อมูลที่รองรับจากพูล SQL เฉพาะของ Synapse ไปยัง Fabric คลังข้อมูล

* Datetime2 ไม่เก็บข้อมูลออฟเซ็ตโซนเวลาพิเศษที่เก็บไว้ใน datetimeoffset เนื่องจากชนิดข้อมูล datetimeoffset ไม่ได้รับการสนับสนุนในขณะนี้ใน Fabric คลังข้อมูล ข้อมูลออฟเซ็ตโซนเวลาจะต้องถูกแยกลงในคอลัมน์แยกต่างหาก

เนื้อหาที่เกี่ยวข้อง

• สร้าง Warehouse ใน Microsoft Fabric
• แนวทางประสิทธิภาพการทํางานของคลังข้อมูลสิ่งทอ
• ความปลอดภัยสําหรับคลังข้อมูลใน Microsoft Fabric
• บล็อก: การแมปพูล SQL เฉพาะของ Azure Synapse กับการประมวลผล Fabric คลังข้อมูล
• ภาพรวมการโยกย้าย Microsoft Fabric