รวม Dataverse กับข้อมูลองค์กรใน Microsoft Fabric โดยใช้สถาปัตยกรรม medallion

สถาปัตยกรรมอ้างอิงนี้แสดงวิธีการรวม Dataverse กับข้อมูลองค์กรใน Microsoft Fabric เพื่อสร้างแพลตฟอร์มการวิเคราะห์ที่ถูกควบคุมโดยใช้วิธีการเหรียญ สถาปัตยกรรมเหรียญรางวัลจัดระเบียบข้อมูลลงในชั้นทองแดงสีเงินและทองเพื่อให้ทีมสามารถรักษาข้อมูลแหล่งข้อมูลดิบสร้างชุดข้อมูลที่สอดคล้องและนํากลับมาใช้ใหม่ได้และเผยแพร่แบบจําลองที่รวบรวมซึ่งปรับให้เหมาะสมสําหรับการวิเคราะห์และประสบการณ์ AI เรียนรู้เพิ่มเติมเกี่ยวกับหลักการของสถาปัตยกรรมเมดัลเลียนได้ที่ สถาปัตยกรรมเลคเฮาส์แบบเมดัลเลียนคืออะไร?

แผนภาพสถาปัตยกรรม

ในระดับสูง สถาปัตยกรรมแยกการนําเข้า การแปลง การกํากับดูแล และความรับผิดชอบด้านการบริโภคเพื่อให้แต่ละชั้นสามารถปรับขนาดได้อย่างอิสระ คุณมิเรอร์ข้อมูล Dataverse ลงใน OneLake ผ่านลิงก์ไปยัง Fabric นําเข้าแหล่งข้อมูลที่ไม่ใช่ Dataverse ผ่านไปป์ไลน์ Fabric และเผยแพร่ผลิตภัณฑ์ข้อมูลที่รวบรวมผ่านแบบจําลองระดับทองคําที่ควบคุมสําหรับปริมาณการใช้ขององค์กร

ไดอะแกรมแสดงตัวควบคุมข้อมูลประจําตัวและการเข้าถึงทั่วทั้งสถาปัตยกรรม ข้อมูลเข้าผ่านมิเรอร์ Dataverse หรือการนําเข้าภายนอกและเคลื่อนผ่านเลเยอร์ทองแดง สีเงิน และสีทอง Power BI, Copilot, เอเจนต์ข้อมูล และประสบการณ์การใช้งานด้านการรายงานการดำเนินงานใช้ข้อมูลดังกล่าว

ถือว่าการกํากับดูแลเป็นข้อกังวลในการตัดข้ามแทนที่จะเป็นส่วนประกอบสถาปัตยกรรมเดียว ข้อมูลประจําตัว การควบคุมการเข้าถึงตามบทบาท (RBAC) สายข้อมูล ไปป์ไลน์การปรับใช้ และแบบจําลองความหมายที่ได้รับการรับรองทํางานร่วมกันเพื่อควบคุมการเข้าถึง จัดการการเปลี่ยนแปลง และรักษาความน่าเชื่อถือตลอดวงจรชีวิตข้อมูล

เวิร์กโฟลว์

เวิร์กโฟลว์เป็นไปตามวงจรชีวิตข้อมูลจากการเข้าถึงที่ปลอดภัยและการนําเข้าผ่านการแปลงข้อมูล การสร้างแบบจําลองที่ควบคุม การใช้งาน และการดําเนินการปรับใช้

ข้อมูลประจําตัวและความปลอดภัย

ตั้งค่าการควบคุมข้อมูลประจำตัวและการเข้าถึงก่อน เพื่อให้อาร์ติแฟกต์ Fabric ในลำดับถัดไปทั้งหมดสืบทอดโมเดลความปลอดภัยที่มีการกำกับดูแล

• ใช้การลงชื่อเข้าระบบครั้งเดียวด้วย JumpCloud เป็นผู้ให้บริการข้อมูลประจําตัวที่รวมเข้ากับ Microsoft Entra ID เพื่อเข้าถึง Power Platform, Fabric และเครื่องมือการใช้

• ใช้การควบคุมการเข้าถึงตามบทบาท (RBAC) ในพื้นที่ทํางาน รายการ (เลคเฮ้าส์ คลังสินค้า Eventhouse แบบจําลองความหมาย), วัตถุ (ตาราง มุมมอง ไฟล์) และระดับแถวและคอลัมน์ (RLS, CLS)

• จัดแนวกลุ่มความปลอดภัยให้กับบุคคล: นักพัฒนาระบบธุรกิจอัจฉริยะ (BI) นักวิทยาศาสตร์ข้อมูล นักวิเคราะห์ธุรกิจ และผู้สร้างแอป

การนําเข้า: ระดับบรอนซ์

Bronze ใช้ช่องทางการนำเข้าข้อมูลสองช่องทาง: การทำมิเรอร์ Dataverse แบบมีการจัดการผ่าน Link to Fabric และการนำเข้าที่ขับเคลื่อนด้วยไปป์ไลน์สำหรับแหล่งข้อมูลที่ไม่ใช่ Dataverse

• เชื่อมโยง Dataverse Lakehouse (บรอนซ์): จัดเตรียมและมีการจัดการอย่างเต็มรูปแบบผ่าน เชื่อมโยงไปยัง Fabric ทำสำเนาแบบมิเรอร์ของตาราง Dataverse ใน OneLake พร้อมการอัปเดตแบบส่วนเพิ่มและในรูปแบบ Parquet/Delta โดยทำหน้าที่เป็นอินพุตดิบจากระบบต้นทางที่เชื่อถือได้สำหรับโดเมน Dataverse

• Enterprise คลังข้อมูล (EDW) Lakehouse (Bronze - แหล่งข้อมูลที่ไม่ใช่ข้อมูล): การนําเข้าข้อมูลจากระบบภายนอก เช่น ไฟล์ API และแอปพลิเคชันแหล่งที่มาในอนาคต ไปป์ไลน์ข้อมูลใน Fabric รองรับการประมวลผลแบบแบตช์และการจัดการลำดับงานแบบ ELT (แยกข้อมูล โหลด และแปลง) ขณะที่ Dataflow Gen2 รองรับการนำเข้าข้อมูลแบบ no-code และ low-code ตามความเหมาะสม

การแปลงข้อมูลและความสอดคล้อง: ระดับเงิน

ใช้ตรรกะการแปลงข้อมูลโดยใช้ปริมาณงาน Fabric ที่เหมาะสมสําหรับแต่ละงาน:

• ไปป์ไลน์สำหรับการประสานงาน การพึ่งพากัน และการตั้งเวลา
• Dataflow Gen2 สําหรับการจัดรูปร่างเอนทิตีที่มีรหัสต่ํา การถอดรหัสชุดตัวเลือก และความสอดคล้องที่มีน้ําหนักเบา
• สมุดบันทึก (Spark/Python) สําหรับการเข้าร่วมที่ปรับขนาดได้ การทําประวัติ (SCD) และวิศวกรรมข้อมูลขั้นสูง

Silver (สอดคล้อง): ทําให้เอนทิตี Dataverse เป็นมาตรฐาน (ตัวอย่างเช่น บัญชี ผู้ติดต่อ โอกาส กิจกรรม) ลดรูปแบบโครงสร้างเอนทิตี ทำให้ข้อมูลการค้นหาเป็นรูปธรรม ตั้งค่าตัวเลือกแผนที่เป็นป้ายชื่อที่สามารถอ่านได้ จัดแนวตัวระบุข้ามระบบ ปรับมาตรฐานแหล่งข้อมูลที่ไม่ใช่ Dataverse ให้เป็นมิติกลางและคีย์ที่สอดคล้องกัน

การสร้างแบบจำลองที่ผ่านการคัดสรร: ระดับทอง

ทอง (สคีมาแบบดาว): แบบจําลองมิติและข้อเท็จจริงที่รวบรวมสอดคล้องกับโดเมนธุรกิจ (ตัวอย่างเช่น ยอดขาย ไปป์ไลน์ ลูกค้า 360 บริการ) การออกแบบที่มุ่งเน้นประสิทธิภาพประกอบด้วยคีย์ตัวแทน มิติวันที่ มิติเสื่อมตามความจำเป็น และกลยุทธ์แบบเพิ่มทีละส่วนหรือแบบแบ่งพาร์ทิชัน แผนภาพจะแสดงเลเยอร์ทองเป็นเลคเฮ้าส์เนื่องจากประสิทธิภาพด้านต้นทุนเป็นเป้าหมายการออกแบบหลัก นอกจากนี้ คุณยังสามารถใช้คลังสินค้าเมื่อปริมาณงานต้องใช้การสร้างแบบจําลองเชิงสัมพันธ์ที่แข็งแกร่งกว่า การพัฒนาครั้งแรกของ SQL หรือคุณลักษณะด้านประสิทธิภาพและการกํากับดูแลเฉพาะคลังสินค้า

หลังจากที่คุณคัดสรรและจัดเตรียมผลิตภัณฑ์ข้อมูลระดับ Gold แล้ว แบบจำลองเชิงความหมายจะเป็นชั้นธุรกิจที่มีการกำกับดูแลซึ่งใช้โดยการรายงาน Copilot และเอเจนต์ข้อมูล

แบบจําลองความหมายและปริมาณการใช้

• สร้างแบบจำลองเชิงความหมายบนชั้นข้อมูล Gold รับรองแบบจำลองเหล่านั้น และกำกับดูแลเพื่อรองรับ Power BI ประสบการณ์การใช้งาน Copilot และเอเจนต์ข้อมูล

• ใช้ Dataverse Lakehouse ที่ลิงก์ไว้สำหรับการรายงานเชิงปฏิบัติการโดยแทบไม่ต้องปรับแต่งข้อมูล ใช้สีเงินหรือสีทองสําหรับเนื้อหาระดับองค์กรเพื่อสนับสนุนความสอดคล้องและขนาด

DevOps และวงจรชีวิต

การจัดการวงจรชีวิตครอบคลุมเวิร์กโฟลว์ ดังนั้นวัตถุจะย้ายจากการพัฒนาไปยังการผลิตอย่างต่อเนื่องด้วยการควบคุมแหล่งข้อมูล การตรวจสอบความถูกต้อง และการกําหนดค่าเฉพาะสภาพแวดล้อม

• ผสาน Git Source Control (Azure DevOps) เข้ากับพื้นที่ทำงานการพัฒนาเพื่อการกำหนดเวอร์ชันและการตรวจทานโดยเพื่อนร่วมงาน

• ใช้ไปป์ไลน์การปรับใช้ของ Fabric เพื่อทำให้การเลื่อนระดับจากการพัฒนา ไปยังการทดสอบ และไปยังการใช้งานจริงเป็นไปโดยอัตโนมัติ ด้วยตัวแปรเฉพาะของแต่ละสภาพแวดล้อม กฎของแหล่งข้อมูล และเกณฑ์การตรวจสอบความถูกต้อง

• กําหนดความเป็นเจ้าของวัตถุที่ชัดเจน: วิศวกรรมเป็นเจ้าของไปป์ไลน์และสมุดบันทึก ทีมข่าวกรองธุรกิจ (BI) เป็นเจ้าของแบบจําลองความหมาย และเจ้าของผลิตภัณฑ์จัดการตัวบ่งชี้ประสิทธิภาพหลัก (KPI) และข้อกําหนด

ผลลัพธ์คือไปป์ไลน์การวิเคราะห์ที่มีการเก็บรักษาข้อมูลดิบข้อมูลที่สอดคล้อง แบบจําลองที่รวบรวมใหม่เชื่อถือได้ และประสบการณ์การใช้งานได้รับการสนับสนุนโดยเลเยอร์ความหมายที่ผ่านการรับรอง

รายละเอียดของสถานการณ์จำลอง

เป้าหมายหลัก: ส่งมอบพื้นฐานการวิเคราะห์ที่ปรับขนาดได้และรองรับสําหรับแหล่งข้อมูล Dataverse และแหล่งที่ไม่ใช่ข้อมูลที่เร่งความเร็วสถานการณ์ของ Power Platform และเตรียมพื้นผิวข้อมูลสําหรับ Copilot และ Enterprise BI

วัตถุประสงค์หลักได้แก่:

• ผลิตภัณฑ์ข้อมูลที่สอดคล้องกัน (star-schema gold) ที่ขับเคลื่อนด้วยโมเดลความหมายที่ได้รับการรับรอง
• การผสานรวมโดยตรงกับ Power Apps (Dataverse) ผ่านฟีเจอร์ Link to Fabric (การทำมิเรอร์แบบมีการจัดการ)
• การพัฒนาที่มีการควบคุมด้วยการรวม Git และไปป์ไลน์การปรับใช้ Fabric (Dev → Test → Production)
• การเข้าถึงที่ปลอดภัยตามบทบาทในระดับพื้นที่ทำงาน รายการ วัตถุ และแถว/คอลัมน์
• ข้อมูลที่รวมศูนย์จากหลายระบบ
• ปรับปรุงความสะอาดของข้อมูล องค์กร และความปลอดภัย
• การสนับสนุนสำหรับสถานการณ์การใช้งานของ Copilot และการวิเคราะห์
• เครื่องมือที่ใส่ใจค่าใช้จ่ายและตัวเลือกการกําหนดค่า

สถาปัตยกรรมแปลเป้าหมายเหล่านี้เป็นรูปแบบ Fabric ที่มีการควบคุม: ข้อมูล dataverse ที่ป้อนผ่านลิงก์ไปยัง Fabric และแหล่งข้อมูลภายนอกจะถูกนําเข้าผ่านไปป์ไลน์ Fabric กระแสข้อมูลทั้งสองรูปแบบจะจัดรูปผ่านเลเยอร์สีบรอนซ์ สีเงิน และสีทองก่อนที่จะถูกเปิดเผยผ่านแบบจําลองความหมายที่ได้รับการรับรองสําหรับ Power BI Copilot ตัวแทนข้อมูล และการรายงานการดําเนินงาน

ส่วนประกอบ

คอมโพเนนต์ต่อไปนี้ประกอบกันเป็นสถาปัตยกรรมอ้างอิงและสนับสนุนข้อมูลประจําตัว การนําเข้า การแปลง การกํากับดูแล การจัดการวงจรชีวิต และปริมาณการใช้

ข้อควรพิจารณา

ข้อควรพิจารณาเหล่านี้ใช้เสาหลักของ Power Platform Well-Architected ซึ่งเป็นชุดหลักการชี้นําเพื่อช่วยปรับปรุงคุณภาพของปริมาณงาน เรียนรู้เพิ่มเติมเกี่ยวกับ Microsoft Power Platform Well-Architected

Reliability

สถาปัตยกรรมนี้ออกแบบมาเพื่อให้การส่งมอบข้อมูลที่สอดคล้องกันยืดหยุ่นตลอดการนําเข้า การแปลงข้อมูล และเลเยอร์การใช้งาน

• ลิงก์ที่มีการจัดการสำหรับการมิเรอร์ใน Fabric ช่วยลดความจำเป็นของตรรกะการดึงข้อมูลแบบกำหนดเอง และลดความเสี่ยงที่การนำเข้าข้อมูลจะล้มเหลว

• สถาปัตยกรรม Medallion จะแยกความล้มเหลวในสีบรอนซ์ เงิน และทองคํา ดังนั้นปัญหาในหนึ่งชั้นจึงไม่รบกวนไปป์ไลน์การวิเคราะห์เต็มรูปแบบ

• การประมวลผลแบบเพิ่มข้อมูล, ELT แบบแบ่งพาร์ติชัน และการจัดลำดับการทำงานที่คำนึงถึงการพึ่งพากัน ช่วยลดเวลาในการรีเฟรชและการแย่งใช้ทรัพยากรระบบ

• การตรวจสอบ การแจ้งเตือน และการจัดการการลองใหม่ ช่วยให้ตรวจพบความล้มเหลวของไปป์ไลน์ได้ตั้งแต่เนิ่น ๆ และกู้คืนได้โดยไม่ต้องทำซ้ำด้วยตนเอง

การรักษาความปลอดภัย

ใช้ความปลอดภัยเป็นข้อกังวลอันดับแรกและนําไปใช้อย่างสม่ําเสมอทั่วทั้งเลเยอร์ข้อมูลเอกลักษณ์ข้อมูลและการวิเคราะห์

• ใช้การลงชื่อเข้าระบบครั้งเดียวด้วย JumpCloud เป็นผู้ให้บริการข้อมูลประจําตัวที่รวมเข้ากับ Microsoft Entra ID เพื่อเข้าถึง Power Platform, Fabric และเครื่องมือการใช้ที่ได้รับอนุมัติ

• บังคับใช้ RBAC ที่พื้นที่ทํางาน รายการ วัตถุ และระดับแบบจําลองความหมายเพื่อสนับสนุนการเข้าถึงสิทธิ์การใช้งานน้อยที่สุดที่สอดคล้องกับบุคคลขององค์กร

• ใช้การรักษาความปลอดภัยระดับแถวและระดับคอลัมน์เพื่อปกป้องข้อมูลทางธุรกิจที่ละเอียดอ่อนในแบบจําลองความหมายและสนับสนุนการใช้ซ้ําที่ปลอดภัยในหลายรายงาน

• ใช้ป้ายชื่อระดับความลับ การรับรอง สายข้อมูล และการตรวจสอบการเข้าถึงเป็นครั้งคราวเพื่อช่วยรักษาการเข้าถึงข้อมูลที่เชื่อถือได้และสอดคล้อง

ความเป็นเลิศในการดำเนินงาน

บรรลุความเป็นเลิศในการดําเนินงานผ่านการสร้างมาตรฐาน การทํางานอัตโนมัติ และความเป็นเจ้าของที่ชัดเจนตลอดวงจรชีวิตการวิเคราะห์

• ใช้การรวม Git กับ Azure DevOps เพื่อเปิดใช้งานการควบคุมเวอร์ชัน การตรวจสอบเพียร์ และการตรวจสอบย้อนกลับสําหรับอาร์ติแฟกต์ Fabric

• ใช้ Fabric ไปป์ไลน์การปรับใช้เพื่อกําหนดมาตรฐานการเลื่อนระดับทั่วทั้ง Dev, Test และ Production บังคับใช้ประตูตรวจสอบความถูกต้องและลดข้อผิดพลาดในการปรับใช้ด้วยตนเอง

• กําหนดความเป็นเจ้าของที่ชัดเจนในบทบาทด้านวิศวกรรม ข่าวกรองธุรกิจ และธุรกิจเพื่อปรับปรุงความรับผิดชอบในการดําเนินงาน

• กําหนดเจ้าของ เส้นทางการแก้ไข สายข้อมูล และ runbooks สําหรับข้อยกเว้นด้านคุณภาพข้อมูลเพื่อให้คุณแก้ไขปัญหาก่อนที่จะส่งผลกระทบต่อแบบจําลองที่ผ่านการรับรอง

ประสิทธิภาพการทำงาน

สถาปัตยกรรมจะปรับประสิทธิภาพให้เหมาะสมกับทั้งการจัดเก็บข้อมูล การคํานวณ และเลเยอร์ความหมายเพื่อสนับสนุนทั้งสถานการณ์ BI และ Copilot ขององค์กร

• ที่เก็บข้อมูล Delta และ Parquet รองรับการพุชดาวน์เพรดิเคตที่มีประสิทธิภาพและการรวมที่ปรับขนาดได้สําหรับปริมาณงานวิเคราะห์ขนาดใหญ่

• สคีมาแบบดาวในชั้น Gold ใช้คีย์แทน มิติที่สอดคล้องกัน และกลยุทธ์แบบเพิ่มทีละส่วน เพื่อปรับปรุงประสิทธิภาพของการสืบค้น

• แบบจำลองเชิงความหมายที่ได้รับการรับรองซึ่งมีการแคชและการสรุปรวมข้อมูล ช่วยลดเวลาแฝงของคิวรี และลดภาระการประมวลผลซ้ำจากชั้นข้อมูลพื้นฐาน

• แอปเมตริกความจุ Fabric จะตรวจสอบที่เก็บข้อมูลและคํานวณการใช้งาน วิเคราะห์ความต้องการปรับขนาด และระบุปัญหาคอขวดของประสิทธิภาพการทํางาน

การปรับปรุงประสบการณ์ใช้งาน

สถาปัตยกรรมนี้ให้ความสําคัญกับการใช้งาน ความไว้วางใจ และประสิทธิภาพการทํางานสําหรับผู้ใช้ข้อมูล ผู้สร้าง และนักวิเคราะห์

• แบบจําลองความหมายที่ได้รับการรับรองให้ KPI และพื้นผิวตรรกะทางธุรกิจที่สอดคล้องกันสําหรับการรายงานที่ได้รับการอนุมัติและประสบการณ์ที่ได้รับการช่วยเหลือจาก AI

• เลนการเปลี่ยนแปลงที่สอดคล้องกับชุดทักษะ เช่น Dataflow Gen2 สําหรับผู้สร้างโค้ดต่ําและสมุดบันทึกสําหรับวิศวกร ช่วยให้ทีมทํางานได้อย่างมีประสิทธิภาพภายในแพลตฟอร์มเดียว

• อภิธานศัพท์ทางธุรกิจและคําจํากัดความ KPI ที่เชื่อมโยงกับแบบจําลองความหมายช่วยปรับปรุงความสามารถในการแปลความหมายและลดความคลุมเครือสําหรับผู้ใช้ทางธุรกิจ

• การสร้างรายงานโดยตรงจาก Linked Dataverse Lakehouse ถูกจำกัดไว้สำหรับสถานการณ์ด้านการปฏิบัติงานที่ยอมรับการปรับแต่งข้อมูลเพียงเล็กน้อยได้ และไม่จำเป็นต้องมีความสอดคล้องเชิงความหมายในระดับองค์กร

ข้อควรพิจารณาเหล่านี้ช่วยให้สถาปัตยกรรมเชื่อถือได้ ปลอดภัย รักษาได้ ประหยัดต้นทุน มีประสิทธิภาพ และง่ายต่อการนํามาใช้เมื่อขยายการใช้งาน

ผู้สนับสนุน

Microsoft ดูแลบทความนี้ ผู้เขียนต่อไปนี้ได้เขียนบทความนี้

ผู้เขียนหลัก:

• Terra Gilbert ที่ปรึกษาด้านเทคนิคอาวุโส

แหล่งข้อมูลที่เกี่ยวข้อง

• ทําความเข้าใจสถาปัตยกรรมเลคเฮาส์แบบ Medallion สําหรับ Fabric ที่ใช้ OneLake
• การรวม git โดยอัตโนมัติด้วยบริการหลักใน Azure DevOps
• บทนำสู่ไปป์ไลน์การปรับใช้