พูลสดแบบกําหนดเองใน Microsoft Fabric

นําไปใช้กับ:✅ วิศวกรรมข้อมูล Fabric และวิทยาศาสตร์ข้อมูล

พูลสดแบบกําหนดเองคือคลัสเตอร์ Spark ที่อุ่นเครื่องไว้ล่วงหน้า ซึ่งให้การเริ่มต้นเซสชันที่เกือบจะทันทีสําหรับปริมาณงานที่ใช้สมุดบันทึกใน Microsoft Fabric แทนที่จะรอการจัดเตรียมคลัสเตอร์ในทุกๆ การเรียกใช้ พูลสดแบบกําหนดเองจะช่วยให้คลัสเตอร์อบอุ่นในระหว่างกรอบเวลากําหนดการที่กําหนดค่าไว้

เหตุใดจึงต้องใช้ไลฟ์พูลแบบกําหนดเอง

เซสชัน Spark มาตรฐานใน Fabric ต้องการการเตรียมใช้งานคลัสเตอร์ทุกครั้งที่เซสชันเริ่มต้น สําหรับทีมที่เรียกใช้สมุดบันทึกบ่อยครั้ง ไม่ว่าจะเป็นแบบโต้ตอบ ตามกําหนดการ หรือทริกเกอร์ไปป์ไลน์ เวลาในการจัดเตรียมนี้สามารถชะลอรอบการทําซ้ําและเพิ่มเวลาแฝงของงานโดยรวม

พูลสดแบบกําหนดเองจะจัดการกับปัญหานี้โดย:

  • ลัสเตอร์ให้ความชุ่มชื้นล่วงหน้าตามกําหนดการที่ผู้ใช้กําหนด ดังนั้นการประมวลผลจึงพร้อมเมื่อปริมาณงานมาถึง
  • ช่วยให้สามารถควบคุม จํานวนคลัสเตอร์ที่อุ่นและสภาพแวดล้อมที่ใช้สําหรับการกําหนดค่าไลบรารีได้อย่างแม่นยํา
  • มอบประสิทธิภาพการเริ่มต้นที่สม่ําเสมอ (~5 วินาที) สําหรับเซสชันโน้ตบุ๊กที่รองรับทุกประเภทในช่วงกรอบเวลาที่กําหนดไว้

พูลสดแบบกําหนดเองช่วยเสริมพูลเริ่มต้นที่มีอยู่และตัวเลือกพูล Spark แบบกําหนดเองใน Fabric:

ตัวเลือกการประมวลผล เวลาเริ่มต้น ตามกําหนดการ ไลบรารีแบบกําหนดเอง ปริมาณงานที่รองรับ
กลุ่มเริ่มต้น 5 ถึง 10 วินาที (ไม่มีไลบรารี) ไม่ใช่ ไม่ใช่ โน๊ตบุ๊ค SJD
พูล Spark แบบกําหนดเอง ~1 นาที ไม่ใช่ ผ่านสภาพแวดล้อม โน๊ตบุ๊ค SJD
พูลสดแบบกําหนดเอง ~5 วินาทีถึง 10 วินาที (หลังจากให้ความชุ่มชื้นเสร็จสิ้น) ใช่ ผ่านสภาพแวดล้อม สมุดบันทึกเท่านั้น (แบบโต้ตอบและตามกําหนดเวลา)

แนวคิดหลัก

แนวคิดต่อไปนี้อธิบายวิธีการทํางานของพูลสดแบบกําหนดเอง รวมถึงวิธีการเตรียมคลัสเตอร์ เวลาที่พร้อมใช้งาน และวิธีจัดการการตั้งค่าคอนฟิกความจุและไลบรารี

ความชุ่มชื้นและการวอร์มอัพ

เมื่อคุณสร้างและเผยแพร่พูลสดแบบกําหนดเอง Fabric จะเริ่มให้ความชุ่มชื้นแก่คลัสเตอร์ก่อนกรอบเวลาที่กําหนดไว้ การให้ความชุ่มชื้นหมายความว่าคลัสเตอร์ได้รับการจัดเตรียมอย่างสมบูรณ์กําหนดค่าด้วยสภาพแวดล้อมที่แนบมาและอุ่นจนกว่าคําขอเซสชันจะมาถึง

เวลาเริ่มต้น ~5 วินาทีจะใช้ได้หลังจากที่สระได้รับน้ําเต็มที่แล้วเท่านั้น ระหว่างการตั้งค่าเริ่มต้นหรือทันทีหลังจากการเปลี่ยนแปลงการกําหนดค่า เซสชันอาจใช้เวลาเริ่มต้นนานขึ้นในขณะที่การให้น้ําเสร็จสิ้น สําหรับการแก้ไขปัญหา โปรดดู การให้น้ําใช้เวลานานกว่าที่คาดไว้

กำหนดการ

พูลสดแบบกําหนดเองทุกพูลต้องการกําหนดการที่กําหนดเวลาที่พูลทํางาน คลัสเตอร์จะอุ่นเฉพาะในช่วงเวลาที่กําหนดไว้ และการเรียกเก็บเงินจะเกิดขึ้นเฉพาะในขณะที่มีการปันส่วนคลัสเตอร์เท่านั้น เมื่อกําหนดการหมดอายุหรือคลัสเตอร์ไม่ได้ใช้งานเกินขีดจํากัดที่กําหนดค่าไว้ Fabric จะยกเลิกการจัดสรรและหยุดการเรียกเก็บเงิน

วางแผนกําหนดการของคุณให้ครอบคลุมกรอบเวลาปริมาณงานที่คาดไว้ เพื่อให้การประมวลผลแบบอบอุ่นพร้อมใช้งานเมื่อทีมของคุณต้องการ สําหรับขั้นตอนการกําหนดค่าและแนวทางปฏิบัติแนะนํา โปรดดู กําหนดค่าพูลแบบสด

สิ่งที่แนบมากับสิ่งแวดล้อม

พูลสดแบบกําหนดเองแต่ละพูลจะแนบกับสภาพแวดล้อม Fabric สภาพแวดล้อมควบคุมไลบรารีที่ติดตั้งไว้ล่วงหน้าบนคลัสเตอร์ไฮเดรต เมื่อต้องการอัปเดตไลบรารี คุณต้องปรับเปลี่ยนและเผยแพร่สภาพแวดล้อมอีกครั้ง คลัสเตอร์ไฮเดรตที่มีอยู่จะไม่ได้รับการรีเฟรชด้วยไลบรารีใหม่จนกว่าจะมีการเติมน้ําตามกําหนดการครั้งต่อไปหรือการรีเฟรชด้วยตนเอง สําหรับขั้นตอนการกําหนดค่า โปรดดู กําหนดค่าพูลสด

โหมดการเผยแพร่ไลบรารี

โหมดการเผยแพร่ไลบรารีในสภาพแวดล้อมที่แนบมาจะกําหนดวิธีการส่งไลบรารีไปยังคลัสเตอร์ไฮเดรต:

  • โหมดเต็ม: ไลบรารีจะได้รับการแก้ไขและอบลงในอิมเมจคลัสเตอร์ไฮเดรตระหว่างการเผยแพร่สภาพแวดล้อม เมื่อเซสชันเริ่มต้น สแนปช็อตโหมดเต็มจะมีอยู่แล้วบนคลัสเตอร์ ทําให้เซสชันเริ่มต้นได้ประมาณ 5 วินาที ใช้โหมดเต็มเมื่อคุณต้องการชุดไลบรารีที่เสถียรและทําซ้ําได้พร้อมการเริ่มต้นเซสชันที่เร็วที่สุดเท่าที่จะเป็นไปได้
  • โหมดด่วน: ไลบรารีไม่ได้ติดตั้งไว้ล่วงหน้าบนคลัสเตอร์ไฮเดรต แต่จะติดตั้งเมื่อเซสชันโน้ตบุ๊กเริ่มต้นขึ้น คลัสเตอร์ไฮเดรตยังคงให้การจัดสรรการประมวลผลที่รวดเร็ว แต่การติดตั้งไลบรารีเมื่อเริ่มต้นเซสชันจะเพิ่มเวลา ใช้โหมดด่วนเพื่อการทําซ้ําอย่างรวดเร็วระหว่างการพัฒนาเมื่อความเสถียรของไลบรารีมีความสําคัญน้อยลง

Note

โฟลเดอร์ทรัพยากรสมุดบันทึกและการติดตั้งไลบรารีแบบอินไลน์ (เช่น %pip install ในเซลล์โค้ด) เป็นวิธีการด้วยตนเองต่อเซสชัน พวกเขาไม่ขึ้นกับโหมดการเผยแพร่สภาพแวดล้อม และไม่ส่งผลกระทบต่อไลบรารีที่ติดตั้งไว้ล่วงหน้าบนคลัสเตอร์ไฮเดรต

ความจุคลัสเตอร์

แต่ละพูลมีจํานวนคลัสเตอร์สูงสุดที่คุณตั้งค่าระหว่างการตั้งค่าคอนฟิก Fabric จะไม่ปรับขนาดพูลเกินค่านี้โดยอัตโนมัติ เมื่อมีการใช้งานคลัสเตอร์ไฮเดรตทั้งหมด งานเพิ่มเติมจะกลับไปใช้การเตรียมใช้งานตามความต้องการ ซึ่งจะใช้เวลาประมาณ 3 ถึง 5 นาทีหรือนานกว่านั้น ขึ้นอยู่กับการขึ้นต่อกันของแพคเกจไลบรารี สําหรับคําแนะนําการปรับขนาด โปรดดู การปรับขนาดคลัสเตอร์

ปริมาณงานที่รองรับ

พูลสดแบบกําหนดเองรองรับประเภทเซสชัน Spark ที่ใช้สมุดบันทึกต่อไปนี้:

  • สมุดบันทึกแบบโต้ตอบ ทํางานจากพอร์ทัล Fabric
  • การเรียกใช้สมุดบันทึกตามกําหนดการ ที่กําหนดค่าในตัวจัดกําหนดการสมุดบันทึก
  • การเรียกใช้โน้ตบุ๊กที่ทริกเกอร์โดยไปป์ไลน์

Note

ข้อกําหนดงาน Spark (ชุดงาน) ไม่ได้รับการสนับสนุนในรุ่นปัจจุบันของพูลสดแบบกําหนดเอง

ความจุและการให้สิทธิ์การใช้งาน

พูลสดแบบกําหนดเองต้องใช้ SKU ความจุ Microsoft Fabric แบบชําระเงิน ขณะนี้ยังไม่ได้รับการสนับสนุนความจุการทดลองใช้ Fabric

สําหรับข้อมูลเกี่ยวกับ SKU ความจุที่พร้อมใช้งาน โปรดดู แนวคิดและสิทธิ์การใช้งานของ Microsoft Fabric

การควบคุมการเข้าถึง

การกําหนดบทบาทพื้นที่ทํางานควบคุมการเข้าถึงการกําหนดค่าและสถานะพูลสดแบบกําหนดเอง:

บทบาท การอนุญาต
ผู้ชมหรือสมาชิก การเข้าถึงสถานะพูลและการกําหนดค่าแบบอ่านอย่างเดียว
ผู้ดูแลระบบ การกําหนดค่า บันทึก และเผยแพร่สิทธิ์แบบเต็ม

ผู้ใช้ที่เป็นผู้เยี่ยมชม B2B ต้องได้รับมอบหมายบทบาทพื้นที่ทํางานที่ชัดเจนเพื่อโต้ตอบกับพูลสดแบบกําหนดเอง

ข้อจำกัด

ข้อจํากัดต่อไปนี้ใช้กับพูลสดแบบกําหนดเองในรุ่นปัจจุบัน:

  • เซสชั่นจะเริ่มใน ~5 วินาทีหลังจากที่สระได้รับน้ําเต็มที่เท่านั้น ในระหว่างการตั้งค่าเริ่มต้นหรือหลังจากที่คุณเปลี่ยนการกําหนดค่า เวลาเริ่มต้นระบบอาจนานขึ้น
  • การเปลี่ยนแปลงไลบรารีจําเป็นต้องเผยแพร่สภาพแวดล้อมที่แนบมาอีกครั้ง คลัสเตอร์ไฮเดรตจะไม่รีเฟรชโดยอัตโนมัติ
  • เมื่อสภาพแวดล้อมที่แนบมาใช้โหมดด่วนสําหรับไลบรารีบางไลบรารีไลบรารีเหล่านั้นไม่ได้ติดตั้งไว้ล่วงหน้าบนคลัสเตอร์ไฮเดรต และต้องติดตั้งเมื่อเริ่มต้นเซสชัน สําหรับการเริ่มต้นเซสชันที่เร็วที่สุดด้วยพูลสดแบบกําหนดเอง ให้ใช้โหมดเต็มสําหรับการขึ้นต่อกันของไลบรารีของคุณ
  • รองรับเฉพาะเซสชัน Spark ที่ใช้สมุดบันทึกเท่านั้น ไม่รองรับข้อกําหนดงาน Spark
  • ไม่รองรับความสามารถในการทดลองใช้ผ้า
  • ทุกสระต้องมีตารางเวลา ไม่สามารถเผยแพร่พูลที่ไม่มีกําหนดการได้
  • ไม่สามารถจัดการพูลสดแบบกําหนดเองผ่าน API สาธารณะของสภาพแวดล้อมหรือไปป์ไลน์ CI/CD การกําหนดค่าต้องดําเนินการผ่านพอร์ทัล Fabric