ทางลัด OneLake

ทางลัดใน Microsoft OneLake รวมข้อมูลของคุณข้ามโดเมน ระบบคลาวด์ และบัญชีต่างๆ เข้าด้วยกัน โดยทําให้ OneLake เป็นที่จัดเก็บข้อมูลดิบเสมือนเดียวสําหรับทั้งองค์กรของคุณ ประสบการณ์ Fabric และกลไกการวิเคราะห์สามารถเชื่อมต่อกับแหล่งข้อมูลที่มีอยู่ของคุณ รวมถึง Azure, Amazon Web Services (AWS) และ OneLake ผ่านเนมสเปซแบบรวม OneLake จัดการสิทธิ์และข้อมูลประจําตัวทั้งหมด ดังนั้นคุณจึงไม่จําเป็นต้องกําหนดค่าปริมาณงาน Fabric แต่ละรายการแยกกันเพื่อเชื่อมต่อกับแหล่งข้อมูลแต่ละแหล่ง นอกจากนี้ คุณยังสามารถใช้ทางลัดเพื่อกําจัดสําเนาขอบของข้อมูล และลดเวลาแฝงของกระบวนการที่เกี่ยวข้องกับสําเนาข้อมูลและการแบ่งระยะได้ คําสั่งลัดยังรักษาการซิงโครไนซ์กับข้อมูลต้นฉบับ รวมถึงการอัปเดต Schema อัตโนมัติสําหรับตารางทางลัด

ทางลัดคืออะไร

ทางลัดคือวัตถุใน OneLake ที่ชี้ไปยังตําแหน่งที่เก็บข้อมูลอื่น ตําแหน่งที่ตั้งสามารถอยู่ภายในหรือภายนอกไปยัง OneLake ได้ ตําแหน่งที่ตั้งที่ทางลัดชี้ไปที่คือ เส้นทางเป้าหมาย ของทางลัด ตําแหน่งที่คําสั่งลัดแสดงคือเส้นทางทางลัด

ทางลัดจะปรากฏเป็นโฟลเดอร์ใน OneLake และบริการหรือปริมาณงานที่มีสิทธิ์เข้าถึง OneLake สามารถใช้ได้ ทางลัดทํางานเหมือนกับลิงก์ที่เป็นสัญลักษณ์ ซึ่งเป็นวัตถุอิสระจากเป้าหมาย ถ้าคุณลบปุ่มลัด เป้าหมายยังคงไม่ได้รับผลกระทบ ถ้าคุณย้าย เปลี่ยนชื่อ หรือลบเส้นทางเป้าหมาย ทางลัดสามารถหยุดได้

ฉันสามารถสร้างทางลัดได้ที่ไหน

คุณสามารถสร้างทางลัดในฐานข้อมูล lakehouses และ Kusto Query Language (KQL) ได้

คุณสามารถใช้พอร์ทัล Fabric เพื่อสร้างทางลัดแบบโต้ตอบ และคุณสามารถใช้ REST API เพื่อสร้างทางลัดโดยทางโปรแกรม

เลคเฮ้าส์

เมื่อสร้างทางลัดในเลคเฮ้าส์ คุณต้องทําความเข้าใจโครงสร้างโฟลเดอร์ของรายการ เลคเฮาส์มีโฟลเดอร์ระดับบนสุดสองโฟลเดอร์: โฟลเดอร์ตารางและโฟลเดอร์ไฟล์ โฟลเดอร์ตารางมีไว้สําหรับชุดข้อมูลที่มีโครงสร้าง โฟลเดอร์ไฟล์มีไว้สําหรับข้อมูลที่ไม่มีโครงสร้างหรือกึ่งโครงสร้าง

ในโฟลเดอร์ ตาราง คุณสามารถสร้างทางลัดได้เฉพาะในระดับบนสุดเท่านั้น OneLake ไม่สนับสนุนทางลัดในไดเรกทอรีย่อยของโฟลเดอร์ตาราง ทางลัดในส่วน ตาราง มักจะชี้ไปยังแหล่งข้อมูลภายในภายใน OneLake หรือลิงก์ไปยังสินทรัพย์ข้อมูลอื่นๆ ที่สอดคล้องกับรูปแบบตารางเดลต้า ถ้าเป้าหมายของทางลัดมีข้อมูลในรูปแบบตารางที่รองรับ (เช่น เดลต้า) เลคเฮาส์จะซิงโครไนซ์ข้อมูลเมตาของตารางโดยอัตโนมัติและจดจําโฟลเดอร์เป็นตาราง

Schema ตารางจะซิงโครไนซ์โดยอัตโนมัติสําหรับตารางทางลัดทั้งหมด รวมถึงตารางใหม่และตารางที่มีอยู่ การซิงโครไนส์นี้ช่วยให้แน่ใจว่าการเปลี่ยนแปลง Schema ในแหล่งที่มาจะสะท้อนให้เห็นในทางลัดโดยไม่ต้องอัปเดตด้วยตนเอง ทางลัดในส่วน ตาราง สามารถเชื่อมโยงไปยังตารางเดียวหรือสคีมาซึ่งเป็นโฟลเดอร์หลักสําหรับหลายตาราง

ในโฟลเดอร์ไฟล์ จะไม่มีข้อจํากัดเกี่ยวกับตําแหน่งที่คุณสามารถสร้างทางลัดได้ คุณสามารถสร้างทางลัดในระดับใดก็ได้ของลําดับชั้นของโฟลเดอร์ การค้นพบตารางจะไม่เกิดขึ้นในโฟลเดอร์ไฟล์ ทางลัดที่นี่สามารถชี้ไปที่ OneLake ภายในและระบบจัดเก็บข้อมูลภายนอกที่มีข้อมูลในรูปแบบใดก็ได้

ฐานข้อมูล KQL

เมื่อคุณสร้างทางลัดในฐานข้อมูล KQL จะปรากฏใน โฟลเดอร์ ทางลัด ของฐานข้อมูล ฐานข้อมูล KQL จะถือว่าทางลัดเช่นตารางภายนอก เมื่อต้องการคิวรีทางลัด ให้ใช้ external_table ฟังก์ชันของภาษาคิวรี Kusto

ทางลัดฐานข้อมูล Eventhouse

เมื่อคุณสร้างทางลัดฐานข้อมูลในบ้านเหตุการณ์ คุณสามารถเลือกที่จะรวมรายการย่อยทั้งหมดจากฐานข้อมูลต้นทาง หรือเลือกรายการย่อยที่เฉพาะเจาะจงเพื่อแชร์ ความสามารถในการแชร์ระดับตารางนี้ช่วยให้สามารถแบ่งปันข้อมูลที่ปลอดภัยและควบคุมได้โดยไม่เปิดเผยฐานข้อมูลทั้งหมด

เลือกรายการย่อยที่เฉพาะเจาะจง

เมื่อสร้างทางลัดฐานข้อมูลใหม่ คุณสามารถเลือกจากชนิดรายการย่อยต่อไปนี้:

• ตาราง - ตารางปกติจากฐานข้อมูลต้นทาง
• ตารางทางลัด - ตารางที่เป็นทางลัด
• มุมมองที่เป็นรูปธรรม - มุมมองที่คํานวณไว้ล่วงหน้าสําหรับการสืบค้นที่ปรับให้เหมาะสม
• ฟังก์ชัน - ฟังก์ชันที่เก็บไว้สําหรับตรรกะการสืบค้นที่นํากลับมาใช้ใหม่ได้

เมื่อต้องการเลือกรายการย่อยที่เฉพาะเจาะจง:

1. ในบ้านเหตุการณ์ ให้เลือก +ทางลัดฐานข้อมูล>
2. เลือกวิธีการระบุฐานข้อมูลต้นทาง:
   • แค็ตตาล็อก OneLake - เรียกดูและเลือกฐานข้อมูลจาก Fabric
   • URI ของคลัสเตอร์ - ป้อน URI ของคลัสเตอร์ Azure Data Explorer และชื่อฐานข้อมูลด้วยตนเอง
   • โทเค็นคําเชิญ - วางโทเค็นที่ออกโดยผู้ผลิตข้อมูล การเลือกรายการย่อยถูกกําหนดไว้ล่วงหน้าโดยผู้ผลิต
3. ในส่วน รายการย่อยที่จะรวม ให้เลือก รวมรายการย่อยทั้งหมด (ค่าเริ่มต้น) หรือ เลือกรายการย่อยที่ระบุ
4. ถ้าคุณเลือกรายการย่อยที่เฉพาะเจาะจง ให้ใช้ตัวเลือกแบบอินไลน์เพื่อกรองตามชนิดและค้นหาตามชื่อ
5. เลือก สร้าง เพื่อสร้างทางลัด

การซิงค์สคีมาอัตโนมัติ

เมื่อคุณสร้างทางลัดฐานข้อมูล Schema ตารางจะซิงค์โดยอัตโนมัติ การซิงค์นี้รวมตารางทุกประเภท ทั้งตารางใหม่และตารางที่มีอยู่ ผู้บริโภคของการแชร์ระดับตารางสามารถสอบถามและดูรายการย่อยที่รวมอยู่ในการแชร์อย่างชัดเจนเท่านั้น ชื่อของรายการย่อยที่ไม่ได้แชร์จะไม่ปรากฏต่อผู้บริโภค

เมื่อต้องการปิดใช้งานการซิงค์ Schema อัตโนมัติ ให้เรียกใช้คําสั่งต่อไปนี้ในฐานข้อมูลต้นทาง:

.create-or-alter external table ExternalTable
kind=delta
(
   h@'https://storageaccount.blob.core.windows.net/container1;secretKey'
) with (AutoUpdateSchema=false)

การขึ้นต่อกันของรายการย่อย

เมื่อคุณเลือกรายการย่อย ระบบจะจัดการการขึ้นต่อกันโดยอัตโนมัติ:

• เมื่อคุณเลือกมุมมองหรือฟังก์ชันที่เป็นรูปธรรม ตารางที่อ้างอิงจะถูกเลือกโดยอัตโนมัติ
• เมื่อคุณยกเลิกการเลือกมุมมองหรือฟังก์ชันที่เป็นรูปธรรม ตารางที่อ้างอิงจะยังคงถูกเลือกอยู่
• เมื่อคุณยกเลิกการเลือกตาราง มุมมองหรือฟังก์ชันที่เป็นรูปธรรมใดๆ ที่ขึ้นอยู่กับตารางนั้นจะถูกยกเลิกการเลือกโดยอัตโนมัติ

ฉันจะเข้าถึงทางลัดได้ที่ไหน

บริการ Fabric หรือที่ไม่ใช่ Fabric ใดๆ ที่สามารถเข้าถึงข้อมูลใน OneLake สามารถใช้ทางลัดได้ ทางลัดจะโปร่งใสสําหรับบริการใดๆ ที่เข้าถึงข้อมูลผ่าน OneLake API ทางลัดจะปรากฏเป็นโฟลเดอร์อื่นใน lake Apache Spark, SQL, Real-Time Intelligence และ Analysis Services สามารถใช้ทางลัดทั้งหมดเมื่อทําการคิวรีข้อมูล

Apache Spark

Apache Spark notebooks และ Apache Spark job สามารถใช้ทางลัดที่คุณสร้างใน OneLake ได้ ใช้เส้นทางไฟล์สัมพัทธ์เพื่ออ่านข้อมูลโดยตรงจากทางลัด นอกจากนี้ ถ้าคุณสร้างทางลัดในส่วน ตาราง ของ lakehouse และอยู่ในรูปแบบ Delta คุณสามารถอ่านเป็นตารางที่มีการจัดการโดยใช้ไวยากรณ์ Apache Spark SQL

df = spark.read.format("delta").load("Tables/MyShortcut")
display(df)

df = spark.sql("SELECT * FROM MyLakehouse.MyShortcut LIMIT 1000")
display(df)

SQL

คุณสามารถอ่านทางลัดในส่วน ตาราง ของเลคเฮ้าส์ผ่านจุดสิ้นสุดการวิเคราะห์ SQL สําหรับเลคเฮ้าส์ คุณสามารถเข้าถึงตําแหน่งข้อมูลการวิเคราะห์ SQL ผ่านตัวเลือกโหมดของเลคเฮาส์หรือผ่าน SQL Server Management Studio (SSMS)

SELECT TOP (100) *
FROM [MyLakehouse].[dbo].[MyShortcut]

ระบบอัจฉฉริยะในเวลาจริง

ทางลัดในฐานข้อมูล KQL จะถูกรับรู้ว่าเป็นตารางภายนอก เมื่อต้องการคิวรีทางลัด ให้ใช้ external_table ฟังก์ชันของภาษาคิวรี Kusto

external_table('MyShortcut')
| take 100

Analysis Services

คุณสามารถสร้างแบบจําลองเชิงความหมายสําหรับเลคเฮ้าส์ที่มีทางลัดในส่วน ตาราง ของเลคเฮ้าส์ เมื่อแบบจําลองความหมายทํางานในโหมด Direct Lake Analysis Services สามารถอ่านข้อมูลได้โดยตรงจากปุ่มลัด

บริการ Non-Fabric

แอปพลิเคชันและบริการภายนอก Fabric ยังสามารถเข้าถึงทางลัดผ่าน OneLake API ได้อีกด้วย OneLake สนับสนุนชุดย่อยของ API ที่เก็บข้อมูล ADLS Gen2 และ Blob เมื่อต้องการเรียนรู้เพิ่มเติมเกี่ยวกับ OneLake API ดูการเข้าถึง OneLake ด้วย API

https://onelake.dfs.fabric.microsoft.com/MyWorkspace/MyLakhouse/Tables/MyShortcut/MyFile.csv

ชนิดของทางลัด

ทางลัดใน OneLake รองรับแหล่งข้อมูลระบบไฟล์หลายแหล่ง แหล่งข้อมูลเหล่านี้รวมถึงตําแหน่งที่ตั้ง OneLake ภายในและแหล่งข้อมูลภายนอกหรือที่ไม่ใช่ของ Microsoft

คุณยังสามารถ สร้างทางลัดไปยังตําแหน่งที่ตั้งภายในองค์กรหรือตําแหน่งที่ตั้งที่จํากัดเครือข่าย ได้โดยใช้เกตเวย์ข้อมูลภายในองค์กร (OPDG) Fabric

ทางลัด OneLake ภายใน

ใช้ทางลัด OneLake ภายในเพื่ออ้างอิงข้อมูลภายในรายการ Fabric ที่มีอยู่ รวมถึง:

• ฐานข้อมูล KQL
• เลคเฮ้าส์
• แค็ตตาล็อก Azure Databricks แบบมิเรอร์
• ฐานข้อมูลมิเรอร์
• แบบจําลองความหมาย
• ฐานข้อมูล SQL
• คลังสินค้า

สําหรับคําแนะนําในการสร้างทางลัดภายใน โปรดดู สร้างทางลัด OneLake ภายใน

ทางลัดสามารถชี้ไปยังตําแหน่งโฟลเดอร์ภายในรายการเดียวกัน ข้ามรายการภายในพื้นที่ทํางานเดียวกัน หรือแม้กระทั่งข้ามรายการในพื้นที่ทํางานอื่น เมื่อคุณสร้างทางลัดข้ามรายการ ชนิดหน่วยข้อมูลไม่จําเป็นต้องตรงกัน ตัวอย่างเช่น คุณสามารถสร้างทางลัดในเลคเฮาส์ที่ชี้ไปยังข้อมูลในคลังสินค้า

เมื่อผู้ใช้เข้าถึงข้อมูลจากตําแหน่งที่ตั้ง OneLake อื่นผ่านทางลัด OneLake จะใช้ข้อมูลประจําตัวของผู้ใช้ที่โทรเพื่ออนุญาตการเข้าถึงข้อมูล ผู้ใช้นี้ต้องมีสิทธิ์ในตําแหน่งที่ตั้งเป้าหมายในการอ่านข้อมูล

ทางลัด OneLake ภายนอก

สําหรับคําแนะนําโดยละเอียดในการสร้างประเภทคําสั่งลัดที่เฉพาะเจาะจง ให้เลือกบทความจากรายการแหล่งข้อมูลภายนอกที่รองรับนี้:

• ทางลัด Amazon S3
• ทางลัดที่เข้ากันได้กับ Amazon S3
• Azure Data Lake Storage (ADLS) ทางลัด Gen 2
• Azure Blob Storage ทางลัด
• ทางลัด Dataverse
• ทางลัด Google Cloud Storage
• ทางลัดภูเขาน้ําแข็ง
• OneDrive และทางลัด SharePoint

การแคช

การแคชทางลัดสามารถลดค่าใช้จ่ายในการเข้าถึงข้อมูลข้ามคลาวด์ได้ เมื่อ OneLake อ่านไฟล์ผ่านทางลัดภายนอก บริการจะจัดเก็บไฟล์ในแคชสําหรับพื้นที่ทํางาน Fabric OneLake ตอบสนองต่อคําขออ่านที่ตามมาจากแคชแทนที่จะเป็นผู้ให้บริการที่เก็บข้อมูลระยะไกล คุณสามารถกําหนดระยะเวลาการเก็บรักษาสําหรับไฟล์ที่แคชไว้ระหว่าง 1-28 วัน ทุกครั้งที่คุณเข้าถึงไฟล์ ระยะเวลาการเก็บรักษาจะถูกรีเซ็ต หากที่เก็บข้อมูลระยะไกลมีไฟล์เวอร์ชันล่าสุดกว่าเวอร์ชันของแคช OneLake จะให้บริการคําขอจากผู้ให้บริการที่เก็บข้อมูลระยะไกลและอัปเดตไฟล์ในแคช หากคุณไม่เข้าถึงไฟล์ภายในระยะเวลาการเก็บรักษาที่เลือก ไฟล์นั้นจะถูกลบออกจากแคช แต่ละไฟล์ที่มีขนาดมากกว่า 1 GB จะไม่ถูกแคช

หากต้องการเปิดใช้งานการแคชสําหรับทางลัด ให้เปิดแผง การตั้งค่า พื้นที่ทํางาน เลือกแท็บ OneLake สลับการตั้งค่าแคชไปเป็น เมื่อ และเลือกระยะเวลาการเก็บข้อมูล

คุณสามารถล้างแคชได้ตลอดเวลา จากหน้าการตั้งค่าเดียวกัน เลือกปุ่ม รีเซ็ตแคช การดําเนินการนี้จะเป็นการลบไฟล์ทั้งหมดออกจากแคชทางลัดในพื้นที่ทํางานนี้

ทางลัดใช้การเชื่อมต่อระบบคลาวด์อย่างไร

คําสั่งลัด ADLS และ S3 มอบสิทธิ์การอนุญาตโดยใช้การเชื่อมต่อระบบคลาวด์ เมื่อคุณสร้างทางลัด ADLS หรือ S3 ใหม่ คุณต้องสร้างการเชื่อมต่อใหม่หรือเลือกการเชื่อมต่อที่มีอยู่สําหรับแหล่งข้อมูล การตั้งค่าการเชื่อมต่อสําหรับทางลัดคือการดําเนินการที่ผูกไว้ เฉพาะผู้ใช้ที่มีสิทธิ์ในการเชื่อมต่อเท่านั้นที่สามารถทําการดําเนินการผูกได้ ถ้าคุณไม่มีสิทธิ์ในการเชื่อมต่อ คุณจะไม่สามารถสร้างทางลัดใหม่โดยใช้การเชื่อมต่อนั้นได้

สําหรับข้อมูลเพิ่มเติมเกี่ยวกับการดูและการอัปเดตการเชื่อมต่อระบบคลาวด์ ให้ดูที่ การจัดการการเชื่อมต่อสําหรับทางลัด

การรักษาความปลอดภัยทางลัด

ทางลัดต้องการสิทธิ์บางอย่างในการจัดการและใช้ ความปลอดภัยของทางลัด OneLake จะอธิบายสิทธิ์ที่คุณต้องการในการสร้างทางลัดและเข้าถึงข้อมูลผ่านทางลัดเหล่านั้น

ทางลัดจัดการกับการลบอย่างไร

คําสั่งลัดไม่รองรับการลบแบบเรียงซ้อน เมื่อคุณลบทางลัด คุณจะลบเฉพาะออบเจ็กต์ทางลัดเท่านั้น ข้อมูลในเป้าหมายคําสั่งลัดจะไม่เปลี่ยนแปลง อย่างไรก็ตาม ถ้าคุณลบแฟ้มหรือโฟลเดอร์ภายในทางลัด และคุณมีสิทธิ์ในเป้าหมายทางลัดเพื่อดําเนินการลบ คุณก็ลบแฟ้มหรือโฟลเดอร์ในเป้าหมายด้วย

ตัวอย่างเช่น พิจารณาเลคเฮ้าส์ที่มีเส้นทางดังต่อไปนี้: MyLakehouse\Files\MyShortcut\Foo\Bar MyShortcut เป็นทางลัดที่ชี้ไปยังบัญชี ADLS Gen2 ที่มีไดเรกทอรี Foo\Bar

ถ้าคุณลบ MyLakehouse\Files\MyShortcutคุณจะลบทางลัด MyShortcut ออกจากเลคเฮาส์ แต่ไฟล์และไดเร็กทอรีในบัญชี ADLS Gen2 Foo\Bar จะไม่ได้รับผลกระทบ

ถ้าคุณลบ MyLakehouse\Files\MyShortcut\Foo\Barและคุณมีสิทธิ์ในการเขียนในบัญชีผู้ใช้ ADLS Gen2 คุณลบไดเรกทอรี Bar ออกจากบัญชีผู้ใช้ ADLS Gen2

อีกตัวอย่างหนึ่ง ให้พิจารณาเลคเฮาส์ที่เปิดใช้งาน Schema ที่มีเส้นทางต่อไปนี้: MyLakehouse\Tables\MySchemaShortcut\Dir1 MySchemaShortcut เป็นทางลัด Schema ที่ชี้ไปยังบัญชี ADLS Gen2 ที่มีไดเรกทอรี Dir1

ถ้าคุณลบ MyLakehouse\Tables\MySchemaShortcutคุณจะลบทางลัด MySchemaShortcut Schema ออกจากเลคเฮาส์ แต่ไฟล์และไดเรกทอรีในบัญชี ADLS Gen2 Dir1 จะไม่ได้รับผลกระทบ

ถ้าคุณลบ MyLakehouse\Tables\MySchemaShortcut\Dir1และคุณมีสิทธิ์ในการเขียนในบัญชี ADLS Gen2 คุณลบไดเรกทอรี Dir1 จากบัญชี ADLS Gen2

มุมมองสายข้อมูลพื้นที่ทํางาน

เมื่อคุณสร้างทางลัดระหว่างรายการ Fabric หลายรายการภายในพื้นที่ทํางาน คุณสามารถแสดงภาพความสัมพันธ์ทางลัดผ่านมุมมองสายข้อมูลพื้นที่ทํางาน เลือก ปุ่มมุมมอง สายข้อมูล ( ) ที่มุมบนขวาของตัวสํารวจพื้นที่ทํางาน

ข้อจํากัดและข้อควรพิจารณา

• รายการ Fabric แต่ละรายการรองรับทางลัดได้มากถึง 100,000 รายการ ในบริบทนี้ คําว่า item หมายถึงแอป เลคเฮาส์ คลังสินค้า รายงาน และอื่นๆ
• เส้นทาง OneLake เดียวรองรับทางลัดได้สูงสุด 10 ทาง
• จํานวนสูงสุดของทางลัดโดยตรงไปยังลิงก์ทางลัดคือ 5
• ชื่อทางลัด เส้นทางหลัก และเส้นทางเป้าหมายต้องไม่มีอักขระ "%" หรือ "+"
• ทางลัดไม่สนับสนุนอักขระที่ไม่ใช่ละติน
• สายข้อมูลสําหรับทางลัดไปยังคลังสินค้าและแบบจําลองความหมายยังไม่พร้อมใช้งานในขณะนี้
• ทางลัด Fabric จะซิงโครไนซ์กับแหล่งที่มาโดยอัตโนมัติ การอัปเดต Schema และ Metadata จะถูกนําไปใช้โดยไม่มีการแทรกแซงด้วยตนเอง แต่เวลาในการเผยแพร่อาจแตกต่างกันไปตามประสิทธิภาพของแหล่งข้อมูล
• อาจใช้เวลาถึงหนึ่งนาทีในการจดจําทางลัดใหม่สําหรับ API ของตาราง
• ทางลัด Schema สามารถสร้างได้ใน เลคเฮาส์ที่เปิดใช้งาน Schema เท่านั้น

เนื้อหาที่เกี่ยวข้อง

• สร้างทางลัด OneLake
• ใช้ทางลัด OneLake REST API