รวม OneLake กับ Azure Synapse Analytics

Azure Synapse เป็นบริการวิเคราะห์ที่ไร้ขีดจํากัดที่รวบรวมคลังข้อมูลขององค์กรและการวิเคราะห์ข้อมูลขนาดใหญ่เข้าด้วยกัน บทช่วยสอนนี้แสดงวิธีการเชื่อมต่อกับ OneLake โดยใช้ Azure Synapse Analytics

ข้อกำหนดเบื้องต้น

ก่อนที่คุณจะเริ่ม ตรวจสอบให้แน่ใจว่าคุณมีรายการต่อไปนี้:

• เข้าถึงพื้นที่ทํางาน Azure Synapse ที่คุณสามารถสร้างหรือใช้พูล Apache Spark และเรียกใช้สคริปต์ SQL
• เข้าถึงเลคเฮาส์ใน Fabric
• เส้นทาง ABFS สําหรับโฟลเดอร์ ตาราง เลคเฮาส์หรือตารางที่คุณต้องการคิวรี

เขียนข้อมูลจาก Azure Synapse โดยใช้ Apache Spark

ทําตามขั้นตอนเหล่านี้เพื่อใช้ Apache Spark เพื่อเขียนข้อมูลตัวอย่างไปยัง OneLake จาก Azure Synapse Analytics

1. เปิดพื้นที่ทํางาน Azure Synapse ของคุณและสร้างพูล Apache Spark ด้วยพารามิเตอร์ที่คุณต้องการ

   

2. สร้างสมุดบันทึก Apache Spark ใหม่

3. เปิดสมุดบันทึก ตั้งค่าภาษาเป็น PySpark (Python) และเชื่อมต่อกับพูล Spark ที่สร้างขึ้นใหม่ของคุณ

4. ในแท็บแยกต่างหาก ให้ไปที่เลคเฮาส์ Fabric ของคุณและค้นหาโฟลเดอร์ตารางระดับบนสุด

5. คลิกขวาที่โฟลเดอร์ตารางแล้วเลือกคุณสมบัติ

   

6. คัดลอก เส้นทาง ABFS จากบานหน้าต่างคุณสมบัติ

   

7. กลับไปที่สมุดบันทึก Azure Synapse ในเซลล์โค้ดใหม่เซลล์แรก ให้ระบุเส้นทางเลคเฮาส์ เส้นทางนี้ชี้ไปยังโฟลเดอร์ ตาราง ในเลคเฮาส์ ที่คุณเขียนข้อมูลตัวอย่างในภายหลัง เรียกใช้เซลล์

   # Replace the path below with the ABFS path to your lakehouse Tables folder. 
   oneLakePath = 'abfss://WorkspaceName@onelake.dfs.fabric.microsoft.com/LakehouseName.lakehouse/Tables'
   

8. ในเซลล์โค้ดใหม่ ให้โหลดข้อมูลจากชุดข้อมูลแบบเปิดของ Azure ลงในกรอบข้อมูล ชุดข้อมูลนี้คือชุดข้อมูลที่คุณโหลดลงในเลคเฮาส์ของคุณ เรียกใช้เซลล์

   yellowTaxiDf = spark.read.parquet('wasbs://nyctlc@azureopendatastorage.blob.core.windows.net/yellow/puYear=2018/puMonth=2/*.parquet')
   display(yellowTaxiDf.limit(10))
   

9. ในเซลล์โค้ดใหม่ ให้กรอง แปลง หรือเตรียมข้อมูลของคุณ สําหรับสถานการณ์นี้ คุณสามารถตัดชุดข้อมูลของคุณเพื่อการโหลดที่เร็วขึ้น รวมกับชุดข้อมูลอื่นๆ หรือกรองลงไปยังผลลัพธ์ที่เฉพาะเจาะจง เรียกใช้เซลล์

   filteredTaxiDf = yellowTaxiDf.where(yellowTaxiDf.tripDistance>2).where(yellowTaxiDf.passengerCount==1)
   display(filteredTaxiDf.limit(10))
   

10. ในเซลล์โค้ดใหม่ โดยใช้เส้นทาง OneLake ของคุณ เขียนกรอบข้อมูลที่กรองของคุณไปยังตาราง Delta-Parquet ใหม่ใน Fabric lakehouse ของคุณ เรียกใช้เซลล์

    filteredTaxiDf.write.format("delta").mode("overwrite").save(oneLakePath + '/Taxi/')
    

11. สุดท้าย ในเซลล์โค้ดใหม่ ให้ทดสอบว่าข้อมูลของคุณเขียนสําเร็จโดยการอ่านตารางเดลต้าใหม่จาก OneLake เรียกใช้เซลล์

    lakehouseRead = spark.read.format('delta').load(oneLakePath + '/Taxi/')
    display(lakehouseRead.limit(10))
    

ยินดีด้วย ค่ะ ตอนนี้คุณสามารถอ่านและเขียนข้อมูลใน OneLake โดยใช้ Apache Spark ใน Azure Synapse Analytics

อ่านข้อมูลจาก Azure Synapse โดยใช้ SQL

ทําตามขั้นตอนเหล่านี้เพื่อใช้ SQL แบบไร้เซิร์ฟเวอร์เพื่ออ่านข้อมูลจาก OneLake จาก Azure Synapse Analytics

1. เปิดเลคเฮาส์ Fabric และระบุตารางที่คุณต้องการคิวรีจาก Azure Synapse

2. คลิกขวาที่ตารางแล้วเลือกคุณสมบัติ

3. คัดลอก เส้นทาง ABFS สําหรับตาราง

   

4. เปิดพื้นที่ทํางาน Azure Synapse ของคุณใน Azure Synapse Studio

5. สร้างสคริปต์ SQL ใหม่

6. ในตัวแก้ไขแบบสอบถาม SQL ให้ป้อนแบบสอบถามต่อไปนี้ แทนที่ ABFS_PATH_HERE ด้วยเส้นทางที่คุณคัดลอกไว้ก่อนหน้านี้

   SELECT TOP 10 *
   FROM OPENROWSET(
   BULK 'ABFS_PATH_HERE',
   FORMAT = 'delta') as rows;
   

7. เรียกใช้แบบสอบถามเพื่อดูแถว 10 อันดับแรกของตารางของคุณ

ยินดีด้วย ค่ะ ตอนนี้คุณสามารถอ่านข้อมูลจาก OneLake โดยใช้ SQL แบบไร้เซิร์ฟเวอร์ใน Azure Synapse Analytics

เนื้อหาที่เกี่ยวข้อง

• รวม OneLake กับ Azure Storage Explorer