Integrera OneLake med Azure Synapse Analytics

Azure Synapse är en obegränsad analystjänst som samlar företagsdatalager och stordataanalys. Den här självstudien visar hur du ansluter till OneLake med hjälp av Azure Synapse Analytics.

Förutsättningar

Kontrollera att du har följande objekt innan du börjar:

  • Åtkomst till en Synapse-arbetsyta där du kan skapa eller använda en Apache Spark-pool och köra SQL-skript.
  • Tillgång till ett sjöhus i Fabric.
  • ABFS-sökvägen för mappen lakehouse Tables eller tabellen som du vill fråga efter.

Skriva data från Synapse med Apache Spark

Följ dessa steg för att använda Apache Spark för att skriva exempeldata till OneLake från Azure Synapse Analytics.

  1. Öppna Synapse-arbetsytan och skapa en Apache Spark-pool med önskade parametrar.

    Skärmbild som visar var du väljer Nytt i Apache Spark-poolskärmen.

  2. Skapa en ny Apache Spark-notebook-fil.

  3. Öppna notebook-filen, ange språket till PySpark (Python) och anslut det till din nyskapade Spark-pool.

  4. Gå till din Microsoft Fabric lakehouse på en separat flik och leta reda på mappen Tables på den översta nivån.

  5. Högerklicka på mappen Tabeller och välj Egenskaper.

    Skärmbild som visar var du öppnar egenskapspanelen i Lakehouse Explorer.

  6. Kopiera ABFS-sökvägen från egenskapsfönstret.

    Skärmbild som visar var ABFS-sökvägen ska kopieras.

  7. Åter i Azure Synapse-notebooken, i den första nya kodcellen, ange sökvägen till lakehouset. Den här sökvägen pekar på mappen Tabeller i lakehouse där du skriver exempeldata senare. Kör cellen.

    # Replace the path below with the ABFS path to your lakehouse Tables folder. 
oneLakePath = 'abfss://WorkspaceName@onelake.dfs.fabric.microsoft.com/LakehouseName.lakehouse/Tables'

  8. I en ny kodcell laddar du data från en öppen Azure-dataset till en dataframe. Den här datamängden är den du laddar in i ditt lakehouse. Kör cellen.

    yellowTaxiDf = spark.read.parquet('wasbs://nyctlc@azureopendatastorage.blob.core.windows.net/yellow/puYear=2018/puMonth=2/*.parquet')
display(yellowTaxiDf.limit(10))

  9. I en ny kodcell filtrerar, transformerar eller förbereder du dina data. I det här scenariot kan du trimma datamängden för snabbare inläsning, ansluta till andra datauppsättningar eller filtrera ned till specifika resultat. Kör cellen.

    filteredTaxiDf = yellowTaxiDf.where(yellowTaxiDf.tripDistance>2).where(yellowTaxiDf.passengerCount==1)
display(filteredTaxiDf.limit(10))

  10. I en ny kodcell skriver du din filtrerade dataram med hjälp av din OneLake-sökväg till en ny Delta-Parquet tabell i ditt Fabric lakehouse. Kör cellen.

    filteredTaxiDf.write.format("delta").mode("overwrite").save(oneLakePath + '/Taxi/')

  11. I en ny kodcell testar du slutligen att dina data har skrivits genom att läsa den nya Delta-tabellen från OneLake. Kör cellen.

    lakehouseRead = spark.read.format('delta').load(oneLakePath + '/Taxi/')
display(lakehouseRead.limit(10))

Grattis. Nu kan du läsa och skriva data i OneLake med Apache Spark i Azure Synapse Analytics.

Läsa data från Synapse med SQL

Följ de här stegen för att använda SQL Serverless för att läsa data från OneLake från Azure Synapse Analytics.

  1. Öppna ett Fabric-lakehouse och identifiera en tabell som du vill utföra en förfrågan på med hjälp av Synapse.

  2. Högerklicka på tabellen och välj Egenskaper.

  3. Kopiera ABFS-sökvägen för tabellen.

    Skärmbild som visar var ABFS-sökvägen ska kopieras.

  4. Öppna Synapse-arbetsytan i Synapse Studio.

  5. Skapa ett nytt SQL-skript.

  6. I SQL-frågeredigeraren anger du följande fråga och ABFS_PATH_HERE ersätter med sökvägen som du kopierade tidigare.

    SELECT TOP 10 *
FROM OPENROWSET(
BULK 'ABFS_PATH_HERE',
FORMAT = 'delta') as rows;

  7. Kör frågan för att visa de 10 översta raderna i tabellen.

Grattis. Nu kan du läsa data från OneLake med sql serverless i Azure Synapse Analytics.

Relaterat innehåll

  • Last updated on