Hulpprogramma's voor het NotebookUtils-bestandssysteem voor Fabric

notebookutils.fs biedt hulpprogramma's voor het werken met verschillende bestandssystemen, waaronder Azure Data Lake Storage (ADLS) Gen2 en Azure Blob Storage. Zorg ervoor dat u de toegang tot Azure Data Lake Storage Gen2 en Azure Blob Storage op de juiste manier configureert.

Voer de volgende opdrachten uit voor een overzicht van de beschikbare methoden:

notebookutils.fs.help()

De volgende tabel bevat de beschikbare bestandssysteemmethoden:

Zie Bestandskoppeling en ontkoppeling voor koppel- en ontkoppelbewerkingen.

NotebookUtils werkt op dezelfde manier met het bestandssysteem als Spark-API's. Neem notebookutils.fs.mkdirs() en Lakehouse-gebruik bijvoorbeeld:

• Voor de standaard Lakehouse worden bestandspaden in uw notebook gekoppeld met een standaard time-out voor de bestandscache van 120 seconden. Dit betekent dat bestanden gedurende 120 seconden in de lokale tijdelijke map van het notebook worden opgeslagen, zelfs als ze uit Lakehouse worden verwijderd. Als u de time-outregel wilt wijzigen, kunt u de standaardpaden voor Lakehouse-bestanden ontkoppelen en deze opnieuw koppelen met een andere fileCacheTimeout waarde.

• Voor niet-standaard Lakehouse-configuraties kunt u de juiste fileCacheTimeout parameter instellen tijdens het bevestigen van de Lakehouse-paden. Als u de time-out instelt op 0, zorgt u ervoor dat het meest recente bestand wordt opgehaald van de Lakehouse-server.

Bestanden in een lijst weergeven

Als u de inhoud van een map wilt weergeven, gebruikt u notebookutils.fs.ls('Your directory path'). Voorbeeld:

notebookutils.fs.ls("Files/tmp") # Relative path works with different base paths depending on notebook type
notebookutils.fs.ls("abfss://<container_name>@<storage_account_name>.dfs.core.windows.net/<path>")  # Absolute path using ABFS file system
notebookutils.fs.ls("file:/tmp")  # Full path of the local file system of driver node

De notebookutils.fs.ls() API gedraagt zich anders wanneer u een relatief pad gebruikt, afhankelijk van het type notebook.

• In een Spark-notebook: het relatieve pad is relatief ten opzichte van het ABFSS-pad van Default Lakehouse. notebookutils.fs.ls("Files") verwijst bijvoorbeeld naar de Files map in het standaard Lakehouse.

  Voorbeeld:

  notebookutils.fs.ls("Files/sample_datasets/public_holidays.parquet")
  

• In een Python-notebook: het relatieve pad is relatief ten opzichte van de werkmap van het lokale bestandssysteem, wat standaard is /home/trusted-service-user/work. Daarom moet u het volledige pad gebruiken in plaats van een relatief pad notebookutils.fs.ls("/lakehouse/default/Files") om toegang te krijgen tot de Files map in de standaard Lakehouse.

  Voorbeeld:

  notebookutils.fs.ls("/lakehouse/default/Files/sample_datasets/public_holidays.parquet")
  

Bestandseigenschappen weergeven

Gebruik notebookutils.fs.ls() dit bestand om bestandseigenschappen te controleren, zoals bestandsnaam, bestandspad, bestandsgrootte en of een item een bestand of map is.

files = notebookutils.fs.ls('Your directory path')
for file in files:
    print(file.name, file.isDir, file.isFile, file.path, file.size)

Gebruik f-tekenreeksen als u meer leesbare uitvoer wilt:

files = notebookutils.fs.ls("Files/data")
for file in files:
    print(f"Name: {file.name}, Size: {file.size}, IsDir: {file.isDir}, Path: {file.path}")

Nieuwe map maken

Maak een map aan als deze niet bestaat, inclusief eventuele benodigde oudermappen.

notebookutils.fs.mkdirs('new directory name')  
notebookutils.fs.mkdirs("Files/<new_dir>")  # Works with the default Lakehouse files using relative path 
notebookutils.fs.mkdirs("abfss://<container_name>@<storage_account_name>.dfs.core.windows.net/<new_dir>")  # Based on ABFS file system 
notebookutils.fs.mkdirs("file:/<new_dir>")  # Based on local file system of driver node 

Bestand kopiëren

Kopieer een bestand of map tussen bestandssystemen. Stel recurse=True in om directories recursief te kopiëren.

notebookutils.fs.cp('source file or directory', 'destination file or directory', recurse=True)

In het volgende voorbeeld ziet u een opslagkopie over verschillende opslagtypen van de standaard Lakehouse naar een ADLS Gen2-account.

notebookutils.fs.cp(
    "Files/local_data",
    "abfss://<container>@<account>.dfs.core.windows.net/remote_data",
    recurse=True
)

Efficiënt bestand kopiëren

Gebruik fastcp deze functie voor efficiëntere kopieerbewerkingen, met name bij grote gegevensvolumes. De recurse parameter wordt standaard ingesteld op True.

notebookutils.fs.fastcp('source file or directory', 'destination file or directory', recurse=True)

Houd rekening met deze overwegingen:

• notebookutils.fs.fastcp() biedt geen ondersteuning voor het kopiëren van bestanden in OneLake tussen regio's. In dit geval kunt u in plaats daarvan gebruiken notebookutils.fs.cp() .
• Vanwege de beperkingen van OneLake-snelkoppeling wordt het aanbevolen om een gekoppeld pad te gebruiken notebookutils.fs.fastcp() in plaats van een abfss-pad, wanneer u gegevens wilt kopiëren van een S3/GCS-typesnelkoppeling.

Voorbeeld van bestandsinhoud

Ga terug naar de eerste max_bytes bytes van een bestand als een UTF-8-tekenreeks.

notebookutils.fs.head('file path', max_bytes)

In het volgende voorbeeld worden de eerste 1000 bytes van een bestand gelezen:

content = notebookutils.fs.head("Files/data/sample.txt", 1000)
print(content)

Bestand verplaatsen

Een bestand of map verplaatsen tussen bestandssystemen.

notebookutils.fs.mv('source file or directory', 'destination directory', create_path=True, overwrite=True)

Gebruik benoemde parameters als u duidelijkere code wilt:

notebookutils.fs.mv("Files/source.csv", "Files/new_folder/dest.csv", create_path=True, overwrite=True)

Bestand schrijven

Schrijf een UTF-8-tekenreeks naar een bestand.

notebookutils.fs.put("file path", "content to write", True) # Set the last parameter as True to overwrite the file if it already exists

Inhoud toevoegen aan een bestand

Voeg een UTF-8-tekenreeks toe aan een bestand.

notebookutils.fs.append("file path", "content to append", True) # Set the last parameter as True to create the file if it doesn't exist

Wanneer u de notebookutils.fs.append API in een for lus gebruikt om naar hetzelfde bestand te schrijven, voegt u een sleep instructie van ongeveer 0,5 tot 1 seconde toe tussen de terugkerende schrijfbewerkingen. Deze aanbeveling komt doordat de interne notebookutils.fs.append-bewerking van de flush-API asynchroon is, dus een korte vertraging zorgt voor gegevensintegriteit.

import time

for i in range(100):
    notebookutils.fs.append("Files/output/data.txt", f"Line {i}\n", True)
    time.sleep(0.5)  # Prevent data integrity issues

Bestand of map verwijderen

Een bestand of map verwijderen. Stel recurse=True in om directories recursief te verwijderen.

notebookutils.fs.rm('file path', recurse=True) 

Controleren of er een bestand of map bestaat

Controleer of er een bestand of map bestaat op het opgegeven pad. Het retourneert True als het pad bestaat; anders wordt het geretourneerd False.

notebookutils.fs.exists("Files/data/input.csv")

if notebookutils.fs.exists("Files/data/input.csv"):
    notebookutils.fs.cp("Files/data/input.csv", "Files/backup/input.csv")
    print("File copied successfully.")
else:
    print("Source file not found.")

Bestandseigenschappen ophalen

Eigenschappen voor een pad verkrijgen als een tabel met naam-waardeparen. Dit wordt alleen ondersteund voor Azure Blob Storage-paden.

Parameters:

Retourneert: Een woordenlijst (kaart) met metagegevenseigenschappen zoals bestandsgrootte, aanmaaktijd, laatste wijzigingstijd en inhoudstype.

properties = notebookutils.fs.getProperties("abfss://<container_name>@<storage_account_name>.dfs.core.windows.net/<path>")
print(properties)

Verwante inhoud

• Overzicht van NotebookUtils
• Opslag koppelen en ontkoppelen met NotebookUtils