Laden

Laadt gegevens uit een gegevensbron en retourneert deze als een DataFrame.

Syntaxis

load(path=None, format=None, schema=None, **options)

Parameterwaarden

Kenmerk Typ Beschrijving
path str of list, optioneel Een of meer paden in een door het bestandssysteem ondersteunde gegevensbron.
format str, optioneel De indeling van de gegevensbron. Wordt standaard ingesteld op 'parquet'.
schema StructType of str, optioneel Het invoerschema als een StructType object of een tekenreeks met DDL-indeling (bijvoorbeeld 'col0 INT, col1 DOUBLE').
**options Woordenboek Aanvullende tekenreeksopties.

Retouren

DataFrame

Examples

Laad een CSV-bestand met indeling, schema en opties die zijn opgegeven.

import tempfile
with tempfile.TemporaryDirectory(prefix="load") as d:
    df = spark.createDataFrame([{"age": 100, "name": "Alice"}])
    df.write.option("header", True).mode("overwrite").format("csv").save(d)

    df = spark.read.load(
        d, schema=df.schema, format="csv", nullValue="Alice", header=True)
    df.printSchema()
    # root
    #  |-- age: long (nullable = true)
    #  |-- name: string (nullable = true)
    df.show()
    # +---+----+
    # |age|name|
    # +---+----+
    # |100|NULL|
    # +---+----+
  • Last updated on