CSV (DataFrameReader)

Laadt een CSV-bestand en retourneert het resultaat als een DataFrame. Als inferSchema deze functie is ingeschakeld, wordt de invoer eenmaal gelezen om het schema te bepalen. U kunt dit voorkomen door het schema expliciet uit te schakelen inferSchema of op te geven met behulp van schema.

Syntaxis

csv(path, schema=None, **options)

Parameterwaarden

Kenmerk Typ Beschrijving
path str of list Een of meer invoerpaden of een RDD van tekenreeksen die CSV-rijen opslaan.
schema StructType of str, optioneel Een optioneel invoerschema als een StructType object of een DDL-opgemaakte tekenreeks (bijvoorbeeld 'col0 INT, col1 DOUBLE').

Retouren

DataFrame

Examples

Schrijf een DataFrame naar een CSV-bestand en lees het terug.

import tempfile
with tempfile.TemporaryDirectory(prefix="csv") as d:
    df = spark.createDataFrame([{"age": 100, "name": "Alice"}])
    df.write.mode("overwrite").format("csv").save(d)

    spark.read.csv(d, schema=df.schema, nullValue="Alice").show()
    # +---+----+
    # |age|name|
    # +---+----+
    # |100|NULL|
    # +---+----+
  • Last updated on