overzicht

Hiermee geeft u het invoerschema op. Sommige gegevensbronnen (zoals JSON) kunnen het invoerschema automatisch afleiden van gegevens. Door hier het schema op te geven, kan de onderliggende gegevensbron de deductiestap van het schema overslaan, waardoor het laden van gegevens wordt versneld.

Syntaxis

schema(schema)

Parameterwaarden

Retouren

DataFrameReader

Examples

Geef het schema op bij het lezen van een CSV-bestand.

import tempfile
with tempfile.TemporaryDirectory(prefix="schema") as d:
    spark.read.schema("col0 INT, col1 DOUBLE").format("csv").load(d).printSchema()
    # root
    #  |-- col0: integer (nullable = true)
    #  |-- col1: double (nullable = true)