Referens för Alternativ för Spark API

På den här sidan visas tillgängliga indata- och utdataalternativ för Spark-API:er som läser och skriver data.

DataFrameReader-alternativ

Använd de här alternativen med DataFrameReader.option(), DataFrameReader.options(), read_files, COPY INTO och Auto Loader för att styra hur Azure Databricks läser datafiler.

Example

I följande exempel anges multiLine till True för läsning av JSON-filer:

Python

df = spark.read.format("json").option("multiLine", True).load("/path/to/data")

Scala

val df = spark.read.format("json").option("multiLine", "true").load("/path/to/data")

SQL

SELECT * FROM read_files("/path/to/data", format => "json", multiLine => true)

Gemensamma

Följande alternativ gäller för alla filformat.

Avro

CSV

Excel

JSON

Kafka

Den fullständiga listan över Alternativ för Kafka-läsare finns i DataStreamReader Kafka-alternativ. Följande alternativ gäller endast för batchläsningar med .spark.read.format("kafka")

ORC

Parkett

Tillståndslager

Använd de här alternativen med spark.read.format("statestore") eller tabellvärdesfunktionen read_statestore för att läsa tillståndsdata för strukturerad direktuppspelning. Se Läsa information om status för strukturerad direktuppspelning.

Text

XML

DataStreamReader-alternativ

Använd dessa alternativ med DataStreamReader.option() för att konfigurera strömmande läsningar från Delta Lake-tabeller och andra filbaserade källor.

Filformatalternativ (JSON, CSV, Parquet och andra) finns i DataFrameReader-alternativ.

Alternativ för automatisk inläsning (cloudFiles.*) finns i Automatisk inläsning.

Example

I följande exempel anges maxFilesPerTrigger till 10 för en Delta Lake-tabellström:

Python

df = spark.readStream.format("delta").option("maxFilesPerTrigger", 10).load("/path/to/delta-table")

Scala

val df = spark.readStream.format("delta").option("maxFilesPerTrigger", "10").load("/path/to/delta-table")

Gemensamma

Följande alternativ gäller för Delta Lake-tabeller och andra filbaserade strömningskällor.

Automatisk inläsning

Använd de här alternativen med cloudFiles källan för att konfigurera automatisk inläsning för strömmande inmatning från molnlagring. Alternativ som är specifika för cloudFiles källan är prefix med cloudFiles för att hålla dem i ett separat namnområde från andra källalternativ för strukturerad direktuppspelning .

Gemensamma

Kataloglista

Filmeddelande

Information om hur du konfigurerar filmeddelandeläge, inklusive nödvändiga molnbehörigheter, konfigurationsinstruktioner och autentiseringsmetoder, finns i Konfigurera automatiska inläsningsströmmar i filmeddelandeläge.

(1) Automatisk inläsning lägger till följande nyckel/värde-taggpar som standard på bästa möjliga sätt:

• vendor: Databricks
• path: Platsen där data läses in. Inte tillgänglig i GCP på grund av etiketteringsbegränsningar.
• checkpointLocation: Platsen för dataströmmens kontrollpunkt. Inte tillgänglig i GCP på grund av etiketteringsbegränsningar.
• streamId: En globalt unik identifierare för strömmen.

Databricks reserverar dessa nyckelnamn och du kan inte skriva över deras värden.

Molnspecifik

Automatisk inläsning innehåller alternativ för att konfigurera molninfrastruktur för filaviseringsläge. Nödvändiga molnbehörigheter och installationsinstruktioner finns i Konfigurera automatiska inläsningsströmmar i filmeddelandeläge.

AWS

Ange endast följande alternativ om du väljer cloudFiles.useNotifications = true och vill att Auto Loader ska konfigurera meddelandetjänsterna åt dig:

Ange endast följande alternativ om du väljer cloudFiles.useNotifications = true och vill att Auto Loader ska använda en kö som du redan har konfigurerat:

AWS-autentiseringsalternativ

Ange följande autentiseringsalternativ för att använda en Databricks-tjänstautentiseringsuppgift:

När Databricks-tjänstens autentiseringsuppgifter eller IAM-roller inte är tillgängliga kan du ange följande autentiseringsalternativ i stället:

Azure

Du måste ange värden för alla följande alternativ om du anger cloudFiles.useNotifications = true och vill att Auto Loader ska konfigurera meddelandetjänsterna åt dig:

Om en Databricks-tjänstautentiseringsuppgift inte är tillgänglig kan du ange följande autentiseringsalternativ i stället:

Ange endast följande alternativ om du anger cloudFiles.useNotifications = true och vill att Auto Loader ska använda en befintlig kö:

GCP

Automatisk inläsare kan konfigurera meddelandetjänster åt dig automatiskt genom att utnyttja Databricks -tjänstens autentiseringsuppgifter. Tjänstkontot som skapats med Databricks-tjänstens autentiseringsuppgifter kräver de behörigheter som anges i Konfigurera automatiska inläsningsströmmar i filmeddelandeläge.

Om en Databricks-tjänstautentiseringsuppgift inte är tillgänglig kan du använda Google-tjänstkonton direkt. Du kan antingen konfigurera klustret så att det förutsätter ett tjänstkonto genom att följa Konfiguration av Google-tjänsten eller ange följande autentiseringsalternativ direkt:

Ange endast följande alternativ om du väljer cloudFiles.useNotifications = true och vill att Auto Loader ska använda en kö som du redan har konfigurerat:

Delta Lake

Följande alternativ gäller vid läsning från en Delta Lake-tabell med hjälp av spark.readStream.

Kafka

Använd dessa alternativ med antingen spark.readStream.format("kafka") eller spark.read.format("kafka"):

Följande alternativ gäller endast för direktuppspelningsläsningar med spark.readStream.format("kafka"):

För förskjutningsalternativ som endast gäller för batchläsningar med spark.read.format("kafka"), se DataFrameReader Kafka-alternativ.

Alternativ för Kafka-klient (kafka.*) och autentisering finns i Alternativ.

DataFrameWriter-alternativ

Använd de här alternativen med DataFrameWriter.option() och DataFrameWriterV2.option() för att styra hur Azure Databricks skriver data.

Example

I följande exempel anges mergeSchema till för att True skriva en Delta Lake-tabell:

Python

df.write.format("delta").option("mergeSchema", True).saveAsTable("my_table")

Scala

df.write.format("delta").option("mergeSchema", "true").saveAsTable("my_table")

Avro

Delta Lake och Apache Iceberg

CSV

Excel

JSON

ORC

Parkett

Text

XML

DataStreamWriter-alternativ

Använd dessa alternativ med DataStreamWriter.option() för att konfigurera direktuppspelningsskrivningar.

Example

I följande exempel anges kontrollpunktsplatsen för en dataström:

Python

(df.writeStream
  .format("delta")
  .option("checkpointLocation", "/path/to/checkpoint")
  .start("/path/to/table"))

Scala

df.writeStream
  .format("delta")
  .option("checkpointLocation", "/path/to/checkpoint")
  .start("/path/to/table")

Gemensamma

Konsolmottagare

Delta Lake

Följande alternativ gäller när du skriver en dataström till en Delta Lake-tabell med hjälp av format("delta"). Skriv över alternativ som overwriteSchema, replaceWhereoch partitionOverwriteMode stöds inte för strömningsskrivningar.

Filmottagare

Följande alternativ gäller när du skriver en dataström till filbaserade format (Parquet, JSON, CSV, ORC, text). Formatspecifika alternativ finns i DataFrameWriter-alternativ.

Kafka-mottagare

En fullständig lista över alternativ för att skriva strömmar till Kafka finns i Alternativ.

Minnesmottagare

Funktionsalternativ för Spark

Vissa inbyggda Spark SQL-funktioner accepterar en options karta som styr parsnings- eller serialiseringsbeteendet. Skicka alternativ som en Python dict eller en Scala Map[String, String].

Example

I följande exempel parsas en JSON-kolumn när felaktiga poster släpps:

Python

from pyspark.sql.functions import from_json
from pyspark.sql.types import StructType, StructField, StringType

schema = StructType([StructField("name", StringType())])
df = df.withColumn("parsed", from_json("json_col", schema, {"mode": "DROPMALFORMED"}))

Scala

import org.apache.spark.sql.functions.from_json
import org.apache.spark.sql.types._

val schema = StructType(Seq(StructField("name", StringType)))
val df = df.withColumn("parsed", from_json(col("json_col"), schema, Map("mode" -> "DROPMALFORMED")))

Avro

Avro-funktioner accepterar samma alternativ som motsvarande DataFrame-alternativ:

• from_avro och schema_of_avro använd DataFrameReader Avro-alternativ.
• to_avro använder DataFrameWriter Avro-alternativ.

Example

I följande exempel avkodas en Avro-kolumn med schemautveckling aktiverat:

Python

from pyspark.sql.functions import from_avro

df = df.withColumn("decoded", from_avro("avro_col", json_schema, {"avroSchemaEvolutionMode": "restart"}))

Scala

import org.apache.spark.sql.avro.functions.from_avro

val df = df.withColumn("decoded", from_avro(col("avro_col"), jsonSchema, Map("avroSchemaEvolutionMode" -> "restart")))

Dessutom accepterar schemaregistrets varianter av from_avro och to_avro följande alternativ:

CSV

CSV-funktioner accepterar samma alternativ som motsvarande DataFrame-alternativ:

• from_csv och schema_of_csv använd CSV-alternativ för DataFrameReader.
• to_csv använder CSV-alternativ för DataFrameWriter.

Example

I följande exempel läss CSV med en anpassad avgränsare och NULL ett värde:

Python

from pyspark.sql.functions import from_csv
from pyspark.sql.types import StructType, StructField, IntegerType, StringType

schema = StructType([StructField("id", IntegerType()), StructField("name", StringType())])
df = df.withColumn("parsed", from_csv("csv_col", schema, {"sep": "|", "nullValue": "N/A"}))

Scala

import org.apache.spark.sql.functions.from_csv
import org.apache.spark.sql.types._

val schema = StructType(Seq(StructField("id", IntegerType), StructField("name", StringType)))
val df = df.withColumn("parsed", from_csv(col("csv_col"), schema, Map("sep" -> "|", "nullValue" -> "N/A")))

JSON

JSON-funktioner accepterar samma alternativ som motsvarande DataFrame-alternativ:

• from_json och schema_of_json använd JSON-alternativ för DataFrameReader.
• to_json använder JSON-alternativ för DataFrameWriter.

Example

I följande exempel skrivs JSON med NULL fält ignorerade och ganska formatering aktiverat:

Python

from pyspark.sql.functions import to_json

df = df.withColumn("json_str", to_json("struct_col", {"pretty": "true", "ignoreNullFields": "true"}))

Scala

import org.apache.spark.sql.functions.to_json

val df = df.withColumn("json_str", to_json(col("struct_col"), Map("pretty" -> "true", "ignoreNullFields" -> "true")))

Protobuf

from_protobuf och to_protobuf använd inte en filbaserad DataSource. Protobuf-data läss och skrivs alltid som binära kolumner med hjälp av dessa funktioner. Alternativen skickas som en Map[String, String] och är skiftlägeskänsliga.

Example

I följande exempel avkodas en Protobuf-kolumn med permissivt läge:

Python

from pyspark.sql.functions import from_protobuf

df = df.withColumn("decoded", from_protobuf("proto_col", "MyMessage", "/path/to/descriptor.desc",
    {"mode": "PERMISSIVE", "enums.as.ints": "true"}))

Scala

import org.apache.spark.sql.protobuf.functions.from_protobuf

val df = df.withColumn("decoded", from_protobuf(col("proto_col"), "MyMessage", "/path/to/descriptor.desc",
    Map("mode" -> "PERMISSIVE", "enums.as.ints" -> "true")))

Protobuf-funktioner använder följande alternativ:

XML

XML-funktioner accepterar samma alternativ som motsvarande DataFrame-alternativ:

• from_xml och schema_of_xml använd XML-alternativ för DataFrameReader.
• to_xml använder XML-alternativ för DataFrameWriter.

Example

I följande exempel skrivs XML med anpassade rot- och radtaggar:

Python

from pyspark.sql.functions import to_xml

df = df.withColumn("xml_str", to_xml("struct_col", {"rootTag": "records", "rowTag": "record"}))

Scala

import org.apache.spark.sql.functions.to_xml

val df = df.withColumn("xml_str", to_xml(col("struct_col"), Map("rootTag" -> "records", "rowTag" -> "record")))