csv （DataFrameReader）

加载 CSV 文件并返回结果作为 。DataFrame 如果 inferSchema 已启用，此函数将读取一次输入以确定架构。 若要避免这种情况，请禁用 inferSchema 或显式使用 schema指定架构。

Syntax

csv(path, schema=None, **options)

参数

参数 类型 说明
path str 或 list 一个或多个输入路径，或存储 CSV 行的字符串的 RDD。
schema StructType 或 str，可选 可选输入架构作为 StructType 对象或 DDL 格式的字符串（例如 'col0 INT, col1 DOUBLE'）。

退货

DataFrame

示例

将数据帧写入 CSV 文件，并将其读回。

import tempfile
with tempfile.TemporaryDirectory(prefix="csv") as d:
    df = spark.createDataFrame([{"age": 100, "name": "Alice"}])
    df.write.mode("overwrite").format("csv").save(d)

    spark.read.csv(d, schema=df.schema, nullValue="Alice").show()
    # +---+----+
    # |age|name|
    # +---+----+
    # |100|NULL|
    # +---+----+
  • Last updated on