foreach_batch_sink

El @dp.foreach_batch_sink() decorador define un receptor ForEachBatch, que procesa una secuencia como una serie de microprocesos que se controlan en Python con lógica personalizada. Se hace referencia al receptor como en target un flujo de anexión para escribir los datos transformados. Para obtener instrucciones conceptuales, consideraciones y ejemplos, consulte Uso de ForEachBatch para escribir en receptores de datos arbitrarios en canalizaciones.

Syntax

from pyspark import pipelines as dp

@dp.foreach_batch_sink(name="<name>")
def batch_handler(df, batch_id):
    """
    Required:
      - `df`: a Spark DataFrame representing the rows of this micro-batch.
      - `batch_id`: unique integer ID for each micro-batch in the query.
    """
    # Your custom write or transformation logic here
    # Example:
    # df.write.format("some-target-system").save("...")
    #
    # To access the sparkSession inside the batch handler, use df.sparkSession.

Parámetros