abort (DataSourceStreamWriter)

Aborta este microbatch devido a falhas de tarefa.

Este método é invocado no driver quando uma ou mais tarefas falham. As mensagens de commit são recolhidas da write() chamada de método de cada tarefa e passadas para este método. A implementação deve usar as mensagens de commit para abortar o microbatch no sink de streaming.

Sintaxe

abort(messages: List[Optional[WriterCommitMessage]], batchId: int)

Parâmetros

Parâmetro Tipo Descrição
messages lista de WriterCommitMessage Uma lista de mensagens de commit. Se uma tarefa de escrita falhar, a mensagem de commit será None.
batchId int Um inteiro que identifica de forma única um lote de dados a ser escrito. O valor inteiro aumenta em 1 com cada microlote processado.
  • Last updated on