partities (DataSourceReader)

Retourneert een reeks partities voor deze gegevensbron.

Partities worden gebruikt om gegevensleesbewerkingen te splitsen in parallelle taken. Als deze methode N-partities retourneert, maakt de queryplanner N-taken. Elke taak wordt parallel uitgevoerd read() met behulp van de respectieve partitiewaarde om de gegevens te lezen.

Deze methode wordt eenmaal aangeroepen tijdens het plannen van query's. Standaard retourneert deze één partitie met de waarde None. Subklassen kunnen deze methode overschrijven om meerdere partities te retourneren.

Het is raadzaam deze methode te overschrijven voor betere prestaties bij het lezen van grote gegevenssets.

Syntaxis

partitions()

Retouren

Sequence[InputPartition]

Een reeks partities voor deze gegevensbron. Elke partitiewaarde moet een exemplaar van InputPartition of een subklasse hiervan zijn.

Aantekeningen

Alle partitiewaarden moeten picklable objecten zijn.

Examples

Retourneert een lijst met gehele getallen:

def partitions(self):
    return [InputPartition(1), InputPartition(2), InputPartition(3)]

Retourneert een lijst met tekenreeksen:

def partitions(self):
    return [InputPartition("a"), InputPartition("b"), InputPartition("c")]

Retourneert een lijst met bereiken:

class RangeInputPartition(InputPartition):
    def __init__(self, start, end):
        self.start = start
        self.end = end

def partitions(self):
    return [RangeInputPartition(1, 3), RangeInputPartition(5, 10)]