jdbc (DataFrameReader)

Hiermee maakt u een DataFrame weergave van de databasetabel die toegankelijk is via de JDBC-URL url. Partities van de tabel worden parallel opgehaald als of columnpredicates is opgegeven. Als beide column en predicates zijn opgegeven, column heeft dit voorrang.

Syntaxis

jdbc(url, table, column=None, lowerBound=None, upperBound=None,
     numPartitions=None, predicates=None, properties=None)

Parameterwaarden

Kenmerk Typ Beschrijving
url str De JDBC-URL van het formulier jdbc:subprotocol:subname.
table str De naam van de tabel in de externe database.
column str, optioneel De kolom die moet worden gebruikt voor partitionering (alias voor de partitionColumn optie). Vereist lowerBound, upperBounden numPartitions.
lowerBound int of str, optioneel De minimumwaarde van column partitioneren. Vereist wanneer column is opgegeven.
upperBound int of str, optioneel De maximumwaarde voor column partitioneren. Vereist wanneer column is opgegeven.
numPartitions int, optioneel Het aantal partities. Vereist wanneer column is opgegeven.
predicates lijst, optioneel Een lijst WHERE met componentexpressies, die elk één partitie van de DataFrame. Genegeerd wanneer column is opgegeven.
properties dicteren, optioneel JDBC-verbindingsargumenten, meestal inclusief 'user' en 'password'. Bijvoorbeeld: {'user': 'SYSTEM', 'password': 'mypassword'}.

Retouren

DataFrame

Aantekeningen

Vermijd het maken van te veel partities parallel op een groot cluster, omdat dit externe databasesystemen kan vastlopen.

  • Last updated on