Connettore di inserimento di Microsoft SQL Server

Questa pagina consente di comprendere il flusso di lavoro di inserimento di SQL Server, inclusi i fattori che determinano l'approccio alla configurazione e i passaggi necessari per utenti diversi.

CDC standard e CDC integrato

SQL Server supporta due architetture di inserimento. La tabella seguente li confronta:

Feature CDC standard (basato su gateway) CDC integrato (beta)
Numero di pipeline Due (gateway di inserimento e pipeline di inserimento) Uno (pipeline unificata)
Configurazione Creare un gateway, quindi creare una pipeline di inserimento che faccia riferimento all'ID gateway Creare una singola pipeline che faccia riferimento a una connessione al catalogo Unity
La modalità gateway Il gateway è in esecuzione continua La pipeline integra l'estrazione in ogni aggiornamento
Informazioni di riferimento sulla connessione ingestion_gateway_id connection_name (una connessione al catalogo Unity)
Tipo di connettore Implicito Esplicito: connector_type: CDC
Volume di gestione temporanea Il gateway gestisce internamente il volume di staging Si configura il volume di staging tramite data_staging_options. Se non specificato, la pipeline ne crea automaticamente uno.

La stessa configurazione del database di origine si applica a entrambe le architetture. Vedere Configurare Microsoft SQL Server per l'inserimento in Azure Databricks. Per altre informazioni, vedere Creare una pipeline CDC integrata per SQL Server.

Disponibilità della funzionalità

Feature Availability
Creazione di pipeline basate sull'interfaccia utente Icona con segno di spunta verde Supportato
Creazione di pipeline basate su API Icona con segno di spunta verde Supportato
Pacchetti di automazione dichiarativa Icona con segno di spunta verde Supportato
Inserimento incrementale Icona con segno di spunta verde Supportato
Governance del catalogo Unity Icona con segno di spunta verde Supportato
Orchestrazione mediante job Lakeflow Icona con segno di spunta verde Supportato
SCD di tipo 2 Icona con segno di spunta verde Supportato
Selezione e deselezionazione delle colonne basate su API Icona con segno di spunta verde Supportato
Filtro delle righe basato su API Icona X rossa Non supportato
Evoluzione automatizzata dello schema: colonne nuove ed eliminate Icona con segno di spunta verde Supportato
Evoluzione automatizzata dello schema: modifiche al tipo di dati Icona X rossa Non supportato
Evoluzione automatizzata dello schema: ridenominazione delle colonne Icona X rossa Non supportato
Richiede un aggiornamento completo.
Evoluzione automatizzata dello schema: nuove tabelle Icona con segno di spunta verde Supportato
Se si ingerisce l'intero schema. Consulta le limitazioni relative al numero di tabelle per ciascuna pipeline.
Numero massimo di tabelle per pipeline 250

Metodi di autenticazione

Metodo di autenticazione Availability
OAuth U2M Icona X rossa Non supportato
OAuth M2M Icona X rossa Non supportato
OAuth (token di aggiornamento manuale) Icona X rossa Non supportato
Autenticazione di base (nome utente/password) Icona con segno di spunta verde Supportato
Autenticazione di base (chiave API) Icona X rossa Non supportato
Autenticazione di base (chiave JSON dell'account del servizio) Icona X rossa Non supportato

Cosa sapere prima di iniziare

Argomento Perché è importante
Persona utente di Azure Databricks Il flusso di lavoro dipende dalla tipologia di utente di Azure Databricks:
  • Utente singolo: un utente amministratore configura il database di origine e crea una connessione con Unity Catalog, un gateway di acquisizione e una pipeline di acquisizione.
  • Multiutente: un utente amministratore configura il database di origine e crea una connessione per gli utenti non amministratori con cui creare coppie di gateway-pipeline.
Variante del database La configurazione del database di origine dipende dall'ambiente di distribuzione di SQL Server.
Metodo di rilevamento delle modifiche La configurazione del database di origine dipende dal modo in cui si sceglie di tenere traccia delle modifiche nell'origine.
Metodo di autenticazione I passaggi per creare una connessione dipendono dal metodo di autenticazione scelto.
Interfaccia I passaggi per creare una connessione, un gateway e una pipeline dipendono dall'interfaccia .
Frequenza di ingestione La pianificazione della pipeline dipende dai requisiti di latenza e di costi.
Modelli comuni A seconda delle esigenze di inserimento, la pipeline potrebbe usare configurazioni come il rilevamento della cronologia, la selezione delle colonne e il filtro delle righe. Le configurazioni supportate variano in base al connettore. Vedere Disponibilità delle funzionalità.

Iniziare l'acquisizione da SQL Server

La tabella seguente offre una panoramica del flusso di lavoro di inserimento end-to-end di SQL Server, in base al tipo di utente:

User Steps
Admin
Non amministratore Usare qualsiasi interfaccia supportata per creare un gateway e una pipeline. Vedere Inserire dati da SQL Server.
  • Last updated on