Creare e gestire un'istanza del database

Per iniziare a usare i carichi di lavoro OLTP, creare un'istanza del database Lakebase Provisioned usando l'interfaccia utente di Azure Databricks, la chiamata all'API, l'SDK Python o l'interfaccia della riga di comando (CLI).

Creare un'istanza di database

Creare un'istanza di database con le impostazioni predefinite consigliate. È necessario specificare un nome di istanza (solo 1-63 caratteri, lettere e trattini). In qualità di creatore, sei il proprietario del database con ruolo databricks_superuser.

La maggior parte degli utenti dell'area di lavoro può creare istanze di database per impostazione predefinita. Se si verificano problemi di autorizzazione, vedere Autorizzazioni dell'istanza del database.

INTERFACCIA UTENTE

1. Fare clic App nell'angolo in alto a destra e selezionare Lakebase Postgres.
2. Fare clic su Provisioning per aprire la pagina Istanze di cui è stato effettuato il provisioning .
3. Fare clic su Crea istanza di database.
4. Configurare l'istanza:
   • Nome: immettere un nome di istanza del database (solo 1-63 caratteri, lettere e trattini).
   • Capacità: selezionare le dimensioni di calcolo (impostazione predefinita: 2 CU). Consultare Dimensioni dell'istanza.
   • Criteri di utilizzo serverless: selezionare un criterio di utilizzo per attribuire l'utilizzo serverless e la fatturazione (facoltativo). Vedere Criteri di utilizzo serverless.
5. (Facoltativo) Espandere Impostazioni avanzate per configurare:
   • Crea dall'elemento padre: creare un clone di copia su scrittura da un'istanza esistente, inclusi i dati fino a un momento specifico. Vedere Creare dall'elemento padre.
   • Abilitare l'alta disponibilità: abilitare l'alta disponibilità con nodi di failover, configurare repliche secondarie leggibili e impostare il numero di nodi di alta disponibilità. Vedere Disponibilità elevata.
6. Clicca su Crea.

PYTHON SDK

from databricks.sdk import WorkspaceClient
from databricks.sdk.service.database import DatabaseInstance

# Initialize the Workspace client
w = WorkspaceClient()

# Create a database instance
instance = w.database.create_database_instance(
    DatabaseInstance(
        name="my-database-instance",
        capacity="CU_1"
    )
)

print(f"Created database instance: {instance.name}")
print(f"Connection endpoint: {instance.read_write_dns}")

CLI

# Create a database instance
databricks database create-database-instance my-database-instance \
  --capacity CU_1

# Create with advanced options (using JSON for more complex parameters)
databricks database create-database-instance \
  --json '{
    "name": "my-database-instance",
    "capacity": "CU_2",
    "retention_window_in_days": 14
  }'

curva

Creare un'istanza del database e specificare una finestra di conservazione.

export PAT=<YOUR_PAT>
export INSTANCE_NAME="instance_name"

> curl -X POST --header "Authorization: Bearer ${DATABRICKS_TOKEN}" https://[your databricks workspace]/api/2.0/database/instances \
--data-binary @- << EOF
{
  "name": "$INSTANCE_NAME",
  "capacity": "CU_1",
  "retention_window_in_days": 14
}
EOF

Impostazioni avanzate

È anche possibile configurare queste funzionalità durante la creazione o dopo la creazione modificando l'istanza:

Arrestare o avviare un'istanza

Per arrestare o avviare un'istanza del database, è necessario avere CAN MANAGE le autorizzazioni necessarie. Per arrestare o avviare un'istanza, usare l'interfaccia utente Azure Databricks, la chiamata API, Python SDK o l'interfaccia della riga di comando.

INTERFACCIA UTENTE

1. Fare clic App nell'angolo in alto a destra e selezionare Lakebase Postgres.
2. Fare clic su Provisioning per aprire la pagina Istanze di cui è stato effettuato il provisioning .
3. Clicca sull'istanza del database che desideri arrestare o avviare.
4. Fare clic su Arresta o Avvia nell'angolo superiore destro della pagina.

PYTHON SDK

from databricks.sdk import WorkspaceClient
from databricks.sdk.service.database import DatabaseInstance

# Initialize the Workspace client
w = WorkspaceClient()

# Stop a database instance
instance_name = "my-database-instance"
w.database.update_database_instance(
    name=instance_name,
    database_instance=DatabaseInstance(
        name=instance_name,
        stopped=True
    ),
    update_mask="*"
)
print(f"Stopped database instance: {instance_name}")

# Start a database instance
w.database.update_database_instance(
    name=instance_name,
    database_instance=DatabaseInstance(
        name=instance_name,
        stopped=False
    ),
    update_mask="*"
)
print(f"Started database instance: {instance_name}")

CLI

# Stop a database instance
databricks database update-database-instance my-database-instance '*' \
  --json '{
    "stopped": true
  }'

# Start a database instance
databricks database update-database-instance my-database-instance '*' \
  --json '{
    "stopped": false
  }'

curva

La chiamata API seguente arresta un'istanza del database.

-X PATCH --header "Authorization: Bearer ${DATABRICKS_TOKEN}" https://$WORKSPACE/api/2.0/database/instances/$INSTANCE_NAME \
--data-binary @- << EOF
{
  "stopped": true
}
EOF

La chiamata API seguente avvia un'istanza di database.

curl -X PATCH --header "Authorization: Bearer ${DATABRICKS_TOKEN}" https://$WORKSPACE/api/2.0/database/instances/$INSTANCE_NAME \
--data-binary @- << EOF
{
  "stopped": false
}
EOF

Comportamento in caso di arresto

Comportamento dell'istanza del database:

• I dati sono conservati.
• L'istanza non può essere utilizzata per operazioni di lettura o scrittura.
• Le tabelle sincronizzate non gestiscono le letture.
• Lakeflow Spark Declarative Pipelines (LDP) non rileva istanze arrestate e potrebbe restituire errori.
• I cataloghi registrati nelle istanze arrestate non mostrano i dettagli dello schema nell'interfaccia utente.

Limitazioni funzionali:

• Non è possibile creare o eliminare DatabaseTables o DatabaseCatalogs.
• È possibile eliminare o ridimensionare un'istanza arrestata. Le modifiche alla capacità diventano effettive al riavvio dell'istanza.
• È possibile arrestare le pipeline.

Comportamento all'avvio

• L'istanza entra nello STARTING stato e diventa AVAILABLE quando è pronta.

Limitazioni

• LDP non rileva istanze arrestate e può restituire errori.
• I cataloghi registrati nelle istanze arrestate non mostrano i dettagli dello schema nell'interfaccia utente.

Eliminare un'istanza

Prestare attenzione quando si elimina l'istanza del database, in quanto in questo modo verranno eliminati tutti i dati associati.

È necessario disporre delle autorizzazioni CAN MANAGE per l'istanza del database. Se non si è proprietari delle tabelle o dei cataloghi, è necessario riassegnare la proprietà a se stessi. Gli amministratori dell'area di lavoro possono eliminare le istanze del database di cui non sono proprietari.

Databricks consiglia di eliminare tutti i cataloghi di Unity associati, le tabelle sincronizzate e le istanze figlio prima di eliminare l'istanza del database. In caso contrario, il tentativo di visualizzare i cataloghi o eseguire query SQL che vi fanno riferimento genera errori.

INTERFACCIA UTENTE

1. Fare clic App nell'angolo in alto a destra e selezionare Lakebase Postgres.
2. Fare clic su Provisioning per aprire la pagina Istanze di cui è stato effettuato il provisioning .
3. Selezionare l'istanza del database da eliminare.
4. Selezionare Cataloghi nella barra laterale di Lakebae App per visualizzare l'elenco completo dei cataloghi di database associati all'istanza del database.
5. Per ogni catalogo di database , eliminare tutte le tabelle sincronizzate, incluse quelle che si trovano in cataloghi gestiti e non sono registrate come cataloghi di database.
6. Fare clic >Eliminare il catalogo.

PYTHON SDK

from databricks.sdk import WorkspaceClient

# Initialize the Workspace client
w = WorkspaceClient()

# Delete a database instance
instance_name = "my-database-instance"
w.database.delete_database_instance(
    name=instance_name,
    purge=True  # Required to delete the instance
)
print(f"Deleted database instance: {instance_name}")

# Delete with force option (to delete child instances too)
w.database.delete_database_instance(
    name=instance_name,
    force=True,  # Delete child instances too
    purge=True
)

CLI

# Delete a database instance
databricks database delete-database-instance my-database-instance \
  --purge

# Delete with force option (to delete child instances too)
databricks database delete-database-instance my-database-instance \
  --json '{
    "force": true,
    "purge": true
  }'

curva

purge=true deve essere specificato per eliminare un'istanza del database.

curl -X DELETE --header "Authorization: Bearer ${DATABRICKS_TOKEN}" https://$WORKSPACE/api/2.0/database/instances/$INSTANCE_NAME?purge=true

Aggiornare i criteri di utilizzo serverless di un'istanza del database

I criteri di utilizzo serverless sono costituiti da tag applicati a qualsiasi attività di calcolo serverless sostenuta da un utente assegnato ai criteri. Assegnando tag a un'istanza del database con criteri di utilizzo serverless, è possibile attribuire i costi di fatturazione e utilizzo a criteri specifici, semplificando il rilevamento, la gestione e il controllo della spesa tra le risorse serverless.

Usare l'interfaccia utente per aggiornare i criteri di utilizzo di un'istanza del database:

1. Fare clic App nell'angolo in alto a destra e selezionare Lakebase Postgres.
2. Fare clic su Provisioning per aprire la pagina Istanze di cui è stato effettuato il provisioning .
3. Selezionare l'istanza del database per cui aggiornare i criteri di fatturazione.
4. Fare clic su Modifica in alto a destra.
5. Selezionare una politica di utilizzo serverless.
6. Fare clic su Salva.

Gestire la capacità dell'istanza

Per ridimensionare un'istanza, è necessario disporre delle autorizzazioni CAN MANAGE. Il ridimensionamento può richiedere alcuni minuti e diventa effettivo quando l'istanza viene riavviata.

Ogni unità di capacità alloca circa 16 GB di RAM insieme alle risorse DI CPU e SSD locali associate. Prima di ridimensionare, testare e ottimizzare le query. L'archiviazione viene ridimensionata automaticamente.

INTERFACCIA UTENTE

1. Fare clic App nell'angolo in alto a destra e selezionare Lakebase Postgres.
2. Fare clic su Provisioning per aprire la pagina Istanze di cui è stato effettuato il provisioning .
3. Selezionare l'istanza del database da ridimensionare.
4. Fare clic su Modifica nell'angolo superiore destro.
5. Usare il menu a discesa Capacità per selezionare le nuove dimensioni dell'istanza.
6. Fare clic su Salva.

curva

curl -X PATCH --header "Authorization: Bearer ${DATABRICKS_TOKEN}" https://$WORKSPACE/api/2.0/database/instances/$INSTANCE_NAME \
--data-binary @- << EOF
{
  "capacity": "CU_4"
}
EOF

PYTHON SDK

from databricks.sdk import WorkspaceClient
from databricks.sdk.service.database import DatabaseInstance

w = WorkspaceClient()
instance_name = "my-database-instance"
w.database.update_database_instance(
    name=instance_name,
    database_instance=DatabaseInstance(name=instance_name, capacity="CU_4"),
    update_mask="*"
)

CLI

databricks database update-database-instance my-database-instance '*' --capacity CU_4

Monitora un'istanza del database

Accedere alle metriche dalla scheda Monitoraggio nella pagina dei dettagli dell'istanza.

1. Fare clic App nell'angolo in alto a destra e selezionare Lakebase Postgres.
2. Fare clic su Provisioning per aprire la pagina Istanze di cui è stato effettuato il provisioning .
3. Selezionare l'istanza del database da monitorare.
4. Selezionare Monitoraggio dalla barra laterale dell'app Lakebase.

Usare le metriche seguenti per analizzare le tendenze delle prestazioni, identificare potenziali colli di bottiglia e valutare se ottimizzare l'utilizzo dell'applicazione o ridimensionare l'istanza:

• Transazioni al secondo: Mostra la velocità effettiva delle transazioni confermate. Usare questa opzione per comprendere i modelli di carico di lavoro e identificare i periodi di punta delle transazioni. Se questo valore è costantemente elevato, è consigliabile ottimizzare il comportamento del client o aumentare le dimensioni dell'istanza.

• Righe al secondo: Visualizza il numero di righe recuperate, restituite, inserite, aggiornate ed eliminate. Le righe recuperate si riferiscono al numero di righe restituite ai clienti. Le righe restituite fanno riferimento al numero di righe lette dalle query. Consente di diagnosticare il tipo di carico di lavoro e il relativo impatto sul sistema. Se le prestazioni sono limitate, prendere in considerazione l'aggiunta di indici o l'ottimizzazione dei modelli di query.

• Connessioni aperte: Visualizza il numero di connessioni attive aperte. Le connessioni utilizzano le risorse dell'istanza. Usare questa opzione per valutare se è necessario il pool di connessioni lato client. Fare riferimento ai limiti per il numero massimo di connessioni consentite.

• Utilizzo dello spazio di archiviazione: Indica l'utilizzo corrente dell'archiviazione per l'istanza. Se l'utilizzo si avvicina ai limiti di Lakebase Provisioned, rimuovere i dati o gli indici non necessari. In alternativa, contattare il supporto tecnico per richiedere un aumento della quota.

• Utilizzo della CPU (%): Misura l'utilizzo della CPU per l'istanza del database. Un utilizzo elevato della CPU potrebbe indicare un carico di lavoro pesante dal punto di vista computazionale. Prendere in considerazione le ottimizzazioni lato applicazione o aumentare le dimensioni dell'istanza.

• Velocità effettiva lettura pagina (%): Riflette la vicinanza dell'istanza alla capacità di lettura della pagina, in genere causata da mancati riscontri nella cache. Se il valore è elevato, ridurre il carico di lavoro o il working set, aggiungere indici, memorizzare nella cache le query sul lato client o semplificare i dati.

• Tasso di successo della cache del buffer (%): Indica la percentuale di letture servite dalla memoria. I carichi di lavoro ad alte prestazioni dovrebbero visualizzare i valori superiori a 99%. La bassa frequenza suggerisce che il carico di lavoro supera la capacità della cache o può trarre vantaggio dalle ottimizzazioni.

• Frequenza di riscontri della cache SSD locale (%): Tiene traccia della percentuale di letture servite dalla cache SSD dopo un mancato riscontro nella cache del buffer. Un valore basso può aumentare la velocità effettiva di lettura della pagina. Usare ottimizzazioni simili a quella della cache del buffer o prendere in considerazione un'istanza più grande.

• Deadlock al secondo: Misura la frequenza con cui le transazioni riscontrano dei deadlock. Questi si verificano in genere quando più transazioni accedono alle stesse risorse in ordine in conflitto. Analizzare e effettuare il refactoring dei carichi di lavoro per evitare deadlock.

Passaggi successivi

• Gestire i dati lakehouse con tabelle sincronizzate.
• Connettersi ed eseguire query nell'istanza del database.
• Registrare l'istanza del database nel catalogo unity.
• Consentire ad altri utenti di accedere all'istanza del database da Azure Databricks. Vedere Gestire le autorizzazioni e i ruoli postgres.

Limitazioni e requisiti

Le sezioni seguenti descrivono i limiti e i requisiti di configurazione per le istanze di database gestite.

• Un'area di lavoro consente un massimo di dieci istanze.
• Ogni istanza supporta fino a 1000 connessioni simultanee.
• Il limite di dimensioni logiche per tutti i database in un'istanza è di 2 TB.
• Le istanze del database hanno come ambito una singola area di lavoro.

Requisiti del nome dell'istanza

• Deve essere lunga da 1 a 63 caratteri.
• Deve iniziare con una lettera.
• Può contenere solo caratteri alfanumerici e trattini.
• Impossibile includere due trattini consecutivi.