Nota
O acesso a esta página requer autorização. Pode tentar iniciar sessão ou alterar os diretórios.
O acesso a esta página requer autorização. Pode tentar alterar os diretórios.
Implemente o carregamento de dados e as transformações de dados nos pipelines declarativos do Lakeflow Spark com consultas que definem tabelas de streaming e vistas materializadas. O Lakeflow Spark Declarative Pipelines suporta interfaces SQL e Python. Como oferecem funcionalidades equivalentes para a maioria dos casos de processamento de dados, pode escolher a interface com que se sentir mais confortável. Para ajuda a decidir, veja Escolher entre SQL e Python.
Desenvolvimento em Python
Criar pipelines usando código Python.
| Tópico | Description |
|---|---|
| Desenvolver código de pipeline com Python | Uma visão geral do desenvolvimento de pipelines em Python. |
| Lakeflow Spark Declarative Pipelines Python referência de linguagem | Documentação de referência do Python para o módulo pipelines. |
| Gerir dependências do Python para pipelines | Instruções para gerir bibliotecas Python em pipelines. |
| Importar módulos Python de pastas Git ou ficheiros de espaço de trabalho | Instruções para usar módulos Python que tem armazenados no Azure Databricks. |
Desenvolvimento SQL
Crie pipelines usando código SQL.
| Tópico | Description |
|---|---|
| Desenvolver código Lakeflow Spark Declarative Pipelines com SQL | Uma visão geral do desenvolvimento de pipelines em SQL. |
| Referência da linguagem SQL do pipeline | Documentação de referência para sintaxe SQL para Lakeflow Spark Declarative Pipelines. |
| Pipelines autónomos | Use o Databricks SQL para trabalhar com pipelines. |
Outros tópicos de desenvolvimento
Os tópicos seguintes descrevem outras formas de desenvolver pipelines.
| Tópico | Description |
|---|---|
| Converter um pipeline num projeto de bundle | Converta um pipeline existente em um pacote, que permite gerenciar sua configuração de processamento de dados em um arquivo YAML controlado pela fonte para facilitar a manutenção e implantações automatizadas em ambientes de destino. |
| Metaprogramação com Pipelines Declarativos do Lakeflow Spark |
Cria pipelines com dlt-meta. Use a biblioteca open source dlt-meta para automatizar a criação de pipelines com um framework orientado por metadados.Tutorial: Crie múltiplos fluxos com parâmetros diferentes. Crie múltiplos fluxos num ciclo em Python. |
| Desenvolva código de pipeline em seu ambiente de desenvolvimento local | Uma visão geral das opções para o desenvolvimento de pipelines localmente. |