Transformar ficheiros estruturados em tabelas Delta

Use transformações de atalhos para converter ficheiros estruturados em tabelas Delta consultáveis. Se os teus dados de origem já estiverem num formato tabular como CSV, Parquet, JSON ou Excel, as transformações de ficheiros copiam e convertem automaticamente esses dados para o formato Delta Lake para que possas consultá-los usando SQL, Spark ou Power BI sem construir pipelines ETL.

Para ficheiros de texto não estruturados que necessitam de processamento por IA, como resumo, tradução ou análise de sentimento, veja Transformações de Atalho (alimentadas por IA).

As transformações de atalho mantêm-se sempre sincronizadas com os dados de origem. O cálculo Fabric Spark executa a transformação e copia os dados referenciados por um atalho OneLake para uma tabela Delta gerida. Com o tratamento automático de esquemas, capacidades de desdobramento profundo e suporte para múltiplos formatos de compressão, as transformações simplificadas eliminam a complexidade de construir e manter pipelines ETL.

Por que usar transformações de atalho?

• Conversão automática – O Fabric copia e converte ficheiros fonte para formato Delta sem orquestração manual do pipeline.
• Sincronização frequente – O Fabric consulta o atalho a cada dois minutos e sincroniza as alterações.
• Descoberta recursiva de pastas – O Fabric percorre automaticamente subpastas para detetar e transformar ficheiros em toda a hierarquia de diretórios.
• Saída Delta Lake – A tabela resultante é compatível com qualquer motor Apache Spark.
• Governação herdada – O atalho herda a linhagem OneLake, as permissões e as políticas Microsoft Purview.

Pré-requisitos

Formatos de ficheiro suportados

Os atalhos de transformação funcionam com pastas de qualquer fonte de dados suportada pelos atalhos do OneLake.

Criar um atalho de tabela com transformação de dados

Um atalho de tabela cria uma tabela Delta na pasta Tables de uma casa do lago. Use-o para transformar ficheiros CSV, Parquet, JSON ou Excel.

Para ficheiros Excel com múltiplas folhas, um atalho de tabela combina as folhas selecionadas numa única tabela Delta. Se precisares de uma tabela Delta por folha, cria um atalho schema em vez disso.

1. No teu lakehouse, clica com o botão direito num esquema na pasta Tables e depois seleciona Novo atalho de tabela. Escolha a sua fonte de atalhos, como Azure Data Lake, Azure Blob Storage, Dataverse, Amazon S3, GCP, SharePoint ou OneDrive.

   

2. Selecione a pasta com os seus ficheiros CSV, Parquet ou JSON, ou selecione a pasta que contém os seus ficheiros .xlsx.

3. No passo Transformar , configure as definições para a conversão Delta:

   • Ficheiros CSV:

     • Delimitador – Selecione o carácter usado para separar as colunas, como vírgula, ponto e vírgula, tubo, tabulação, e ampersand ou espaço.
     • Primeira linha como cabeçalhos – Indique se a primeira linha contém nomes de coluna.

   • Ficheiros Excel:

     • Primeira linha como cabeçalhos – Indique se a primeira linha contém nomes de coluna.
     • Folhas a incluir – Selecione todas as folhas ou apenas um subconjunto de folhas. Pode selecionar folhas por nome, por índice ou usando padrões de caracteres curinga (por exemplo, Sales_* corresponde a folhas como Sales_Q1 e Sales_2026). A correspondência de wildcard é indistinta a maiúsculas e maiúsculas.

4. Revê a configuração do atalho. No passo Atalhos de Pré-visualização , também pode configurar estas definições antes de selecionar Criar:

   • Nome do atalho – Selecione o ícone do lápis para editar o nome do atalho.
   • Incluir subpastas – Permitir o processamento recursivo de ficheiros em subdiretórios aninhados. Esta opção é selecionada por padrão, para novas transformações. Desmarque a caixa de seleção se quiser processar apenas a pasta de nível superior.

5. Registar atualizações e ver registos no Gerenciar atalhos do hub de monitorização.

O Fabric Spark compute cria a tabela Delta e mostra o progresso no painel atalho Gerir.

Para ficheiros Excel, a tabela Delta resultante inclui __filepath__ colunas de metadados __sheetname__ para que possas traçar cada linha até ao ficheiro de origem e à folha.

Criar um atalho de esquema com transformação de dados

Um atalho de esquema cria múltiplas tabelas Delta que aparecem num novo esquema na pasta Tables de um lakehouse. Usa-o quando um livro de Excel tem várias folhas e quiseres uma tabela Delta por folha.

Os atalhos de esquema com transformação de dados estão atualmente disponíveis apenas para ficheiros Excel (.xlsx). Também requerem uma casa de lago com esquemas ativados. Para mais informações, consulte esquemas de Lakehouse.

1. Na sua lakehouse, clica com o botão direito na pasta Tables e depois seleciona Novo atalho de esquema.

   

2. Selecione a fonte de dados deste atalho e navegue até à pasta que contém os seus .xlsx ficheiros.

3. No passo Transformar , configure as definições para a conversão Delta:

   • Primeira linha como cabeçalhos – Indique se a primeira linha contém nomes de coluna.
   • Folhas a incluir – Selecione todas as folhas ou apenas um subconjunto de folhas. Pode selecionar folhas por nome, por índice ou usando padrões curinga.

   

4. Revê a configuração do atalho. No passo Atalhos de Pré-visualização , também pode configurar estas definições antes de selecionar Criar:

   • Nome do atalho – Selecione o ícone do lápis para editar o nome do atalho.
   • Incluir subpastas – Permitir o processamento recursivo de ficheiros em subdiretórios aninhados. Esta opção é selecionada por padrão, para novas transformações. Desmarque a caixa de seleção se quiser processar apenas a pasta de nível superior.

5. Registar atualizações e ver registos no Gerenciar atalhos do hub de monitorização.

O Fabric Spark Compute cria tabelas Delta separadas para as folhas selecionadas e mantém-nas sincronizadas com os ficheiros de origem. Os nomes das folhas são automaticamente convertidos em nomes válidos de tabelas. Por exemplo, uma folha chamada Sales Data (Q1) torna-se Sales_Data_Q1.

Como funciona a sincronização

Após a carga inicial, o Fabric Spark calcula:

• Sonda o alvo do atalho a cada dois minutos.
• Deteta arquivos novos ou modificados e acrescenta ou substitui linhas de acordo.
• Deteta ficheiros eliminados e remove as linhas correspondentes.

Quando o suporte a subpastas está ativado, o sistema descobre e processa recursivamente ficheiros em todos os subdiretórios aninhados dentro da pasta de destino.

Monitorar e solucionar problemas

As transformações de atalho incluem monitorização e gestão de erros para ajudar a acompanhar o estado da ingestão e diagnosticar problemas.

1. Abre a casa do lago e clica com o botão direito no atalho que alimenta a tua transformação.

2. Selecionar Gestão de atalho.

3. No painel de detalhes, pode ver:

   • Estado – Resultado da última varredura e estado atual da sincronização.

   • Histórico de atualização – Lista cronológica de operações de sincronização com contagem de linhas e quaisquer detalhes de erro.

   • Incluir subpastas – Indica se a transformação das subpastas está ativada (Sim ou Não).

     

4. Veja mais detalhes nos registos para resolver o problema.

   

Limitações

As seguintes limitações aplicam-se atualmente às transformações de atalho.

Limitações gerais

• Formato da fonte: São suportados ficheiros CSV, JSON, Parquet e Excel.
• Consistência do esquema de ficheiros: Os ficheiros devem partilhar um esquema idêntico.
• Disponibilidade de espaços de trabalho: Disponível apenas em itens Lakehouse (não em Data Warehouses ou bases de dados KQL).
• Operações de escrita: As transformações são otimizadas para leitura. Instruções MERGE INTO ou DELETE diretas na tabela de destino da transformação não são suportadas.
• Disponibilidade de atalhos de esquema: Os atalhos de esquema para transformações de ficheiros suportam apenas ficheiros Excel.

Limitações do CSV

• Tipos de dados não suportados: Colunas de tipos de dados mistos, Timestamp_Nanos, tipos lógicos complexos - MAP/LIST/STRUCT, Binário bruto.

Limitações do Parquet

• Tipos de dados não suportados: Timestamp_nanos, Decimal com INT32/INT64, INT96, Tipos inteiros não atribuídos - UINT_8/UINT_16/UINT_64, Tipos lógicos complexos - MAP/LIST/STRUCT.

Limitações do JSON

• Tipos de dados não suportados: Tipos de dados mistos num array, blobs binários brutos dentro de JSON, Timestamp_Nanos.
• Achatamento do tipo de dados do array: O tipo de dado do array é mantido na tabela Delta e é acessível com Spark SQL e PySpark. Para transformações adicionais, use Fabric Materialized Lake Views para a camada prateada.
• Profundidade de achatamento: As estruturas aninhadas são achatadas até cinco níveis de profundidade. O aninhamento mais profundo requer pré-processamento.

Limitações do Excel

• Alcance celular: Os dados são sempre lidos a partir da célula A1. Os workbooks onde os dados começam numa célula diferente ou usam tabelas ou intervalos nomeados não podem ser direcionados.
• Saltar linhas: Banners de título, preâmbulos de metadados e resumos de rodapé acima ou abaixo dos dados reais não podem ser excluídos. São ingeridos como linhas de dados.
• Inferência de esquemas: A inferência de esquema está sempre ativada para ficheiros Excel. Identificadores com zeros à esquerda (por exemplo, códigos postais como 02134 ou IDs de funcionários como 001245) são convertidos em inteiros, o que remove os zeros iniciais.
• Folhas ocultas: Todas as folhas, incluindo as folhas ocultas e de sistema, são processadas a menos que sejam explicitamente filtradas por nome ou índice.
• Formatação da moeda: Células formatadas por moeda (por exemplo, $1,234.56) são convertidas em valores numéricos simples. O símbolo da moeda é removido.
• Etiquetas de sensibilidade: Os cadernos de trabalho com etiquetas de sensibilidade Microsoft Purview não podem ser processados.
• Linhas corrompidas: O leitor Excel não suporta isolamento de registos corrompidos. Linhas corrompidas ou com incompatibilidade de tipo dentro de uma folha não podem ser isoladas e registadas separadamente.
• Limite de folhas: Ficheiros com mais de 25 folhas são saltados.
• Formato legado:.xls (formato binário legado) é suportado numa base de esforço razoável e pode ter uma fidelidade reduzida para formatação complexa. .xlsx é o formato recomendado.
• Avaliação da fórmula: O Spark lê o valor em cache das células fórmula. Se a folha de cálculo não foi guardada com valores calculados, as células de fórmula podem parecer vazias ou obsoletas.

Limitações das subpastas

• Disponível apenas para novas transformações. As transformações existentes não conseguem ativar o suporte a subpastas.
• Uma vez ativado o suporte a subpastas, não pode ser desativado.
• Os atalhos aninhados dentro da pasta de destino não são seguidos. Apenas pastas e ficheiros físicos são processados.
• Inclusão ou exclusão seletiva de subpastas específicas não é suportada.
• Pastas aninhadas não funcionam com atalhos do SharePoint.

Use o Roteiro Fabric e o Blog de Atualizações do Fabric para conhecer novas funcionalidades e lançamentos.

Limpeza

Para parar a sincronização, apague a transformação de atalho do Lakehouse Explorer.

Eliminar a transformação não remove os ficheiros subjacentes.