Migrar pools do Spark do Azure Synapse Analytics para o Fabric

Enquanto o Azure Synapse fornece pools do Spark, o Fabric oferece Pools iniciais e Pools personalizados. O pool inicial pode ser uma boa opção se você tiver um único pool sem configurações ou bibliotecas personalizadas no Azure Synapse, e se o tamanho de nó Medium atender às suas necessidades. No entanto, se você busca mais flexibilidade nas configurações do pool do Spark, recomendamos usar pools personalizados. Há duas opções:

• Opção 1: você pode usar o assistente de migração para migrar notebooks de Azure Synapse para Fabric usando uma experiência mais guiada e simplificada.
• Opção 2: Mover o pool do Spark para o pool padrão de um espaço de trabalho.
• Opção 3: mover o pool do Spark para um ambiente personalizado no Fabric.

Se você tiver mais de um pool do Spark e planeja movê-los para o mesmo espaço de trabalho Fabric, recomendamos usar a Opção 3, criando vários ambientes e pools personalizados.

Para considerações sobre pool do Spark, confira diferenças entre o Spark do Azure Synapse e o Fabric.

Pré-requisitos

Se você ainda não tiver um, crie um Fabric workspace em seu locatário.

Opção 1: Usar o assistente de migração

Você pode usar o assistente de migração para migração do Azure Synapse para o Fabric. Ele foi projetado para fornecer uma experiência guiada e simplificada para migrar notebooks e recursos relacionados.

Opção 2: do pool do Spark ao pool padrão do workspace

Você pode criar um pool do Spark personalizado no seu workspace do Fabric e usá-lo como pool padrão do workspace. O conjunto padrão é usado por todos os notebooks e pelas definições de trabalho do Spark no mesmo espaço de trabalho.

Para mover de um pool do Spark existente no Azure Synapse para um pool padrão do workspace:

1. Acesse o workspace do Azure Synapse: entre no Azure. Navegue até o workspace do Azure Synapse, acesse Pools de Análise e selecione Pools do Apache Spark.
2. Localize o pool do Spark: em Pools do Apache Spark, localize o pool do Spark que você deseja mover para o Fabric e verifique as Propriedades do pool.
3. Obtenha propriedades: obtenha as propriedades do pool do Spark, como a versão do Apache Spark, a família de tamanho do nó, o tamanho do nó ou o dimensionamento automático. Consulte Considerações sobre o pool do Spark para ver se há diferenças.
4. Crie um pool personalizado do Spark no Fabric:
   • Acesse seu workspace do Fabric e selecione Configurações do workspace.
   • Acesse Engenharia/Ciência de Dados e selecione Configurações do Spark.
   • Na guia Pool, na seção Pool padrão do espaço de trabalho, expanda o menu suspenso e selecione criar Novo pool.
   • Crie seu pool personalizado com os valores de destino correspondentes. Preencha o nome, a família do nó, o tamanho do nó, o dimensionamento automático e as opções de alocação dinâmica de executor.
5. Selecione a versão do runtime:
   • Acesse a guia Ambiente e selecione a Versão do Runtime necessária. Confira os runtimes disponíveis aqui.
   • Desabilite a opção Definir ambiente padrão.

Opção 3: do pool do Spark ao ambiente personalizado

Com ambientes personalizados, você pode configurar propriedades e bibliotecas personalizadas do Spark. Para criar um ambiente personalizado:

1. Acesse o workspace do Azure Synapse: entre no Azure. Navegue até o workspace do Azure Synapse, acesse Pools de Análise e selecione Pools do Apache Spark.
2. Localize o pool do Spark: em Pools do Apache Spark, localize o pool do Spark que você deseja mover para o Fabric e verifique as Propriedades do pool.
3. Obtenha propriedades: obtenha as propriedades do pool do Spark, como a versão do Apache Spark, a família de tamanho do nó, o tamanho do nó ou o dimensionamento automático. Consulte Considerações sobre o pool do Spark para ver se há diferenças.
4. Crie um pool personalizado do Spark:
   • Acesse seu workspace do Fabric e selecione Configurações do workspace.
   • Acesse Engenharia/Ciência de Dados e selecione Configurações do Spark.
   • Na guia Pool, na seção Pool padrão do espaço de trabalho, expanda o menu suspenso e selecione criar Novo pool.
   • Crie seu pool personalizado com os valores de destino correspondentes. Preencha o nome, a família do nó, o tamanho do nó, o dimensionamento automático e as opções de alocação dinâmica de executor.
5. Crie um item de ambiente se não tiver um.
6. Configure a computação do Spark:
   • Em Ambiente, acesse Spark Compute>Compute.
   • Selecione o pool recém-criado para o novo ambiente.
   • Você pode configurar os núcleos e a memória do driver e dos executores.
7. Selecione uma versão de runtime para o ambiente. Confira os runtimes disponíveis aqui.
8. Clique em Salvar e Publicar alterações.

Saiba mais sobre como criar e usar um ambiente.

Conteúdo relacionado

• Migrar configurações do Spark
• Migrar bibliotecas do Spark
• Migrar notebooks do Azure Synapse para Fabric