Migración de grupos de Spark de Azure Synapse Analytics a Fabric

Mientras que Azure Synapse ofrece grupos de Spark, Fabric ofrece grupos de inicio y grupos personalizados. El grupo de inicio puede ser una buena opción si tiene un único grupo sin configuraciones ni bibliotecas personalizadas en Azure Synapse y si el tamaño de nodo medio cumple sus requisitos. Sin embargo, si busca más flexibilidad con las configuraciones del grupo de Spark, se recomienda usar grupos personalizados. Aquí hay dos opciones:

  • Opción 1: puede usar el asistente de migración para migrar cuadernos de Azure Synapse a Fabric mediante una experiencia más guiada y simplificada.
  • Opción 2: Mueva el grupo de Spark al grupo predeterminado de un área de trabajo.
  • Opción 3: Mover el grupo de Spark a un entorno personalizado en Fabric.

Si tiene más de un grupo de Spark y planea moverlos al mismo área de trabajo de Fabric, se recomienda usar la opción 3, creando varios entornos y grupos personalizados.

Para más información sobre los grupos de Spark, consulte las diferencias entre Azure Synapse Spark y Fabric.

Requisitos previos

Si todavía no tiene ninguna, cree un área de trabajo de Fabric en su tenant.

Opción 1: Usar el Asistente para la migración

Puede usar migration assistant para la migración de Azure Synapse a Fabric. Está diseñado para proporcionar una experiencia guiada y simplificada para migrar cuadernos y recursos relacionados.

Opción 2: Del grupo de Spark al grupo predeterminado del área de trabajo

Puede crear un grupo de Spark personalizado desde su área de trabajo de Fabric y utilizarlo como grupo predeterminado en el área de trabajo. El grupo predeterminado lo usan todos los cuadernos y definiciones de trabajo de Spark de la misma área de trabajo.

Para mover un grupo de Spark existente de Azure Synapse a un grupo predeterminado de un área de trabajo:

  1. Acceder al área de trabajo de Azure Synapse: inicie sesión en Azure. Vaya al área de trabajo de Azure Synapse, luego a grupos de análisis y seleccione grupos de Apache Spark.
  2. Buscar el grupo de Spark: en los grupos de Apache Spark, busque el grupo de Spark que desea mover a Fabric y compruebe las propiedades del grupo.
  3. Obtener propiedades: obtenga las propiedades del grupo de Spark, como la versión de Apache Spark, la familia del tamaño de los nodos, el tamaño de los nodos o la escalabilidad automática. Consulte las consideraciones sobre los grupos de Spark para ver si hay diferencias.
  4. Crear un grupo de Spark personalizado en Fabric:
    • Vaya al área de trabajo Fabric y seleccione Configuración del área de trabajo.
    • Vaya a Ingeniería de datos/ciencia y seleccione Configuración de Spark.
    • Seleccione la pestaña Grupo y en la sección Grupo predeterminado del área de trabajo, expanda el menú desplegable u seleccione Crear grupo.
    • Cree su grupo personalizado con los valores de destino correspondientes. Rellene las opciones de nombre, familia de los nodos, tamaño de los nodos, escalado automático y asignación dinámica del ejecutor.
  5. Seleccionar una versión del runtime:
    • Vaya a la pestaña Entorno y seleccione la versión del runtime requerida. Vea aquí los runtimes disponibles.
    • Deshabilite la opción Establecer entorno predeterminado.

Captura de pantalla que muestra el grupo predeterminado.

Nota:

En esta opción, no se admiten las bibliotecas o las configuraciones de nivel de grupo. Sin embargo, puede ajustar la configuración del proceso de los elementos individuales, como cuadernos y definiciones de trabajos de Spark, y agregar bibliotecas insertadas. Si necesita agregar configuraciones y bibliotecas personalizadas a un entorno, considere la posibilidad de usar un entorno personalizado.

Opción 3: Desde el grupo de Spark al entorno personalizado

Con los entornos personalizados, puede configurar las bibliotecas y propiedades personalizadas de Spark. Para crear un entorno personalizado:

  1. Acceder al área de trabajo de Azure Synapse: inicie sesión en Azure. Vaya al área de trabajo de Azure Synapse, luego a grupos de análisis y seleccione grupos de Apache Spark.
  2. Buscar el grupo de Spark: en los grupos de Apache Spark, busque el grupo de Spark que desea mover a Fabric y compruebe las propiedades del grupo.
  3. Obtener propiedades: obtenga las propiedades del grupo de Spark, como la versión de Apache Spark, la familia del tamaño de los nodos, el tamaño de los nodos o la escalabilidad automática. Consulte las consideraciones sobre los grupos de Spark para ver si hay diferencias.
  4. Crear un grupo de Spark personalizados:
    • Vaya al área de trabajo Fabric y seleccione Configuración del área de trabajo.
    • Vaya a Ingeniería de datos/ciencia y seleccione Configuración de Spark.
    • Seleccione la pestaña Grupo y en la sección Grupo predeterminado del área de trabajo, expanda el menú desplegable u seleccione Crear grupo.
    • Cree su grupo personalizado con los valores de destino correspondientes. Rellene las opciones de nombre, familia de los nodos, tamaño de los nodos, escalado automático y asignación dinámica del ejecutor.
  5. la opción "Create an Environment" si aún no tiene una.
  6. Configurar el proceso de cálculo de Spark:
    • Dentro de Entorno, vaya a Spark Compute>Cómputo.
    • Seleccione el grupo recién creado del nuevo entorno.
    • Puede configurar los núcleos y la memoria del controlador y de los ejecutores.
  7. Seleccione una versión del runtime para el entorno. Vea aquí los runtimes disponibles.
  8. Haga clic en Guardar y Publicar cambios.

Obtenga más información sobre la creación y el uso de un Entorno.

Captura de pantalla que muestra el entorno personalizado.

Contenido relacionado

  • Last updated on