Registrazione automatica in Microsoft Fabric

Synapse Data Science in Microsoft Fabric include l'autologging automatico, riducendo significativamente la quantità di codice necessaria per registrare automaticamente i parametri, le metriche e gli elementi di un modello di machine learning durante l'addestramento. Questo articolo descrive l'autologging per Synapse Data Science in Microsoft Fabric.

Autologging estende le funzionalità di MLflow Tracking ed è completamente integrato nell'esperienza di data science di Synapse in Microsoft Fabric. L'assegnazione automatica può acquisire varie metriche, tra cui accuratezza, perdita, punteggio F1 e metriche personalizzate definite. Usando l'assegnazione automatica di tag, gli sviluppatori e i data scientist possono tenere traccia e confrontare facilmente le prestazioni di modelli e esperimenti diversi senza tracciare manualmente.

Framework supportati

La registrazione automatica supporta un'ampia gamma di framework di apprendimento automatico, tra cui TensorFlow, PyTorch, Scikit-learn e XGBoost. Per maggiori informazioni sulle proprietà specifiche del framework che acquisisce automaticamente i tag, vedere la documentazione di MLflow.

Impostazione

La registrazione automatica funziona acquisendo automaticamente i valori dei parametri di input, delle metriche di output e degli elementi di output di un modello di apprendimento automatico durante l'addestramento. Queste informazioni vengono registrate nell'area di lavoro Microsoft Fabric, in cui è possibile accedervi e visualizzarla usando le API MLflow o gli elementi dell'esperimento e del modello corrispondenti nell'area di lavoro Microsoft Fabric.

Quando si avvia un notebook Synapse di data science, Microsoft Fabric chiama mlflow.autolog() per abilitare immediatamente il monitoraggio e caricare le dipendenze corrispondenti. Durante il training dei modelli nel notebook, MLflow tiene traccia automaticamente di queste informazioni sul modello.

La configurazione viene eseguita automaticamente in background quando si esegue import mlflow. La configurazione predefinita per l'hook mlflow.autolog() del notebook è:

mlflow.autolog(
    log_input_examples=False,
    log_model_signatures=True,
    log_models=True,
    log_datasets=True,
    log_traces=True,
    disable=False,
    exclusive=True,
    disable_for_unsupported_versions=True,
    silent=True,
    extra_tags=None,
    exclude_flavors=None
)

Personalizzazione

Per personalizzare il comportamento di registrazione, usare la configurazione mlflow.autolog(). Questa configurazione fornisce parametri per abilitare la registrazione del modello, raccogliere esempi di input, configurare avvisi o abilitare la registrazione per il contenuto aggiunto specificato.

Tenere traccia di altre metriche, parametri e proprietà

Per le esecuzioni create usando MLflow, aggiornate la configurazione di registrazione automatica di MLflow per tenere traccia di metriche, parametri, file e metadati aggiuntivi:

1. Aggiornare la chiamata a mlflow.autolog() per impostare exclusive=False.

       mlflow.autolog(
       log_input_examples=False,
       log_model_signatures=True,
       log_models=True,
       log_datasets=True,
       log_traces=True,
       disable=False,
       exclusive=False, # Update this property to enable custom logging
       disable_for_unsupported_versions=True,
       silent=True,
       extra_tags=None,
       exclude_flavors=None
   )
   

2. Usare le API di rilevamento MLflow per registrare parametri e metriche aggiuntive. Il codice di esempio seguente illustra come registrare le metriche e i parametri personalizzati insieme a proprietà aggiuntive.

   import mlflow
   mlflow.autolog(exclusive=False)
   
   with mlflow.start_run():
     mlflow.log_param("parameter name", "example value")
     # <add model training code here>
     mlflow.log_metric("metric name", 20)
   

Disabilitare il logging automatico di Microsoft Fabric

È possibile disabilitare l'autologging di Microsoft Fabric per una sessione specifica di notebook. È anche possibile disabilitare l'autologging in tutti i notebook usando le impostazioni dell'area di lavoro.

Disabilitare l'assegnazione automatica di tag per una sessione del notebook

Per disabilitare il logging automatico di Microsoft Fabric per una sessione specifica del notebook, chiamare mlflow.autolog() e configurare disable=True.

import mlflow
mlflow.autolog(disable=True)

Disabilitare la registrazione automatica per tutti i notebook e le sessioni

Gli amministratori dell'area di lavoro possono abilitare o disabilitare l'autologging di Microsoft Fabric per tutti i notebook e le sessioni nell'area di lavoro usando le impostazioni dell'area di lavoro. Per abilitare o disabilitare l'autologging di Synapse Data Science:

1. Nell'area di lavoro selezionare Impostazioni area di lavoro.

   

2. In Impostazioni area di lavoro espandere Progettazione dati/Scienza sulla barra di spostamento a sinistra e selezionare Impostazioni Spark.

3. Nelle impostazioni di Spark selezionare la scheda Log automatico .

4. Impostare Rilevamento automatico di esperimenti e modelli di apprendimento automatico su Attivato o Disattivato.

5. Seleziona Salva.

   

Contenuto correlato

• Creare un modello di machine learning con Apache Spark MLlib
• Esperimenti di apprendimento automatico in Microsoft Fabric