Aprendizagem automática no Azure Databricks

Construa, implemente e gere aplicações de aprendizagem automática no Azure Databricks. A plataforma integrada unifica todo o ciclo de vida do ML, desde a preparação de dados até à monitorização de produção.

Procura IA generativa e agentes de IA? Veja Construir agentes de IA em Azure Databricks.

Introdução

Experimente um quickstart, prepare os seus dados ou construa um modelo low-code.

Guide Description
Comece: Construa o seu primeiro modelo de aprendizagem automática em Databricks Constrói um modelo de classificação simples com o scikit-learn de ponta a ponta.
AutoML Crie automaticamente modelos de alta qualidade com o mínimo de código usando engenharia de recursos automatizada e ajuste de hiperparâmetros.
Carregar dados para machine learning e deep learning Carregue e prepare dados para fluxos de trabalho de ML e deep learning.
Modelos de recomendação de comboios Treine um modelo de recomendação com a arquitetura de duas torres ou DLRM.

Treinar modelos clássicos de aprendizado de máquina

Crie modelos de aprendizado de máquina com ferramentas automatizadas e ambientes de desenvolvimento colaborativo.

Feature Description
Tempo de execução do Databricks para ML Clusters pré-configurados com scikit-learn, XGBoost, MLflow e outras bibliotecas de ML, além de suporte para frameworks de deep learning.
Rastreamento de MLflow Acompanhe experimentos, compare o desempenho do modelo e gerencie todo o ciclo de vida de desenvolvimento do modelo.
Engenharia de recursos Crie, gere e disponibilize funcionalidades com pipelines de dados automatizados e descoberta de funcionalidades.
Notebooks Databricks Ambiente de desenvolvimento colaborativo com suporte para Python, R, Scala e SQL em fluxos de trabalho de ML.

Treinar modelos de aprendizagem profunda

Utilize computação gerida e frameworks incorporados para desenvolver modelos de aprendizagem profunda.

Feature Description
Formação distribuída Exemplos de aprendizagem profunda distribuída usando Ray, TorchDistributor e DeepSpeed.
Runtime de IA Computação com GPU serverless para treino personalizado de deep learning e cargas de inferência.
Boas práticas de DL Orientação para a escolha de frameworks, carregamento de dados, escalabilidade distribuída e gestão do ciclo de vida do modelo de aprendizagem profunda.
PyTorch Formação de nó único e distribuída usando PyTorch.

Implantar e servir modelos

Implante modelos na produção com endpoints escaláveis, inferência em tempo real e monitoramento de nível empresarial.

Feature Description
Serviço de Modelos Implante modelos personalizados e LLMs como pontos de extremidade REST escaláveis com escalonamento automático e suporte a GPU.
Gateway de IA Governar e monitorizar o acesso a modelos servidos no Azure Databricks com rastreamento de utilização, registo de payload e controlos de segurança.
Modelos externos Integre modelos de terceiros hospedados fora do Databricks com governança e monitoramento unificados.
APIs de modelo de base Acesse e consulte modelos abertos de última geração hospedados pelo Databricks.

Monitorar e controlar sistemas de ML

Garanta a qualidade do modelo, a integridade dos dados e a conformidade com ferramentas abrangentes de monitoramento e governança.

Feature Description
Catálogo Unity Controle dados, recursos, modelos e funções com controle de acesso unificado, rastreamento de linhagem e descoberta.
Definição de perfis de dados Monitore a qualidade dos dados, o desempenho do modelo e o desvio de previsão com alertas automatizados e análise de causa raiz.
Deteção de anomalias Monitore a atualização e integridade dos dados no nível do catálogo.
MLflow para modelos Acompanhar experiências, gerir modelos no Unity Catalog, implementar e avaliar modelos de aprendizagem automática ao longo do ciclo de vida do desenvolvimento.

Produzir fluxos de trabalho de ML

Dimensione operações de aprendizado de máquina com fluxos de trabalho automatizados, integração de CI/CD e pipelines prontos para produção.

Feature Description
Modelos no Unity Catalog Use o registro do modelo no Unity Catalog para governança centralizada e para gerenciar o ciclo de vida do modelo, incluindo implantações.
Empregos em Lakeflow Crie fluxos de trabalho automatizados e pipelines ETL prontos para produção para processamento de dados de ML.
Ray em Databricks Dimensione cargas de trabalho de ML com computação distribuída para treinamento e inferência de modelos em larga escala.
Fluxos de trabalho MLOps Implemente MLOps completos com pipelines automatizados de treinamento, teste e implantação.
  • Last updated on