Avaliar erros nos modelos de machine learning

Um dos maiores desafios com as práticas atuais de depuração de modelos é o uso de métricas agregadas para avaliar modelos em um conjunto de dados de parâmetro de comparação. A precisão do modelo pode não ser uniforme entre subgrupos de dados, e pode haver coortes de entrada para as quais o modelo falha com mais frequência. Essas falhas levam à falta de confiabilidade e segurança, à aparência de problemas de imparcialidade e à perda de confiança no aprendizado de máquina completamente.

A análise de erro se afasta das métricas de precisão de agregação. Ela expõe a distribuição de erros aos desenvolvedores de modo transparente e permite que eles identifiquem e façam o diagnóstico de erros com eficiência.

O componente Análise de Erros do painel de IA Responsável fornece aos profissionais de aprendizado de máquina uma compreensão mais profunda da distribuição de falhas do modelo e os ajuda a identificar rapidamente coortes de dados errôneas. Esse componente identifica as coortes de dados com uma taxa de erro mais alta em comparação com a taxa de erro de referência geral. Contribui para a etapa de identificação do fluxo de trabalho do ciclo de vida do modelo por meio de:

• Uma árvore de decisão que revela coortes com altas taxas de erro.
• Um mapa de calor que mostra como os recursos de entrada afetam a taxa de erros entre coortes.

Podem ocorrer discrepâncias nos erros quando o sistema apresenta baixo desempenho para grupos demográficos específicos ou coortes de entrada raramente observadas nos dados de treinamento.

Os recursos desse componente vêm do pacote Análise de Erros, que gera perfis de erro de modelo.

Use a Análise de Erro quando precisar:

• Compreender profundamente como as falhas do modelo são distribuídas em um conjunto de dados e em várias dimensões de entradas e recursos.
• Divida as métricas de desempenho agregado para descobrir automaticamente coortes errôneas para que você possa executar as etapas de mitigação direcionadas.

Árvore de erros

Os padrões de erro geralmente são complexos e envolvem mais de um ou dois recursos. Você pode ter dificuldade em explorar todas as combinações possíveis de recursos para descobrir bolsões de dados ocultos com falhas críticas.

Para aliviar a carga, a visualização de árvore binária particiona automaticamente os dados de parâmetro de comparação em subgrupos interpretáveis que têm taxas de erro inesperadamente altas ou baixas. Em outras palavras, a árvore usa os recursos de entrada para separar ao máximo o erro do modelo do sucesso. Para cada nó que define um subgrupo de dados, você pode investigar as seguintes informações:

• Taxa de erro: a parte das instâncias do nó para a qual o modelo está incorreto. A visualização mostra esse valor pela intensidade da cor vermelha.
• Cobertura de erro: uma parte de todos os erros que se enquadram no nó. A visualização mostra esse valor por meio da taxa de preenchimento do nó.
• Representação de dados: o número de instâncias em cada nó da árvore de erros. A visualização mostra esse valor por meio da espessura da borda de entrada do nó, juntamente com o número total real de instâncias no nó.

Mapa de calor de erro

Essa visualização segmenta os dados com base em uma grade unidimensional ou bidimensional de características de entrada. Você pode escolher as características de entrada de seu interesse para análise.

O mapa de calor visualiza células com erro alto usando uma cor vermelha mais escura para chamar sua atenção para essas regiões. Esse recurso é especialmente útil quando os temas de erro são diferentes entre partições, o que acontece muito na prática. Nesta exibição de identificação de erro, seus conhecimentos ou hipóteses orientam a análise e ajudam você a entender quais recursos podem ser mais importantes para entender falhas.

Próximas etapas

• Saiba como gerar o Painel de IA responsável por meio da CLI e do SDK ou da interface do usuário do Estúdio do Azure Machine Learning.
• Explore as visualizações de análise de erro com suporte.
• Saiba como gerar um scorecard de IA responsável com base nos insights observados no dashboard de IA responsável.