Diagnóstico do OneLake

O diagnóstico do OneLake fornece visibilidade de ponta a ponta sobre como os dados são acessados e usados em seu ambiente de Fabric. Ele permite que as organizações respondam a perguntas críticas como "quem acessou o que, quando e como", dando suporte à governança de dados, insights operacionais e relatórios de conformidade.

Quando você habilita o diagnóstico do OneLake no nível do workspace, ele transmite eventos de acesso a dados como logs em JSON para um lakehouse de sua escolha dentro da mesma capacidade. Você pode transformar esses logs em tabelas Delta prontas para análise, para que suas equipes possam criar dashboards e relatórios que acompanham padrões de uso, itens com acesso superior e tendências ao longo do tempo.

Como todos os dados no Fabric são unificados no OneLake, o diagnóstico no nível do workspace fornece um registro consistente e confiável da atividade de dados, independentemente de como ou onde os dados são consumidos. Este registro inclui:

• Ações do usuário na experiência da Web do Fabric
• Acesso programático por meio de APIs, pipelines e mecanismos de análise
• Atalhos entre espaços de trabalho, com eventos capturados no espaço de trabalho de origem

Essa abordagem unificada de registro em log garante que, mesmo quando os dados são acessados por meio de atalhos ou entre espaços de trabalho, a visibilidade seja preservada.

Os eventos de diagnóstico são capturados para fontes Fabric e não-Fabric. Para acesso por meio da interface do usuário do Fabric e das APIs do Blob ou do ADLS (Azure Data Lake Storage), todas as operações são registradas em log. Para acessar cargas de trabalho do Fabric, o sistema registra que o acesso temporário foi concedido, permitindo que você investigue mais a fundo nos logs específicos do motor. Essa abordagem garante o registro em log eficiente, mantendo a visibilidade de como os dados são consumidos em toda a sua organização.

Cenários de exemplo compatíveis com o diagnóstico do OneLake

• Investigação de segurança: acompanhe quais usuários acessaram modelos semânticos confidenciais, quando e de onde identificar tentativas de acesso não autorizadas ou padrões incomuns.
• Solução de problemas de desempenho: diagnosticar problemas de latência ou falha correlacionando eventos de diagnóstico com ações do usuário ou interações do sistema.
• Análise de uso e otimização: entenda quais modelos semânticos são acessados com mais frequência, por quem e com que frequência dar suporte à governança de dados e à otimização de recursos.
• Monitoramento de integração: monitore sistemas externos interagindo com o OneLake (por meio de APIs ou conectores), garantindo que as integrações estejam funcionando conforme o esperado e diagnosticando problemas quando surgirem.

Configurar o diagnóstico do OneLake

Pré-requisitos

• Crie um lakehouse para armazenar eventos de diagnóstico do OneLake.
• O lakehouse deve residir na mesma capacidade que os workspaces para os quais você deseja habilitar o diagnóstico.
• Se o workspace usa links privados para proteção de rede de entrada, ele deve estar dentro da mesma rede virtual que o lakehouse.
• Você deve ser um administrador de workspace para o workspace em que está habilitando o diagnóstico do OneLake e um colaborador para o lakehouse de destino.

Habilitar o diagnóstico do OneLake

Use as seguintes etapas para habilitar o diagnóstico do OneLake:

1. Abra as configurações do workspace.
2. Navegue até a guia de configurações do OneLake.
3. Alternar Adicionar eventos de diagnóstico a um lakehouse para Ativado.
4. Selecione a lakehouse onde você deseja armazenar os eventos de diagnóstico.

Habilitar logs de diagnóstico imutáveis

Você pode tornar os eventos de diagnóstico do OneLake imutáveis, o que significa que ninguém pode adulterar ou excluir os arquivos JSON que contêm eventos de diagnóstico durante o período de retenção de imutabilidade. A imutabilidade de diagnósticos do OneLake é baseada na capacidade de armazenamento imutável para Armazenamento de Blobs do Azure. Para obter mais informações, consulte Armazenar dados de blob críticos para negócios com armazenamento imutável em um estado de gravação única, leitura múltipla (WORM).

A Imutabilidade não apresenta encargos adicionais, mas afeta por quanto tempo os dados de diagnóstico permanecem no armazenamento. Como os arquivos não podem ser excluídos durante o período de imutabilidade, os custos de armazenamento aumentam à medida que novos eventos de diagnóstico são gravados. Para controlar o crescimento do armazenamento, planeje um processo de limpeza que remova arquivos depois que o período de imutabilidade tiver decorrido. Para obter mais informações, consulte Gerenciar retenção de log de diagnóstico.

Você configura o período de imutabilidade no espaço de trabalho que contém o lakehouse de diagnóstico. O período de imutabilidade se aplica a todos os eventos armazenados neste workspace.

1. Insira o período de imutabilidade necessário.
2. Selecione Aplicar.

Gerenciar a retenção de logs de diagnóstico

Para limitar o volume de armazenamento dos logs de diagnóstico, execute um trabalho de limpeza agendado que exclua arquivos mais antigos do que o requisito de retenção.

Qualquer ferramenta que possa se autenticar no OneLake funciona. Por exemplo:

• Um bloco de anotações de Fabric agendado (PySpark ou Python) que enumera o caminho Files/DiagnosticLogs/OneLake/Workspaces/<WorkspaceId>/y=YYYY/m=MM/d=DD/... e exclui pastas mais antigas do que o período de retenção.
• Um pipeline de dados que usa as atividades Obter Metadados e Excluir sobre a mesma estrutura de pastas.
• Um trabalho personalizado que chama diretamente as APIs ADLS Gen2 ou OneLake.

Quando os logs de diagnóstico imutáveis são habilitados, seu trabalho de limpeza precisa evitar a exclusão de arquivos que ainda estão dentro da janela de imutabilidade. Três padrões funcionam bem:

• Alinhe a retenção com o período de imutabilidade. O período de imutabilidade é fixo para todos os arquivos no espaço de trabalho, e o caminho da pasta (y=YYYY/m=MM/d=DD/h=HH/m=00) indica a idade de cada arquivo. Se você definir o período de retenção para ser maior que o período de imutabilidade e excluir com base na idade da pasta, nunca afetará um arquivo que ainda esteja imutável.
• Verifique a expiração do período de imutabilidade no blob. Get Blob Properties retorna x-ms-immutability-policy-until-date (e x-ms-immutability-policy-mode) quando uma política é definida no blob. Ignore qualquer arquivo cuja data-limite ainda esteja no futuro.
• Torne o trabalho tolerante a erros. A tentativa de excluir um arquivo que ainda está dentro de sua janela de imutabilidade falha com o conflito HTTP 409 e o código BlobImmutableDueToPolicyde erro. Pegue a falha, registre o arquivo e continue. A próxima execução agendada escolhe o arquivo quando ele é mutável.

Alterar o lakehouse de diagnóstico do OneLake

Você pode alterar qual lakehouse armazena seus eventos de diagnóstico.

A alteração da casa do lago não afeta os eventos de diagnóstico existentes. Eventos de diagnóstico capturados anteriormente permanecem na lakehouse original. Novos eventos são armazenados na recém-selecionada lakehouse.

1. Abra as configurações do workspace.
2. Vá para a guia de configurações do OneLake.
3. Selecione Substituir lakehouse.
4. Escolha uma nova casa no lago.

Desabilitar o diagnóstico do OneLake

1. Abra as configurações do workspace.
2. Navegue até a guia de configurações do OneLake.
3. Alterne a opção Adicionar eventos de diagnóstico a um lakehouse para Desativado.

O OneLake salva suas informações do diagnostic lakehouse. Se você reativar os diagnósticos, ele usará o mesmo lakehouse de antes.

Recomendações de práticas recomendadas

Siga estas recomendações para simplificar o gerenciamento e melhorar o controle de acesso.

• Utilize um workspace dedicado para logs de diagnóstico. Se os diagnósticos forem habilitados em vários workspaces na mesma capacidade, considere centralizar os logs em um único lakehouse para facilitar a análise. Um workspace dedicado isola as permissões e impede que cargas de trabalho operacionais interfiram nos dados de auditoria.

Se você habilitar logs de diagnóstico imutáveis, considere também estas práticas:

• Restrinja funções de administrador do workspace. Limite os administradores do workspace a um grupo pequeno e confiável responsável por configurar a imutabilidade e gerenciar as configurações no nível do workspace. Essa separação de tarefas impede que qualquer equipe única gere atividade de diagnóstico e controle o ambiente que armazena os logs.

• Proteja-se contra a exclusão do workspace ou da lakehouse. A imutabilidade impede a exclusão de arquivos, mas não impede que alguém com as permissões corretas exclua o espaço de trabalho ou o próprio lakehouse. Mantenha a lista de administradores pequena para reduzir o risco de remoção acidental ou intencional.

• Alinhe o período de retenção de imutabilidade com as políticas organizacionais. Escolha um período de imutabilidade que atenda aos requisitos de auditoria, conformidade, jurídico e investigação. Como a imutabilidade não pode ser reduzida ou revertida uma vez aplicada, verifique se a janela de retenção reflete suas verdadeiras obrigações.

• Planeje a limpeza de logs após a expiração da imutabilidade. Agende um trabalho de limpeza (um notebook do Fabric, um pipeline de dados ou uma ferramenta baseada em API) que exclua arquivos mais antigos do que o período definido pela sua política de retenção, tomando cuidado para ignorar arquivos que ainda estejam dentro da janela de imutabilidade. Para obter mais informações, consulte Gerenciar retenção de log de diagnóstico.

Perguntas frequentes (FAQ)

O que acontece se o lakehouse de destino for excluído?

Se a lakehouse selecionada para diagnóstico for excluída:

• Todos os workspaces que apontam para o lakehouse desabilitam automaticamente o diagnóstico.
• Os dados de diagnóstico capturados anteriormente não são excluídos. Os dados de diagnóstico permanecem no armazenamento do lakehouse excluído até que o espaço de trabalho em si seja excluído. Para retomar o diagnóstico, selecione um novo lakehouse no mesmo espaço de trabalho. O OneLake reabilita o diagnóstico e todos os logs capturados anteriormente permanecem acessíveis.

O que acontece se o workspace for excluído?

• Se um workspace for excluído, o diagnóstico do OneLake para esse workspace também será excluído.
• Se o workspace for restaurado, os dados de diagnóstico serão restaurados.
• Depois que o espaço de trabalho for excluído permanentemente, os eventos de diagnóstico associados também serão removidos permanentemente.

O que acontece quando eu altero as capacidades?

• Quando você move um workspace para uma capacidade diferente, o log de diagnóstico é desabilitado.
• Para habilitar novamente o diagnóstico, selecione uma nova lakehouse dentro da nova capacidade.

Como excluir logs de diagnóstico após o período de imutabilidade expirar?

Depois que o período de imutabilidade é decorrido, os arquivos se tornam editáveis e deletáveis, para que você possa incluí-los em seu próprio processo de retenção. Para ver as abordagens recomendadas de limpeza, consulte Gerenciar a retenção de logs de diagnóstico.

O que acontece quando eu habilite o BCDR para o workspace?

Quando você habilita a BCDR (Continuidade dos Negócios e Recuperação de Desastre), os dados de diagnóstico do OneLake são replicados para a região secundária e podem ser acessados por meio das APIs do OneLake se ocorrer um failover.

Posso auditar o diagnóstico do OneLake?

Sim. Quando você habilita ou desabilita o monitoramento do espaço de trabalho ou atualiza o lakehouse, o sistema captura um evento ModifyOneLakeDiagnosticSettings nos logs de segurança do Microsoft 365. Esse evento permite que você audite as alterações nas configurações de diagnóstico.

Quanto consumo o diagnóstico do OneLake gera?

Os custos de consumo de diagnóstico do OneLake são comparáveis ao diagnóstico do Armazenamento do Azure quando você envia dados para uma conta de armazenamento. Para obter mais informações, consulte o consumo do OneLake.

Limitações

O diagnóstico do OneLake não é compatível com a OAP (proteção de acesso de saída) do Workspace em workspaces. Se você precisar que o diagnóstico do OneLake e o OAP funcionem juntos, é necessário selecionar um lakehouse no mesmo workspace.

Quando você configura o diagnóstico do OneLake, a seleção do workspace respeita a configuração de link privado do workspace limitando sua seleção a workspaces na mesma rede privada. No entanto, o diagnóstico do OneLake não responde automaticamente às alterações de rede.

Eventos de diagnóstico do OneLake

A pasta DiagnosticLogs na seção Arquivos de um lakehouse armazena os eventos de diagnóstico do OneLake. Os arquivos JSON são gravados em uma pasta com o seguinte caminho: Files/DiagnosticLogs/OneLake/Workspaces/WorkspaceId/y=YYYY/m=MM/d=DD/h=HH/m=00/PT1H.json

O evento JSON contém os seguintes atributos:

Dados pessoais

Os eventos de diagnóstico do OneLake incluem executingUPN e callerIpAddress. Para redigir esses dados, os administradores de locatários podem desabilitar a configuração Incluir identificadores de usuário final nos logs de diagnóstico do OneLake no Portal de Administração do Fabric. Quando desabilitados, esses campos são excluídos de novos eventos de diagnóstico.

Operations

Operações globais

Operações de blob

Operações do DFS

Operações de malha