Diagnóstico OneLake

O diagnóstico OneLake proporciona visibilidade de ponta a ponta sobre como os dados são acedidos e utilizados em todo o seu ambiente Fabric. Permite às organizações responder a questões críticas como "quem acedeu a quê, quando e como", apoiando a governação de dados, análise operacional e relatórios de conformidade.

Quando ativa o diagnóstico OneLake ao nível do espaço de trabalho, transmite os eventos de acesso aos dados como logs em formato JSON para um lakehouse à sua escolha, dentro da mesma capacidade. Pode transformar estes registos em tabelas Delta prontas para análise, para que as suas equipas possam construir painéis e relatórios que acompanhem padrões de utilização, itens mais acedidos e tendências ao longo do tempo.

Como todos os dados no Fabric são unificados no OneLake, os diagnósticos ao nível do espaço de trabalho fornecem um registo consistente e fiável da atividade dos dados, independentemente de como ou onde os dados são consumidos. Este registo inclui:

• Ações do usuário na experiência da Web do Fabric
• Acesso programático via APIs, pipelines e mecanismos de análise
• Atalhos entre diferentes espaços de trabalho, com eventos capturados a partir do espaço de trabalho de origem

Essa abordagem de registo unificado garante que, mesmo quando os dados são acedidos através de atalhos ou entre diferentes espaços de trabalho, a visibilidade é preservada.

Os eventos de diagnóstico são capturados para fontes de Fabric e não-Fabric. Para acesso através da Interface do Utilizador da Fabric e das APIs do Blob ou do Azure Data Lake Storage (ADLS), todas as operações são registadas. Para acesso a workloads do Fabric, é registado que o acesso temporário foi concedido, permitindo investigação mais detalhada nos logs específicos do motor. Esta abordagem garante registos eficientes, mantendo ao mesmo tempo a visibilidade sobre como os dados são consumidos em toda a sua organização.

Exemplos de cenários suportados pelo diagnóstico OneLake

• Investigação de segurança: Rastreie quais utilizadores acederam a modelos semânticos sensíveis, quando e de onde para identificar tentativas de acesso não autorizadas ou padrões invulgares.
• Solução de problemas de desempenho: diagnostique problemas de latência ou falha correlacionando eventos de diagnóstico com ações do usuário ou interações do sistema.
• Análise de utilização e otimização: Compreender quais os modelos semânticos que são mais frequentemente acedidos, por quem e com que frequência para apoiar a governação de dados e a otimização de recursos.
• Monitoramento de integração: Monitore sistemas externos interagindo com o OneLake (via APIs ou conectores), garantindo que as integrações estejam funcionando conforme o esperado e diagnosticando problemas quando eles surgirem.

Configurar diagnósticos OneLake

Pré-requisitos

• Crie uma casa no lago para armazenar eventos de diagnóstico OneLake.
• A casa do lago deve estar na mesma capacidade que os espaços de trabalho para os quais pretende ativar diagnósticos.
• Se o espaço de trabalho usar ligações privadas para proteção de rede de entrada, deve estar dentro da mesma rede virtual que o lakehouse.
• Deve ser administrador do espaço de trabalho onde está a ativar os diagnósticos do OneLake, e um colaborador no lakehouse de destino.

Ativar o diagnóstico OneLake

Use as seguintes etapas para habilitar o diagnóstico do OneLake:

1. Abra as configurações do espaço de trabalho.
2. Navegue até a guia Configurações do OneLake.
3. Ativar Adicionar eventos de diagnóstico a um lakehouse para Ligado.
4. Selecione a casa do lago onde quer armazenar os eventos de diagnóstico.

Ativar registos de diagnóstico imutáveis

Pode tornar os eventos de diagnóstico OneLake imutáveis, o que significa que ninguém pode manipular ou eliminar os ficheiros JSON que contenham eventos de diagnóstico durante o período de retenção de imutabilidade. A imutabilidade do diagnóstico do OneLake baseia-se na capacidade de armazenamento imutável do Armazenamento de Blobs do Azure. Para mais informações, consulte Armazenar dados de blobs críticos para o negócio com armazenamento imutável num estado WORM (write once, read many).

A imutabilidade não introduz cargas adicionais, mas afeta o tempo que os dados de diagnóstico permanecem armazenados. Como os ficheiros não podem ser eliminados durante o período de imutabilidade, os custos de armazenamento aumentam à medida que novos eventos de diagnóstico são escritos. Para controlar o crescimento do armazenamento, planeie um processo de limpeza que remova ficheiros assim que o período de imutabilidade terminar. Para mais informações, consulte Gerir a retenção de registos de diagnóstico.

Configuras o período de imutabilidade no espaço de trabalho que contém o lago de diagnóstico. O período de imutabilidade aplica-se a todos os eventos armazenados neste espaço de trabalho.

1. Introduza o período de imutabilidade necessário.
2. Selecione Aplicar.

Gerir a retenção de registos de diagnóstico

Para limitar o espaço de armazenamento dos seus registos de diagnóstico, execute um trabalho de limpeza agendado que apague ficheiros mais antigos do que o seu requisito de retenção.

Qualquer ferramenta que possa autenticar para o OneLake funciona. Por exemplo:

• Um caderno de Fabric agendado (PySpark ou Python) que enumera o caminho Files/DiagnosticLogs/OneLake/Workspaces/<WorkspaceId>/y=YYYY/m=MM/d=DD/... e apaga pastas mais antigas do que o seu período de retenção.
• Um pipeline de dados que utiliza atividades Get Metadata e Delete sobre a mesma estrutura de pastas.
• Um trabalho personalizado que chama diretamente as APIs ADLS Gen2 ou OneLake.

Quando os registos de diagnóstico imutáveis estão ativados, a sua tarefa de limpeza tem de evitar eliminar ficheiros que ainda se encontrem dentro do respetivo período de imutabilidade. Três padrões funcionam bem:

• Alinhe a retenção com o período de imutabilidade. O período de imutabilidade é fixo para todos os ficheiros no espaço de trabalho, e o caminho da pasta (y=YYYY/m=MM/d=DD/h=HH/m=00) indica-lhe a idade de cada ficheiro. Se definires o teu período de retenção para ser maior do que o período de imutabilidade e apagares pela idade da pasta, nunca tocas num ficheiro que ainda é imutável.
• Verifique a data de expiração da imutabilidade do blob. Get Blob Properties retorna x-ms-immutability-policy-until-date (e x-ms-immutability-policy-mode) quando uma política é definida no blob. Ignore qualquer ficheiro cuja data limite ainda esteja no futuro.
• Torna o trabalho tolerante a erros. A tentativa de apagar um ficheiro que ainda se encontra dentro da sua janela de imutabilidade falha com HTTP 409 Conflict e o código de erro BlobImmutableDueToPolicy. Detetar a falha, registar o ficheiro e continuar. A execução agendada seguinte processa o ficheiro assim que este fica passível de alteração.

Altere o lakehouse de diagnóstico do OneLake

Pode alterar qual armazém de dados armazena os seus eventos de diagnóstico.

Mudar a casa do lago não afeta os eventos diagnósticos existentes. Eventos de diagnóstico anteriormente capturados permanecem na casa original do lago. Novos eventos são armazenados na casa do lago recém-selecionada.

1. Abra as configurações do espaço de trabalho.
2. Vá para a guia Configurações do OneLake.
3. Selecione Substituir lakehouse.
4. Escolha uma nova casa no lago.

Desativar diagnósticos do OneLake

1. Abra as configurações do espaço de trabalho.
2. Navegue até a guia Configurações do OneLake.
3. Altere Add diagnostic events to a lakehouse para Desligado.

O OneLake guarda a sua informação de diagnóstico sobre a casa do lago. Se voltares a ativar o diagnóstico, usa a mesma casa do lago de antes.

Recomendações de boas práticas

Siga estas recomendações para simplificar a gestão e melhorar o controlo de acessos.

• Use um espaço de trabalho dedicado para registos de diagnóstico. Se ativar diagnósticos em múltiplos espaços de trabalho na mesma capacidade, considere centralizar os registos numa única casa do lago para facilitar a análise. Um espaço de trabalho dedicado isola permissões e impede que cargas de trabalho operacionais interfiram com os dados de auditoria.

Se ativar registos de diagnóstico imutáveis, considere também estas práticas:

• Restrinja os papéis de administrador do espaço de trabalho. Limite os administradores de espaços de trabalho a um pequeno grupo de confiança responsável por configurar a imutabilidade e gerir as definições ao nível do espaço de trabalho. Esta separação de funções impede que qualquer equipa individual gere atividade de diagnóstico e controle o ambiente que armazena os registos.

• Proteja contra a eliminação do espaço de trabalho ou da casa do lago. A imutabilidade impede a eliminação de ficheiros, mas não impede que alguém com as permissões certas apague o espaço de trabalho ou a própria casa do lago. Mantenha a lista de administradores pequena para reduzir o risco de remoção acidental ou intencional.

• Alinhe o período de retenção da imutabilidade com as políticas organizacionais. Escolha um período de imutabilidade que se adeque aos seus requisitos de auditoria, conformidade, legislação e investigação. Como a imutabilidade não pode ser encurtada ou revertida uma vez aplicada, certifique-se de que a janela de retenção reflete as suas verdadeiras obrigações.

• Planeie a limpeza dos troncos depois de expirar a imutabilidade. Agende uma tarefa de limpeza (notebook do Fabric, pipeline de dados ou ferramentas baseadas em API) que elimine ficheiros mais antigos do que o período definido na sua política de retenção, tendo o cuidado de ignorar os ficheiros que ainda se encontrem dentro do respetivo período de imutabilidade. Para mais informações, consulte Gerir a retenção de registos de diagnóstico.

Perguntas mais frequentes (FAQ)

O que acontece se a casa do lago de destino for eliminada?

Se a casa do lago selecionada para diagnóstico for eliminada:

• Todos os espaços de trabalho que apontam para a casa do lago desativam automaticamente o diagnóstico.
• Os dados de diagnóstico previamente capturados não são apagados. Os dados de diagnóstico permanecem no armazenamento da casa do lago apagada até que o próprio espaço de trabalho seja eliminado. Para retomar o diagnóstico, selecione uma nova casa do lago no mesmo espaço de trabalho. O OneLake reativa os diagnósticos, e todos os registos previamente capturados permanecem acessíveis.

O que acontece se o espaço de trabalho for excluído?

• Se um espaço de trabalho for eliminado, os diagnósticos OneLake desse espaço também são eliminados.
• Se o espaço de trabalho for restaurado, os dados de diagnóstico são restaurados.
• Uma vez que o espaço de trabalho é eliminado permanentemente, os eventos de diagnóstico associados também são removidos permanentemente.

O que acontece quando mudo de capacidade?

• Quando se move um espaço de trabalho para outra capacidade, o registo de diagnóstico fica desativado.
• Para reativar o diagnóstico, selecione uma nova casa do lago dentro da nova capacidade.

Como posso apagar registos de diagnóstico depois de expirar o período de imutabilidade?

Quando o período de imutabilidade termina, os ficheiros tornam-se editáveis e elimináveis, para que possa incluí-los no seu próprio processo de retenção. Para abordagens de limpeza recomendadas, consulte Gerir retenção de registos de diagnóstico.

O que acontece quando ativo o BCDR para o espaço de trabalho?

Quando ativa a Continuidade do Negócio e a Recuperação de Desastres (BCDR), os dados de diagnóstico do OneLake são replicados para a região secundária e são acessíveis através das APIs do OneLake caso ocorra um failover.

Posso auditar o diagnóstico da OneLake?

Yes. Quando ativa ou desativa a monitorização do espaço de trabalho, ou atualiza o Lakehouse, o sistema capta um evento ModifyOneLakeDiagnosticSettings nos registos de segurança do Microsoft 365. Este evento permite-lhe auditar alterações às definições de diagnóstico.

Quanto consumo é gerado pelos diagnósticos do OneLake?

Os custos de consumo do diagnóstico OneLake são comparáveis aos diagnósticos do Armazenamento do Azure quando envia dados para uma conta de armazenamento. Para mais informações, consulte consumo do OneLake.

Limitações

O diagnóstico OneLake não é compatível com a proteção de acesso de saída (OAP) do Workspace entre espaços de trabalho. Se precisar que o diagnóstico OneLake e o OAP funcionem em conjunto, deve selecionar uma casa do lago no mesmo espaço de trabalho.

Quando configura os diagnósticos do OneLake, a seleção do espaço de trabalho respeita a configuração do link privado, limitando a sua escolha a espaços de trabalho dentro da mesma rede privada. No entanto, o diagnóstico do OneLake não responde automaticamente às alterações de rede.

Eventos de diagnóstico do OneLake

A pasta DiagnosticLogs na secção Ficheiros de um lakehouse armazena os eventos de diagnóstico do OneLake. Os arquivos JSON são gravados em uma pasta com o seguinte caminho: Files/DiagnosticLogs/OneLake/Workspaces/WorkspaceId/y=YYYY/m=MM/d=DD/h=HH/m=00/PT1H.json

O evento JSON contém os seguintes atributos:

Dados pessoais

Os eventos de diagnóstico do OneLake incluem executingUPN e callerIpAddress. Para redigir estes dados, os administradores de inquilinos podem desativar a definição Incluir identificadores de utilizador final nos registos de diagnóstico do OneLake no Portal de Administração Fabric. Quando desativados, esses campos são excluídos de novos eventos de diagnóstico.

Operations

Operações globais

Operações Blob

Operações DFS

Operações de malha