Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
Microsoft OneLake é um data lake unificado para toda a sua organização. Cada locatário Microsoft Fabric inclui automaticamente o OneLake e é o único lugar para todos os seus dados de análise. É um repositório central onde você pode armazenar, gerenciar e controlar todos os seus dados para cargas de trabalho de análise e IA em toda a organização.
O OneLake é baseado em Azure Data Lake Storage e armazena tabelas no formato Delta Parquet ou Iceberg, dois padrões abertos que qualquer ferramenta pode ler. Essa abordagem significa que seus dados não estão bloqueados em formatos proprietários.
O OneLake fornece:
- Armazenamento de dados unificado para toda a organização com governança e segurança internas
- Uma cópia dos dados a serem usados com vários mecanismos analíticos sem duplicação
- Conectividade flexível por meio do explorador de arquivos, APIs do ADLS Gen2 e integrações de serviço Azure
- Proteção e monitoramento de dados com redundância interna, recuperação de desastre e diagnóstico de acesso
Armazenamento de dados unificado
Antes do OneLake, as organizações geralmente criavam vários lagos para diferentes grupos de negócios, o que levava a uma sobrecarga extra para gerenciar vários recursos. Essa abordagem siloed dificultou a colaboração entre equipes, reduziu a velocidade dos projetos de dados e aumentou o risco de duplicação.
O OneLake resolve esses desafios dando a você um ponto central de acesso a dados para toda a organização. Cada locatário Fabric vem com uma única instância do OneLake. Você não pode excluir o OneLake ou criar vários OneLakes e não há infraestrutura para provisionar ou gerenciar. Departamentos, equipes e projetos podem armazenar ou se conectar a seus dados neste lago unificado e organizá-los usando domínios Fabric, subdomínios e workspaces , cada um com seu próprio administrador. Esse modelo mantém a propriedade de dados e permite a governança federada, ao mesmo tempo em que permite que os usuários autorizados descubram e usem dados sem atritos.
Gerenciado centralmente com propriedade distribuída
Os dados no Fabric estão organizados na seguinte hierarquia para organização e governança:
- Locatário: as políticas de nível de locatário protegem automaticamente todos os dados que chegam ao OneLake para segurança, conformidade e gerenciamento de dados.
- Workspace: você pode criar qualquer número de workspaces em seu locatário para organizar seus dados. Os workspaces permitem que diferentes partes da organização distribuam políticas de propriedade e acesso. Cada workspace faz parte de uma capacidade vinculada a uma região específica e cobrada separadamente.
- Itens de dados: espaços de trabalho contêm itens de dados, como lakehouses, warehouses, eventhouses e bancos de dados KQL. Cada tipo de item é criado para cargas de trabalho específicas, como análise baseada em Spark, consultas T-SQL, streaming em tempo real e muito mais.
Para obter mais informações, confira Workspaces.
Descobrir e governar com o catálogo do OneLake
O catálogo do OneLake é o único local para os profissionais de dados e usuários empresariais descobrirem, gerenciarem e controlarem os dados que possuem e poderem acessar no OneLake.
Os usuários podem filtrar por domínio, espaço de trabalho, tipo de item, endossos e muito mais para localizar exatamente o que precisam, e cada item de dados é enriquecido por metadados, como descrições, proprietários, esquema, linhagem de dados e métricas de uso.
Os proprietários de dados podem obter informações e ações recomendadas para melhorar a qualidade e a conformidade dos dados, incluindo visibilidade sobre a cobertura dos rótulos de confidencialidade, marcação, endossos e localização dos dados.
Para obter mais informações, consulte o catálogo do OneLake.
Segurança
O modelo de segurança do OneLake permite que você compartilhe dados amplamente sem expor informações confidenciais. Usando funções de segurança do OneLake, você pode definir permissões granulares em itens de dados, até pastas, tabelas ou até mesmo linhas e colunas específicas. Por exemplo, você pode compartilhar um conjunto de dados de vendas com uma equipe, mas restringir o acesso à coluna Cost ou permitir que um parceiro veja apenas as linhas nas quais Region = "US". O OneLake armazena essas funções e as impõe automaticamente em todas as experiências de análise. Portanto, se um usuário tiver acesso a apenas parte de um conjunto de dados, essa regra se aplicará se ele consultar via SQL, executar um notebook Spark ou exibir um relatório Power BI. OneLake garante que eles vejam apenas o que eles têm permissão para ver.
Essa abordagem unificada de segurança significa que os usuários não precisam manter permissões separadas em diferentes mecanismos. Isso também significa que os proprietários originais dos dados sempre mantêm o controle sobre quem pode acessar a fonte de dados, mesmo que os dados sejam transferidos para um lakehouse ou workspace pertencente a outra pessoa.
Você pode aplicar rótulos de confidencialidade a itens do OneLake exatamente como faria a um documento, e esses rótulos impõem restrições de criptografia ou acesso mesmo se os dados forem exportados para Excel ou outra ferramenta. Da mesma forma, as políticas de prevenção contra perda de dados (DLP) podem detectar uploads ou downloads de dados confidenciais do OneLake e evitar ou alertar sobre possíveis vazamentos de dados.
Para obter mais informações, consulte Introdução à proteção de seus dados no OneLake.
Uma cópia dos dados
Todos os mecanismos de análise de Fabric funcionam com dados diretamente no OneLake. Você não precisa copiar dados para usá-los com outro mecanismo ou analisar dados de várias fontes.
Atalhos
Um atalho é uma referência aos dados armazenados em outros locais de arquivo. Esses locais de arquivo podem estar dentro do mesmo workspace, um workspace diferente no OneLake ou externo ao OneLake. Você pode usar atalhos para OneLake, Azure Data Lake Storage, Azure Blob Storage, Amazon S3 e fontes compatíveis com S3, fontes compatíveis com Iceberg, Microsoft Dataverse, fontes locais e muito mais. Independentemente do local, os atalhos fazem com que os arquivos e as pastas pareçam estar armazenados localmente.
Os atalhos permitem que sua organização unifique dados entre nuvens e domínios sem copiá-los. As equipes podem trabalhar de forma independente em espaços de trabalho separados e usar atalhos para compartilhar dados entre si, em vez de duplicá-los. Por exemplo, uma equipe pode criar um atalho para um conjunto de dados no workspace de outra equipe ou em um bucket S3 externo e combinar esses dados com os próprios no OneLake. O atalho aponta para a origem, portanto, quando os dados de origem são atualizados, essas alterações são imediatamente visíveis por meio do OneLake. Dessa forma, você pode criar produtos virtuais ou exibições que reúnem dados de vários grupos empresariais para atender a uma necessidade específica, sem mover ou duplicar os dados. Usando transformações de atalho, você pode até mesmo aplicar alterações automáticas aos dados, como converter o formato de dados ou remover informações de identificação pessoal (PII).
Para obter mais informações sobre como usar atalhos, confira Atalhos do OneLake.
Mirroring
O espelhamento em Fabric é uma solução de baixo custo e baixa latência que replica continuamente dados de vários sistemas no OneLake. Você pode se conectar com segurança a uma fonte de dados externa e espelhar automaticamente (copiar) bancos de dados ou tabelas selecionados no formato aberto do OneLake, mantendo-os em sincronia quase em tempo real. Os dados espelhados são armazenados como Delta Parquet no OneLake, de modo que ficam imediatamente prontos para análise por qualquer mecanismo do Fabric.
O espelhamento dá suporte a fontes como Banco de Dados SQL do Azure, Azure Cosmos DB, Banco de Dados do Azure para PostgreSQL, Azure Databricks (Catálogo do Unity), Floco de Neve e muito mais. As alterações na origem são propagadas continuamente, de modo que sua cópia no OneLake permanece atualizada sem processos manuais de ETL. Você pode executar relatórios de análise, IA ou Power BI sobre dados novos sem consultar diretamente a fonte de produção.
Para obter mais informações, consulte o que é espelhamento em Fabric?
Colaborar em vários mecanismos analíticos
Os mecanismos analíticos do Fabric (T-SQL, Apache Spark, Analysis Services e outros) armazenam todos os dados no OneLake no formato aberto Delta Parquet. Essa padronização permite que você use os mesmos dados em vários mecanismos. Você não precisa copiar dados apenas para usá-los com outro mecanismo ou se sentir preso ao uso de um mecanismo específico, pois é aí que seus dados estão.
Por exemplo, uma equipe de engenheiros do SQL cria um data warehouse totalmente transacional. Eles usam o mecanismo T-SQL para criar tabelas, transformar dados e carregar os dados em tabelas. Se um cientista de dados quiser usar esses dados, ele poderá anexar um bloco de anotações spark ao OneLake e ler essas tabelas diretamente. Como o OneLake armazena as tabelas no formato Delta, o Spark pode carregá-las sem conectores especiais ou exportações de dados. As consultas SQL e os trabalhos do Spark operam em uma cópia dos dados no OneLake.
Além disso, os usuários empresariais podem criar relatórios Power BI sobre o OneLake usando o modo Direct Lake no mecanismo do Analysis Services. O modo Direct Lake é um modo de acesso a dados que carrega e atualiza grandes volumes de dados rapidamente sem fazer uma cópia. Para obter mais informações, consulte a visão geral do Direct Lake.
Interoperabilidade de formatos de tabela abertos
O OneLake dá suporte aos formatos de tabela Delta Lake e Apache Iceberg por meio da virtualização de metadados. Esse recurso gera automaticamente metadados virtuais para que as tabelas Iceberg possam ser lidas como tabelas Delta Lake em todas as cargas de trabalho do Fabric, e para que as tabelas Delta Lake possam ser lidas por leitores Iceberg externos. Você pode escrever tabelas iceberg diretamente no OneLake ou criar atalhos para tabelas iceberg armazenadas externamente, e o OneLake as disponibiliza para todos os mecanismos Fabric sem conversão manual. Da mesma forma, qualquer tabela Delta Lake no OneLake pode ser acessada por serviços compatíveis com Iceberg, como Snowflake.
Para obter mais informações, consulte Usar tabelas do Iceberg com o OneLake.
Conectar-se ao OneLake
Você pode acessar dados do OneLake no portal Fabric, Windows, ferramentas de Azure existentes ou qualquer aplicativo que dê suporte a APIs do ADLS Gen2.
Explorador de arquivos do OneLake para Windows
Você pode explorar dados do OneLake de Windows usando o gerenciador de arquivos do OneLake para Windows. Você pode navegar por todos os seus espaços de trabalho e itens de dados, carregando, baixando ou modificando arquivos com facilidade, exatamente como faz no Office. O explorador de arquivos do OneLake simplifica o trabalho com data lakes para que até mesmo usuários de negócios sem conhecimento técnico possam usá-los.
Para obter mais informações, confira Explorador de arquivos do OneLake.
APIs e SDKs do ADLS Gen2
O OneLake dá suporte a APIs e SDKs do ADLS (Azure Data Lake Storage) Gen2, para que você possa usar aplicativos ADLS Gen2 existentes. Cada workspace aparece como um contêiner e os itens de dados aparecem como pastas dentro desses contêineres. Para obter mais informações, consulte o acesso e as APIs do OneLake.
Como o OneLake é compatível com aplicativos do ADLS Gen2, você pode se conectar ao OneLake a partir dos serviços do Azure. Por exemplo:
Proteção e monitoramento de dados
O OneLake inclui funcionalidades internas para manter seus dados seguros e dar visibilidade de como eles estão sendo usados.
Recuperação de desastre e proteção de dados
O OneLake protege automaticamente seus dados com redundância interna. Em regiões que dão suporte a zonas de disponibilidade, o OneLake usa o ZRS (armazenamento com redundância de zona) para replicar dados em vários datacenters. Em outras regiões, ele usa LRS (armazenamento com redundância local). Para obter proteção adicional contra interrupções em toda uma região, você pode habilitar a continuidade de negócios e a recuperação de desastres (BCDR) em uma capacidade para geo-replicar seus dados para uma região pareada do Azure. O OneLake também dá suporte à exclusão reversível, que retém arquivos excluídos por sete dias para que você possa se recuperar de exclusões acidentais.
Para obter mais informações, consulte Recuperação de desastre e proteção de dados para o OneLake.
Diagnostics
O diagnóstico do OneLake fornece visibilidade de como os dados são acessados e usados em seu ambiente de Fabric. Quando você habilita os diagnósticos no nível do workspace, isso transmite eventos de acesso a dados na forma de logs para um lakehouse. Você pode rastrear quem acessou quais dados, quando e como. Esse registro em log abrange ações do usuário na interface do usuário Fabric, acesso programático por meio de APIs e mecanismos de análise e acesso entre espaços de trabalho por meio de atalhos.
Para obter mais informações, consulte o diagnóstico do OneLake.