Início Rápido: Obter dados no OneLake

OneLake é o único data lake unificado para Microsoft Fabric. Cada carga de trabalho Fabric lê e grava dados por meio do OneLake, portanto, você só precisa carregar dados uma vez para usá-los em todos os lugares. Você pode trazer dados para o OneLake de várias maneiras:

  • Carregue arquivos diretamente em um lakehouse ou warehouse.
  • Ingerir dados usando pipelines, fluxos de dados ou experiências de streaming.
  • Conecte-se a dados externos usando atalhos ou espelhamento.

Neste guia de início rápido, você adicionará dados ao OneLake de duas maneiras: fará upload de um arquivo CSV para um lakehouse e criará um atalho do OneLake em um segundo lakehouse que aponta para os mesmos dados sem copiá-los. Ao terminar, você terá uma tabela Delta consultável e um atalho, ambos disponíveis para todos os mecanismos do Fabric por meio do OneLake.

Pré-requisitos

Criar uma casa no lago

Quando você cria um item do Fabric, como um lakehouse, um warehouse ou um eventhouse, esse item provisiona armazenamento no OneLake em seu nome. Neste início rápido, você cria uma lakehouse, que fornece uma área de arquivo (Arquivos) para dados não estruturados ou semiestruturados e uma área de tabela Delta (Tabelas) para dados estruturados e que podem ser consultados. Tudo o que você coloca em qualquer área é armazenado no OneLake e imediatamente acessível a outras cargas de trabalho Fabric.

  1. Entre no portal Fabric e selecione seu workspace.

  2. Selecione Novo item.

  3. No painel Novo item , pesquise e selecione Lakehouse.

  4. Insira um nome, como DataLakehouse, em seguida, selecione Criar.

    O lakehouse abre na exibição Explorer, que mostra as seções Tables e Files vazias. Ambas as seções já são apoiadas pelo OneLake e estão prontas para conteúdo.

Carregar dados de exemplo

Neste início rápido, você usará Dim_Products.csv de um conjunto de dados de exemplo de Fabric disponível publicamente. É uma pequena tabela de informações do produto de um varejista de café de exemplo.

  1. Abra um navegador e acesse https://fabrictutorialdata.blob.core.windows.net/sampledata/Coffee/Dim_Products.csv.
  2. Quando solicitado, salve o arquivo como Dim_Products.csv em uma pasta no seu computador.

Nesta seção, você carrega Dim_Products.csv para Arquivos para que você tenha dados brutos de origem no OneLake. A área Arquivos de um lakehouse é uma zona de armazenamento de uso geral no OneLake. Considere-a como a zona de destino para dados brutos em qualquer formato que ele chegue. Você pode adicionar CSV, JSON, Parquet, imagens, logs ou qualquer outra coisa sem precisar primeiro definir um esquema.

  1. No Lakehouse Explorer, passe o mouse sobre Arquivos, selecione o menu de ... Mais opções e, em seguida, selecione Carregar>Carregar arquivos.

  2. No painel Carregar arquivos, selecione o ícone de pasta e procure Dim_Products.csv no seu computador.

  3. Selecione Carregar e feche o painel de carregamento.

  4. Selecione a pasta Arquivos para ver seu conteúdo e confirme se ele Dim_Products.csv é exibido.

  5. Selecione Dim_Products.csv para ver seus dados.

    Uma captura de tela do portal Fabric que mostra dados CSV não estruturados na seção Arquivos de um lakehouse.

O arquivo agora reside no OneLake, mas como um CSV bruto ainda não é algo que SQL ou Spark pode consultar como uma tabela.

Carregar o arquivo em uma tabela Delta

O Fabric adota o Delta Lake como formato de tabela no OneLake. Quando você carrega um arquivo na área Tables, Fabric lê o arquivo de origem, infere um esquema e grava os dados como uma tabela Delta. Desse ponto em diante, cada mecanismo de Fabric pode consultar a mesma tabela sem que você copie ou converta os dados novamente.

  1. No Lakehouse Explorer, abra a pasta Files.

  2. Passe o mouse sobre o Dim_Products.csv arquivo e selecione o menu mais opções (...) e, em seguida, selecione Carregar em Tabelas>Nova tabela.

  3. Na caixa de diálogo Carregar na tabela , insira dim_products o nome da tabela, mantenha os padrões e selecione Carregar.

  4. Após a conclusão da carga, expanda Tabelas e selecione dim_products para visualizar as linhas. O CSV bruto em Arquivos permanece inalterado e dim_products é uma nova tabela Delta criada a partir dela.

    Uma captura de tela que mostra dados estruturados da tabela Delta na seção Tabelas de um lakehouse.

  5. Passe o mouse dim_products e selecione o menu mais opções (...) e selecione Propriedades.

    A tela Properties mostra os vários detalhes da tabela, incluindo a URL e o caminho do ABFS (Sistema de Arquivos de Blobs) Azure que você pode usar para referenciar essa tabela em outros mecanismos.

Reutilize os dados com um atalho de um segundo lakehouse

Uma forma de inserir dados no OneLake é fazendo upload e carregamento. O outro padrão de chave é referenciar dados que já existem em outro lugar, sem duplicá-los. É isso que um atalho é: um ponteiro no OneLake que faz referência a dados armazenados em outro lakehouse, em outro workspace do Fabric ou em fontes compatíveis fora do Fabric, como Azure Data Lake Storage ou Amazon S3. Os dados não são copiados; ele permanece no local de origem, mas você pode lê-lo por meio do OneLake como se fosse local. Todas as atualizações na origem são imediatamente visíveis por meio do atalho, portanto, você não precisa manter cópias dos dados.

Nesta seção, você criará uma segunda lakehouse e adicionará nela um atalho de volta para a tabela dim_products em sua primeira lakehouse. Isso reflete como as equipes normalmente trabalham, em que uma equipe é responsável pelos dados curados, e outras equipes ou projetos os consomem por meio de atalhos nos seus próprios espaços de trabalho.

  1. No seu espaço de trabalho, selecione Novo item.
  2. No painel Novo item , pesquise e selecione Lakehouse.
  3. Insira um nome, como ShortcutLakehouse, em seguida, selecione Criar.
  4. No Explorer do novo lakehouse, passe o mouse sobre Tabelas, selecione o menu de mais opções (...) e, em seguida, selecione Novo atalho.
  5. Na página Novo atalho, em fontes Internal, selecione Microsoft OneLake.
  6. No navegador da fonte de dados, selecione o primeiro lakehouse que você fez para este início rápido e selecione Avançar.
  7. Expanda Tabelas, selecione a dim_products tabela e selecione Avançar.
  8. Examine a seleção e selecione Criar.
  9. Expanda Tabelas em ShortcutLakehouse e confirme que dim_products aparece com um ícone de atalho (uma pequena imagem de link sobre o ícone da tabela). Selecione-o para visualizar as linhas. A tabela é a mesma que na lakehouse original, mas nenhum dado foi copiado.
  10. Passe o mouse sobre a dim_products tabela, selecione mais opções (...) e, em seguida, selecione Gerenciar Atalho. No painel Gerenciar atalho , você pode exibir os detalhes do atalho, incluindo o destino de atalho em que os dados originais são armazenados.

Limpar os recursos

Se você não planeja continuar para os outros inícios rápidos do OneLake, exclua as casas de lago para evitar encargos de armazenamento do OneLake contra sua capacidade de Fabric.

  1. No seu espaço de trabalho, passe o cursor sobre o lakehouse que você deseja excluir.
  2. Selecione o menu mais opções (...) ao lado do lakehouse, selecione Excluir e confirme a exclusão.

A exclusão dos lakehouses também remove o conteúdo contido neles: o arquivo carregado, a dim_products tabela Delta e o atalho.

Conteúdo relacionado

  • Last updated on