Descobrir dados

O Azure Databricks fornece um conjunto de ferramentas e produtos que simplificam a descoberta de ativos de dados acessíveis por meio da Plataforma de Inteligência de Dados Databricks. Este artigo fornece uma visão geral opinativa de como você pode descobrir e visualizar dados que já foram configurados para acesso em seu espaço de trabalho.

• Para se conectar a fontes de dados, consulte Conectar-se a fontes de dados e serviços externos.
• Para obter informações sobre como obter acesso a dados no Databricks Marketplace, consulte O que é o Databricks Marketplace?.

Os tópicos desta seção se concentram na exploração de objetos de dados e arquivos de dados. Se você estiver procurando informações sobre como trabalhar com ativos como blocos de anotações, consultas SQL, bibliotecas e modelos, consulte Interface do usuário do espaço de trabalho.

Se você estiver procurando orientação sobre como gerar estatísticas de resumo para conjuntos de dados ou outras tarefas associadas à análise exploratória de dados (EDA), consulte Análise exploratória de dados no Azure Databricks: ferramentas e técnicas.

Como você pode descobrir ativos de dados?

As ferramentas de descoberta de dados no Azure Databricks se enquadram nas seguintes categorias gerais:

• Insights, resumo e pesquisa assistidos por IA.
• Pesquisa por palavra-chave.
• Exploração do catálogo usando a interface do usuário.
• Listagem programática e exploração de metadados.

As ferramentas de descoberta de dados são otimizadas para dados regidos pelo Unity Catalog. Os ativos de dados que não foram registrados como objetos do Unity Catalog podem não ser detetáveis usando algumas dessas abordagens.

Localizar dados usando a interface do usuário

• Génio: Navegue pelos recursos partilhados consigo, pesquise por nome, faça perguntas sobre dados em linguagem natural e filtre por domínio. Veja Usar a interface do Génio.
• Página Discover: Uma experiência de navegação curada que lhe permite explorar ativos de dados organizados por domínios. Os curadores podem destacar os ativos-chave da sua organização, e os consumidores podem navegar por domínio ou tipo de ativo. Consulte a página Descobrir, domínios e subdomínios.
• Explorador de Catálogos: Fornece ferramentas para explorar e gerir ativos de dados. Acede ao Explorador de Catálogos usando o Catalogar na barra lateral do espaço de trabalho. Utilize o separador Insights para saber como os dados estão a ser utilizados no seu espaço de trabalho. Veja O que é o Explorador de Catálogos? e Veja consultas frequentes e utilizadores de uma tabela.
  • Notebooks e editor SQL: Também fornecem um navegador de catálogo para explorar objetos da base de dados. Clique no ícone Catálogo na barra lateral do editor para expandir ou colapsar o navegador de catálogos sem sair do editor de código.

Explore dados programaticamente

Você pode usar o SHOW comando em todos os objetos de banco de dados para descobrir ativos registrados no Unity Catalog. Use o LIST comando, o %fs comando magic ou Databricks Utilities para listar arquivos.

Consulte Explorar armazenamento e localizar arquivos de dados e Explorar objetos de banco de dados.

Rever comentários de dados

Você pode revisar os comentários para saber mais sobre o conteúdo dos conjuntos de dados disponíveis em sua casa do lago. Os comentários podem ser definidos em objetos de dados, incluindo catálogos, esquemas, tabelas e colunas. Você pode exibir comentários no Catalog Explorer ou usando o DESCRIBE comando para um objeto.

O Catalog Explorer pode fornecer comentários gerados por IA para tabelas, o que torna mais fácil para os proprietários de ativos de dados fornecer uma visão geral avançada dos conjuntos de dados. Consulte Adicionar comentários gerados por IA a objetos do Catálogo Unity.

Os usuários também podem, opcionalmente, fornecer comentários sobre tabelas e outros objetos de banco de dados usando markdown, que é renderizado no Gerenciador de Catálogos. Consulte Adicionar comentários a dados e ativos de IA.

Procure mesas na sua casa no lago

Você pode usar a barra de pesquisa no Azure Databricks para localizar tabelas registradas no Unity Catalog. Você pode executar uma pesquisa por palavra-chave ou usar a pesquisa semântica para localizar conjuntos de dados ou colunas relacionados à sua consulta de pesquisa. A pesquisa retorna apenas resultados para tabelas que você tem permissão para ver. Pesquisar nomes de tabelas, nomes de colunas, comentários de tabelas e comentários de colunas. Consulte Pesquisar objetos de espaço de trabalho.