Configure o OpenSharing para a sua conta (para os fornecedores)

Esta página descreve como configurar o OpenSharing no Azure Databricks para fornecedores de dados (organizações que querem usar o OpenSharing para partilhar dados de forma segura).

Se for um destinatário de dados (uma organização que recebe dados partilhados através do OpenSharing), veja Ler dados partilhados usando Databricks-to-Databricks OpenSharing (para destinatários).

A configuração inicial do provedor inclui as seguintes etapas:

1. Ative o OpenSharing numa metastore do Unity Catalog.
2. (Opcional) Instale a CLI do Unity Catalog.
3. Conceda privilégios para criar e gerenciar compartilhamentos e destinatários.
4. Configure o time-to-live (TTL) da materialização de dados.
5. Configure o acesso à rede de armazenamento.

Requirements

Como fornecedor de dados que está a configurar a sua conta Azure Databricks para poder partilhar dados, deve ter:

• Pelo menos um espaço de trabalho do Azure Databricks que esteja ativado para o Unity Catalog.

  Não precisa de migrar todos os seus espaços de trabalho para o Unity Catalog para tirar partido do suporte Databricks para fornecedores OpenSharing. Veja Preciso do Unity Catalog para usar o OpenSharing?.

  Os destinatários não precisam ter um espaço de trabalho habilitado para Catálogo Unity.

• Função de administrador de conta para ativar o OpenSharing na sua metastore do Unity Catalog.

• Função de administrador do Metastore ou os privilégios CREATE SHARE e CREATE RECIPIENT. Consulte Administradores da Metastore.

  Note

  Se seu espaço de trabalho foi habilitado para o Unity Catalog automaticamente, talvez você não tenha um administrador de metastore. No entanto, os administradores de espaço de trabalho nesses espaços de trabalho têm os privilégios de CREATE SHARE e CREATE RECIPIENT no metastore por padrão.

  Para mais informações, consulte Introdução ao Unity Catalog e privilégios de administrador do espaço de trabalho quando os espaços de trabalho são ativados automaticamente para o Unity Catalog.

• Uma configuração de armazenamento em nuvem que permite o acesso à rede a partir do destinatário.

Ativar o OpenSharing numa metastore

Não precisa de ativar o OpenSharing na sua metastore se pretende usar o OpenSharing apenas para partilhar dados com utilizadores noutros metastores do Unity Catalog na sua conta. A partilha entre metastores numa única conta do Azure Databricks está ativada por predefinição.

Caso contrário, siga estes passos para cada metastore do Catálogo Unity que gere dados que planeia partilhar usando OpenSharing.

1. Como administrador de conta do Azure Databricks, inicie sessão na consola da conta.

2. Na barra lateral, clique no Catálogo.

3. Clique no nome de um metastore para abrir seus detalhes.

4. Assinala a caixa ao lado de Permitir Partilha Aberta com partes fora da sua organização.

5. Configure o tempo de vida do token de destinatário.

   Essa configuração define o período de tempo após o qual todos os tokens de destinatário expiram e devem ser regenerados. Os tokens destinatários são usados apenas no protocolo de partilha Databricks-to-Open . Os tokens são válidos por um máximo de um ano após a criação.

   Note

   O tempo de vida do token de destinatário para destinatários existentes não é atualizado automaticamente quando você altera o tempo de vida do token de destinatário padrão para um metastore. Para aplicar um novo tempo de vida do token a um determinado destinatário, você deve girar o token dele. Consulte Gerenciar tokens de destinatário.

   Para definir o tempo de vida do token de destinatário padrão:

   1. Confirme se a configuração de expiração está ativada (isto é o padrão).
   2. Insira um número de segundos, minutos, horas ou dias e selecione a unidade de medida. Os tokens são válidos por um máximo de um ano após a criação.
   3. Clique em Ativar.

   Para obter mais informações, consulte Considerações de segurança para tokens.

6. Ao compartilhar com um destinatário do Azure Databricks que não esteja em sua conta, insira um nome da organização.

   Note

   Especificar um nome de organização legível ajuda os destinatários a identificar seus provedores de compartilhamento e os objetos de provedor correspondentes na lista de provedores do destinatário.

7. Clique em Ativar.

(opcional) Instalar a CLI do catálogo Unity

Para gerenciar compartilhamentos e destinatários, você pode usar o Gerenciador de Catálogos, comandos SQL ou a CLI do Catálogo Unity. A CLI corre no teu ambiente local e não requer recursos de computação do Azure Databricks.

Para instalar a CLI, consulte Databricks CLI.

Conceder permissão para criar e gerenciar compartilhamentos e destinatários

Os administradores da Metastore têm a capacidade de criar e gerenciar compartilhamentos e destinatários, incluindo a concessão de compartilhamentos aos destinatários. Muitas tarefas do provedor podem ser delegadas por um administrador de metastore usando os seguintes privilégios:

• CREATE SHARE no metastore concede a capacidade de criar compartilhamentos.
• CREATE RECIPIENT no metastore é concedida a capacidade de criar destinatários.
• USE RECIPIENT oferece a capacidade de listar e visualizar detalhes de todos os beneficiários no metastore.
• USE SHARE no metastore concede a capacidade de listar e visualizar detalhes de todos os compartilhamentos no metastore.
• USE RECIPIENT, USE SHARE, e SET SHARE PERMISSION combinados dão ao usuário a capacidade de conceder acesso de compartilhamento aos destinatários.
• O administrador da metastore tem a capacidade de transferir a propriedade de qualquer ação.
• Os proprietários de compartilhamentos e os destinatários podem atualizar esses objetos e conceder compartilhamentos aos destinatários. Os criadores de objetos recebem propriedade por padrão, mas a propriedade pode ser transferida.
• Os proprietários de compartilhamentos podem adicionar tabelas e volumes aos compartilhamentos, desde que tenham acesso SELECT às tabelas e READ VOLUME acesso aos volumes.

Para detalhes, consulte a referência de privilégios do Catálogo Unity e as permissões listadas para as tarefas OpenSharing descritas.

Configurar TTL de materialização de dados

Como administrador de conta Azure Databricks ou metastore, pode configurar o TTL da materialização de dados, que determina quanto tempo um resultado materializado fica armazenado em cache. As materializações ocorrem quando um destinatário consulta visualizações dinâmicas compartilhadas, exibições materializadas, tabelas de streaming e tabelas estrangeiras. Por padrão, o TTL é de oito horas. O cache em si será removido por materialização após mais três horas, fornecendo tempo extra para que as consultas existentes sejam concluídas.

Para alterar esse valor, faça o seguinte:

1. No seu espaço de trabalho do Azure Databricks, clique no Catálogo para abrir o Catalog Explorer.

2. No topo do painel de Catálogo , clique no ícone de engrenagem e selecione OpenSharing.

   Alternativamente, no canto superior direito, clique em Partilhar > OpenSharing.

3. No separador Partilhado comigo , clique no nome da sua organização no canto superior direito.

4. Clique no canto superior direito Ícone de engrenagem.

5. Para TTL de Materialização, insira o valor TTL desejado.

Permitir o acesso da rede ao armazenamento

Se o armazenamento em nuvem subjacente estiver configurado com controles de acesso, adicione a rede do destinatário à lista de permissões para que ele possa ler tabelas compartilhadas.

Para mais detalhes, consulte Configurar firewalls e redes virtuais do Armazenamento do Azure e Configurar um perímetro de segurança de rede Azure para recursos Azure.

Passos seguintes

• Crie uma partilha
• Partilhe dados usando a partilha Databricks-para-Databricks
• Partilhe dados usando o protocolo de partilha Databricks-to-Open
• Auditoria Auditoria e monitorização da partilha de dados