Configurar o OpenSharing para sua conta (para provedores)

Esta página descreve como configurar o OpenSharing no Azure Databricks para provedores de dados (organizações que desejam usar o OpenSharing para compartilhar dados com segurança).

Se você for um destinatário de dados (uma organização que recebe dados compartilhados usando o OpenSharing), consulte Ler dados compartilhados usando o Databricks-to-Databricks OpenSharing (para destinatários).

A configuração inicial do provedor inclui as seguintes etapas:

1. Habilite o OpenSharing em um metastore no Unity Catalog.
2. (Opcional) Instale a CLI do Catálogo do Unity.
3. Conceda privilégios para criar e gerenciar compartilhamentos e destinatários.
4. Configure o tempo de vida (TTL) da materialização de dados.
5. Configurar o acesso à rede de armazenamento.

Requirements

Como um provedor de dados que está configurando sua conta do Azure Databricks para poder compartilhar dados, você deve ter:

• Pelo menos um workspace do Azure Databricks que esteja habilitado para o Unity Catalog.

  Você não precisa migrar todos os seus workspaces para o Unity Catalog para aproveitar o suporte da Databricks a provedores OpenSharing. Veja Se preciso do Catálogo do Unity para usar o OpenSharing?.

  Os destinatários não precisam ter um espaço de trabalho habilitado no Catálogo do Unity.

• Função de administrador da conta para habilitar o OpenSharing no metastore do Unity Catalog.

• Função de administrador de metastore ou os privilégios CREATE SHARE e CREATE RECIPIENT. Consulte os administradores do Metastore.

  Note

  Se o workspace foi habilitado automaticamente para o Catálogo do Unity, talvez você não tenha um administrador de metastore. No entanto, por padrão, os administradores de workspace nesses workspaces têm os privilégios CREATE SHARE e CREATE RECIPIENT no metastore.

  Para obter mais informações, consulte Introdução ao Catálogo do Unity e aos privilégios de administrador do workspace quando os workspaces são habilitados automaticamente para o Catálogo do Unity.

• Uma configuração de armazenamento em nuvem que permite o acesso à rede do destinatário.

Habilitar o OpenSharing em um metastore

Você não precisa habilitar o OpenSharing em seu metastore se pretende usar o OpenSharing apenas para compartilhar dados com usuários em outros metastores do Catálogo do Unity em sua conta. O compartilhamento de metastore para metastore dentro de uma única conta do Azure Databricks está ativado por padrão.

Caso contrário, siga estas etapas para cada metastore do Catálogo do Unity que gerencia os dados que você planeja compartilhar usando o OpenSharing.

1. Como administrador de conta do Azure Databricks, faça login no console da conta.

2. Na barra lateral, clique no Catálogo.

3. Clique no nome de um metastore para abrir os detalhes dele.

4. Clique na caixa de seleção ao lado de Permitir o OpenSharing com partes fora da sua organização.

5. Configure o tempo de vida do token do destinatário.

   Essa configuração define o período de tempo após o qual todos os tokens de destinatário expiram e devem ser regenerados. Os tokens de destinatário são usados apenas no protocolo de compartilhamento Databricks-to-Open. Os tokens são válidos por um máximo de um ano após a criação.

   Note

   O tempo de vida do token de destinatários existentes não é atualizado automaticamente ao alterar o tempo de vida do token de destinatário padrão para um metastore. Para aplicar um novo tempo de vida de token a um determinado destinatário, é necessário girar o token. Consulte Gerenciar os tokens de destinatário.

   Para definir o tempo de vida do token do destinatário padrão:

   1. Confirme se a expiração de Set está habilitada (esse é o padrão).
   2. Insira um número de segundos, minutos, horas ou dias e selecione a unidade de medida. Os tokens são válidos por um máximo de um ano após a criação.
   3. Clique em Habilitar.

   Para obter mais informações, consulte as considerações de segurança para tokens.

6. Ao compartilhar com um destinatário do Azure Databricks que não está em sua conta, insira um nome de organização.

   Note

   Especificar um nome de organização legível ajuda os destinatários a identificar seus provedores de compartilhamento e os objetos de provedor correspondentes na lista de provedores do destinatário.

7. Clique em Habilitar.

(Opcional) Instalar a CLI do Catálogo do Unity

Para gerenciar compartilhamentos e destinatários, use o Catalog Explorer, comandos SQL ou a CLI do Unity Catalog. A CLI é executada em seu ambiente local e não requer recursos de computação Azure Databricks.

Para instalar a CLI, consulte a CLI do Databricks.

Conceder permissão para criar e gerenciar compartilhamentos e destinatários

Os administradores da Metastore têm a capacidade de criar e gerenciar compartilhamentos e destinatários, incluindo a concessão de compartilhamentos aos destinatários. Muitas tarefas de provedor podem ser delegadas por um administrador de metastore usando os seguintes privilégios:

• CREATE SHARE no metastore concede a capacidade de criar compartilhamentos.
• CREATE RECIPIENT no metastore concede a capacidade de criar destinatários.
• USE RECIPIENT no metastore concede a capacidade de listar e exibir detalhes para todos os destinatários no metastore.
• USE SHARE no metastore concede a capacidade de listar e exibir detalhes de todos os compartilhamentos no metastore.
• USE RECIPIENT, USE SHARE, e SET SHARE PERMISSION combinados dão a um usuário a capacidade de conceder acesso de compartilhamento aos destinatários.
• O administrador do metastore tem a capacidade de transferir a propriedade de qualquer compartilhamento.
• Os proprietários de compartilhamentos e destinatários podem atualizar esses objetos e conceder compartilhamentos aos destinatários. Os criadores de objetos recebem a propriedade por padrão, mas a propriedade pode ser transferida.
• Os proprietários de compartilhamentos podem adicionar tabelas e volumes aos compartilhamentos, desde que tenham o acesso SELECT às tabelas e acesso READ VOLUME aos volumes.

Para obter detalhes, consulte a referência de privilégios do Catálogo do Unity e as permissões listadas para as tarefas de OpenSharing descritas.

Configurar o TTL da materialização de dados

Como administrador de conta do Azure Databricks ou do metastore, você pode configurar o TTL da materialização de dados, que determina por quanto tempo um resultado materializado fica em cache. As materializações ocorrem quando um destinatário consulta exibições dinâmicas compartilhadas, exibições materializadas, tabelas de streaming e tabelas estrangeiras. Por padrão, o TTL é de oito horas. O cache em si será removido por materialização após três horas adicionais, fornecendo tempo extra para que as consultas existentes sejam concluídas.

Para alterar esse valor, faça o seguinte:

1. No workspace Azure Databricks, clique em Catalog para abrir o Catalog Explorer.

2. Na parte superior do painel Catálogo , clique no Ícone de engrenagem e selecione OpenSharing.

   Como alternativa, no canto superior direito, clique em Compartilhar > OpenSharing.

3. Na guia Compartilhado comigo , clique no nome da sua organização no canto superior direito.

4. Clique no superior direito. Ícone de engrenagem.

5. Para TTL de Materialização, insira o valor desejado.

Permitir o acesso à rede para o armazenamento

Se o armazenamento em nuvem subjacente estiver configurado com controles de acesso, adicione a rede do destinatário à lista de permissões para que eles possam ler tabelas compartilhadas.

Para obter detalhes, consulte Configurar firewalls Armazenamento do Azure e redes virtuais e configurar um perímetro de segurança de rede Azure para recursos de Azure.

Próximas Etapas 

• Criar um compartilhamento
• Compartilhar dados usando o compartilhamento Databricks-to-Databricks
• Compartilhar dados usando o protocolo de compartilhamento Databricks-to-Open
• Auditar e monitorar o compartilhamento de dados