O que é o protocolo de compartilhamento OpenSharing Databricks-to-Open?

Esta página apresenta uma visão geral de como os provedores podem usar o protocolo OpenSharing Databricks-to-Open Sharing para compartilhar dados do seu espaço de trabalho do Azure Databricks com o Unity Catalog habilitado com qualquer usuário, em qualquer plataforma de computação, em qualquer lugar. Se você for um destinatário de dados (um usuário ou grupo de usuários com os quais os dados estão sendo compartilhados), consulte, em vez disso, os dados do Access compartilhados com você usando o OpenSharing (para destinatários).

Quem deve usar o protocolo de compartilhamento OpenSharing Databricks-to-Open?

Há três maneiras de compartilhar dados usando o OpenSharing:

  1. O protocolo de compartilhamento Databricks-to-Open, abordado neste artigo, permite compartilhar dados que você gerencia em um espaço de trabalho do Databricks com o Unity Catalog habilitado com usuários em qualquer plataforma de computação.

    Essa abordagem usa o servidor OpenSharing integrado ao Azure Databricks e é útil quando você gerencia dados usando o Catálogo do Unity e deseja compartilhá-los com usuários que não usam o Databricks ou não têm acesso a um workspace do Databricks habilitado para catálogo do Unity. A integração com o Catálogo do Unity no lado do provedor simplifica a configuração e a governança para provedores.

  2. Uma implementação gerenciada pelo cliente do servidor OpenSharing de código aberto permite compartilhar de qualquer plataforma para outra, seja Databricks ou não.

    Consulte o projeto de código aberto.

  3. O protocolo de compartilhamento Databricks-to-Databricks permite que você compartilhe dados do seu workspace habilitado para o Unity Catalog com usuários que também têm acesso a um workspace do Databricks habilitado para o Unity Catalog.

    Veja O que é o protocolo OpenSharing Databricks-to-Databricks?.

Para obter uma introdução ao OpenSharing e mais informações sobre essas três abordagens, consulte o que é o OpenSharing?.

Fluxo de trabalho de compartilhamento OpenSharing Databricks-to-Open

Esta seção apresenta uma visão geral do fluxo de trabalho de compartilhamento do Databricks para Open, com links para a documentação detalhada de cada etapa.

No modelo de compartilhamento OpenSharing Databricks-to-Open:

  1. O provedor de dados cria um destinatário, que é um objeto nomeado que representa um usuário ou grupo de usuários com o qual o provedor de dados quer compartilhar dados.

    Quando o provedor de dados cria o destinatário, o provedor configura a autenticação usando um token de portador de longa duração ou uma federação OIDC (Open ID Connect). Se o provedor usar um token de portador, o Azure Databricks gerará um arquivo de credencial e um link de ativação que o provedor de dados pode enviar ao destinatário para acessar o arquivo de credencial. No fluxo de federação OIDC, o IdP do destinatário gerencia a autenticação, com base em uma política criada pelo provedor.

    Para obter detalhes, consulte Criar um objeto de destinatário para usuários que não são do Databricks usando tokens de portador (compartilhamento Databricks-to-Open) ou a federação Enable Open ID Connect (OIDC) para destinatários do OpenSharing.

  2. O provedor de dados cria um share, que é um objeto nomeado que contém uma coleção de tabelas registradas em um metastore do Unity Catalog na conta do provedor.

    Para obter detalhes, consulte Criar compartilhamentos para OpenSharing.

  3. O provedor de dados concede ao destinatário o acesso ao compartilhamento.

    Para obter detalhes, consulte Gerenciar o acesso aos compartilhamentos de dados do OpenSharing (para provedores).

  4. No fluxo de token de portador, o provedor de dados envia o link de ativação para o destinatário por um canal seguro, juntamente com instruções para usar o link de ativação para baixar o arquivo de credencial que o destinatário usará para estabelecer uma conexão segura com o provedor de dados para receber os dados compartilhados.

    Para obter detalhes, consulte Obter o link de ativação.

    No fluxo de federação OIDC, os destinatários se autenticam por meio de seu IdP. Consulte Habilitar federação OpenID Connect (OIDC) para destinatários do OpenSharing.

  5. No fluxo de token de portador, o destinatário de dados segue o link de ativação para baixar o arquivo de credencial e, em seguida, usa o arquivo de credencial para acessar os dados compartilhados.

    Os dados compartilhados estão disponíveis apenas para leitura. Os usuários podem acessar os dados usando sua plataforma ou ferramentas que escolherem. Para obter detalhes, consulte Ler dados compartilhados usando o compartilhamento OpenSharing Databricks-to-Open com tokens de portador.

    No fluxo de federação OIDC, os destinatários se autenticam por meio de seu IdP. Consulte Habilitar federação OpenID Connect (OIDC) para destinatários do OpenSharing.

Configurações específicas do provedor

Muitos provedores têm suas próprias redes opensharing para compartilhamento. Para obter instruções de compartilhamento específicas, consulte, por exemplo:

Tokens de nuvem e acesso baseado em diretório

Quando você compartilha tabelas Delta qualificadas usando o compartilhamento Databricks-to-Open, Azure Databricks retorna o local de armazenamento em nuvem da tabela juntamente com credenciais de nuvem temporárias (tokens de nuvem) que os destinatários podem usar para ler dados diretamente do armazenamento em nuvem. Isso é chamado de modo de acesso baseado em diretório e faz parte do protocolo de compartilhamento Databricks-to-Open. Ele é habilitado por padrão para ativos compartilhados recentemente que atendem aos requisitos de elegibilidade. Se uma tabela compartilhada não atender a todos os requisitos, os destinatários usarão o acesso de URL pré-assinado normalmente.

Para obter requisitos de qualificação e considerações de privacidade de dados, consulte a qualificação do token de nuvem.

Configuração do provedor e considerações de segurança para o compartilhamento do Databricks para Open

Um bom gerenciamento de token é fundamental para compartilhar dados com segurança quando você usa o modelo de compartilhamento Databricks-to-Open:

  • Os provedores de dados no Azure Databricks que pretendem usar o compartilhamento Databricks-to-Open ao criar compartilhamentos devem configurar o tempo de validade padrão do token do destinatário ao habilitar o Open Sharing para o metastore do Unity Catalog. O Databricks recomenda que você configure os tokens para que eles expirem. Consulte Habilitar o OpenSharing em um metastore.
  • Se precisar modificar o tempo de vida do token padrão, consulte Modificar o tempo de vida do token de destinatário.
  • Incentive os destinatários a gerenciar o arquivo de credencial baixado com segurança.
  • Para obter mais informações sobre o gerenciamento de tokens e a segurança de compartilhamento do Databricks para Abrir, consulte Gerenciar tokens de destinatário.
  • O compartilhamento Databricks-to-Open é compatível entre todos os tipos de ambientes de nuvem.

Os provedores de dados podem fornecer segurança adicional atribuindo listas de acesso IP para restringir o acesso de destinatários a locais de rede específicos. Consulte Restringir o acesso do destinatário do OpenSharing usando listas de acesso IP (compartilhamento do Databricks para Abrir).

  • Last updated on