Pool SQL sem servidor no Azure Synapse Analytics

Cada espaço de trabalho do Azure Synapse Analytics vem com endpoints de pool SQL sem servidor, que pode usar para consultar dados no Azure Data Lake nos formatos Parquet, Delta Lake, texto delimitado, Azure Cosmos DB ou Dataverse.

O pool SQL serverless é um serviço de consulta sobre os dados no seu data lake. Permite-lhe aceder aos seus dados através das seguintes funcionalidades:

• Uma sintaxe T-SQL familiar para consultar dados no local sem necessidade de copiar ou carregar dados para um armazenamento especializado. Para saber mais, veja a secção Suporte de T-SQL .
• Conectividade integrada através da interface T-SQL que oferece uma ampla gama de business intelligence e ferramentas de consulta ad-hoc, incluindo os drivers mais populares. Para saber mais, veja a secção Ferramentas de cliente. Pode saber mais no Vídeo de Introdução aos Conjuntos de SQL sem Servidor do Synapse.

O pool SQL sem servidor é um sistema de processamento de dados distribuído, construído para dados em grande escala e funções computacionais. O pool SQL sem servidor permite que você analise seu Big Data em segundos ou minutos, dependendo da carga de trabalho. Graças à tolerância a falhas de execução de consultas integrada, o sistema oferece alta confiabilidade e taxas de sucesso, mesmo para consultas de longa execução envolvendo grandes conjuntos de dados.

O pool SQL é sem servidor, portanto, não há infraestrutura para configurar nem clusters para manter. É fornecido um ponto final predefinido para este serviço em cada área de trabalho do Azure Synapse, para que possa começar a consultar dados assim que a área de trabalho for criada.

Não há cobrança para os recursos reservados. Você está sendo cobrado apenas pelos dados processados pelas consultas que você executa, portanto, este modelo é um verdadeiro modelo de pagamento por uso.

Se você usar o Apache Spark for Azure Synapse em seu pipeline de dados, para preparação, limpeza ou enriquecimento de dados, poderá consultar tabelas externas do Spark criadas no processo, diretamente do pool SQL sem servidor. Use Private Link para trazer o seu endpoint de pool SQL sem servidor para a sua rede virtual de espaço de trabalho gerida gerenciada.

Benefícios do pool SQL sem servidor

Se você precisar explorar dados no data lake, obter insights deles ou otimizar seu pipeline de transformação de dados existente, poderá se beneficiar do uso do pool SQL sem servidor. É adequado para os seguintes cenários:

• Descoberta e exploração básicas - Raciocine rapidamente sobre os dados em vários formatos (Parquet, CSV, JSON) em seu data lake, para que você possa planejar como extrair insights deles.
• Data warehouse lógico – Fornece uma abstração relacional sobre os dados brutos ou díspares, sem necessidade de realocar ou transformar os dados, permitindo assim uma visão sempre atualizada dos dados. Saiba mais sobre como criar um armazém de dados lógico.
• Transformação de dados - Maneira simples, escalável e eficiente de transformar dados no lago usando T-SQL, para que possam ser alimentados para BI e outras ferramentas ou carregados em um armazenamento de dados relacional (bancos de dados Synapse SQL, Banco de Dados SQL do Azure, etc.).

Diferentes funções profissionais podem se beneficiar do pool SQL sem servidor:

• Os engenheiros de dados podem explorar o lago, transformar e preparar dados usando esse serviço e simplificar seus pipelines de transformação de dados. Para obter mais informações, consulte este tutorial.
• Os cientistas de dados podem raciocinar rapidamente sobre o conteúdo e a estrutura dos dados no lago, graças a recursos como OPENROWSET e inferência automática de esquema.
• Os Analistas de Dados podem explorar dados e tabelas externas do Spark criadas por Cientistas de Dados ou Engenheiros de Dados usando a linguagem T-SQL familiar ou suas ferramentas favoritas, que podem se conectar ao pool SQL sem servidor.
• Os profissionais de BI podem criar rapidamente relatórios do Power BI sobre os dados nas tabelas lake e Spark.

Como começar a usar o pool SQL sem servidor

Em todos os espaços de trabalho do Azure Synapse é fornecido um endpoint de pool SQL serverless. Você pode criar um espaço de trabalho e começar a consultar dados instantaneamente usando ferramentas com as quais está familiarizado.

Certifique-se de que está a aplicar as melhores práticas para obter o melhor desempenho.

Ferramentas do cliente

O pool SQL sem servidor permite que as ferramentas de consulta ad-hoc SQL existentes e de business intelligence aproveitem o data lake. Como fornece uma sintaxe T-SQL familiar, qualquer ferramenta capaz de estabelecer uma conexão TDS com ofertas SQL pode ligar-se e consultar o Synapse SQL. Você pode se conectar ao Azure Data Studio e executar consultas ad-hoc ou conectar-se ao Power BI para obter informações em questão de minutos.

Suporte de T-SQL

O pool SQL sem servidor oferece área de superfície de consulta T-SQL, que é ligeiramente aprimorada/estendida em alguns aspetos para acomodar experiências em torno da consulta de dados semiestruturados e não estruturados. Além disso, alguns aspetos da linguagem T-SQL não são suportados devido ao design do pool SQL sem servidor, como exemplo, a funcionalidade DML não é suportada no momento.

• A carga de trabalho pode ser organizada usando conceitos familiares:
• Os bancos de dados - um endpoint de pool SQL sem servidor pode conter vários bancos de dados.
• Esquemas - Dentro de um banco de dados, pode haver um ou vários grupos de propriedade de objetos chamados esquemas.
• Vistas, procedimentos armazenados, funções de valor de tabela incorporadas
• Recursos externos – fontes de dados, formatos de arquivo e tabelas

A segurança pode ser imposta usando:

• Inícios de sessão e utilizadores
• Credenciais para controlar o acesso a contas de armazenamento
• Conceder, negar e revogar permissões por nível de objeto
• Integração com o Microsoft Entra

T-SQL suportado:

• A superfície completa de SELECT é suportada, incluindo a maioria das funções SQL.
• CETAS - CRIAR TABELA EXTERNA COMO Declarações DDL relacionadas apenas com opiniões e segurança O pool SQL sem servidor não tem armazenamento local, apenas objetos de metadados são armazenados em bancos de dados. Portanto, o T-SQL relacionado aos seguintes conceitos não é suportado: Tabelas Acionadores Visões materializadas Declarações DDL, exceto aquelas relacionadas com opiniões e segurança Declarações DML Nota As consultas de pool SQL sem servidor têm um tempo limite. Para obter mais informações sobre o tempo limite de consulta que pode afetar sua carga de trabalho, consulte Restrições do sistema do pool SQL sem servidor. No momento, não é possível alterar o tempo limite. Extensões Para permitir uma experiência fluida para consultas diretamente de dados que residem em arquivos no data lake, o pool SQL sem servidor estende a função OPENROWSET existente, adicionando os seguintes recursos: Consultar vários arquivos ou pastas Consultar formato de ficheiro PARQUET Formato DELTA de consulta Vários formatos de texto delimitados (com terminador de campo personalizado, terminador de linha, caracteres de escape) Repositório analítico do Azure Cosmos DB Ler um subconjunto de colunas escolhido Inferência de esquema função de nome de arquivo função filepath Trabalhar com tipos complexos e estruturas de dados aninhadas ou repetidas Segurança O pool SQL sem servidor oferece mecanismos para proteger o acesso aos seus dados. Integração com o Microsoft Entra e autenticação multifator O pool SQL sem servidor permite gerenciar centralmente identidades de usuários de banco de dados e outros serviços da Microsoft com a integração do Microsoft Entra. Esta capacidade simplifica a gestão de permissões e melhora a segurança. O Microsoft Entra ID suporta autenticação multifator (MFA) para aumentar a segurança de dados e aplicativos e, ao mesmo tempo, oferecer suporte a um processo de logon único. Autenticação A autenticação de pool SQL sem servidor refere-se ao modo como os utilizadores provam a sua identidade ao se conectar ao endpoint. Há suporte para dois tipos de autenticação: Autenticação do SQL Este método de autenticação utiliza um nome de utilizador e uma palavra-passe. Autenticação do Microsoft Entra: Esse método de autenticação usa identidades gerenciadas pelo Microsoft Entra ID. Para usuários do Microsoft Entra, a autenticação multifator pode ser habilitada. Utilize a autenticação do Active Directory (segurança integrada) sempre que possível. Autorização A autorização refere-se ao que um usuário pode fazer em um banco de dados de pool SQL sem servidor e é controlada pelas associações de função de banco de dados e permissões de nível de objeto da sua conta de usuário. Se a Autenticação SQL for usada, o usuário SQL existirá somente no pool SQL sem servidor e as permissões terão como escopo os objetos no pool SQL sem servidor. O acesso a objetos protegíveis em outros serviços (como o Armazenamento do Azure) não pode ser concedido diretamente ao usuário SQL, pois ele só existe no escopo do pool SQL sem servidor. O usuário SQL precisa usar um dos tipos de autorização com suporte para acessar os arquivos. Se a autenticação do Microsoft Entra for usada, um usuário poderá entrar no pool SQL sem servidor e em outros serviços, como o Armazenamento do Azure, e conceder permissões ao usuário do Microsoft Entra. Acesso a contas de armazenamento Um usuário conectado ao serviço de pool SQL sem servidor deve ser autorizado a acessar e consultar os arquivos no Armazenamento do Azure. O pool SQL sem servidor oferece suporte aos seguintes tipos de autorização: A assinatura de acesso compartilhado (SAS) fornece acesso delegado a recursos na conta de armazenamento. Com uma SAS, você pode conceder aos clientes acesso a recursos na conta de armazenamento, sem compartilhar chaves de conta. Uma SAS oferece controle granular sobre o tipo de acesso concedido aos clientes que têm a SAS: intervalo de validade, permissões concedidas, intervalo de endereços IP aceitável, protocolo aceitável (https/http). A Identidade do Usuário (também conhecida como "passagem") é um tipo de autorização em que a identidade do usuário do Microsoft Entra que fez login no pool SQL sem servidor é usada para autorizar o acesso aos dados. Antes de acessar os dados, o administrador do Armazenamento do Azure deve conceder permissões ao usuário do Microsoft Entra para acessar os dados. Esse tipo de autorização usa o usuário do Microsoft Entra que fez login no pool SQL sem servidor, portanto, não é suportado para tipos de usuário SQL. Identidade do espaço de trabalho é um tipo de autorização em que a identidade do espaço de trabalho Synapse é usada para autorizar o acesso aos dados. Antes de acessar os dados, o administrador do Armazenamento do Azure deve conceder permissões à identidade do espaço de trabalho para acessar os dados. Acesso ao Azure Cosmos DB Você precisa criar uma credencial ao nível do servidor ou com abrangência no banco de dados com a chave de leitura única da conta do Azure Cosmos DB para aceder ao repositório analítico do Azure Cosmos DB. Próximos passos Informações adicionais sobre a ligação ao endpoint e a consulta de arquivos podem ser encontradas nos seguintes artigos: Conecte-se ao seu endpoint Consultar os seus ficheiros