Ingerir dados do Splunk para o Azure Data Explorer

Splunk Enterprise é uma plataforma de software que permite ingerir dados de várias fontes simultaneamente. O indexador Splunk processa os dados e os armazena por padrão no índice principal ou em um índice personalizado especificado. A pesquisa no Splunk usa os dados indexados para criar métricas, dashboards e alertas. O Azure Data Explorer é um serviço de exploração de dados rápido e altamente escalonável para dados telemétricos e de log.

Neste artigo, você aprenderá a usar o complemento Azure Data Explorer Splunk para enviar dados do Splunk para uma tabela em seu cluster. Crie uma tabela e um mapeamento de dados, direcione o Splunk para enviar dados para a tabela e valide os resultados.

Os seguintes cenários são mais adequados para ingerir dados no Azure Data Explorer:

• Dados de alto volume: o Azure Data Explorer foi criado para manipular com eficiência grandes quantidades de dados. Se sua organização gerar um volume significativo de dados que precisa de análise em tempo real, o Azure Data Explorer será uma opção adequada.
• Dados de série temporal: o Azure Data Explorer se destaca no tratamento de dados de série temporal, como logs, dados de telemetria e leituras de sensor. Ele organiza dados em partições baseadas em tempo, facilitando a execução de análises e agregações baseadas em tempo.
• análise em tempo real: se sua organização exigir insights em tempo real dos dados que fluem, os recursos quase em tempo real do Azure Data Explorer poderão ser benéficos.

Pré-requisitos

• Uma conta Microsoft ou uma identidade de usuário do Microsoft Entra. Uma assinatura do Azure não é necessária.
• Um cluster e um banco de dados do Azure Data Explorer. Criar um cluster e um banco de dados.
• Splunk Enterprise 9 ou mais recente.
• Uma entidade de serviço do Microsoft Entra. Crie uma entidade de serviço Microsoft Entra.

Criar uma tabela e um objeto de mapeamento

Depois de ter um cluster e um banco de dados, crie uma tabela com um esquema que corresponda aos dados do Splunk. Você também cria um objeto de mapeamento que transforma os dados de entrada no esquema da tabela de destino.

No exemplo a seguir, você cria uma tabela chamada WeatherAlert com quatro colunas: Timestamp, Temperature, Humiditye Weather. Você também cria um mapeamento chamado WeatherAlert_Json_Mapping, que extrai propriedades do JSON de entrada, conforme indicado por path, e as envia para o column especificado.

No editor de consultas de interface do usuário da Web, execute os seguintes comandos para criar a tabela e o mapeamento:

1. Crie uma tabela:

   .create table WeatherAlert (Timestamp: datetime, Temperature: string, Humidity: string, Weather: string)
   

2. Verifique se a WeatherAlert tabela foi criada e se está vazia:

   WeatherAlert
   | count
   

3. Crie um objeto de mapeamento:

   .create table WeatherAlert ingestion json mapping "WeatherAlert_Json_Mapping"
       ```[{ "column" : "Timestamp", "datatype" : "datetime", "Properties":{"Path":"$.timestamp"}},
           { "column" : "Temperature", "datatype" : "string", "Properties":{"Path":"$.temperature"}},
           { "column" : "Humidity", "datatype" : "string", "Properties":{"Path":"$.humidity"}},
           { "column" : "Weather", "datatype" : "string", "Properties":{"Path":"$.weather_condition"}}
         ]```
   

4. Utilize a entidade de serviço dos Pré-requisitos para conceder permissão para trabalhar com a base de dados.

   .add database YOUR_DATABASE_NAME admins  ('aadapp=YOUR_APP_ID;YOUR_TENANT_ID') 'Entra App'
   

Instalar o complemento Splunk do Azure Data Explorer

O complemento Splunk se comunica com o Azure Data Explorer e envia os dados para a tabela especificada.

1. Baixe o Complemento do Azure Data Explorer.

2. Entre em sua instância do Splunk como administrador.

3. Acesse Aplicativos>Gerenciar Aplicativos.

4. Selecione Instalar aplicativo do arquivo e, em seguida, selecione o arquivo do complemento do Azure Data Explorer que você baixou.

5. Siga as instruções para concluir a instalação.

6. Selecione Reiniciar Agora.

7. Verifique se o complemento está instalado acessando o Painel>Ações de Alerta e procurando o Complemento do Azure Data Explorer.

   

Criar um novo índice no Splunk

Crie um índice no Splunk que especifica os critérios para os dados que você deseja enviar para Azure Data Explorer.

1. Entre em sua instância do Splunk como administrador.
2. Vá para Configurações>Índices.
3. Especifique um nome para o índice e configure os critérios para os dados que você deseja enviar para Azure Data Explorer.
4. Configure as propriedades restantes conforme necessário e salve o índice.

Configurar o complemento do Splunk para enviar dados ao Azure Data Explorer

1. Entre em sua instância do Splunk como administrador.

2. Vá para o painel e pesquise usando o índice que você criou anteriormente. Por exemplo, se você criou um índice chamado WeatherAlerts, pesquise index="WeatherAlerts".

3. Selecione Salvar como>Alerta.

4. Especifique o nome, o intervalo e as condições conforme necessário para o alerta.

   

5. Em Ações de Gatilho, selecione Adicionar Ações>Enviar ao Microsoft Azure Data Explorer.

   

6. Configure os detalhes das conexões, da seguinte maneira:

   Configuração	Descrição
   URL de ingestão do cluster	Especifique a URL de ingestão do cluster do Azure Data Explorer. Por exemplo, https://ingest-<mycluster>.<myregion>.kusto.windows.net.
   ID do Cliente	Especifique a ID do cliente do aplicativo Microsoft Entra criado anteriormente.
   Segredo do Cliente	Especifique o segredo do cliente do aplicativo Microsoft Entra criado anteriormente.
   ID do Locatário	Especifique o ID do locatário do aplicativo Microsoft Entra que você criou anteriormente.
   Banco de dados	Especifique o nome do banco de dados para o qual você deseja enviar os dados.
   Tabela	Especifique o nome da tabela para a qual você deseja enviar os dados.
   Mapeamento	Especifique o nome do objeto de mapeamento criado anteriormente.
   Remover campos extras	Selecione esta opção para remover todos os campos vazios dos dados enviados para o cluster.
   Modo Durável	Selecione esta opção para habilitar o modo de durabilidade durante a ingestão. Quando definido como verdadeiro, a taxa de ingestão é afetada.

   

7. Selecione Salvar para salvar o alerta.

8. Vá para a página Alertas e verifique se o alerta aparece na lista de alertas.

   

Verifique se os dados são ingeridos no Azure Data Explorer

Depois que o alerta é disparado, os dados são enviados para a tabela Azure Data Explorer. Você pode verificar se os dados são ingeridos executando uma consulta no editor de consultas da UI da web.

1. Execute a consulta a seguir para verificar se os dados estão sendo ingeridos na tabela:

   WeatherAlert
   | count
   

2. Execute a consulta a seguir para exibir os dados:

   WeatherAlert
   | take 100
   

   

Conteúdo relacionado

• Escrever consultas