Ingerir dados do Splunk para o Azure Data Explorer

O Splunk Enterprise é uma plataforma de software que permite ingerir dados de várias fontes simultaneamente. O indexador Splunk processa os dados e armazena-os por defeito no índice principal ou num índice personalizado especificado. A pesquisa no Splunk utiliza os dados indexados para criar métricas, dashboards e alertas. O Azure Data Explorer é um serviço de exploração de dados rápido e altamente escalável para dados de log e telemetria.

Neste artigo, vai aprender a usar o add-on Azure Data Explorer Splunk para enviar dados do Splunk para uma tabela no seu cluster. Crias uma tabela e um mapeamento de dados, diriges o Splunk para enviar dados para a tabela e depois validas os resultados.

Os seguintes cenários são mais adequados para ingerir dados no Azure Data Explorer:

• Dados de alto volume: Azure Data Explorer foi construído para gerir eficientemente grandes quantidades de dados. Se a sua organização gera um volume significativo de dados que necessita de análise em tempo real, o Azure Data Explorer é uma escolha adequada.
• Dados de séries temporais: Azure Data Explorer destaca-se no tratamento de dados de séries temporais, como registos, dados de telemetria e leituras de sensores. Organiza os dados em partições baseadas no tempo, facilitando a realização de análises e agregações baseadas no tempo.
• Análise em tempo real: Se a sua organização necessita de insights em tempo real a partir dos dados que chegam, as capacidades quase em tempo real da Azure Data Explorer podem ser benéficas.

Pré-requisitos

• Conta Microsoft ou identidade de utilizador Microsoft Entra. Uma assinatura do Azure não é necessária.
• Um cluster e um banco de dados do Azure Data Explorer. Crie um cluster e um banco de dados.
• Slunk Enterprise 9 ou mais recente.
• Um principal de serviço Microsoft Entra. Crie um principal de serviço do Microsoft Entra.

Crie uma tabela e um objeto de mapeamento

Depois de teres um cluster e uma base de dados, cria uma tabela com um esquema que corresponda aos teus dados Splunk. Também crias um objeto de mapeamento que transforma os dados recebidos no esquema da tabela de destino.

No exemplo seguinte, cria-se uma tabela com quatro WeatherAlert colunas: Timestamp, Temperature, Humidity, e Weather. Também cria um mapeamento chamado WeatherAlert_Json_Mapping que extrai propriedades do JSON recebido, conforme indicado no path, e as envia para o column especificado.

No editor de consultas da interface web, execute os seguintes comandos para criar a tabela e o mapeamento:

1. Crie uma tabela:

   .create table WeatherAlert (Timestamp: datetime, Temperature: string, Humidity: string, Weather: string)
   

2. Verifique se a WeatherAlert tabela foi criada e está vazia:

   WeatherAlert
   | count
   

3. Crie um objeto de mapeamento:

   .create table WeatherAlert ingestion json mapping "WeatherAlert_Json_Mapping"
       ```[{ "column" : "Timestamp", "datatype" : "datetime", "Properties":{"Path":"$.timestamp"}},
           { "column" : "Temperature", "datatype" : "string", "Properties":{"Path":"$.temperature"}},
           { "column" : "Humidity", "datatype" : "string", "Properties":{"Path":"$.humidity"}},
           { "column" : "Weather", "datatype" : "string", "Properties":{"Path":"$.weather_condition"}}
         ]```
   

4. Utilize o principal de serviço indicado nos Pré-requisitos para conceder permissões para trabalhar com a base de dados.

   .add database YOUR_DATABASE_NAME admins  ('aadapp=YOUR_APP_ID;YOUR_TENANT_ID') 'Entra App'
   

Instale o suplemento do Splunk Azure Data Explorer

O add-on Splunk comunica com o Azure Data Explorer e envia os dados para a tabela especificada.

1. Descarregue o add-on Azure Data Explorer.

2. Inicia sessão na tua instância Splunk como administrador.

3. Vá a Apps>Gerir Apps.

4. Seleciona Instalar aplicação a partir do ficheiro, e depois seleciona o ficheiro Azure Data Explorer add-on que descarregaste.

5. Siga as instruções para concluir a instalação.

6. Selecione Reiniciar Agora.

7. Verifica se o add-on está instalado indo a Dashboard>Alert Actions e procurando o add-on Azure Data Explorer.

   

Criar um novo índice no Splunk

Crie um índice no Splunk que especifique os critérios para os dados que quer enviar para o Azure Data Explorer.

1. Inicia sessão na tua instância Splunk como administrador.
2. Aceda a Definições>Índices.
3. Especifique um nome para o índice e configure os critérios para os dados que quer enviar para o Azure Data Explorer.
4. Configure as propriedades restantes conforme necessário e depois guarde o índice.

Configure o suplemento do Splunk para enviar dados para o Azure Data Explorer

1. Inicia sessão na tua instância Splunk como administrador.

2. Vai ao painel de controlo e pesquisa usando o índice que criaste anteriormente. Por exemplo, se criou um índice chamado WeatherAlerts, procure por index="WeatherAlerts".

3. Selecione Guardar como>Alerta.

4. Especifique o nome, o intervalo e as condições exigidas para o alerta.

   

5. Em Ações de Disparo, selecione Adicionar Ações>Enviar para Microsoft Azure Data Explorer.

   

6. Configure os detalhes das ligações, da seguinte forma:

   Setting	Description
   URL de ingestão do cluster	Especifique o URL de ingestão do seu cluster Azure Data Explorer. Por exemplo, https://ingest-<mycluster>.<myregion>.kusto.windows.net.
   ID de Cliente	Especifique o ID do cliente da aplicação Microsoft Entra que criou anteriormente.
   Segredo do Cliente	Especifique o segredo do cliente da aplicação Microsoft Entra que criou anteriormente.
   ID do Inquilino	Especifique o ID do inquilino da aplicação Microsoft Entra que criou anteriormente.
   Database	Especifique o nome da base de dados para onde quer enviar os dados.
   Table	Especifique o nome da tabela para onde quer enviar os dados.
   Mapping	Especifique o nome do objeto de mapeamento que criou anteriormente.
   Remover campos adicionais	Selecione esta opção para remover quaisquer campos vazios dos dados enviados para o seu cluster.
   Modo Durável	Selecione esta opção para ativar o modo de durabilidade durante a ingestão. Quando definido como verdadeiro, a taxa de ingestão é afetada.

   

7. Selecione Guardar para guardar o alerta.

8. Vai à página de Alertas e verifica se o teu alerta aparece na lista de alertas.

   

Verifica se os dados são ingeridos no Azure Data Explorer

Depois de o alerta ser ativado, os dados são enviados para a sua tabela Azure Data Explorer. Pode verificar que os dados são ingeridos executando uma consulta no editor de consultas da interface web.

1. Execute a seguinte consulta para verificar se os dados foram ingeridos na tabela:

   WeatherAlert
   | count
   

2. Execute a seguinte consulta para visualizar os dados:

   WeatherAlert
   | take 100
   

   

Conteúdo relacionado

• Escrever consultas