Mata in data från Splunk till Azure Data Explorer

Splunk Enterprise är en programvaruplattform som gör att du kan mata in data från många källor samtidigt. Splunk-indexeraren bearbetar data och lagrar dem som standard i huvudindexet eller ett angivet anpassat index. Sökningar i Splunk utgår från indexerade data för att skapa mätvärden, översiktspaneler och aviseringar. Azure Data Explorer är en snabb och mycket skalbar datautforskningstjänst för logg- och telemetridata.

I den här artikeln får du lära dig hur du använder tillägget Azure Data Explorer Splunk för att skicka data från Splunk till en tabell i klustret. Du skapar en tabell och datamappning, dirigerar Splunk för att skicka data till tabellen och validerar sedan resultatet.

Följande scenarier är lämpligast för att mata in data i Azure Data Explorer:

• High-volume data: Azure Data Explorer är byggd för att effektivt hantera stora mängder data. Om din organisation genererar en betydande mängd data som behöver realtidsanalys är Azure Data Explorer ett lämpligt val.
• Tidsseriedata: Azure Data Explorer utmärker sig på att hantera tidsseriedata, till exempel loggar, telemetridata och sensoravläsningar. Den organiserar data i tidsbaserade partitioner, vilket gör det enkelt att utföra tidsbaserad analys och aggregeringar.
• Analys i realtid: Om din organisation behöver insikter i realtid från inkommande data kan Azure Data Explorers funktioner för nästan realtidsbaserad analys vara till nytta.

Förutsättningar

• Ett Microsoft-konto eller en Microsoft Entra-användaridentitet. En Azure-prenumeration krävs inte.
• Ett Azure Data Explorer-kluster och en databas. Skapa ett kluster och en databas.
• Splunk Enterprise 9 eller senare.
• En tjänsthuvudman för Microsoft Entra. Skapa ett Microsoft Entra service principal.

Skapa en tabell och ett mappningsobjekt

När du har ett kluster och en databas skapar du en tabell med ett schema som matchar dina Splunk-data. Du skapar också ett mappningsobjekt som omvandlar inkommande data till måltabellschemat.

I följande exempel skapar du en tabell med namnet WeatherAlert med fyra kolumner: Timestamp, Temperature, Humidityoch Weather. Du skapar också en mappning med namnet WeatherAlert_Json_Mapping som extraherar egenskaper från den inkommande JSON som anges av path och matar ut dem till den angivna column.

I frågeredigeraren för webbgränssnittet kör du följande kommandon för att skapa tabellen och mappningen:

1. Skapa en tabell:

   .create table WeatherAlert (Timestamp: datetime, Temperature: string, Humidity: string, Weather: string)
   

2. Kontrollera att tabellen WeatherAlert har skapats och är tom:

   WeatherAlert
   | count
   

3. Skapa ett mappningsobjekt:

   .create table WeatherAlert ingestion json mapping "WeatherAlert_Json_Mapping"
       ```[{ "column" : "Timestamp", "datatype" : "datetime", "Properties":{"Path":"$.timestamp"}},
           { "column" : "Temperature", "datatype" : "string", "Properties":{"Path":"$.temperature"}},
           { "column" : "Humidity", "datatype" : "string", "Properties":{"Path":"$.humidity"}},
           { "column" : "Weather", "datatype" : "string", "Properties":{"Path":"$.weather_condition"}}
         ]```
   

4. Använd tjänstens huvudnamn från förutsättningar för att bevilja behörighet att arbeta med databasen.

   .add database YOUR_DATABASE_NAME admins  ('aadapp=YOUR_APP_ID;YOUR_TENANT_ID') 'Entra App'
   

Installera tillägget Splunk Azure Data Explorer

Splunk-tillägget kommunicerar med Azure Data Explorer och skickar data till den angivna tabellen.

1. Ladda ned tillägget Azure Data Explorer.

2. Logga in på din Splunk-instans som administratör.

3. Gå till Appar>Hantera appar.

4. Välj Installera app från fil och välj sedan filen Azure Data Explorer add-on som du laddade ned.

5. Slutför installationen genom att följa anvisningarna.

6. Välj Starta om nu.

7. Kontrollera att tillägget är installerat genom att gå till Dashboard>Alert Actions och leta efter tillägget Azure Data Explorer.

   

Skapa ett nytt index i Splunk

Skapa ett index i Splunk som anger villkoren för de data som du vill skicka till Azure Data Explorer.

1. Logga in på din Splunk-instans som administratör.
2. Gå till Inställningar>Index.
3. Ange ett namn för indexet och konfigurera kriterierna för de data som du vill skicka till Azure Data Explorer.
4. Konfigurera de återstående egenskaperna efter behov och spara sedan indexet.

Konfigurera Splunk-tillägget för att skicka data till Azure Data Explorer

1. Logga in på din Splunk-instans som administratör.

2. Gå till instrumentpanelen och sök med det index som du skapade tidigare. Om du till exempel skapade ett index med namnet WeatherAlerts, söker du efter index="WeatherAlerts".

3. Välj Spara som>avisering.

4. Ange namn, intervall och villkor som krävs för aviseringen.

   

5. Under Trigger Actions väljer du Lägg till åtgärder>Send till Microsoft Azure Data Explorer.

   

6. Konfigurera anslutningsinformationen enligt följande:

   Inställning	Description
   URL för klusterinmatning	Ange inmatnings-URL:en för ditt Azure Data Explorer-kluster. Till exempel https://ingest-<mycluster>.<myregion>.kusto.windows.net.
   Kund-ID	Ange klient-ID för det Microsoft Entra program som du skapade tidigare.
   Klienthemlighet	Ange klienthemligheten för det Microsoft Entra program som du skapade tidigare.
   Hyresgäst-ID	Ange klientorganisations-ID för det Microsoft Entra program som du skapade tidigare.
   Databas	Ange namnet på den databas som du vill skicka data till.
   Table	Ange namnet på den tabell som du vill skicka data till.
   Mapping	Ange namnet på mappningsobjektet som du skapade tidigare.
   Ta bort extra fält	Välj det här alternativet om du vill ta bort tomma fält från de data som skickas till klustret.
   Beständigt läge	Välj det här alternativet för att aktivera hållbarhetsläge under inmatning. När den är inställd på true påverkas inmatningshastigheten.

   

7. Spara aviseringen genom att välja Spara .

8. Gå till sidan Aviseringar och kontrollera att aviseringen visas i listan med aviseringar.

   

Kontrollera att data matas in i Azure Data Explorer

När aviseringen har utlösts skickas data till din Azure Data Explorer tabell. Du kan kontrollera att data matas in genom att köra en fråga i frågeredigeraren för webbgränssnittet.

1. Kör följande fråga för att kontrollera att data matas in i tabellen:

   WeatherAlert
   | count
   

2. Kör följande fråga för att visa data:

   WeatherAlert
   | take 100
   

   

Relaterat innehåll

• Skriv frågor