Lakehouse-gegevens aanbieden

Synchroniseer een Unity Catalog-tabel naar Postgres en voer een query uit naast uw operationele gegevens.

Stappen: ① Analysedata genereren → ② Synchroniseren naar Lakebase → ③ Vind je gegevens in Postgres → ④ Query’s uitvoeren in beide werelden

Note

Dit is een snelstartgids. Zie Synchronisatietabellen voor volledige documentatie.

Voordat u begint

  • Zorg ervoor dat u Een Postgres-database ophalen hebt voltooid. U hebt een Lakebase-project met voorbeeldgegevens nodig.
  • Een SQL Warehouse of notebook voor Unity Catalog-query's.
  • USE_SCHEMA en CREATE_TABLE in het schema waarin u de gesynchroniseerde tabel maakt.

Stap 1: Analysegegevens maken in Unity Catalog

Stel dat uw gegevensteam gebruikerssegmentatiescores heeft gemaakt in lakehouse. In productie is dit een gouden tabel, ML-uitvoer of verrijkte gegevensset. Maak voor deze handleiding een klein voorbeeld.

Voer in een SQL Warehouse of notebook het volgende uit:

CREATE TABLE main.default.user_segments AS
SELECT * FROM VALUES
  (1, 'power_user', 0.92),
  (2, 'casual', 0.35),
  (3, 'power_user', 0.88)
AS segments(user_id, segment, engagement_score);

Merk op dat de waarden van user_id overeenkomen met de kolom id in uw tabel playing_with_lakebase uit 'Aan de slag'. Dat is opzettelijk. U neemt deel aan stap 4.

Meer informatie: Ondersteunde brontypen

Stap 2: de tabel synchroniseren met Lakebase

Ga in uw Azure Databricks werkruimte naar Catalogus in de zijbalk. Selecteer de user_segments tabel om de bijbehorende detailpagina te openen en klik vervolgens opGesynchroniseerde tabel>.

Kies in het dialoogvenster Gesynchroniseerde tabel maken de database van databricks_postgres uw Lakebase-project als het doel en de momentopname als de synchronisatiemodus. Snapshot kopieert de gegevens één keer, wat de eenvoudigste optie is om mee te beginnen.

De synchronisatie wordt automatisch uitgevoerd. Wanneer deze is voltooid, wordt er een nieuwe alleen-lezentabel weergegeven in uw Lakebase-database. De schemanaam van Unity Catalog wordt de Postgres-schemanaam en de tabelnaam krijgt een _synced achtervoegsel: default.user_segments_synced.

Meer informatie: Een gesynchroniseerde tabel maken (volledige procedure) | Synchronisatiemodi

Stap 3: Uw gegevens zoeken in Postgres

Schakel over naar de Lakebase SQL-editor. De analysegegevens uit Unity Catalog zijn nu doorzoekbaar met standaard Postgres SQL. Zoek naar gebruiker 1:

SELECT * FROM "default".user_segments_synced WHERE user_id = 1;

Note

default moet worden geciteerd omdat het een gereserveerd postgreSQL-trefwoord is. Het gesynchroniseerde tabelschema neemt de naam van het Unity Catalog-schema over, dus als uw schema een naam defaultheeft, moet u het altijd citeren in query's.

U zou gebruiker 1 moeten zien met segment power_user en een engagementscore van 0.92. Dit is dezelfde rij die u hebt gemaakt in Unity Catalog, nu beschikbaar in Postgres met leesbewerkingen met lage latentie.

Meer informatie: Toewijzing van gegevenstypen

Stap 4: query's uitvoeren in beide werelden

Hier is de uitbetaling. Uw playing_with_lakebase tabel bevat operationele gegevens. Uw user_segments_synced tabel beschikt over Lakehouse Analytics. Doe mee:

SELECT
  p.id,
  p.name,
  p.value,
  s.segment,
  s.engagement_score
FROM playing_with_lakebase p
JOIN "default".user_segments_synced s ON p.id = s.user_id;

Uw toepassing kan nu verrijkte gegevens leveren. Een enkele Postgres-query combineert wat de app weet (namen, waarden) met wat de lakehouse heeft berekend (segmenten, scores). Geen API-aanroepen naar lakehouse, geen synchronisatiescripts, geen latentiestraf.

Meer informatie: Capaciteitsplanning

Volgende stappen 

  • Last updated on