Oktober 2023

Diese Features und Azure Databricks Plattformverbesserungen wurden im Oktober 2023 veröffentlicht.

Serverlose sichere Konnektivität für Databricks SQL Serverless (Public Preview)

31. Oktober 2023

Mithilfe neuer serverloser tools für sichere Konnektivität können Sie den Netzwerkzugriff von serverlosen SQL-Warehouses an Ihre Datenquellen in Azure Storage steuern. Sie können entweder eine Speicherfirewall mit Subnetz-IDs oder private Konnektivität mit Azure Private Link aktivieren. Wenn Sie der Public Preview beitreten möchten, wenden Sie sich an Ihr Azure Databricks Kontoteam. Weitere Informationen unter Serverless Compute Plane-Netztechnologie.

Wenn Sie Speicherfirewalls haben, die mit Subnetz-IDs konfiguriert wurden, die in Azure Databricks Dokumentation vor dem 31. Oktober 2023 aufgeführt wurden, empfiehlt Databricks, Ihre Firewallkonfigurationen für jede Ihrer Arbeitsbereichsregionen mithilfe eines der neuen Tools zu aktualisieren. Dies kann Ihnen helfen, eine konsistente Bereitstellung für alle Arbeitsbereiche durchzuführen. Wenn Sie sich entscheiden, vorhandene Konfigurationen nicht zu aktualisieren, funktionieren Arbeitsbereiche weiterhin.

Ansehen der YAML-Quelle für einen Azure Databricks-Job

30. Oktober 2023

Sie können nun die YAML-Quelle für einen Auftrag anzeigen und kopieren, indem Sie auf das Klicken Sie auf der Seite "Auftragsdetails" und wählen Sie "YAML/JSON anzeigen" aus. Sie können die YAML-Quelle verwenden, um CI/CD-Workflows mit deklarativen Automatisierungspaketen zu erstellen. Erfahren Sie , was deklarative Automatisierungspakete sind?.

Hinzufügen von bedingter Logik zu Ihren Azure Databricks Workflows

30. Oktober 2023

Sie können nun die aufgabe If/else condition verwenden, um Aufgaben in einem Azure Databricks Auftrag basierend auf den Ergebnissen eines booleschen Ausdrucks bedingt auszuführen. Siehe Hinzufügen von Verzweigungslogik zu einem Auftrag mit der If/Else-Bedingung.

Konfigurieren von Parametern für einen Azure Databricks Auftrag, auf den von allen Auftragsaufgaben verwiesen werden kann

30. Oktober 2023

Sie können jetzt Ihren Azure Databricks Aufträgen Parameter hinzufügen, die automatisch an alle Auftragsaufgaben übergeben werden, die Schlüsselwertpaare akzeptieren. Siehe Konfigurieren von Auftragsparametern. Darüber hinaus können Sie jetzt einen erweiterten Satz von Wertverweisen verwenden, um Kontext und Zustand zwischen Auftragsaufgaben zu übergeben. Siehe Was ist eine dynamische Wertreferenz?

Löschvektoren automatisch aktivieren

30. Oktober 2023

Sie können jetzt Löschvektoren auf allen neuen Delta-Tabellen in Databricks Runtime 14.0 oder höher aktivieren, indem Sie die Arbeitsbereich-Verwalter-Einstellung Löschvektoren automatisch aktivieren verwenden. Dieses Verhalten ist derzeit standardmäßig deaktiviert und kann auf Wunsch aktiviert werden, wird aber in Zukunft standardmäßig aktiviert sein, mit der Option es zu deaktivieren. Databricks empfiehlt, eine Option für diese Einstellung manuell zu konfigurieren. Weitere Informationen finden Sie unter Automatische Aktivierung von Löschvektoren.

Unity Catalog-Unterstützung für UNDROP TABLE ist allgemein verfügbar

25. Oktober 2023

Sie können die Löschung einer verwalteten oder externen Tabelle innerhalb von sieben Tagen nach dem Löschen in einem vorhandenen Schema rückgängig machen. Databricks Runtime 12.1 oder höher ist erforderlich. Siehe UNDROP und SHOW TABLES DROPPED.

Partner Connect unterstützt Dataiku

25. Oktober 2023

Sie können jetzt Partner Connect verwenden, um Ihren Azure Databricks Arbeitsbereich mit Dataiku zu verbinden. Weitere Informationen finden Sie unter Herstellen einer Verbindung mit Dataiku.

Automatisch generierte Notizbücher werden jetzt als MLflow-Artefakte gespeichert.

24. Oktober 2023

Automatisch generierte Notizbücher werden jetzt als MLflow-Artefakte gespeichert in allen Databricks Runtime-Versionen für Machine Learning.

Neue Region: Katar, Mitte

23. Oktober 2023

Azure Databricks ist jetzt im Katar Central verfügbar. Siehe Azure Databricks Regions.

Unity-Katalogvolumes, die mit Azure Firewall und Private Link unterstützt werden

23. Oktober 2023

Sie können jetzt Unity-Katalogvolumes zusammen mit Azure Speicherkonten verwenden, die mit Azure Firewall oder Private Link konfiguriert sind. Dies hebt eine vorherige Einschränkung auf.

Prädiktive Optimierung (Public Preview)

24. Oktober 2023

Durch die prädiktive Optimierung entfällt die Notwendigkeit, Wartungsvorgänge für Deltatabellen manuell zu verwalten. Wartungsvorgänge werden nur nach Bedarf ausgeführt, wodurch sowohl die unnötige Ausführung von Wartungsvorgängen als auch der Aufwand für die Nachverfolgung und Problembehandlung sowie die damit zusammenhängende Leistung entfallen. Siehe Prädiktive Optimierung für verwaltete Unity Catalog-Tabellen.

Computersystemtabellen sind jetzt verfügbar (Öffentliche Vorschau).

23. Oktober 2023

Das system.compute-Schema enthält zwei neue Tabellen, mit deren Hilfe Sie die Computeressourcen in Ihrem Konto überwachen können: clusters und node_types.

Die Tabelle „Cluster“ ist eine sich langsam ändernde Dimensionstabelle, die den vollständigen Verlauf der Clusterkonfigurationen im Laufe der Zeit für universelle Cluster und Auftragscluster enthält. Die Tabelle „Knotentypen“ erfasst die derzeit verfügbaren Knotentypen mit ihren grundlegenden Hardwareinformationen. Wenn Sie keinen Zugriff auf diese Systemtabellen haben, stellen Sie sicher, dass Sie das Computeschema in Ihrem Konto aktiviert haben (siehe Aktivieren von Systemtabellen).

Weitere Informationen zu Computersystemtabellen finden Sie unter Computersystemtabellen-Referenz.

Bedarfsgesteuerte Featureberechnung ist allgemein verfügbar

19. Oktober 2023

Funktionen des maschinellen Lernens können jetzt auf Abruf zur Inferenzzeit berechnet werden. Auf diese Weise können Modelle Features mithilfe von Eingaben berechnen, die nur zum Zeitpunkt der Inferenz verfügbar sind, wie z. B. der aktuelle Standort eines Benutzers, oder um Features zu verwenden, deren Vorkomplizierung, Speicherung und Aktualisierung kostspielig ist. Modelltrainingscode kann ein beliebiges Diagramm von Feature-Nachschlagevorgängen und Berechnungen definieren, die während des Modelltrainings und -rückschlusses ausgeführt werden.

Funktionsberechnungslogik, Modelle und Daten unterliegen dem Unity-Katalog. Weitere Informationen finden Sie unter On-Demand-Featureberechnung.

Feature Engineering in Unity Catalog ist allgemein verfügbar

19. Oktober 2023

Mit Feature Engineering in Unity Catalog wird Unity Catalog zu Ihrem Featurespeicher. Sie können jede Delta-Tabelle mit einem Primärschlüssel als Featuretabelle für Modelltraining oder Rückschlüsse verwenden. Unity Catalog bietet Featureermittlung und Governance.

Von KI generierte Tabellenkommentare (Public Preview)

18. Oktober 2023

Als Teil der Initiative, KI zu verwenden, um Sie bei der Arbeit mit Azure Databricks zu unterstützen, führt Azure Databricks KI-generierte Tabellen- und Spaltenkommentare in public Preview ein. In Catalog Explorer können Sie einen KI-generierten Kommentar für jede Tabelle oder Tabellenspalte anzeigen, bearbeiten und hinzufügen, die von Unity Catalog verwaltet wird. KI-generierte Kommentare können externe Modellpartner*innen verwenden, um Antworten bereitzustellen. An diese Dienste gesendete Daten werden nicht für das Modelltraining verwendet.

Siehe Hinzufügen von KI-generierten Kommentaren zu Unity Catalog-Objekten.

Modelle in Unity Catalog sind allgemein verfügbar

17. Oktober 2023

ML-Modelle im Unity Catalog sind jetzt allgemein verfügbar. Unity Catalog bietet zentralisierte Zugriffssteuerung, Überwachung, Herkunft, Modellfreigabe über Arbeitsbereiche hinweg und bessere MLOps-Bereitstellungsworkflows. Azure Databricks empfiehlt die Verwendung von Modellen im Unity-Katalog anstelle der Arbeitsbereichsmodellregistrierung. Details finden Sie unter Verwalten des Modelllebenszyklus in Unity Catalog.

Bibliotheken werden jetzt in Computerichtlinien unterstützt (Public Preview)

17. Oktober 2023

Arbeitsbereichsadministratoren können jetzt Bibliotheken zu Rechenrichtlinien hinzufügen. Compute, das die Richtlinie verwendet, installiert die Bibliothek automatisch. Benutzer können Bibliotheken im Computebereich nicht auf der Recheneinheit installieren oder deinstallieren, die die Richtlinie verwendet. Zuvor installierte Bibliotheken werden deinstalliert.

Databricks empfiehlt, alle mit Init-Skripten installierten Bibliotheken zu migrieren, um Rechenrichtlinien zu nutzen. Siehe Hinzufügen von Bibliotheken zu einer Richtlinie.

Partner Connect unterstützt Monte Carlo.

16. Oktober 2023

Sie können jetzt Partner Connect verwenden, um Ihren Azure Databricks Arbeitsbereich mit Monte Carlo zu verbinden. Weitere Informationen finden Sie unter Connect Azure Databricks to Monte Carlo.

Semantische Suche (Public Preview)

16. Oktober 2023

Sie können nun natürliche Sprache verwenden, um Unity Catalog-Tabellen im Dialogfeld für die erweiterte Suche zu durchsuchen. Siehe Semantische Suche.

Neue Photon-Standardeinstellungen

11. Oktober 2023

Beim Erstellen eines neuen Clusters über die Benutzeroberfläche ist das standardmäßige Databricks Runtime-Modul Photon-fähig. Dies gilt sowohl für Allzweck- als auch für Auftragscluster.

Neue Cluster, die mit einer Clusterrichtlinie erstellt wurden, die photonkompatibel ist, haben Photon standardmäßig aktiviert. Eine Clusterrichtlinie ist Photon-kompatibel, wenn Databricks Runtime dies unterstützt, der Knotentyp unterstützt wird und der runtime_engine nicht explizit auf STANDARD. festgelegt ist.

Databricks Runtime 14.1 ist allgemein verfügbar

11. Oktober 2023

Databricks Runtime 14.1 und Databricks Runtime 14.1 ML sind jetzt allgemein verfügbar.

Siehe Databricks Runtime 14.1 (EoS) und Databricks Runtime 14.1 für Machine Learning (EoS).

Die Versionshinweise zu den Entwickler-Tools wurden verschoben.

10. Oktober 2023

Versionshinweise für Azure Databricks Entwicklertools nach dem 10. Oktober 2023 werden jetzt in den Versionshinweisen zu Azure Databricks-Entwicklertools und SDKs veröffentlicht anstelle der versionshinweise zur Azure Databricks Plattform.

Databricks-Erweiterung für Visual Studio Code auf Version 1.1.5 aktualisiert

9. Oktober 2023

Die Erweiterung Databricks für Visual Studio Code Version 1.1.5 enthält einige kleinere Fixes. Details finden Sie im Änderungsprotokoll für die Version 1.1.5.

Predictive I/O für Updates ist allgemein verfügbar

9. Oktober 2023

Predictive I/O für Updates ist jetzt für Databricks Runtime 14.0 und höher allgemein verfügbar. Siehe Was ist Predictive I/O?.

Löschvektoren sind allgemein verfügbar

9. Oktober 2023

Löschvektoren sind jetzt für Databricks Runtime 14.0 und höher allgemein verfügbar. Siehe Löschungsvektoren in Databricks.

Partner Connect unterstützt RudderStack

5. Oktober 2023

Sie können jetzt Partner Connect verwenden, um Ihren Azure Databricks Arbeitsbereich mit RudderStack zu verbinden. Weitere Informationen finden Sie unter Herstellen einer Verbindung mit RudderStack.

Databricks CLI wurde auf Version 0.207.0 (Public Preview) aktualisiert.

4. Oktober 2023

Die Databricks-Befehlszeilenschnittstelle (Databricks CLI) wurde auf Version 0.207.0 aktualisiert. Diese Version enthält Featureupdates und Fixes für deklarative Automatisierungspakete, nimmt Ergänzungen und Änderungen an mehreren Befehlsgruppen und Befehlen vor und vieles mehr. Details finden Sie im Änderungsprotokoll für die Version 0.207.0.

Ausführen ausgewählter Zellen in einem Notebook

4. Oktober 2023

Sie können jetzt nur ausgewählte Zellen in einem Notebook ausführen. Siehe Ausgewählte Zellen ausführen.

Verwenden der Arbeitsbereichskatalogbindung, um schreibgeschützten Zugriff auf einen Katalog zu gewähren

4. Oktober 2023

Wenn Sie die Arbeitsbereichskatalogbindung verwenden, um den Katalogzugriff auf bestimmte Arbeitsbereiche in Ihrem Konto einzuschränken, können Sie diesen Zugriff jetzt schreibgeschützt machen. Die schreibgeschützte Arbeitsbereichskatalogbindung ermöglicht Ihnen das Gewähren von schreibgeschütztem Zugriff auf Produktionsdaten aus einem Entwicklerarbeitsbereich und so Entwicklung und Tests zu ermöglichen.

Dieses Update stellt den /api/2.1/unity-catalog/workspace-bindings/-API-Endpunkt ein und ersetzt ihn durch /api/2.1/unity-catalog/bindings/.

Weitere Informationen finden Sie unter Einschränken des Katalogzugriffs auf bestimmte Arbeitsbereiche.

Databricks-Erweiterung für Visual Studio Code auf Version 1.1.4 aktualisiert

2. Oktober2023

Die Databricks-Erweiterung für Visual Studio Code Version 1.1.4 bietet Unterstützung für benutzerdefinierte Azure Databricks Arbeitsbereich-URLs und vieles mehr. Details finden Sie im Änderungsprotokoll für die Version 1.1.4.

Databricks SDK für Python auf Version 0.10.0 (Beta) aktualisiert

3. Oktober 2023

Databricks SDK für Python Version 0.10.0 führt 7 änderungen ein, fügt 10 Datenklassen hinzu, fügt 6 Felder hinzu und fügt einen Dienst hinzu. Details finden Sie im Änderungsprotokoll für die Version 0.10.0.

Databricks SDK für Go wurde auf Version 0.22.0 (Beta) aktualisiert.

3. Oktober 2023

Databricks SDK für Go Version 0.22.0 führt eine einschneidende Änderung der API ein und fügt eine neue API hinzu. Details finden Sie im Änderungsprotokoll für die Version 0.22.0.

Unity-Katalogvolumes jetzt in der öffentlichen Vorschau für Azure China

2. Oktober2023

Unity-Katalogvolumes sind jetzt als Public Preview-Feature in Azure China-Regionen verfügbar. Weitere Informationen finden Sie unter Was sind Unity Catalog-Volumes?.