Azure Synapse Runtime für Apache Spark 3.4 (veraltet)

Vorsicht

Azure Synapse Runtime für Apache Spark 3.4 wurde veraltet, wobei der Support am 31. März 2026 endet. Es kann zwar weiterhin für einen begrenzten Zeitraum nach diesem Datum ausgeführt werden, wird aber nicht mehr unterstützt und erhält keine Fehlerbehebungen, Sicherheitsupdates oder Sicherheitslückenpatches. Wenn Sie kein Upgrade durchführen, werden Workloads, die auf Azure Synapse Runtime für Apache Spark 3.4 ausgeführt werden, weiterhin auf einer nicht unterstützten Laufzeit ausgeführt. Dies erhöht sowohl betriebliche als auch Sicherheitsrisiken, da die Laufzeit keine kritischen Fixes oder Updates mehr erhält. We empfehlen dringend, Ihre Apache Spark 3.4-basierten Workloads auf Azure Synapse Runtime für Apache Spark 3.5 (GA).

Azure Synapse Analytics unterstützt mehrere Runtimes für Apache Spark. Dieses Dokument behandelt die Laufzeitkomponenten und -versionen für die Azure Synapse-Runtime für Apache Spark 3.4.

Komponentenversionen

Komponente Version
Apache Spark 3.4.1
Betriebssystem Mariner 2.0
Java 11
Scala 2.12.17
Deltasee 2.4.0
Python 3.10
R 4.2.2

Tipp

Für aktuelle Informationen, eine detaillierte Liste der Änderungen und spezifische Versionshinweise für Spark-Runtimes, überprüfen und abonnieren Sie Spark Runtimes-Versionen und -Updates.

Bibliotheken

Um die in Azure Synapse Runtime für Apache Spark 3.4 für Java/Scala enthaltenen Bibliotheken zu überprüfen, wechseln Python und R zu Azure Synapse Runtime für Apache Spark 3.4 Versionshinweise.

Tipp

spark.memoryOverheadFactor.preferred: Wenn auf true gesetzt, priorisiert Spark spark.driver.memoryOverheadFactor und spark.executor.memoryOverheadFactor gegenüber den expliziten Werten, die von spark.driver.memoryOverhead und spark.executor.memoryOverhead definiert sind. Wenn aktiviert, wird der Overhead immer mit dem Faktor berechnet, und die expliziten Overhead-Einstellungen werden ignoriert. Der Standard ist für die Rückwärtskompatibilität falsch.