Beperkingen met Databricks Connect voor Scala

Notitie

Dit artikel bevat informatie over Databricks Connect voor Databricks Runtime 13.3 LTS en hoger.

Dit artikel bevat beperkingen met Databricks Connect voor Scala. Met Databricks Connect kunt u populaire IDE's, notebookservers en aangepaste toepassingen verbinden met Azure Databricks rekenresources. Zie Databricks Connect. Zie Limitations with Databricks Connect for Python voor de Python versie van dit artikel.

Belangrijk

Afhankelijk van de versie van Scala, Java, Databricks Runtime en Databricks Connect die u gebruikt, zijn er mogelijk versievereisten voor sommige functies. Zie Vereisten.

Beschikbaarheid van functies

Niet beschikbaar op Databricks Connect voor Databricks Runtime 13.3 LTS en hieronder:

  • Streamen foreachBatch
  • DataFrames maken met een niet-opgelost logisch plan dat groter is dan 128 MB. Deze limiet is van toepassing op de grootte van het plan, niet op de gegevens zelf.
  • Lange query's van meer dan 3600 seconden
  • Scalaire UDF's voor rekenresources die gebruikmaken van de toegewezen toegangsmodus (voorheen één gebruiker)

Niet beschikbaar:

  • Databricks Utilities: credentials, library, notebook workflow, widgets
  • Spark-context
  • RDDs
  • CREATE TABLE <table-name> AS SELECT (gebruik in plaats daarvan spark.sql("SELECT ...").write.saveAsTable("table"))
  • Het log4j-logboekniveau wijzigen via SparkContext
  • Gedistribueerde ML-training
  • De lokale ontwikkelomgeving synchroniseren met de externe rekenresource
  • Last updated on