Rekenproblemen oplossen

Dit artikel bevat resources die u kunt gebruiken in het geval dat u het rekengedrag in uw werkruimte moet oplossen. De onderwerpen in dit artikel hebben betrekking op opstartproblemen met computers.

Zie voor andere artikelen over probleemoplossing:

• Foutopsporing met de Spark-gebruikersinterface
• Kosten- en prestatieproblemen vaststellen met behulp van de Spark-gebruikersinterface
• Grote queries verwerken in interactieve werkstromen.

Genie Code gebruiken om fouten in de rekenomgeving op te sporen

Genie Code kan helpen bij het vaststellen en voorstellen van oplossingen voor bibliotheekinstallatiefouten.

Op de compute-pagina Bibliotheken wordt de knop Fout diagnosticeren weergegeven naast de naam van het mislukte pakket en in het detailvenster dat verschijnt wanneer u op het mislukte pakket klikt. Klik op Diagnosefout bij het gebruik van Genie Code om u te helpen fouten op te sporen. Genie Code zal de fout diagnosticeren en mogelijke oplossingen voorstellen.

U kunt Genie Code ook gebruiken om fouten in de rekenomgeving in een notebook op te sporen. Zie Fouten in de omgeving opsporen.

Een nieuwe compute-bron reageert niet of er is een foutmelding in het gebeurtenislogboek: 'Het netwerk van het rekenvlak is verkeerd geconfigureerd'

Probleem: Na een geslaagde implementatie van een werkruimte reageert uw eerste test-rekenproces niet. Als u na ongeveer 20-30 minuten uw rekengebeurtenislogboek controleert, ziet u een foutbericht zoals hieronder:

The compute plane network is misconfigured. Please verify that the network for your compute plane is configured correctly. Error message: Node daemon ping timeout in 600000 ms …

Oorzaak: Het vorige foutbericht geeft aan dat de routering of de firewall onjuist is. Azure Databricks heeft VM-exemplaren aangevraagd voor een nieuwe compute, maar er was een lange vertraging bij het wachten tot het VM-exemplaar opstartte en verbinding maakte met het stuurvlak. De rekenbeheerder beëindigt de exemplaren en rapporteert dit probleem.

Aanbevolen oplossing: uw netwerkconfiguratie moet toestaan dat rekenknooppuntexemplaren verbinding kunnen maken met het Databricks-besturingsvlak. Voor een snellere probleemoplossingstechniek dan het gebruik van een rekenproces kunt u een VM-exemplaar implementeren in een van de subnetten van de werkruimte en typische stappen voor het oplossen van netwerkproblemen uitvoeren, zoals nc, ping, telnetof traceroute.

Zie IP-adressen en domeinen voor Azure Databricks-services en -assets voor toegangsdomeinen, IP-adressen en relay-CNAMEs per regio. Zorg ervoor dat er een geslaagd netwerkpad naar Azure Blob Storage is voor de Artefact-opslag.

In het volgende voorbeeld wordt de Azure-regio westusgebruikt:

# Verify access to the web application
nc -zv 40.118.174.12 443
nc -zv 20.42.129.160 443

# Verify access to the secure compute connectivity relay
nc -zv tunnel.westus.azuredatabricks.net 443

# Verify Artifact Blob storage access
nc -zv dbartifactsprodwestus.blob.core.windows.net 443
nc -zv arprodwestusa1.blob.core.windows.net 443
..
nc -zv arprodwestusa15.blob.core.windows.net 443
nc -zv dbartifactsprodwestus2.blob.core.windows.net 443

# Verify Metastore Database access
nc -zv consolidated-westus-prod-metastore.mysql.database.azure.com 3306
nc -zv consolidated-westus-prod-metastore-addl-1.mysql.database.azure.com 3306
nc -zv consolidated-westus-prod-metastore-addl-2.mysql.database.azure.com 3306
nc -zv consolidated-westus-prod-metastore-addl-3.mysql.database.azure.com 3306
nc -zv consolidated-westus2c2-prod-metastore-addl-1.mysql.database.azure.com 3306

# Verify Log Blob storage access
nc -zv dblogprodwestus.blob.core.windows.net 443

Als de vorige opdrachten correct worden geretourneerd, is het netwerkpad mogelijk correct geconfigureerd, maar er is mogelijk een ander probleem als u een firewall gebruikt. De firewall kan uitgebreide pakketinspectie, SSL-inspectie of iets anders hebben waardoor Azure Databricks-opdrachten mislukken. Voer met behulp van een VM-exemplaar in het Azure Databricks-subnet de volgende opdracht uit, waarbij u <token> uw persoonlijke toegangstoken vervangt en <workspace-url> de URL voor uw werkruimte gebruikt:

curl -X GET -H 'Authorization: Bearer <token>' [https://](https://):re[workspace-url]/api/2.0/clusters/spark-versions

Als de vorige aanvraag mislukt, voert u de opdracht opnieuw uit met de -k optie om SSL-verificatie te verwijderen. Als dit werkt, veroorzaakt de firewall een probleem met SSL-certificaten.

Bekijk de SSL-certificaten door de volgende opdracht uit te <workspace-url> voeren, waarbij u de URL voor uw werkruimte vervangt:

openssl s_client -showcerts -connect <workspace-url>:443

De vorige opdracht toont de retourcode en de Azure Databricks-certificaten. Als er een fout wordt geretourneerd, is uw firewall mogelijk onjuist geconfigureerd.

Ssl-problemen zijn geen netwerklaagproblemen. Als u verkeer bij de firewall bekijkt, worden deze SSL-problemen niet weergegeven. Het bekijken van bron- en doelaanvragen werkt zoals verwacht.

Problemen bij het gebruikmaken van uw metastore of rekengebeurtenislogboek, zoals METASTORE_DOWN gebeurtenissen

Probleem: Uw werkruimte lijkt te zijn ingesteld en u kunt berekeningen instellen, maar er zijn METASTORE_DOWN gebeurtenissen in het rekenlogboek of uw metastore lijkt niet te werken.

Aanbevolen oplossing: Controleer of u een WaF (Web Application Firewall) zoals Squid-proxy gebruikt. Rekenleden moeten verbinding maken met verschillende services die niet via een WAF werken.