Remarque
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de vous connecter ou de modifier des répertoires.
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de modifier des répertoires.
Important
Les mises à niveau automatiques pour les schémas existants sont en préversion publique. Pour vous inscrire, remplissez ce formulaire avec votre ID de compte. Aucune modification du code ou configuration supplémentaire n’est requise après l’inscription.
Les mises à niveau automatiques pour les nouveaux schémas sont généralement disponibles.
Pour les tables managées du catalogue Unity, Databricks les met automatiquement à niveau pour utiliser des fonctionnalités recommandées en disponibilité générale sans nécessiter de modifications de code ou d’instructions manuelles ALTER TABLE . Les mises à niveau automatiques vérifient également que les clients sont compatibles avant d’activer de nouvelles fonctionnalités.
Les mises à niveau automatiques offrent les avantages suivants :
- Réduisez les efforts d’administration nécessaires pour valider les exigences de compatibilité individuelles pour chaque table et combinaison de fonctionnalités dans vos espaces de travail. Cela est particulièrement utile si vous avez des catalogues avec des milliers de tables.
- Bénéficiez automatiquement des dernières améliorations des performances et de la fiabilité sur vos tables managées.
- Mettez les tables à jour en toute sécurité. Les mises à niveau automatiques activent uniquement les fonctionnalités après avoir vérifié la compatibilité de la charge de travail.
Fonctionnement des mises à niveau automatiques
Les mises à niveau automatiques surveillent les modèles d’accès du catalogue Unity aux niveaux de la table et du schéma et utilisent une fenêtre d’observation pour vérifier que les modèles d’accès sont compatibles avant d’activer n’importe quelle fonctionnalité. La fenêtre d’observation est de 50 jours pour les fonctionnalités en préversion publique et 100 jours pour les fonctionnalités généralement disponibles.
Les mises à niveau automatiques utilisent le calcul serverless pour mettre à niveau les tables en arrière-plan.
Schémas et tables
Le comportement des mises à niveau automatiques varie selon que les schémas et les tables existaient avant d’activer les mises à niveau automatiques. Le tableau suivant fournit plus de détails :
| Schema | Table | Comportement |
|---|---|---|
| Nouveau | Nouveau | Les mises à niveau automatiques définissent les valeurs par défaut au niveau du schéma au moment de la création afin que les tables héritent immédiatement de toutes les fonctionnalités prises en charge sans période d’observation. |
| Actuel | Nouveau | Les mises à niveau automatiques activent une fonctionnalité si la table n’a été consultée que par des charges de travail vérifiées pendant la fenêtre d’observation. Sinon, si une seule charge de travail non vérifiée a accédé à la table, les mises à niveau automatiques ignorent la table. Consultez les charges de travail vérifiées. |
| Actuel | Actuel | Les mises à niveau automatiques activent une fonctionnalité lorsque toutes les valeurs suivantes sont remplies :
|
Charges de travail vérifiées
Une charge de travail est considérée comme vérifiée pour une fonctionnalité spécifique si elle a accédé à la table à partir d’un cluster Databricks avec une version Databricks Runtime à ou au-dessus de la version minimale requise de la fonctionnalité.
Les mises à niveau automatiques prennent en compte les charges de travail suivantes non vérifiées :
- Clients externes et services tiers tels que Flink ou Presto. Consultez les intégrations du catalogue Unity.
- services Azure Databricks avec accès direct aux tables, comme Zerobus, qui contournent les modèles d’accès standard de Databricks Runtime. Consultez la vue d’ensemble du connecteur d’ingestion Zerobus.
Si une table d’un schéma a été accessible dans la fenêtre d’observation par une version Databricks Runtime inférieure à la version minimale requise de la fonctionnalité ou par un client externe, les mises à niveau automatiques n’activent pas la fonctionnalité correspondante sur une table de ce schéma.
Fonctionnalités prises en charge
Les mises à niveau automatiques activent automatiquement les fonctionnalités en disponibilité générale. Toutefois, les mises à niveau n’activent pas les fonctionnalités de la préversion publique, sauf si vous vous inscrivez dans la préversion.
Les mises à niveau automatiques prennent en charge les fonctionnalités suivantes :
| Fonctionnalité | Qu’est-ce que cela fait ? | État de la version | Version minimale de Databricks Runtime compatible |
|---|---|---|---|
| Flux automatique de données des modifications | Génère des données de modification au niveau des lignes pour les tables Delta Lake et Apache Iceberg gérées sans configuration manuelle. Disponible sur n’importe quelle table avec suivi des lignes activé. Consultez les API AUTO CDC : Simplifiez la capture de données modifiées avec des pipelines. | Aperçu public pour toutes les tables de tous les schémas. | 18 |
| Clustering automatique de liquides | Organise automatiquement les données de table en fonction de colonnes fréquemment interrogées pour améliorer les performances des requêtes sans partitionnement manuel. | Généralement disponible pour les nouvelles tables dans de nouveaux schémas. Préversion publique des nouvelles tables dans les schémas existants. Les mises à niveau automatiques pour cette fonctionnalité ignorent les tables existantes. | 13.3 LTS |
| Commits du catalogue | Centralise les opérations de validation dans Unity Catalog afin de permettre les transactions multi-tables, d’améliorer l’interopérabilité pour les écritures externes et d’appliquer des stratégies de gouvernance sur différents moteurs. | Aperçu public pour toutes les tables de tous les schémas. | 16.4 LTS |
| Point de contrôle V2 | Permet à Delta Lake de prendre en charge un plus grand nombre de processus d’écriture simultanés et réduit les conflits d’écriture sur les tables volumineuses ou fréquemment mises à jour. | Généralement disponible pour les nouvelles tables dans de nouveaux schémas. Version préliminaire publique pour toutes les tables de tous les schémas existants. | 13.3 LTS |
| Mappage de colonnes | Vous permet de renommer et de supprimer des colonnes sans réécriture de données. | Aperçu public pour toutes les tables de tous les schémas. | 15.4 LTS |
| Suivi des lignes | Gère les ID de ligne masqués pour le traitement incrémentiel. Lorsque le suivi des lignes est activé, le flux automatique de données de modification est automatiquement disponible. | Généralement disponible pour les nouvelles tables dans de nouveaux schémas. Version préliminaire publique pour toutes les tables de tous les schémas existants. | 14.3 LTS |
La disponibilité des fonctionnalités peut différer selon la région.
Requirements
- Le calcul serverless doit être disponible dans votre région.
- Les tables doivent être des tables gérées par le catalogue Unity dans les formats Delta Lake ou Apache Iceberg.
Observer les fonctionnalités activées
Pour vérifier si les mises à niveau automatiques ont activé une fonctionnalité sur une table, recherchez une SET TBLPROPERTIES opération dans l’onglet Historique de l’Explorateur de catalogues ou utilisez DESCRIBE HISTORY <table_name>. Si les mises à niveau automatiques ont effectué l’opération, le champ nom d’utilisateur affiche une valeur de hachage au lieu d’un nom d’utilisateur, tel que 4d137f29-62. Voir Qu’est-ce que l’Explorateur de catalogues ? et afficher l’historique des tables.
Une fois les mises à niveau automatiques activées sur les fonctionnalités des tables d’un nouveau schéma, affichez les valeurs par défaut du schéma sous l’onglet Propriétés de l’Explorateur de catalogues. Par exemple, un schéma avec suivi de lignes activé affiche une propriété telle que catalog.schema.enableRowTracking: "true". Les schémas existants n’ont pas de propriétés d’observabilité des mises à niveau automatiques.
Gérer les fonctionnalités recommandées
Les administrateurs peuvent gérer le comportement et les opérations des mises à niveau avec différents contrôles.
Annuler les changements
Permet RESTORE de rétablir les données et les métadonnées d’une table vers une version avant que la fonctionnalité n’ait été activée :
RESTORE TABLE <table_name> TO VERSION AS OF <version>;
RESTORE TABLE <table_name> TO TIMESTAMP AS OF <timestamp>;
Pour plus d’informations sur l’historique des tables et la restauration, consultez Restaurer une table à un état antérieur .
Désactiver les fonctionnalités des tables
Pour désactiver une fonctionnalité sur une table individuelle :
ALTER TABLE <table_name> DROP FEATURE <feature_name>
Les mises à niveau automatiques n’activent pas à nouveau une fonctionnalité une fois que vous l’avez désactivée manuellement.
Limitations
- Les tables partagées par Delta Lake Sharing, à la fois Databricks-to-Open et Databricks-to-Databricks, sont exclues des mises à niveau automatiques. Voir Qu’est-ce qu’OpenSharing ?.
- Les mises à niveau automatiques ne disposent pas d’un mécanisme de restauration groupée permettant de désactiver une fonctionnalité pour l’ensemble des tables au sein d’un compte. Consultez Gérer les mises à niveau automatiques recommandées.
- Les vues matérialisées et les tables en flux continu ne sont pas prises en charge.
- Les charges de travail qui contournent le catalogue Unity et accèdent directement aux tables par chemin d’accès ne sont pas suivies par des mises à niveau automatiques. Si vos charges de travail utilisent l’accès par chemin, contactez votre équipe de compte pour discuter de la compatibilité.
- Les tables externes sont généralement accessibles par chemin de fichier, en contournant Unity Catalog, avec des charges de travail sans validation de la part de clients externes. Le catalogue Unity ne peut pas suivre de manière fiable ces modèles d’accès. Les tables externes sont donc exclues des mises à niveau automatiques. Consultez Utiliser des tables externes.