¿Qué es Unity Catalog?

Unity Catalog es la capa de gobernanza unificada integrada en Azure Databricks. Cuando se habilita para un espacio de trabajo, Unity Catalog opera automáticamente de forma subyacente en cada interacción con los datos de sus espacios de trabajo: aplica el control de acceso cuando consulta una tabla, rastrea el linaje a medida que se mueven los datos, registra la actividad para auditoría y mucho más. Trabaja con los objetos que Unity Catalog administra mediante Catalog Explorer, SQL, la CLI de Azure Databricks y las API de REST.

El catálogo de Unity se habilita automáticamente para todas las áreas de trabajo de Azure Databricks creadas después del 9 de noviembre de 2023.

El Unity Catalog también está disponible como una implementación de código abierto. Consulte el blog de anuncios y el repositorio de GitHub público de Unity Catalog.

El modelo de objetos de Unity Catalog

Cada recurso que rige en el catálogo de Unity se modela como un objeto protegible, un objeto en el que puede conceder permisos a usuarios, entidades de servicio o grupos. Los recursos de datos, como tablas, vistas, volúmenes, funciones y modelos, siguen un espacio de nombres de tres niveles (catalog.schema.object). Las tablas y volúmenes se pueden administrar, donde Unity Catalog controla tanto la gobernanza como el ciclo de vida de almacenamiento de archivos subyacente, o externo, donde Unity Catalog solo controla la gobernanza. Otros objetos, como las credenciales de almacenamiento, las ubicaciones externas, las conexiones y los recursos compartidos, se encuentran directamente bajo el metastore.

Diagrama del modelo de objetos de Catálogo de Unity

En las páginas siguientes se explican los conceptos y flujos de trabajo principales del catálogo de Unity con más detalle.

Tema Description
Objetos protegibles Obtenga información sobre cada tipo de objeto en la jerarquía del catálogo de Unity y cómo se aplican los permisos a ellos.
Recursos administrados frente a externos Comprenda la diferencia entre las tablas y volúmenes administrados y externos, y cuándo usar cada uno.
Requisitos y limitaciones Revise los requisitos de proceso, los formatos de archivo admitidos, las restricciones de nomenclatura y las limitaciones conocidas.

Funcionalidades del catálogo de Unity

Unity Catalog proporciona herramientas integradas para gobernar cada dimensión de los datos y el entorno de inteligencia artificial. En los temas siguientes se tratan las principales áreas de funcionalidad.

Tema Description
Control de acceso Gestione quién puede acceder a qué mediante privilegios, políticas basadas en atributos, filtros de filas y columnas, y asociaciones de espacios de trabajo.
Detección de datos Interactúe con objetos protegibles mediante el Explorador de catálogos, la interfaz de usuario de Azure Databricks para detectar y administrar datos y recursos de IA registrados en el catálogo de Unity.
Linaje de datos Rastree automáticamente cómo fluyen los datos y cómo se transforman desde el origen hasta las vistas y los paneles finales.
Auditing Mantenga un registro completo de todo el acceso a datos y la actividad del sistema mediante la tabla del sistema de registro de auditoría.
Clasificación de datos Clasifique y etiquete automáticamente datos confidenciales en el catálogo.
Supervisión de la calidad de los datos Realice un seguimiento proactivo del estado de los datos con generación de perfiles integrada y alertas que detecten anomalías antes de llegar a los consumidores de nivel inferior.
Uso compartido de datos Comparta de forma segura los datos activos y los recursos de inteligencia artificial en organizaciones y nubes mediante el protocolo de uso compartido delta abierto.
Gobernanza de inteligencia artificial Controlar los recursos de inteligencia artificial y el tráfico de IA mediante unity Catalog y AI Gateway.

Comenzar

Los siguientes recursos le ayudarán a empezar a trabajar con el catálogo de Unity. Si el área de trabajo se creó después del 9 de noviembre de 2023, se habilitó automáticamente con Unity Catalog.

Tema Description
Introducción al catálogo de Unity Compruebe si el catálogo de Unity ya está habilitado para el área de trabajo y configure los primeros controles de acceso a datos, esquemas y catálogos.
Actualización a Unity Catalog Obtenga información sobre cómo actualizar un área de trabajo que aún no usa el catálogo de Unity.

Recursos adicionales

  • Last updated on