Uso del modelo para los servicios de Unity AI Gateway

Importante

Esta característica se encuentra en su versión beta. Los administradores de cuentas pueden controlar el acceso a esta característica desde la página Vista previa de la consola de la cuenta. Consulte Administrar versiones preliminares de Azure Databricks.

En esta página se describe cómo supervisar el uso de los servicios de Unity AI Gateway mediante la tabla del sistema de seguimiento de uso.

La tabla de seguimiento de uso captura automáticamente los detalles de solicitud y respuesta de un servicio de modelo, registra métricas esenciales, como el uso de tokens y la latencia. Puede usar los datos de esta tabla para supervisar a los usuarios, realizar un seguimiento de los costos y obtener información sobre el rendimiento y el consumo del servicio del modelo.

El seguimiento de uso también captura las solicitudes a los servicios de modelo proporcionados ai_query por Databricks.

Requirements

Consultar la tabla de uso

Unity AI Gateway registra los datos de uso en la tabla de sistema system.ai_gateway.usage. Puede ver la tabla en la interfaz de usuario o consultar la tabla desde Databricks SQL o un cuaderno.

Nota:

Solo los administradores de cuentas tienen permiso para ver o consultar la system.ai_gateway.usage tabla.

Para ver la tabla en la interfaz de usuario, haga clic en el enlace de la tabla de seguimiento de uso en la página del servicio del modelo para abrir la tabla en Catalog Explorer.

Para consultar la tabla desde Databricks SQL o un cuaderno:

SELECT * FROM system.ai_gateway.usage;

Tip

Genie Code (modo agente) puede hacerlo automáticamente. Pruebe esta indicación de ejemplo:

Query the system.ai_gateway.usage table to analyze AI Gateway usage showing request count and total tokens, grouped by endpoint name for the last 7 days.

Panel de uso integrado

Creación de un panel de uso integrado

Los administradores de cuentas pueden crear un panel integrado de uso de Unity AI Gateway haciendo clic en Crear panel de control en la página de AI Gateway para supervisar el uso, realizar un seguimiento de los costes y obtener información sobre el rendimiento y el consumo de los servicios de modelos. Los administradores de cuentas también pueden actualizar el almacenamiento que se usa para ejecutar consultas de panel, que se aplican a todas las consultas posteriores.

Botón de crear panel

Nota:

La creación del panel está restringida a los administradores de la cuenta porque requiere permisos SELECT sobre la tabla system.ai_gateway.usage. Los datos del panel están sujetos a las directivas de retención de la usage tabla. Vea ¿Qué tablas del sistema están disponibles?.

Cuando haya disponible una versión más reciente del panel de uso integrado, los administradores de cuentas pueden hacer clic en Actualizar en el menú acciones del panel de la página puerta de enlace de AI.

Cuadro de diálogo del panel de actualización de ai-gateway

Puede usar las siguientes opciones de configuración del panel para administrar el panel:

  • Ámbito: seleccione si se va a definir el ámbito del panel a la cuenta o al área de trabajo.
  • Permisos: elija si las consultas se ejecutan mediante los permisos del propietario del panel o los permisos de cada visor. Consulte ¿Qué son los permisos de datos compartidos?.
  • Actualizaciones automáticas: al habilitar esta opción, el panel se actualiza automáticamente cada vez que una versión más reciente está disponible y un administrador de cuentas visita la página ai Gateway.

Opciones del panel de actualización de ai-gateway

Cuando el panel se actualiza a la versión 0.3 o superior, se crea automáticamente una programación para actualizar el panel cada 6 horas. Si es necesario, esta programación se puede deshabilitar en el panel de Lakeview. Consulte Creación de una programación.

Visualización del panel de uso

Para ver el tablero, haga clic en Ver tablero en la página del AI Gateway. El panel integrado tiene visibilidad completa sobre el uso, el rendimiento y el costo del servicio de modelo de Unity AI Gateway. Incluye varias solicitudes de seguimiento de páginas, consumo de tokens, métricas de latencia, tasas de error, desgloses de costos, tráfico externo del servidor MCP y actividad del agente de codificación.

Botón Ver el panel

Panel de uso de ai-gateway

El panel proporciona análisis entre áreas de trabajo de forma predeterminada. Todas las páginas del panel se pueden filtrar por intervalo de fechas e identificador de área de trabajo.

  • Pestaña Información general: muestra métricas de uso de alto nivel, como el volumen diario de solicitudes, las tendencias de uso de tokens a lo largo del tiempo, los principales usuarios por consumo de tokens y el total de recuentos de usuarios únicos. Use esta pestaña para obtener una instantánea rápida de la actividad general de Unity AI Gateway e identificar los usuarios y modelos más activos.
  • Pestaña Rendimiento: realiza un seguimiento de las métricas clave de rendimiento, incluidos los percentiles de latencia (P50, P90, P95, P99), el tiempo hasta el primer byte, las tasas de error y las distribuciones de código de estado HTTP. Utilice esta pestaña para supervisar el estado del servicio del modelo e identificar cuellos de botella del rendimiento o problemas de fiabilidad.
  • Pestaña de uso: muestra desgloses detallados del consumo por servicio de modelos, área de trabajo y usuario solicitante. En esta pestaña se muestran los patrones de uso de tokens, las distribuciones de solicitudes y las relaciones de aciertos de caché.
  • Pestaña de observabilidad de costes: muestra el desglose de costes por servicio del modelo, modelo de destino, usuario, etiquetas de servicio y etiquetas de las solicitudes. Esta pestaña también incluye el costo estimado para los modelos externos. Consulte Supervisión del costo de Unity AI Gateway.
  • Pestaña del servidor MCP externo: Muestra el volumen de solicitudes, las tasas de error, los usuarios y las conexiones, y las tendencias diarias de uso del tráfico de servidores MCP externos.
  • Pestaña Agentes de codificación: supervisa la actividad de los agentes de codificación integrados, como Cursor, Claude Code, Gemini CLI y Codex CLI. En esta pestaña se muestran métricas como días activos, sesiones de codificación, confirmaciones y líneas de código agregadas o eliminadas para supervisar el uso de las herramientas para desarrolladores. Consulte El panel del agente de codificación para obtener más detalles.

Esquema de tabla de uso

La system.ai_gateway.usage tabla tiene el esquema siguiente:

Nombre de la columna Tipo Descripción Example
account_id STRING El identificador de cuenta. 11d77e21-5e05-4196-af72-423257f74974
workspace_id STRING El identificador del área de trabajo. 1653573648247579
request_id STRING Identificador único de la solicitud. b4a47a30-0e18-4ae3-9a7f-29bcb07e0f00
invocation_id STRING Identificador único para cada llamada de inferencia individual. Varias invocaciones pueden compartir el mismo request_id, como comprobaciones de salvaguardas o llamadas a agentes de varios turnos. Use invocation_id para distinguirlos. c0a8012e-9f3b-4d21-8a7e-1b2c3d4e5f60
schema_version INTEGER Versión del esquema del registro de uso. 1
endpoint_id STRING El identificador único del servicio del modelo de Unity AI Gateway. 43addf89-d802-3ca2-bd54-fe4d2a60d58a
endpoint_name STRING Nombre del servicio de modelo unity AI Gateway. databricks-gpt-5-2
endpoint_tags MAP Etiquetas configuradas en el servicio del modelo en el momento de la creación o de la actualización. Se aplican a todas las solicitudes al servicio de modelo y son útiles para clasificar los servicios por equipo, centro de costos o proyecto. {"team": "engineering"}
endpoint_metadata ESTRUCTURA Metadatos del servicio del modelo, incluidos creator, creation_time, last_updated_time, destinations, inference_table y fallbacks. {"creator": "user.name@email.com", "creation_time": "2026-01-06T12:00:00.000Z", ...}
event_time TIMESTAMP Marca de tiempo cuando se recibió la solicitud. 2026-01-20T19:48:08.000+00:00
latency_ms LONG Latencia total en milisegundos. 300
time_to_first_byte_ms LONG El tiempo de primer byte en milisegundos. 300
destination_type STRING Tipo de destino (por ejemplo, modelo externo o modelo de base). PAY_PER_TOKEN_FOUNDATION_MODEL
destination_name STRING Nombre del modelo o proveedor de destino. databricks-gpt-5-2
destination_id STRING Identificador único del destino. 507e7456151b3cc89e05ff48161efb87
destination_model STRING Modelo específico que se usa para la solicitud. GPT-5.2
requester STRING Identificador del usuario o la entidad de servicio que realizó la solicitud. user.name@email.com
requester_type STRING Tipo de solicitante (usuario, entidad de servicio o grupo de usuarios). USER
ip_address STRING Dirección IP del solicitante. 1.2.3.4
url STRING Dirección URL de la solicitud. https://<workspace-url>/ai-gateway/mlflow/v1/chat/completions
user_agent STRING Agente de usuario del solicitante. OpenAI/Python 2.13.0
api_type STRING Tipo de llamada API (por ejemplo, chat, finalizaciones o incrustaciones). mlflow/v1/chat/completions
request_tags MAP Etiquetas proporcionadas por el usuario que se envían con solicitudes individuales mediante el encabezado HTTP Databricks-Ai-Gateway-Request-Tags. Use etiquetas de solicitud para atribuir el uso a proyectos, equipos, entornos o usuarios finales específicos. Consulte Solicitudes de etiquetas para el seguimiento de uso y Solicitudes de etiquetas para el seguimiento de uso. {"project": "chatbot", "team": "ml-platform"}
invocation_metadata ESTRUCTURA Metadatos generados por el sistema sobre la llamada de inferencia. Contiene source, el servicio o la ruta de acceso que inició la llamada. {"source": "EXTERNAL_CLIENT"}
input_tokens LONG Número de tokens de entrada. 100
output_tokens LONG Número de tokens de salida. 100
total_tokens LONG Número total de tokens (entrada y salida). 200
token_details ESTRUCTURA Desglose detallado del token, incluidos cache_read_input_tokens, cache_creation_input_tokensy output_reasoning_tokens. {"cache_read_input_tokens": 100, ...}
response_content_type STRING Tipo de contenido de la respuesta. application/json
status_code INT Código de estado HTTP de la respuesta. 200
routing_information ESTRUCTURA Detalles de enrutamiento de los intentos de contingencia. Contiene una attempts matriz con priority, , actiondestinationdestination_idstatus_codeerror_codelatency_ms, , , start_timey end_time para cada modelo probado durante la solicitud. {"attempts": [{"priority": "1", ...}]}

Solicitudes de etiquetas para el seguimiento de uso

Las etiquetas de solicitud son pares clave-valor personalizados que el autor de la llamada adjunta a solicitudes individuales. Use etiquetas de solicitud para atribuir el uso por proyecto, equipo, entorno, usuario final o cualquier otra dimensión relevante para su organización. Las etiquetas de solicitud se registran en la system.ai_gateway.usage tabla y se pueden usar para filtrar, agregar y analizar los datos de uso.

Para etiquetar solicitudes individuales, incluya la cabecera HTTP Databricks-Ai-Gateway-Request-Tags con un objeto JSON que asigna claves de cadena a valores de cadena. Las etiquetas de solicitud se registran en la request_tags columna de la tabla de uso y las tablas de inferencia.

Para obtener ejemplos que muestran cómo establecer etiquetas de solicitud con la API REST, el SDK de OpenAI y el SDK de Anthropic, consulte Tag requests for usage tracking.

Por ejemplo, puede agregar el uso por proyecto mediante etiquetas de solicitud:

SELECT
  request_tags['project'] AS project,
  COUNT(*) AS request_count,
  SUM(total_tokens) AS total_tokens
FROM system.ai_gateway.usage
WHERE request_tags['project'] IS NOT NULL
GROUP BY request_tags['project']
ORDER BY total_tokens DESC;

Recursos adicionales

  • Last updated on