Almacenes de vectores en Azure Machine Learning (versión preliminar)

En este artículo se describen los almacenes de vectores en Azure Machine Learning que puede usar para realizar la generación aumentada de recuperación (RAG). Un almacén de vectores contiene incrustaciones, que son representaciones numéricas de conceptos (datos) convertidas en secuencias numéricas. Las incrustaciones permiten a los modelos de lenguaje grandes (LLM) comprender las relaciones entre conceptos. Puede crear almacenes de vectores para conectar los datos con VM como GPT-4 y recuperar datos de forma eficaz.

Azure Machine Learning admite dos almacenes de vectores que contienen los datos complementarios usados en un flujo de trabajo RAG:

En las secciones siguientes se exploran las consideraciones para trabajar con estos almacenes de vectores.

Biblioteca Faiss

Faiss es una biblioteca código abierto que proporciona un almacén basado en archivos local. El índice de vectores se almacena en la cuenta de almacenamiento de Azure del área de trabajo de Azure Machine Learning. Para trabajar con Faiss, descargue la biblioteca y úsela como componente de la solución. Dado que el índice se almacena localmente, los costos son mínimos.

Puede usar la biblioteca Faiss como almacén de vectores para realizar las siguientes acciones:

• Almacenar datos vectoriales localmente sin costos para crear un índice (solo se aplican los costos de almacenamiento)

• Compilar y consulta de un índice en memoria

• Compartir copias para uso individual y configurar el hospedaje del índice para una aplicación

• Escalado con proceso subyacente al cargar el índice

Azure AI Search

Azure AI Search es un recurso paaS de Azure dedicado que se crea en una suscripción de Azure. El recurso de Azure admite la recuperación de información sobre los datos vectoriales y textuales almacenados en los índices de búsqueda. Un flujo de avisos puede crear, rellenar y consultar los datos vectoriales almacenados en Azure AI Search. Un único servicio de búsqueda puede hospedar muchos índices, que se pueden consultar y usar en un patrón RAG.

Estos son los puntos clave sobre el uso de Azure AI Search para el almacén de vectores:

• Admite los requisitos empresariales de nivel empresarial para la escala, la seguridad y la disponibilidad.

• Proporciona recuperación de información híbrida. Los datos vectoriales pueden coexistir con datos son vectoriales, por lo que se puede usar cualquiera de las características de Azure AI Search para la indexación y las consultas, incluida la búsqueda híbrida y la reclasificación semántica.

• La compatibilidad con vectores está en versión preliminar. Actualmente, los vectores se deben generar externamente y, después, pasarlos a Azure AI Search para la indexación y codificación de consultas. El flujo de mensajes controla estas transiciones automáticamente.

Para usar Azure AI Search como almacén de vectores para Azure Machine Learning, debe tener un servicio de búsqueda. Una vez que el servicio exista y conceda acceso a los desarrolladores, puede elegir Azure AI Search como índice vectorial en un flujo de solicitud. El flujo de aviso crea el índice en Azure AI Search, genera vectores de los datos de origen, envía los vectores al índice, invoca la búsqueda de similitud en Azure AI Search y devuelve la respuesta.

Contenido relacionado

• Creación de un índice vectorial en el flujo de mensajes de Azure Machine Learning (versión preliminar)
• Vectores de Búsqueda de Azure AI