Modelos personalizados de Document Intelligence

Este contenido se aplica a:v4.0 (GA) | Versiones anteriores:v3.1 (GA)v3.0 (retirada)v2.1 (retirada)

Este contenido se aplica a:v3.1 (GA) | Versión más reciente:v4.0 (GA) | Versiones anteriores:v3.0v2.1

Este contenido se aplica a:v3.0 (retirada) | Versiones más recientes:v4.0 (GA)v3.1 | Versión anterior:v2.1 (retirada)

Este contenido se aplica a:v2.1 | Versión más reciente:v4.0 (GA)

Tipos de modelo de documento personalizados

Los modelos de documentos personalizados pueden ser de dos tipos: plantilla personalizada o formulario personalizado, y modelos neuronales personalizados o modelos de documentos personalizados. El proceso de etiquetado y entrenamiento de ambos modelos es idéntico, pero los modelos difieren de la siguiente manera:

Modelos de extracción personalizados

Para crear un modelo de extracción personalizado, etiquete un conjunto de datos de documentos con los valores que desea extraer y entrenar el modelo en el conjunto de datos etiquetado. Solo necesita cinco ejemplos del mismo tipo de formulario o documento para empezar.

Modelo neuronal personalizado

El modelo neuronal personalizado (documento personalizado) usa modelos de aprendizaje profundo y modelo base entrenado en una gran colección de documentos. A continuación, este modelo se ajusta o se adapta a los datos al entrenar el modelo con un conjunto de datos etiquetado. Los modelos neuronales personalizados admiten la extracción de campos de datos clave de documentos estructurados, semiestructurados y no estructurados. Al elegir entre los dos tipos de modelo, comience con un modelo neuronal para determinar si satisface sus necesidades funcionales. Con V4.0, el modelo neuronal personalizado admite la detección de firmas, la confianza en el reconocimiento de tablas y los campos superpuestos. Consulte modelos neuronales para obtener más información sobre los modelos de documentos personalizados.

Modelo de plantilla personalizada

La plantilla personalizada o el modelo de formulario personalizado se basa en una plantilla visual coherente para extraer los datos etiquetados. Las variaciones en la estructura visual de los documentos afectan a la precisión del modelo. Las formas estructuradas, como cuestionarios o aplicaciones, son ejemplos de plantillas visuales coherentes.

El conjunto de entrenamiento consta de documentos estructurados en los que el formato y el diseño son estáticos y constantes de una instancia de documento a la siguiente. Los modelos de plantilla personalizados admiten pares clave-valor, marcas de selección, tablas, campos de firma y regiones. Los modelos de plantilla se pueden entrenar en documentos en cualquiera de los idiomas admitidos. Para obtener más información, consulteModelos de plantilla personalizados.

Si el lenguaje de los escenarios de documentos y extracción admite modelos neuronales personalizados, se recomienda usar modelos neuronales personalizados a través de modelos de plantilla para una mayor precisión.

Requisitos de entrada

• Para obtener los mejores resultados, proporcione una foto clara o un escaneo de alta calidad por cada documento.

• Formatos de archivo admitidos:

  Modelo	PDF	Imagen: jpeg/jpg, png, bmp, , tiff, heif	Microsoft Office: Word (docx), Excel (xlsx), PowerPoint (pptx)
  Lectura	✔	✔	✔
  Diseño	✔	✔	✔
  Documento general	✔	✔
  Prefabricado	✔	✔
  Extracción personalizada	✔	✔
  Clasificación personalizada	✔	✔	✔

  ✱ archivos Microsoft Office no se admiten actualmente para otros modelos o versiones.

• Para PDF y TIFF, se pueden procesar hasta 2000 páginas (con una suscripción de nivel gratis, solo se procesan las dos primeras páginas).

• El tamaño de archivo para analizar documentos es 500 MB para el nivel de pago (S0) y 4 MB para el nivel gratis (F0).

• Las dimensiones de imagen deben estar entre 50 x 50 píxeles y 10 000 píxeles x 10 000 píxeles.

• Si los archivos PDF están bloqueados con contraseña, debe quitar el bloqueo antes del envío.

• El alto mínimo del texto que se va a extraer es de 12 píxeles para una imagen de 1024 x 768 píxeles. Esta dimensión se corresponde a aproximadamente con texto de 8 puntos a 150 puntos por pulgada.

• Para el entrenamiento de modelos personalizados, el número máximo de páginas para los datos de entrenamiento es 500 para el modelo de plantilla personalizado y 50 000 para el modelo neuronal personalizado.

• Para el entrenamiento del modelo de extracción personalizado, el tamaño total de los datos de entrenamiento es 50 MB para el modelo de plantilla y 1 GB para el modelo neuronal.

• Para el entrenamiento del modelo de clasificación personalizada, el tamaño total de los datos de entrenamiento es 1 GB con un máximo de 10 000 páginas.

Datos de entrenamiento óptimos

Los datos de entrada de entrenamiento son la base de cualquier modelo de aprendizaje automático. Determina la calidad, la precisión y el rendimiento del modelo. Por lo tanto, es fundamental crear los mejores datos de entrada de entrenamiento posibles para el proyecto de Document Intelligence. Cuando se usa el modelo personalizado de Document Intelligence, se proporcionan sus propios datos de entrenamiento. Estas son algunas sugerencias para ayudar a entrenar los modelos de forma eficaz:

• Use archivos PDF basados en texto en lugar de archivos PDF basados en imágenes siempre que sea posible. Una manera de identificar un PDF basado en imágenes es intentar seleccionar texto específico en el documento. Si solo puede seleccionar toda la imagen del texto, el documento se basa en imágenes, no en texto.

• Organice los documentos de entrenamiento mediante una subcarpeta para cada formato (JPEG/JPG, PNG, BMP, PDF o TIFF).

• Use formularios que tengan completados todos los campos disponibles.

• Use formularios con valores diferentes en cada campo.

• Use un conjunto de datos mayor (más de cinco documentos de entrenamiento) si las imágenes son de baja calidad.

• Determine si necesita usar un único modelo o varios modelos compuestos en un solo modelo.

• Considere la posibilidad de segmentar el conjunto de datos en carpetas, donde cada carpeta es una plantilla única. Entrene un modelo para cada carpeta y componga los modelos resultantes en un único extremo. La precisión del modelo puede disminuir cuando tiene distintos formatos analizados con un único modelo.

• Considere la posibilidad de segmentar el conjunto de datos para entrenar varios modelos si el formulario tiene variaciones con formatos y saltos de página. Los formularios personalizados se basan en una plantilla visual coherente.

• Asegúrese de que tiene un conjunto de datos equilibrado teniendo en cuenta los formatos, los tipos de documento y la estructura.

Modo de construcción

La operación build custom model agrega compatibilidad con los modelos personalizados de plantilla y neuronales. Las versiones anteriores de la API REST y las bibliotecas cliente solo admitía un modo de compilación único que ahora se conoce como modo de plantilla .

• Los modelos de plantilla solo aceptan documentos que tienen la misma estructura de página básica (una apariencia visual uniforme) o el mismo posicionamiento relativo de los elementos del documento.

• Los modelos neuronales admiten documentos que tienen la misma información, pero estructuras de página diferentes. Entre los ejemplos de estos documentos se incluyen formularios Estados Unidos W2, que comparten la misma información, pero varían en apariencia entre empresas.

En esta tabla se proporcionan vínculos a las referencias y ejemplos de código del SDK del lenguaje de programación del modo de compilación en GitHub:

Comparación de las características del modelo

En la tabla siguiente se comparan las características neuronales personalizadas y las plantillas personalizadas:

*-El tiempo de entrenamiento predeterminado es de 30 minutos, habilita el entrenamiento de pago para entrenar un modelo por más de 30 minutos. Consulte más detalles en compatibilidad de entrenamiento con neuronal personalizado.

Modelo de clasificación personalizado

La clasificación de documentos es un nuevo escenario admitido por Document Intelligence con la 2023-07-31 API de disponibilidad general (v3.1). La API clasificadora de documentos admite escenarios de clasificación y división. Entrene un modelo de clasificación para identificar los distintos tipos de documentos que admite la aplicación. El archivo de entrada del modelo de clasificación puede contener varios documentos y clasifica cada documento dentro de un intervalo de páginas asociado. Para más información, consulteModelos de clasificación personalizados .

Herramientas de modelo personalizadas

Documento de inteligencia v3.1 y modelos posteriores son compatibles con las siguientes herramientas, aplicaciones y bibliotecas, programas y bibliotecas:

Ciclo de vida del modelo personalizado

El ciclo de vida de un modelo personalizado depende de la versión de API que se usa para entrenarlo. Si la versión de la API es una versión de disponibilidad general (GA), el modelo personalizado tiene el mismo ciclo de vida que esa versión. El modelo personalizado no está disponible para la inferencia cuando la versión de la API está en desuso. Si la versión de la API es una versión preliminar, el modelo personalizado tiene el mismo ciclo de vida que la versión preliminar de la API.

Document Intelligence v2.1 admite las siguientes herramientas, aplicaciones y bibliotecas:

Herramienta de etiquetado de ejemplo

• La herramienta de etiquetado de ejemplos de Inteligencia de Documentos es una herramienta de código abierto que le permite probar las funciones más recientes de la Inteligencia de Documentos y las características de Reconocimiento Óptico de Caracteres (OCR).

• Pruebe el inicio rápido de la herramienta de etiquetado de muestra para empezar a construir y usar un modelo personalizado.

Document Intelligence Studio

1. En la página principal de Document Intelligence Studio , seleccione Modelos de extracción personalizados.

2. En Mis proyectos, seleccione Crear un proyecto.

3. Complete los campos de detalles del proyecto.

4. Para configurar el recurso del servicio, agregue la cuenta de almacenamiento y el contenedor de blobs para conectar el origen de datos de entrenamiento.

5. Revise y cree el proyecto.

6. Agregue los documentos de ejemplo para etiquetar, compilar y probar el modelo personalizado.

Para obtener un tutorial detallado para crear el primer modelo de extracción personalizado, consulteCreación de un modelo de extracción personalizado.

Resumen de extracción de modelos personalizados

En esta tabla se comparan las áreas de extracción de datos admitidas:

Símbolos de tabla:
✔—Compatible
**n/a: actualmente no disponible;
*-Se comporta de forma diferente en función del modelo. Con los modelos de plantilla, los datos sintéticos se generan en tiempo de entrenamiento. Con los modelos neuronales, se selecciona el texto existente reconocido en la región.

• Pruebe a procesar sus propios formularios y documentos con la Herramienta de etiquetado de ejemplo de Inteligencia de documentos.

• Complete un inicio rápido de Document Intelligence y empiece a crear una aplicación de procesamiento de documentos en el lenguaje de desarrollo que prefiera.

• Pruebe a procesar sus propios formularios y documentos con Document Intelligence Studio.

• Complete un inicio rápido de Document Intelligence y empiece a crear una aplicación de procesamiento de documentos en el lenguaje de desarrollo que prefiera.