Modelos personalizados de Inteligência de Documentos

Este conteúdo aplica-se a:v4.0 (GA) | Versões anteriores:v3.1 (GA)v3.0 (em retirada)v2.1 (em retirada)

Este conteúdo aplica-se a:v3.1 (GA) | Última versão:v4.0 (GA) | Versões anteriores:v3.0v2.1

Este conteúdo aplica-se a:v3.0 (em descontinuação) | Últimas versões:v4.0 (GA)v3.1 | Versão anterior:v2.1 (em descontinuação)

Este conteúdo aplica-se a:v2.1 | Última versão:v4.0 (GA)

Tipos personalizados de modelos de documentos

Os modelos de documentos personalizados podem ser de dois tipos: modelo personalizado ou formulário personalizado e modelos neurais ou de documentos personalizados. O processo de rotulagem e treino para ambos os modelos é idêntico, mas os modelos diferem da seguinte forma:

Modelos de extração personalizados

Para criar um modelo de extração personalizado, rotule um conjunto de dados de documentos com os valores que pretende extrair e treine o modelo no conjunto de dados rotulado. Só precisas de cinco exemplos do mesmo formulário ou tipo de documento para começar.

Modelo neural personalizado

O modelo neural personalizado (documento personalizado) utiliza modelos de deep learning e modelo base treinados numa grande coleção de documentos. Este modelo é então ajustado ou adaptado aos seus dados quando treina o modelo com um conjunto de dados rotulado. Modelos neurais personalizados suportam a extração de campos-chave de dados de documentos estruturados, semi-estruturados e não estruturados. Quando escolher entre os dois tipos de modelo, comece por um modelo neural para determinar se satisfaz as suas necessidades funcionais. Com a V4.0, o modelo neural personalizado suporta deteção de assinatura, nível de confiança na tabela e campos sobrepostos. Consulte modelos neurais para saber mais sobre modelos personalizados de documentos.

Modelo personalizado

O modelo personalizado ou modelo de formulário personalizado depende de um modelo visual consistente para extrair os dados rotulados. As variações na estrutura visual dos seus documentos afetam a precisão do seu modelo. Formulários estruturados, como questionários ou candidaturas, são exemplos de modelos visuais consistentes.

O teu conjunto de treino consiste em documentos estruturados onde a formatação e o layout são estáticos e constantes de uma instância de documento para outra. Modelos de templates personalizados suportam pares chave-valor, marcas de seleção, tabelas, campos de assinatura e regiões. Modelos template podem ser treinados em documentos em qualquer das linguagens suportadas. Para mais informações, consultemodelos personalizados de templates.

Se a linguagem dos seus documentos e cenários de extração suportar modelos neurais personalizados, recomendamos que utilize modelos neurais personalizados em vez de modelos template para maior precisão.

Requisitos de entrada

• Para melhores resultados, forneça uma fotografia clara ou uma digitalização de alta qualidade por documento.

• Formatos de ficheiro suportados:

  Modelo	PDF	Imagem: jpeg/jpg, png, bmp, tiff, heif	Microsoft Office: Word (docx), Excel (xlsx), PowerPoint (pptx)
  Leia	✔	✔	✔
  Disposição	✔	✔	✔
  Documento Geral	✔	✔
  Pré-fabricado	✔	✔
  Extração personalizada	✔	✔
  Classificação personalizada	✔	✔	✔

  ✱ Os ficheiros do Microsoft Office atualmente não são suportados para outros modelos ou versões.

• Para PDF e TIFF, podem ser processadas até 2.000 páginas (com uma subscrição gratuita, apenas as duas primeiras páginas são processadas).

• O tamanho do ficheiro para análise de documentos é 500 MB para o nível pago (S0) e 4 MB para o nível gratuito (F0).

• As dimensões da imagem devem estar entre 50 x 50 pixels e 10.000 pixels x 10.000 pixels.

• Se os seus PDFs estiverem bloqueados por palavra-passe, deve remover o bloqueio antes de submeter.

• A altura mínima do texto a extrair é de 12 píxeis para uma imagem de 1024 x 768 píxeis. Esta dimensão corresponde a um texto de cerca de 8 pontos a 150 pontos por polegada.

• Para a formação de modelos personalizados, o número máximo de páginas para dados de treino é 500 para o modelo personalizado e 50.000 para o modelo neural personalizado.

• Para o treino de modelos de extração personalizados, o tamanho total dos dados de treino é 50 MB para o modelo de template e 1 GB para o modelo neural.

• Para o treinamento de modelos de classificação personalizados, o tamanho total dos dados de treino é 1 GB de um máximo de 10.000 páginas.

Dados de treino ótimos

Os dados de entrada de treino são a base de qualquer modelo de aprendizagem automática. Determina a qualidade, precisão e desempenho do modelo. Por isso, é crucial criar os melhores dados de entrada de treino possíveis para o seu projeto de Inteligência Documental. Quando utiliza o modelo personalizado de Document Intelligence, fornece os seus próprios dados de treino. Aqui ficam algumas dicas para ajudar a treinar os seus modelos de forma eficaz:

• Use PDFs baseados em texto em vez de imagens sempre que possível. Uma forma de identificar um PDF baseado em imagem é tentar selecionar texto específico no documento. Se conseguires selecionar apenas a imagem completa do texto, o documento é baseado em imagens, não em texto.

• Organize os seus documentos de formação usando uma subpasta para cada formato (JPEG/JPG, PNG, BMP, PDF ou TIFF).

• Use formulários com todos os campos disponíveis preenchidos.

• Use formulários com valores diferentes em cada campo.

• Use um conjunto de dados maior (mais de cinco documentos de treino) se as suas imagens forem de baixa qualidade.

• Determina se precisas de usar um único modelo ou vários modelos compostos num único modelo.

• Considere segmentar o seu conjunto de dados em pastas, onde cada pasta é um modelo único. Treine um modelo por pasta e componha os modelos resultantes num único endpoint. A precisão dos modelos pode diminuir quando se analisam diferentes formatos com um único modelo.

• Considere segmentar o seu conjunto de dados para treinar múltiplos modelos se o seu formulário tiver variações de formatos e quebras de página. Formulários personalizados dependem de um modelo visual consistente.

• Certifique-se de que tem um conjunto de dados equilibrado, tendo em conta formatos, tipos de documentos e estrutura.

Modo de construção

A build custom model operação adiciona suporte para os modelos de template e neurais personalizados. As versões anteriores da API REST e das bibliotecas clientes suportavam apenas um único modo de compilação que agora é conhecido como modo template .

• Os modelos modelo aceitam apenas documentos que tenham a mesma estrutura básica de página — uma aparência visual uniforme — ou a mesma posição relativa dos elementos dentro do documento.

• Os modelos neurais suportam documentos que têm a mesma informação, mas estruturas de página diferentes. Exemplos destes documentos incluem os formulários W2 da Estados Unidos, que partilham a mesma informação, mas variam na aparência entre empresas.

Esta tabela fornece ligações para as referências do SDK da linguagem de programação em modo de desenvolvimento, bem como exemplos de código disponíveis no GitHub.

Compare características do modelo

A tabela seguinte compara o modelo personalizado e as características neurais personalizadas:

*-O tempo de treino padrão é de 30 minutos. Ative o treino pago para treinar um modelo por mais de 30 minutos. Consulte mais detalhes na secção de suporte de treino para neural personalizado

Modelo de classificação personalizada

A classificação de documentos é um novo cenário suportado pelo Document Intelligence com a 2023-07-31 API (v3.1 GA). A API do classificador de documentos suporta cenários de classificação e divisão. Treine um modelo de classificação para identificar os diferentes tipos de documentos que a sua candidatura suporta. O ficheiro de entrada para o modelo de classificação pode conter múltiplos documentos e classifica cada documento dentro de um intervalo de páginas associado. Para saber mais, consulte modelos de classificação personalizados.

Ferramentas personalizadas para modelos

O Document Intelligence v3.1 e modelos posteriores suportam as seguintes ferramentas, aplicações e bibliotecas, programas e bibliotecas:

Ciclo de vida personalizado do modelo

O ciclo de vida de um modelo personalizado depende da versão da API utilizada para o treinar. Se a versão da API for uma versão de disponibilidade geral (GA), o modelo personalizado tem o mesmo ciclo de vida dessa versão. O modelo personalizado não está disponível para inferência quando a versão da API está obsoleta. Se a versão da API for uma versão de pré-visualização, o modelo personalizado tem o mesmo ciclo de vida que a versão de pré-visualização da API.

O Document Intelligence v2.1 suporta as seguintes ferramentas, aplicações e bibliotecas:

Ferramenta de rotulagem de amostras

• A ferramenta de Etiquetagem de Exemplo de Inteligência de Documentos é uma ferramenta open source que permite testar as funcionalidades mais recentes de Inteligência de Documentos e Reconhecimento Óptico de Caracteres (OCR).

• Experimenta a ferramenta de rotulagem rápida de exemplo para começares a construir e usar um modelo personalizado.

Estúdio de Inteligência Documental

1. Na página inicial do Document Intelligence Studio , selecione Modelos de extração personalizados.

2. Em Os Meus Projetos, selecione Criar um projeto.

3. Preencha os campos de detalhes do projeto.

4. Configure o recurso do serviço adicionando a sua conta de armazenamento e o contentor Blob para ligar a sua fonte de dados de treino.

5. Revise e crie o seu projeto.

6. Adicione os seus documentos de exemplo para etiquetar, construir e testar o seu modelo personalizado.

Para um guia detalhado para criar o seu primeiro modelo de extração personalizado, veja Como criar um modelo de extração personalizado.

Resumo da extração de modelos personalizados

Esta tabela compara as áreas de extração de dados suportadas:

Símbolos da tabela:
✔ —Apoiado
**n/a—Atualmente indisponível;
*-Comporta-se de forma diferente dependendo do modelo. Com modelos template, os dados sintéticos são gerados no momento do treino. Com modelos neurais, o texto existente reconhecido na região é selecionado.

• Tente processar os seus próprios formulários e documentos com a ferramenta Document Intelligence Sample Labeling.

• Complete um início rápido de Inteligência Documental e comece a criar uma aplicação de processamento de documentos na linguagem de desenvolvimento da sua escolha.

• Tente processar os seus próprios formulários e documentos com o Document Intelligence Studio.

• Complete um guia de introdução à Inteligência Documental e comece a criar um aplicativo de processamento de documentos na linguagem de desenvolvimento de sua escolha.