Benutzerdefinierte Dokumentintelligenzmodelle

Dieser Inhalt gilt für:v4.0 (GA) | Frühere Versionen:v3.1 (GA)v3.0 (wird eingestellt)v2.1 (wird eingestellt)

Dieser Inhalt gilt für:v3.1 (GA) | Neueste Version:v4.0 (GA) | Frühere Versionen:v3.0v2.1

Dieser Inhalt gilt für:v3.0 (wird eingestellt) | Neueste Versionen:v4.0 (GA)v3.1 | Vorherige Version:v2.1 (wird eingestellt)

Dieser Inhalt gilt für:v2.1 | Neueste Version:v4.0 (GA)

Benutzerdefinierte Dokumentmodelltypen

Benutzerdefinierte Dokumentmodelle können eines von zwei Typen, benutzerdefinierten Vorlagen oder benutzerdefinierten Formularen und benutzerdefinierten neuralen oder benutzerdefinierten Dokumentmodellen sein. Der Beschriftungs- und Schulungsprozess für beide Modelle ist identisch, aber die Modelle unterscheiden sich wie folgt:

Benutzerdefinierte Extraktionsmodelle

Um ein benutzerdefiniertes Extraktionsmodell zu erstellen, bezeichnen Sie ein Dataset von Dokumenten mit den Werten, die Extrahiert werden sollen, und trainieren Sie das Modell für das bezeichnete Dataset. Sie benötigen nur fünf Beispiele für denselben Formular- oder Dokumenttyp, um zu beginnen.

Benutzerdefiniertes neurales Modell

Das benutzerdefinierte neurale Modell (benutzerdefiniertes Dokument) verwendet Deep Learning-Modelle und Basismodell, das auf einer großen Sammlung von Dokumenten trainiert wurde. Dieses Modell wird dann fein abgestimmt oder an Ihre Daten angepasst, wenn Sie das Modell mit einem beschrifteten Dataset trainieren. Benutzerdefinierte neurale Modelle unterstützen das Extrahieren von Schlüsseldatenfeldern aus strukturierten, halbstrukturierten und unstrukturierten Dokumenten. Wenn Sie zwischen den beiden Modelltypen wählen, beginnen Sie mit einem neuralen Modell, um festzustellen, ob es Ihren funktionalen Anforderungen entspricht. Mit V4.0 unterstützt das benutzerdefinierte neurale Modell Signaturerkennung, Tabellenvertrauenssicherheit und überlappende Felder. Weitere Informationen zu benutzerdefinierten Dokumentmodellen finden Sie unter neuralen Modellen .

Benutzerdefiniertes Vorlagenmodell

Die benutzerdefinierte Vorlage oder das benutzerdefinierte Formularmodell basiert auf einer konsistenten visuellen Vorlage, um die beschrifteten Daten zu extrahieren. Abweichungen in der visuellen Struktur Ihrer Dokumente wirken sich auf die Genauigkeit Ihres Modells aus. Strukturierte Formulare wie Fragebögen oder Anwendungen sind Beispiele für konsistente visuelle Vorlagen.

Ihr Schulungssatz besteht aus strukturierten Dokumenten, bei denen die Formatierung und das Layout statisch und konstant von einer Dokumentinstanz zur nächsten sind. Benutzerdefinierte Vorlagenmodelle unterstützen Schlüsselwertpaare, Auswahlmarken, Tabellen, Signaturfelder und Regionen. Vorlagenmodelle können mit Dokumenten in jeder der unterstützten Sprachen trainiert werden. Weitere Informationen finden Sie unterbenutzerdefinierte Vorlagenmodelle.

Wenn die Sprache Ihrer Dokumente und Extraktionsszenarien benutzerdefinierte neurale Modelle unterstützt, empfehlen wir, benutzerdefinierte neurale Modelle über Vorlagenmodelle für eine höhere Genauigkeit zu verwenden.

Eingabeanforderungen

• Für optimale Ergebnisse stellen Sie ein klares Foto oder einen qualitativ hochwertigen Scan pro Dokument bereit.

• Unterstützte Dateiformate:

  Modell	PDF	Bild: jpeg/jpg, , , pngbmptiffheif	Microsoft Office: Word (docx), Excel (xlsx), PowerPoint (pptx)
  Lesen	✔	✔	✔
  Gestaltung	✔	✔	✔
  Allgemeines Dokument	✔	✔
  Vorkonfiguriert	✔	✔
  Benutzerdefinierte Extraktion	✔	✔
  Benutzerdefinierte Klassifizierung	✔	✔	✔

  ✱ Microsoft Office Dateien werden derzeit für andere Modelle oder Versionen nicht unterstützt.

• Für PDF und TIFF können bis zu 2.000 Seiten verarbeitet werden (mit einem kostenlosen Abonnement werden nur die ersten beiden Seiten verarbeitet).

• Die Dateigröße für die Analyse von Dokumenten ist 500 MB für die kostenpflichtige Stufe (S0) und 4 MB für die kostenlose Stufe (F0) vorgesehen.

• Bildabmessungen müssen zwischen 50 x 50 Pixel und 10.000 Pixel x 10.000 Pixel betragen.

• Wenn Ihre PDF-Dateien kennwortgesperrt sind, müssen Sie die Sperre vor der Übermittlung entfernen.

• Die mindeste Höhe des zu extrahierenden Texts beträgt 12 Pixel für ein Bild von 1024 x 768 Pixeln. Diese Abmessung entspricht etwa einem Text mit 8 Punkt bei 150 Punkten pro Zoll.

• Für benutzerdefinierte Modellschulungen beträgt die maximale Anzahl von Seiten für Schulungsdaten 500 für das benutzerdefinierte Vorlagenmodell und 50.000 für das benutzerdefinierte neurale Modell.

• Bei der Schulung des benutzerdefinierten Extraktionsmodells beträgt die Gesamtgröße der Trainingsdaten 50 MB für das Vorlagenmodell und 1 GB für das neurale Modell.

• Bei der Schulung des benutzerdefinierten Klassifizierungsmodells beträgt 1 GB die Gesamtgröße von Schulungsdaten maximal 10.000 Seiten.

Optimale Schulungsdaten

Schulungseingabedaten bilden die Grundlage für jedes Machine Learning-Modell. Es bestimmt die Qualität, Genauigkeit und Leistung des Modells. Daher ist es wichtig, die bestmöglichen Schulungseingabedaten für Ihr Document Intelligence-Projekt zu erstellen. Wenn Sie das benutzerdefinierte Dokumentintelligenzmodell verwenden, stellen Sie Eigene Schulungsdaten bereit. Hier sind einige Tipps, mit denen Sie Ihre Modelle effektiv trainieren können:

• Verwenden Sie nach Möglichkeit textbasierte anstelle bildbasierter PDF-Dateien. Eine Möglichkeit zum Identifizieren eines Bilds*basierter PDF-Datei besteht darin, einen bestimmten Text im Dokument auszuwählen. Wenn Sie nur das gesamte Bild des Texts markieren können, ist das Dokument bildbasiert, nicht textbasiert.

• Organisieren Sie Ihre Schulungsdokumente mithilfe eines Unterordners für jedes Format (JPEG/JPG, PNG, BMP, PDF oder TIFF).

• Verwenden Sie Formulare, bei denen alle verfügbaren Felder ausgefüllt sind.

• Verwenden Sie Formulare mit unterschiedlichen Werten in jedem Feld.

• Verwenden Sie ein größeres Dataset (mehr als fünf Schulungsdokumente), wenn Ihre Bilder von geringer Qualität sind.

• Ermitteln Sie, ob Sie ein einzelnes Modell oder mehrere Modelle verwenden müssen, die in ein einzelnes Modell zusammengesetzt sind.

• Erwägen Sie das Segmentieren Ihres Datasets in Ordner, wobei jeder Ordner eine eindeutige Vorlage ist. Trainieren Sie ein Modell pro Ordner, und verfassen Sie die resultierenden Modelle in einem einzelnen Endpunkt. Die Modellgenauigkeit kann verringert werden, wenn Sie verschiedene Formate mit einem einzelnen Modell analysiert haben.

• Ziehen Sie das Segmentieren Ihres Datasets in Betracht, um mehrere Modelle zu trainieren, wenn Ihr Formular Variationen mit Formaten und Seitenumbrüchen aufweist. Benutzerdefinierte Formulare basieren auf einer konsistenten visuellen Vorlage.

• Stellen Sie sicher, dass Sie über ein ausgewogenes Dataset verfügen, indem Sie Formate, Dokumenttypen und Struktur berücksichtigen.

Buildmodus

Der build custom model Vorgang fügt Unterstützung für die Vorlage und neurale benutzerdefinierte Modelle hinzu. In früheren Versionen der REST-API und Clientbibliotheken wird nur ein einzelner Buildmodus unterstützt, der jetzt als Vorlagenmodus bezeichnet wird.

• Vorlagenmodelle akzeptieren nur Dokumente, die dieselbe grundlegende Seitenstruktur aufweisen – eine einheitliche visuelle Darstellung – oder dieselbe relative Positionierung von Elementen innerhalb des Dokuments.

• Neurale Modelle unterstützen Dokumente, die dieselben Informationen haben, aber unterschiedliche Seitenstrukturen. Beispiele für diese Dokumente sind US-W2-Formulare, die dieselben Informationen enthalten, sich jedoch im Erscheinungsbild von Unternehmen zu Unternehmen unterscheiden.

Diese Tabelle enthält Links zu den SDK-Referenzen und Codebeispielen für die Programmiersprache für den Buildmodus in GitHub:

Modell-Eigenschaften vergleichen

In der folgenden Tabelle werden benutzerdefinierte Vorlagen und benutzerdefinierte neurale Features verglichen:

*-Die Standardschulungszeit beträgt 30 Minuten. Aktivieren Sie das kostenpflichtige Training, um ein Modell länger als 30 Minuten zu trainieren. Weitere Details finden Sie unter Trainingsunterstützung für benutzerdefinierte neuronale Netze

Benutzerdefiniertes Klassifizierungsmodell

Die Dokumentklassifizierung ist ein neues Szenario, das von document Intelligence mit der 2023-07-31 V3.1 GA-API unterstützt wird. Die Dokumentklassifizierer-API unterstützt Klassifizierungs- und Aufteilungsszenarien. Trainieren Sie ein Klassifizierungsmodell, um die verschiedenen Typen von Dokumenten zu identifizieren, die Ihre Anwendung unterstützt. Die Eingabedatei für das Klassifizierungsmodell kann mehrere Dokumente enthalten und jedes Dokument innerhalb eines zugeordneten Seitenbereichs klassifiziert. Weitere Informationen finden Sie unterbenutzerdefinierte Klassifizierungsmodelle .

Benutzerdefinierte Modelltools

Document Intelligence v3.1 und höher unterstützen die folgenden Tools, Anwendungen und Bibliotheken, Programme und Bibliotheken:

Lebenszyklus des benutzerdefinierten Modells

Der Lebenszyklus eines benutzerdefinierten Modells hängt von der API-Version ab, die zum Trainieren verwendet wird. Wenn es sich bei der API-Version um eine allgemeine Verfügbarkeitsversion (GA) handelt, weist das benutzerdefinierte Modell denselben Lebenszyklus wie diese Version auf. Das benutzerdefinierte Modell ist für die Ableitung nicht verfügbar, wenn die API-Version veraltet ist. Wenn es sich bei der API-Version um eine Vorschauversion handelt, hat das benutzerdefinierte Modell denselben Lebenszyklus wie die Vorschauversion der API.

Document Intelligence v2.1 unterstützt die folgenden Tools, Anwendungen und Bibliotheken:

Beispieletikettierungswerkzeug

• Das Tool für Dokumentintelligenz-Beispielbezeichnungen ist ein Open Source Tool, mit dem Sie die neuesten Features der Funktionen der Dokumentintelligenz und der optischen Zeichenerkennung (OCR) testen können.

• Probieren Sie den Schnellstart des Tools 'Beispielkennzeichnung' aus, um mit dem Erstellen und Verwenden eines benutzerdefinierten Modells zu beginnen.

Document Intelligence Studio

1. Wählen Sie auf der Startseite von Document Intelligence Studiobenutzerdefinierte Extraktionsmodelle aus.

2. Wählen Sie unter "Meine Projekte" die Option "Projekt erstellen" aus.

3. Füllen Sie die Projektdetailsfelder aus.

4. Konfigurieren Sie die Dienstressource, indem Sie Ihr Speicherkonto und Den BLOB-Container hinzufügen, um Ihre Schulungsdatenquelle zu verbinden.

5. Überprüfen und erstellen Sie Ihr Projekt.

6. Fügen Sie Ihre Beispieldokumente zum Bezeichnen, Erstellen und Testen Ihres benutzerdefinierten Modells hinzu.

Eine ausführliche exemplarische Vorgehensweise zum Erstellen Ihres ersten benutzerdefinierten Extraktionsmodells finden Sie unterErstellen eines benutzerdefinierten Extraktionsmodells.

Zusammenfassung der benutzerdefinierten Modellextraktion

In dieser Tabelle werden die unterstützten Datenextraktionsbereiche verglichen:

Tabellensymbole:
✔ — Unterstützt
**n/a – Zurzeit nicht verfügbar;
*-Verhält sich je nach Modell unterschiedlich. Bei Vorlagenmodellen werden synthetische Daten zur Schulungszeit generiert. Bei neuralen Modellen wird vorhandener Text, der in der Region erkannt wird, ausgewählt.

• Versuchen Sie, Ihre eigenen Formulare und Dokumente mithilfe des Dokument Intelligenz-Stichproben-Bezeichnungstools zu verarbeiten.

• Führen Sie eine Schnellstartanleitung für Dokumentintelligenz aus, und beginnen Sie mit dem Erstellen einer Dokumentverarbeitungs-App in der Entwicklungssprache Ihrer Wahl.

• Versuchen Sie, ihre eigenen Formulare und Dokumente mit dem Document Intelligence Studio zu verarbeiten.

• Führen Sie eine Schnellstartanleitung für Dokumentintelligenz aus, und beginnen Sie mit dem Erstellen einer Dokumentverarbeitungs-App in der Entwicklungssprache Ihrer Wahl.