Text Splittrad kognitiv färdighet

Text Split-färdigheten delar upp text i textbitar. Du kan specificera om du vill dela upp texten i meningar eller i sidor av en viss längd. Positionsmetadata som offset och ordinal position finns också tillgängliga som utdata. Denna färdighet är användbar om det finns maximala textlängdskrav i andra färdigheter längre fram, såsom att bädda in färdigheter som skickar datablock till inbyggda modeller på Azure OpenAI och andra modellleverantörer. För mer information om detta scenario, se Chunk-dokument för vektorsökning.

Flera parametrar är versionsspecifika. Färdighetsparametertabellen noterar API-versionen där en parameter infördes så att du vet om en versionsuppgradering krävs. För att använda versionsspecifika funktioner som token chunking i 2024-09-01-preview kan du använda Azure-portalen, eller rikta in dig på en REST API-version, eller kontrollera en Azure SDKs ändringslogg för att se om den stöder funktionen.

Azure-portalen stöder de flesta förhandsgranskningsfunktioner och kan användas för att skapa eller uppdatera en färdighetsuppsättning. För uppdateringar av Text Split-färdigheten, redigera färdighetsuppsättningens JSON-definition för att lägga till nya förhandsgranskningsparametrar.

@odata.type

Microsoft.Skills.Text.SplitSkill

Skill Parameters

Parametrar är skiftlägeskänsliga.

Skill Inputs

Skill Outputs

Sample definition

{
    "name": "SplitSkill", 
    "@odata.type": "#Microsoft.Skills.Text.SplitSkill", 
    "description": "A skill that splits text into chunks", 
    "context": "/document", 
    "defaultLanguageCode": "en", 
    "textSplitMode": "pages", 
    "unit": "azureOpenAITokens", 
    "azureOpenAITokenizerParameters":{ 
        "encoderModelName":"cl100k_base", 
        "allowedSpecialTokens": [ 
            "[START]", 
            "[END]" 
        ] 
    },
    "maximumPageLength": 512,
    "inputs": [
        {
            "name": "text",
            "source": "/document/text"
        },
        {
            "name": "languageCode",
            "source": "/document/language"
        }
    ],
    "outputs": [
        {
            "name": "textItems",
            "targetName": "pages"
        }
    ]
}

Sample input

{
    "values": [
        {
            "recordId": "1",
            "data": {
                "text": "This is the loan application for Joe Romero, a Microsoft employee who was born in Chile and who then moved to Australia...",
                "languageCode": "en"
            }
        },
        {
            "recordId": "2",
            "data": {
                "text": "This is the second document, which will be broken into several pages...",
                "languageCode": "en"
            }
        }
    ]
}

Sample output

{
    "values": [
        {
            "recordId": "1",
            "data": {
                "pages": [
                    "This is the loan...",
                    "In the next section, we continue..."
                ],
                "offsets": [
                    {
                        "utf8": 0,
                        "utf16": 0,
                        "codePoint": 0
                    },
                    {
                        "utf8": 146,
                        "utf16": 146,
                        "codePoint": 146
                    }
                ],
                "lengths": [
                    {
                        "utf8": 146,
                        "utf16": 146,
                        "codePoint": 146
                    },
                    {
                        "utf8": 211,
                        "utf16": 211,
                        "codePoint": 211
                    }
                ],
                "ordinalPositions" : [
                    1,
                    2
                ]
            }
        },
        {
            "recordId": "2",
            "data": {
                "pages": [
                    "This is the second document...",
                    "In the next section of the second doc..."
                ],
                "offsets": [
                    {
                        "utf8": 0,
                        "utf16": 0,
                        "codePoint": 0
                    },
                    {
                        "utf8": 115,
                        "utf16": 115,
                        "codePoint": 115
                    }
                ],
                "lengths": [
                    {
                        "utf8": 115,
                        "utf16": 115,
                        "codePoint": 115
                    },
                    {
                        "utf8": 209,
                        "utf16": 209,
                        "codePoint": 209
                    }
                ],
                 "ordinalPositions" : [
                    1,
                    2
                ]
            }
        }
    ]
}

Exempel för chunking och vektorisering

Detta exempel gäller integrerad vektorisering.

• pageOverlapLength: Överlappande text är användbart i datachunking-scenarier eftersom det bevarar kontinuiteten mellan delar som genereras från samma dokument.

• maximumPagesToTake: Gränser för sidintag är användbara i vektoriseringsscenarier eftersom det hjälper dig att hålla dig under de maximala indatagränserna för de inbäddningsmodeller som tillhandahåller vektoriseringen.

Sample definition

Denna definition lägger till pageOverlapLength 100 tecken och maximumPagesToTake ett.

Om vi antar att det maximumPageLength är 5 000 tecken (standard), bearbetas de "maximumPagesToTake": 1 första 5 000 tecknen i varje källdokument.

Detta exempel sätter textItems till myPages genom targetName. Eftersom targetName är satt, myPages är värdet du ska använda för att välja utdata från Text Split-färdigheten. Användning /document/myPages/* av downstream-färdigheter, indexerarens fältkartläggningar, kunskapslagringsprojektioner och indexprognoser.

{
    "@odata.type": "#Microsoft.Skills.Text.SplitSkill",
    "textSplitMode" : "pages", 
    "maximumPageLength": 1000,
    "pageOverlapLength": 100,
    "maximumPagesToTake": 1,
    "defaultLanguageCode": "en",
    "inputs": [
        {
            "name": "text",
            "source": "/document/content"
        },
        {
            "name": "languageCode",
            "source": "/document/language"
        }
    ],
    "outputs": [
        {
            "name": "textItems",
            "targetName": "myPages"
        }
    ]
}

Exempelinmatning (samma som i föregående exempel)

{
    "values": [
        {
            "recordId": "1",
            "data": {
                "text": "This is the loan application for Joe Romero, a Microsoft employee who was born in Chile and who then moved to Australia...",
                "languageCode": "en"
            }
        },
        {
            "recordId": "2",
            "data": {
                "text": "This is the second document, which will be broken into several sections...",
                "languageCode": "en"
            }
        }
    ]
}

Samplingsutdata (notera överlappningen)

Inom varje "textItems"-array kopieras efterföljande text från det första objektet till början av det andra objektet.

{
    "values": [
        {
            "recordId": "1",
            "data": {
                "myPages": [
                    "This is the loan...Here is the overlap part",
                    "Here is the overlap part...In the next section, we continue..."
                ]
            }
        },
        {
            "recordId": "2",
            "data": {
                "myPages": [
                    "This is the second document...Here is the overlap part...",
                    "Here is the overlap part...In the next section of the second doc..."
                ]
            }
        }
    ]
}

Error cases

Om ett språk inte stöds genereras en varning.

See also

• Built-in skills
• Hur man definierar en kompetens