텍스트 분할 인지 능력

텍스트 분할 스킬은 텍스트를 여러 덩어리로 나누어 줍니다. 텍스트를 문장으로 나눌지, 특정 길이의 페이지로 나눌지 지정할 수 있습니다. 오프셋과 서수 위치와 같은 위치 메타데이터도 출력으로 제공됩니다. 이 기술은 Azure OpenAI 및 기타 모델 제공자에서 데이터 청크를 임베딩하는 기술과 같이 하위 기술에서 최대 텍스트 길이 요구사항이 있을 때 유용합니다. 이 시나리오에 대한 자세한 내용은 벡터 탐색에 관한 청크 문서를 참조하세요.

여러 매개변수는 버전별로 다릅니다. 기술 매개변수 테이블은 매개변수가 도입된 API 버전을 표시하여 버전 업그레이드 가 필요한지 알 수 있도록 합니다. 2024-09-01-preview에서 토큰 청킹과 같은 버전별 기능을 사용하려면 Azure 포털을 사용하거나 REST API 버전을 목표로 하거나, Azure SDK 변경 로그를 확인해 해당 기능을 지원하는지 확인할 수 있습니다.

Azure 포털은 대부분의 미리보기 기능을 지원하며, 기술 세트를 생성하거나 업데이트하는 데 사용할 수 있습니다. 텍스트 분할 스킬 업데이트를 원하시면, 새로운 미리보기 매개변수를 추가하는 스킬셋 JSON 정의를 수정하세요.

@odata.type

Microsoft.Skills.Text.SplitSkill

Skill Parameters

매개변수는 대소문자에 구분됩니다.

Skill Inputs

Skill Outputs

Sample definition

{
    "name": "SplitSkill", 
    "@odata.type": "#Microsoft.Skills.Text.SplitSkill", 
    "description": "A skill that splits text into chunks", 
    "context": "/document", 
    "defaultLanguageCode": "en", 
    "textSplitMode": "pages", 
    "unit": "azureOpenAITokens", 
    "azureOpenAITokenizerParameters":{ 
        "encoderModelName":"cl100k_base", 
        "allowedSpecialTokens": [ 
            "[START]", 
            "[END]" 
        ] 
    },
    "maximumPageLength": 512,
    "inputs": [
        {
            "name": "text",
            "source": "/document/text"
        },
        {
            "name": "languageCode",
            "source": "/document/language"
        }
    ],
    "outputs": [
        {
            "name": "textItems",
            "targetName": "pages"
        }
    ]
}

Sample input

{
    "values": [
        {
            "recordId": "1",
            "data": {
                "text": "This is the loan application for Joe Romero, a Microsoft employee who was born in Chile and who then moved to Australia...",
                "languageCode": "en"
            }
        },
        {
            "recordId": "2",
            "data": {
                "text": "This is the second document, which will be broken into several pages...",
                "languageCode": "en"
            }
        }
    ]
}

Sample output

{
    "values": [
        {
            "recordId": "1",
            "data": {
                "pages": [
                    "This is the loan...",
                    "In the next section, we continue..."
                ],
                "offsets": [
                    {
                        "utf8": 0,
                        "utf16": 0,
                        "codePoint": 0
                    },
                    {
                        "utf8": 146,
                        "utf16": 146,
                        "codePoint": 146
                    }
                ],
                "lengths": [
                    {
                        "utf8": 146,
                        "utf16": 146,
                        "codePoint": 146
                    },
                    {
                        "utf8": 211,
                        "utf16": 211,
                        "codePoint": 211
                    }
                ],
                "ordinalPositions" : [
                    1,
                    2
                ]
            }
        },
        {
            "recordId": "2",
            "data": {
                "pages": [
                    "This is the second document...",
                    "In the next section of the second doc..."
                ],
                "offsets": [
                    {
                        "utf8": 0,
                        "utf16": 0,
                        "codePoint": 0
                    },
                    {
                        "utf8": 115,
                        "utf16": 115,
                        "codePoint": 115
                    }
                ],
                "lengths": [
                    {
                        "utf8": 115,
                        "utf16": 115,
                        "codePoint": 115
                    },
                    {
                        "utf8": 209,
                        "utf16": 209,
                        "codePoint": 209
                    }
                ],
                 "ordinalPositions" : [
                    1,
                    2
                ]
            }
        }
    ]
}

청킹과 벡터화의 예시

이 예시는 통합 벡터화에 관한 것입니다.

• pageOverlapLength: 중첩된 텍스트는 동일한 문서에서 생성된 청크 간의 연속성을 유지하기 때문에 데이터 청킹 상황에서 유용합니다.

• maximumPagesToTake: 페이지 입력 제한은 벡터화 상황에서 유용한데, 이는 벡터화를 제공하는 임베딩 모델의 최대 입력 한계 이하로 유지하는 데 도움이 되기 때문입니다.

Sample definition

이 정의는 100자 와 maximumPagesToTake 1을 더합니다pageOverlapLength.

기본값이 5,000자라고 가정 maximumPageLength 하면, "maximumPagesToTake": 1 각 소스 문서의 처음 5,000자를 처리합니다.

이 예시는 를 로 myPages 설정하여 .textItemstargetName 설정되어 있으니 targetName , myPages 텍스트 분할 스킬에서 출력을 선택할 때 사용해야 하는 값입니다. 하위 기술에서는 인덱서를 출력하여 필드 매핑, 지식 저장소 예측,인덱스 예측을 활용 /document/myPages/* 합니다.

{
    "@odata.type": "#Microsoft.Skills.Text.SplitSkill",
    "textSplitMode" : "pages", 
    "maximumPageLength": 1000,
    "pageOverlapLength": 100,
    "maximumPagesToTake": 1,
    "defaultLanguageCode": "en",
    "inputs": [
        {
            "name": "text",
            "source": "/document/content"
        },
        {
            "name": "languageCode",
            "source": "/document/language"
        }
    ],
    "outputs": [
        {
            "name": "textItems",
            "targetName": "myPages"
        }
    ]
}

샘플 입력 (앞서 예시와 동일)

{
    "values": [
        {
            "recordId": "1",
            "data": {
                "text": "This is the loan application for Joe Romero, a Microsoft employee who was born in Chile and who then moved to Australia...",
                "languageCode": "en"
            }
        },
        {
            "recordId": "2",
            "data": {
                "text": "This is the second document, which will be broken into several sections...",
                "languageCode": "en"
            }
        }
    ]
}

샘플 출력 (겹침 부분 주목)

각 "textItems" 배열 내에서, 첫 번째 항목의 뒤에 붙은 텍스트가 두 번째 항목의 시작 부분에 복사됩니다.

{
    "values": [
        {
            "recordId": "1",
            "data": {
                "myPages": [
                    "This is the loan...Here is the overlap part",
                    "Here is the overlap part...In the next section, we continue..."
                ]
            }
        },
        {
            "recordId": "2",
            "data": {
                "myPages": [
                    "This is the second document...Here is the overlap part...",
                    "Here is the overlap part...In the next section of the second doc..."
                ]
            }
        }
    ]
}

Error cases

지원되지 않은 언어는 경고가 생성됩니다.

See also

• Built-in skills
• 기술 세트를 정의하는 방법