Respostas de cache para solicitações de API de modelo de linguagem grande

APLICA-SE A: Todas as camadas de gerenciamento de API

A llm-semantic-cache-store política armazena em cache as respostas às solicitações de API de conclusão de bate-papo em um cache externo configurado. A cache de resposta reduz a largura de banda e os requisitos de processamento impostos à API do modelo de linguagem de backend e diminui a latência percebida pelos consumidores da API.

Nota

Nota

Defina os elementos da política e os elementos filho na ordem fornecida na declaração de política. Saiba mais sobre como definir ou editar políticas de Gerenciamento de API.

APIs de modelos suportadas

Esta política funciona com APIs LLM adicionadas à Gestão de APIs que cumprem um dos seguintes esquemas de API:

  • API de Conclusão ou Respostas do Chat OpenAI
  • Anthropic Messages API (atualmente suportada nos níveis de API Management v2)
  • Google Vertex AI API

Declaração de política

<llm-semantic-cache-store duration="seconds" cache-response="true | false" />

Atributos

Atributo Descrição Necessário Predefinição
Duração Tempo de vida útil das entradas armazenadas em cache, especificado em segundos. São permitidas expressões de política. Sim N/A
cache-resposta Defina como true armazenar em cache a resposta HTTP atual. Se o atributo for omitido, somente as respostas HTTP com o código 200 OK de status serão armazenadas em cache. São permitidas expressões de política. No false

Utilização

Notas de utilização

  • Esta política só pode ser utilizada uma vez numa secção de política.
  • Se a pesquisa de cache falhar, a chamada de API que usa a operação relacionada ao cache não gerará um erro e a operação de cache será concluída com êxito.
  • Recomendamos configurar uma política de limite de taxa (ou política de limite de taxa por chave ) imediatamente após qualquer pesquisa de cache. Isso ajuda a evitar que o serviço de back-end fique sobrecarregado se o cache não estiver disponível.

Exemplos

Exemplo com a política llm-semantic-cache-lookup correspondente

O exemplo a seguir mostra como usar a llm-semantic-cache-lookup política junto com a llm-semantic-cache-store política para recuperar respostas em cache semanticamente semelhantes com um limite de pontuação de similaridade de 0,05. Os valores armazenados em cache são particionados pela ID de assinatura do chamador.

Nota

Adicione uma política de limite de taxa (ou política de limite de taxa por chave ) após a pesquisa de cache para ajudar a limitar o número de chamadas e evitar sobrecarga no serviço backend caso a cache não esteja disponível.

<policies>
    <inbound>
        <base />
        <llm-semantic-cache-lookup
            score-threshold="0.05"
            embeddings-backend-id ="llm-backend"
            embeddings-backend-auth ="system-assigned" >
            <vary-by>@(context.Subscription.Id)</vary-by>
        </llm-semantic-cache-lookup>
        <rate-limit calls="10" renewal-period="60" />
    </inbound>
    <outbound>
        <llm-semantic-cache-store duration="60" />
        <base />
    </outbound>
</policies>

Conteúdos relacionados

Para obter mais informações sobre como trabalhar com políticas, consulte:

  • Last updated on