Analisar agentes conversacionais

A página Analytics no Copilot Studio fornece uma visão agregada da eficácia global do seu agente ao longo de sessões de análise. A página está dividida em áreas principais que se concentram em diferentes contextos de desempenho. A página também apresenta uma área de Descrição Geral que fornece métricas de indicadores chave de desempenho (KPI) de alto nível para o seu agente, uma área de Poupança que analisa poupanças de tempo e custos atribuídas ao seu agente ou às suas ferramentas, e uma área de Resumo que fornece informações analíticas chave sobre o desempenho do seu agente.

Existem quatro secções principais a focar ao rever e melhorar a eficácia dos agentes conversacionais.

• A secção de Resumo, Visão Geral e Poupança mostra as principais análises sobre os seus agentes, juntamente com estatísticas de faturação e poupança de custos; consulte Resumo, Visão Geral e Poupança para saber mais sobre cada subsecção.
• A secção de métricas personalizadas permite-lhe definir métricas específicas de negócio para os casos de uso dos seus agentes.
• A secção de Eficácia ajuda-o a avaliar a qualidade das experiências do utilizador, mostrando onde as conversas têm sucesso, onde se desfazem e como os utilizadores se sentem em relação aos resultados.
• A secção de Utilização ajuda-o a melhorar o desempenho operacional ao mostrar quão bem o seu agente responde às perguntas, como as ferramentas e fontes de conhecimento apoiam essas respostas de forma fiável, e onde as atualizações direcionadas podem aumentar a cobertura e a consistência.

Pode consultar análises de eventos que ocorreram nos últimos 90 dias.

Métricas personalizadas

A secção de Métricas Personalizadas permite-lhe definir até três métricas específicas de negócio em linguagem natural e acompanhar com que frequência cada resultado aparece em sessões amostradas. Use estas métricas para complementar os seus insights analíticos padrão com indicadores que reflitam os objetivos e a utilização do seu agente. Para aprender a criar, testar e refinar métricas personalizadas, consulte Analisar o seu agente com métricas personalizadas.

Eficácia

A secção de Eficácia mostra o feedback dos utilizadores recolhido a partir das reações, respostas dos agentes, resultados de inquéritos e pontuação de sentimento para uma sessão. A eficácia está dividida em várias subsecções:

• Resultados da conversa: Conhecer o resultado final de uma conversa ajuda-o a começar a identificar onde o seu agente está a ter sucesso e onde precisa de melhorias.
• Reações: Respostas dos utilizadores, incluindo reações positivas/negativas e comentários sobre respostas específicas do agente.
• Satisfação do cliente: Demonstração da pontuação de satisfação do cliente (CSAT).
• Sentiment (pré-visualização): Uma análise de sentimento baseada em IA para toda a sessão.
• Agentes: Consulte métricas do volume de chamadas, taxas de sucesso e o estado atual dos agentes filhos e conectados.

Os dados de comentários são armazenados na tabela de transcrição da conversação no Dataverse. Para obter uma lista de canais que suportam esta funcionalidade, consulte Detalhes da funcionalidade.

Resultados da conversa

A secção de Resultados da conversação mostra um gráfico que monitoriza o tipo de resultado de cada sessão entre o agente e os utilizadores.

O gráfico, quer seja apresentado como um histograma empilhado ou um gráfico de áreas empilhadas, visualiza os volumes relativos de resultados, codificados por cores e empilhados por tipo. Cada um dos tipos Resolvida, Escalada, Abandonada e Não envolvido são representados pelas respetivas cores para cada ponto de dados. O eixo Y indica o número de sessões.

Para ver métricas sobre resultados individuais específicos de um ponto de dados (um dia específico), faça pairar o cursor sobre uma área que representa a cor de um resultado de interesse (por exemplo, azul-petróleo para sessões Abandonadas) no dia que lhe interessa.

Para baixar dados de resultados de conversas (dados visualizados no gráfico), selecione o ícone de menu e selecione Baixar CSV.

Para abrir um painel lateral com informações detalhadas sobre os resultados das conversações, selecione Ver detalhes no gráfico. O painel lateral Resultados da conversação inclui:

• Um gráfico circular dos resultados das sessões, mostrando a ponderação relativa (expressa em percentagem) dos resultados das sessões Resolvidas, Escaladas e Abandonadas.
• Um gráfico de barras empilhadas que mostra a ponderação relativa (expressa em percentagem) dos motivos dos resultados Resolvida com confirmação e Resolvida implicitamente que descrevem todos os resultados das sessões resolvidas.
• Um gráfico de barras empilhadas que mostra a ponderação relativa (expressa em percentagem) dos motivos de resultados de sessões Previstas pelo sistema, Não previstas pelo sistema e Pedidas pelo utilizador, que descrevem todos os resultados de sessões escaladas.
• Os tópicos principais que conduziram a cada resultado.

Uma sessão enquadra-se num dos dois estados seguintes:

• Não engajado: uma sessão começa quando um usuário interage com seu agente ou o agente envia uma mensagem proativa para o usuário. A sessão começa em um estado inativo.

• Engajado: O usuário interage ativamente com o agente. Há uma diferença de comportamento com base no modo de orquestração do agente.

  • Orquestração clássica: Uma sessão é ativada quando um dos seguintes tópicos é acionado:

    • Tópico personalizado acionado diretamente pelo usuário
    • Escalar tópico
    • Tópico de alternativa
    • Tópico para impulsionar a conversação

  • Orquestração de IA generativa: Uma sessão torna-se ativada quando um utilizador aciona diretamente um plano e inclui um dos seguintes elementos:

    • Tópico não pertencente ao sistema
    • Escalar tópico
    • Tópico de alternativa
    • Uma fonte de conhecimento
    • Uma ferramenta

Uma sessão engajada tem um dos seguintes resultados:

Você também pode definir o resultado para ferramentas com o conversationOutcome parâmetro usando o editor de código da ferramenta. Por exemplo, conversationOutcome: ResolvedConfirmed para sucesso confirmado ou conversationOutcome: ResolvedImplied para sucesso implícito.

Consulte a documentação de orientações sobre a medição do envolvimento para sugestões e boas práticas sobre como medir e melhorar o envolvimento.

Reações

A secção Reações mostra o feedback dos utilizadores recolhido a partir das reações às respostas dos agentes. O gráfico conta o número de vezes que os utilizadores selecionaram os botões de polegar para cima (positivo) ou polegar para baixo (negativo) disponíveis em cada resposta que receberam do seu agente.

A funcionalidade Reações está ativada por defeito. Pode desligar esta funcionalidade, se quiser. Também pode adicionar ou editar uma declaração de exoneração de responsabilidade para os utilizadores sobre a forma como os seus comentários são utilizados:

1. Abra o agente, vá para Configurações e localize a seção Comentários do usuário .

2. Ative ou Desative a opção Recolher reações dos utilizadores às mensagens do agente, Ligado ou Desligado.

3. Adicione ou edite uma declaração de exoneração de responsabilidade para que os utilizadores saibam como os seus comentários são utilizados. Você também pode fornecer informações de privacidade e dicas.

Os utilizadores com o privilégio Bot Transcript Viewer podem aprofundar as respostas dos agentes para reações individuais e filtrar pelos comentários dos utilizadores.

Veja as tendências de reação ao longo do tempo

Selecionar Ver detalhes no bloco Reações para abrir o painel lateral Reações . O painel mostra como as reações positivas e negativas (de Thumbs up e Thumbs down) tendem ao longo do tempo.

Satisfação do cliente

A secção de satisfação do cliente mostra informações sobre a satisfação dos utilizadores com base nos resultados dos inquéritos aos utilizadores:

• Pontuação de satisfação: Uma pontuação em 5 calculada a partir das médias de satisfação do cliente (CSAT) para sessões em que os utilizadores responderam a pedidos no final da sessão para responder a um inquérito.

  Observação

  Pontuações de 1 e 2 mapear para Insatisfeito, uma pontuação de 3 é considerada Neutra, e pontuações de 4 e 5 mapear para Satisfeito.

• Satisfação por sessão: Um gráfico de barras empilhadas que visualiza a ponderação relativa para cada uma das categorias de pontuação do inquérito, sendo Dissatisfied, Neutral, e Satisfied. Passe o rato sobre cada segmento do gráfico para ver o tamanho da amostra e o valor numérico do peso de cada categoria de pontuação. Para utilizadores com o privilégio de Visualizador de Transcrições de Bot, pode explorar uma lista de sessões de clientes filtrada com base na parte selecionada do segmento da barra.

Selecione Ver detalhes para ver a tendência da pontuação de satisfação ao longo do período selecionado.

Sentimento (prévia)

[Esta secção é documentação de pré-lançamento e está sujeita a alterações.]

A análise de sentimento utiliza IA para analisar mensagens de utilizadores a partir de uma amostra de sessões, de modo a avaliar o sentimento global do utilizador em relação ao agente. O valor numérico representa a percentagem de sessões com sentimento negativo do utilizador.

Selecione Ver detalhes para visualizar os dados de sentimento para a ponderação relativa de cada uma das categorias de sentimento (sendo Positive, Neutral, e Negative).

Pode ativar e desativar a análise de sentimento para o seu agente em Definições. Quando a análise de sentimento está desligada, o sentimento do utilizador não é analisado durante as sessões.

1. Vai a Definições e seleciona Avançado.

2. Ativar ou desativar a Análise de Sentimento.

   

Agentes

A lista de Agentes mostra métricas de volume, desempenho e estado de alto nível para agentes ligados e subordinados do seu agente principal. A lista identifica o tipo de relação que o agente listado tem com o seu agente principal na coluna Tipo. Se um agente for um agente subordinado, o seu tipo é Child. Os agentes ligados têm um tipo listado que reflete onde foram criados (por exemplo, Copilot Studio, Azure AI Foundry). A métrica de Chamadas para cada agente listado descreve o volume de chamadas do agente principal para o agente ligado ou subordinado. A taxa de sucesso reflete a proporção de chamadas (em percentagem de todas as chamadas) que foram concluídas com sucesso. O Estado indica o estado administrativo individual de cada agente conectado e subordinado.

Por predefinição, a lista de Agentes mostra os cinco (5) principais agentes ligados e subordinados do seu agente principal, classificados do maior ao menor número total de perguntas. Se houver mais de cinco agentes, selecione Ver todos para apresentar todos os agentes.

Use

A secção de Utilização ajuda-o a perceber como os utilizadores interagem com o seu agente e onde melhorar a fiabilidade das respostas. O uso está dividido em várias subsecções:

• Temas: os temas ajudam você a obter insights analíticos agrupando as perguntas do usuário em categorias sugeridas pela IA.
• Taxa de resposta gerada e qualidade: Compreender quando o agente tem dificuldades em fornecer respostas às perguntas dos utilizadores e como utiliza fontes de conhecimento pode ajudá-lo a encontrar formas de melhorar a taxa e a qualidade das respostas do seu agente.
• Utilização de ferramentas: Aprender com que frequência as ferramentas são usadas e com que frequência têm sucesso pode ajudá-lo a perceber se essas ferramentas são úteis e bem-sucedidas para os utilizadores.
• Utilização da fonte de conhecimento: Saber com que frequência as fontes individuais de conhecimento são usadas e com que frequência devolvem erros ajuda-o a melhorar a qualidade e a cobertura das respostas do seu agente.

Taxa de resposta gerada e qualidade

Com respostas generativas, seu agente pode usar a IA para gerar respostas às consultas dos usuários usando fontes de conhecimento e as instruções que você fornece. No entanto, o seu agente pode não conseguir responder a todas as perguntas dos utilizadores. A seção Taxa de resposta e qualidade geradas rastreia, organiza e analisa consultas não respondidas e qualidade de resposta para fornecer orientação para melhorar o desempenho de resposta do seu agente.

A taxa de resposta mostra o número de perguntas respondidas e não respondidas dentro do período de tempo selecionado e a variação percentual ao longo do tempo.

A qualidade da resposta mede a qualidade das respostas usando IA. O Copilot Studio analisa um conjunto de exemplos de perguntas respondidas e analisa diferentes qualidades, incluindo completude, relevância e nível de fundamentação de uma resposta. Se a resposta atender a um padrão definido, o Copilot Studio rotula a resposta como Boa qualidade. O Copilot Studio rotula as respostas que não atendem a esse padrão como de baixa qualidade. Para respostas baixas, o Copilot Studio atribui um motivo à avaliação de qualidade e exibe a percentagem de respostas atribuídas a cada categoria.

Faça pairar o cursor sobre qualquer segmento de uma barra no gráfico para ver a ponderação relativa de um motivo individual para uma etiqueta de qualidade Boa ou Má. A descrição também indica o número de respostas analisadas para chegar ao valor percentual calculado.

Na legenda abaixo do gráfico, faça pairar o cursor sobre qualquer um dos motivos da etiqueta de qualidade para realçar esse motivo no gráfico.

Selecione um segmento do gráfico de barras para abrir uma página de perguntas dos utilizadores filtradas pela qualidade dessa resposta. Selecione Ver perguntas para ver uma lista sem filtros de todas as perguntas dentro do período de tempo configurado.

Utilização da ferramenta

A seção Uso da ferramenta mostra um gráfico e métricas que controlam a frequência com que suas ferramentas são iniciadas ao longo do tempo e com que frequência seu agente usou essas ferramentas com êxito. Também mostra indicadores de tendência sobre a frequência com que o seu agente usa cada ferramenta e a percentagem de ferramentas chamadas que são usadas com sucesso.

O gráfico apresenta as cinco principais ferramentas usadas no período de datas definido na parte superior da página Análise.

Na legenda abaixo do gráfico, faça pairar o cursor sobre qualquer uma das ferramentas para realçar essa ferramenta no gráfico.

Para abrir um painel lateral com uma lista de todas as ferramentas usadas no período especificado, juntamente com indicadores de tendência, selecione Ver detalhes no gráfico. No painel de Utilização de ferramentas, pode apresentar cálculos da percentagem de perguntas utilizadas para cada ferramenta. Se o seu agente tiver agentes subordinados, pode optar por apresentar os cálculos tanto para o agente principal como para os agentes subordinados (Tudo), apenas para o Agente principal ou apenas para o Agente subordinado.

Utilização da origem de conhecimento

A secção de uso de fontes de conhecimento fornece uma visão sobre como o seu agente utiliza as suas fontes de conhecimento e com que frequência essas fontes retornam erros. Para detalhes completos sobre métricas disponíveis, filtragem e capacidades de aprofundamento, veja Uso da fonte de conhecimento.