Nota
O acesso a esta página requer autorização. Pode tentar iniciar sessão ou alterar os diretórios.
O acesso a esta página requer autorização. Pode tentar alterar os diretórios.
Utilize as funcionalidades de análise detalhada do Copilot Studio para obter uma visão mais profunda das interações dos utilizadores com o seu agente. Pode explorar perguntas individuais dos utilizadores para compreender a qualidade das respostas, identificar lacunas de conhecimento e ver como os utilizadores reagiram às respostas dos agentes. Também pode aprofundar as sessões de conversa para analisar dados detalhados das sessões, acompanhar os resultados das conversas e analisar o desempenho entre canais. Bem como analisar as respostas dadas pelos utilizadores ao seu agente. Estas visualizações detalhadas ajudam-no a compreender os fatores subjacentes que impulsionam as métricas-chave do seu agente e a identificar áreas a melhorar.
Aprofunde-se numa lista de perguntas dos usuários
Aprofunde para ver perguntas específicas que contribuíram para uma métrica e o contexto de apoio, como a resposta do agente, a reação dos utilizadores e quais as fontes de conhecimento envolvidas. Esta perspetiva proporciona uma melhor perceção da qualidade da resposta e ajuda a identificar possíveis lacunas na cobertura do conhecimento.
Importante
Você precisa de uma função de segurança de Bot Transcript Viewer para visualizar a lista e as suas métricas. Apenas os administradores podem conceder esta função, atribuindo o direito de acesso Visualizador de Transcrição do Bot durante a partilha de agentes.
Para ativar esta função de segurança no seu ambiente individual ou de grupo, veja Como configurar as definições de transcrição.
A análise da lista de perguntas é atualmente suportada para os seguintes painéis de métricas: Taxa de resposta gerada e qualidade e utilização da fonte de conhecimento.
Para desagregar a janela da lista de perguntas:
- No painel de Taxa de resposta gerada e qualidade , selecione Ver perguntas.
- No painel de Taxa de resposta Gerada e Qualidade , passe o rato e selecione o segmento da barra de respostas Bom ou Mau .
- No painel de Taxa de Resposta Gerada e Qualidade , selecione a métrica percentual de perguntas 'Respondidas' ou 'Não Respondidas '.
- A partir do painel de uso da fonte de conhecimento , clique em qualquer uma das fontes listadas ou selecione Ver todas para abrir uma página com todas as fontes de conhecimento usadas pelo agente e selecionar a fonte desejada.
A lista de perguntas dos utilizadores é filtrada com base no ponto de dados desagregado. Isto reflete-se nas definições padrão do filtro acima da lista de perguntas. Por exemplo, ao escolher o segmento Irrelevante da barra Pobre na peça de Qualidade das respostas geradas, define-se o filtro de Qualidade das Respostas para Irrelevant nas perguntas listadas.
Se desejar, pode realizar as seguintes ações na página da lista:
- Aplique mais filtragem para restringir ainda mais a lista de perguntas usando os filtros dimensionais da lista.
- Avalie as perguntas listadas de acordo com os critérios que definir no método de teste da avaliação.
- Descarregue as perguntas listadas como ficheiro .csv.
- Consulte informações detalhadas específicas para cada questão em particular.
A janela da lista de perguntas mostra o seguinte:
| Coluna | Description |
|---|---|
| Question | A pergunta feita. |
| Respondido | O status da resposta da inteligência artificial generativa: Respondida ou Não Respondida. |
| Qualidade da resposta | Qualidade da resposta para perguntas amostradas. Os valores possíveis são Poor e Good. |
| Reação | Polegar para cima, polegar para baixo ou sem reação, com um comentário opcional baseado em texto. |
| Date | Data em que a pergunta foi respondida. |
| Fonte de conhecimento | Lista de fontes de conhecimento citadas na resposta do agente. |
Para mais informações, selecione Mostrar detalhes de qualquer pergunta para abrir o painel lateral de detalhes. Este painel fornece informações adicionais sobre a qualidade das respostas associadas a cada pergunta.
| Parâmetro detalhado ao nível da pergunta | Description |
|---|---|
| Carimbo de data/hora | Carimbo de data/hora do caso mais recente em que a pergunta foi respondida. |
| Consulta do utilizador | A pergunta feita. |
| Resposta | A resposta generativa da IA. |
| Valor de Polegar para cima / Polegar para baixo | Valor para a instância mais recente desta pergunta para o parâmetro Polegar para cima / Polegar para baixo. |
| Comment | Comentário extra opcional baseado em texto, fornecido pelo utilizador, além da reação Polegar para cima / Polegar para baixo. |
| Qualidade da resposta1 | Resposta à pergunta sobre qual foi a qualidade da resposta à consulta do utilizador. Os valores possíveis são Poor e Good. |
| Razão2 | No caso em que a qualidade da resposta é Poor, este parâmetro explica porquê. |
1 A qualidade da resposta nem sempre está disponível e só aparece se a pergunta tiver sido amostrada para análise de qualidade.
2 Se a qualidade da resposta for Good ou se a pergunta não tiver sido amostrada, o parâmetro Reason não receberá nenhum valor.
Desagregar até às sessões
Aprofunde-se nas sessões para visualizar as sessões específicas que contribuíram para uma métrica e examinar os dados subjacentes da sessão. Esta visão mais profunda ajuda-o a compreender o porquê e o como por trás das métricas de alto nível dos agentes e permite-lhe identificar e investigar potenciais problemas.
Use a lista de sessões para analisar o desempenho do agente e investigar, examinando os dados ao nível da sessão que conduzem ao resultado da sessão (resolved, escalated, abandoned, ou unengaged). Por exemplo, filtra por canal, foca-te em sessões de CSAT baixas e depois aprofunda os dados das sessões para perceber porque é que os clientes nesses canais podem estar a ter uma má experiência.
Para desagregar até à janela da lista de sessões:
- No painel de resultados da Conversa, selecione Ver sessões para visualizar todas as sessões do período analítico.
- No painel de resultados da conversa, selecione Ver detalhes. Isto abre um painel lateral de métricas adicionais sobre os resultados das sessões de conversa. Selecione em qualquer gráfico de métrica destacado para visualizar uma lista de filtros de sessões.
A lista de sessões dos utilizadores é filtrada com base no ponto de dados que desagregou. Isto reflete-se nas definições de filtro padrão acima da lista de sessões. Por exemplo, no painel lateral Resultados da conversação, escolher o segmento da barra Resolvida com confirmação do mosaico da barra Motivos dos resultados resolvidos, o resultado da sessão e o motivo do resultado são definidos como resolvida e resolvida com confirmação, respetivamente.
Se desejar, pode aplicar mais filtragem na página da lista *Sessões para restringir ainda mais a lista de sessões usando os filtros dimensionais da lista. Ao clicar em qualquer uma das sessões, aparece o painel de transcrições da sessão.
Observação
Para ver as sessões, tem de ter o direito de acesso de Visualizador de Transcrição do Bot.
A lista de sessões é atualizada diariamente e apresenta até 10.000 sessões por dia. Apenas os últimos 28 dias de sessões estão armazenados e disponíveis para visualização.
A lista de janelas de sessão está ordenada pelos seguintes parâmetros:
| Parâmetro detalhado ao nível da sessão | Description |
|---|---|
| Hora de início | Marca temporal de quando a sessão foi invocada. |
| Duração | Duração da conversa com o agente, mostrada em minutos e segundos. |
| Messages | Número de mensagens trocadas entre o utilizador e o agente. |
| Resultado | Resultado da conversa com o agente. Os valores possíveis são Resolved, Escalated, Abandoned, ou Unengaged. |
| Razão do resultado | Contexto adicional explicando porque ocorreu o resultado da sessão (por exemplo, erro do sistema ou Resolvido implícito). |
| Channel | O canal onde a conversa decorreu, como o Teams, Microsoft 365 Copilot e SharePoint. |
| CSAT | Avaliação de satisfação do cliente (CSAT) para a sessão, baseada no feedback dos utilizadores, se disponível. |
Analisar o feedback e a satisfação dos utilizadores
Para além das métricas de alto nível, o feedback dos utilizadores fornece uma visão direta sobre como os utilizadores percebem as respostas do seu agente através de reações, comentários, resultados de inquéritos e análise de sentimento. Ao analisar os comentários e reações dos utilizadores, pode compreender o que gostaram ou não gostaram em respostas específicas dos agentes, identificar tendências na satisfação dos utilizadores e descobrir áreas específicas onde o seu agente se destaca ou precisa de melhorias. Isto é útil para compreender o sentimento dos utilizadores e aperfeiçoar continuamente o desempenho do seu agente.
Explore os comentários
Depois que um usuário fornece uma reação, ele pode deixar um comentário. Na página de Análises, para aprofundar até aos comentários dos utilizadores, selecione o ícone
Comentários no bloco Reações.
Se desejar, pode realizar as seguintes ações na página da lista de Comentários :
- Aplique mais filtragem para restringir ainda mais a lista de comentários dos utilizadores usando os filtros dimensionais da lista.
- Avalie os comentários listados de acordo com os critérios que definir no método de teste da avaliação.
- Consulte informações detalhadas específicas para um comentário individual.
Aprofunde-se nas reações
Para desagregar até à lista de respostas de agentes que contribuem para a reação de um utilizador individual, no gráfico circular Reações, selecione um dos segmentos correspondente a Polegar para cima ou Polegar para baixo. Por padrão, a lista de respostas do agente (a lista de Reações) é filtrada com base na reação do utilizador na qual você aprofundou.
Se desejar, pode realizar as seguintes ações na página da lista de Reações :
- Aplique mais filtragem para restringir ainda mais a lista de respostas dos agentes usando os filtros dimensionais da lista.
- Avalie as respostas listadas dos agentes de acordo com os critérios que definir no método de teste da avaliação.
- Consulte informações detalhadas específicas para a resposta individual de um agente.