Table of Contents

Knowledge Performance

El reporte proporciona una visión general del rendimiento de los contextos cognitivos, organizando la información por fechas. Los usuarios pueden visualizar, de manera resumida, el funcionamiento de los diferentes modelos cognitivos en un período específico, evaluando indicadores clave como la precisión, el tiempo de respuesta, la ejecución de las intenciones entrenadas, los motores cognitivos más utilizados en el tenant, entre otros.

Todos los gráficos del reporte incluyen una leyenda interactiva que permite explorar los datos de forma dinámica. Al hacer clic en un elemento de la leyenda, los valores de esa categoría se ocultan en el gráfico, lo que facilita el análisis de las demás categorías y mejora la interpretación.

Evaluaciones cognitivas

Este gráfico evalúa el rendimiento del modelo cognitivo al relacionar los tiempos de evaluación con el número de evaluaciones realizadas. Facilita la identificación de patrones de uso, como períodos de alta demanda, y posibles problemas de latencia, ayudando a priorizar mejoras para garantizar una experiencia fluida para el usuario final.

evaluacionesCognitivas

Interpretación de los datos

El gráfico combina barras y líneas para ilustrar la relación entre el número de evaluaciones y los tiempos de evaluación:

  • Eje X: Representa el tiempo, ajustado según el rango seleccionado en el filtro inicial del dashboard.
  • Eje Y principal: Muestra el tiempo de evaluación, expresado en milisegundos (ms).
  • Eje Y secundario: Indica el número de evaluaciones.

Relación entre barras y líneas:

  • Las barras reflejan el número de evaluaciones (eje Y secundario), útil para observar la carga del sistema en distintos momentos.
  • Las líneas representan métricas de tiempo (eje Y principal):
    • Tiempo medio: Desempeño típico del modelo.
    • Tiempo máximo: Picos de latencia, indicativos de posibles problemas o interacciones complejas.
    • Tiempo mínimo: Respuestas más rápidas, asociadas a interacciones simples o predicciones confiables.

Identificación de tendencias:

  • Sobrecarga: Si el número de evaluaciones aumenta y los tiempos también, podría señalar una sobrecarga del sistema.
  • Anomalías: Una gran diferencia entre el tiempo máximo y el medio sugiere casos atípicos que podrían requerir análisis detallado.
  • Eficiencia: Una estabilidad en el tiempo medio, incluso con alta carga, indica un modelo bien optimizado.

Caso de uso

Monitoreo y Optimización del Desempeño de un Modelo Cognitivo

Descripción: En un sistema de atención al cliente que utiliza un motor cognitivo para procesar y generar respuestas, el equipo responsable del rendimiento y la eficiencia del sistema necesita evaluar la calidad de las respuestas y los tiempos de evaluación para asegurar que el modelo esté funcionando dentro de los parámetros deseados. Este gráfico ayuda a visualizar la relación entre el número de evaluaciones realizadas y los tiempos asociados con estas, lo que permite identificar posibles problemas de rendimiento o cuellos de botella.

Cómo se usa el gráfico:

  1. Monitoreo del tiempo medio de evaluación: El equipo puede observar las barras que muestran el tiempo medio de evaluación para asegurarse de que las respuestas se están generando en un tiempo aceptable. Si el tiempo medio de evaluación es muy alto, se pueden tomar acciones para optimizar el modelo.
  2. Identificación de picos en el tiempo de evaluación: Los picos en el gráfico de líneas pueden indicar momentos en los que el motor cognitivo experimentó un mayor tiempo de evaluación, lo cual podría ser causado por picos de carga o por problemas específicos en el procesamiento de ciertas intenciones.
  3. Evaluación de la cantidad de evaluaciones: El número de evaluaciones, representado en el eje Y secundario, puede ayudar a determinar si un mayor volumen de interacciones está afectando negativamente los tiempos de evaluación. Un alto número de evaluaciones y tiempos de evaluación elevados pueden indicar que el modelo necesita ajustes en su capacidad de procesamiento.
  4. Toma de decisiones para la mejora: Con esta información, el equipo puede decidir si es necesario ajustar los parámetros del modelo, reentrenarlo, o realizar cambios en la infraestructura para mejorar el rendimiento y la eficiencia.

Evaluaciones cognitivas totales

El gráfico tiene como objetivo visualizar la distribución y el rendimiento de las intenciones gestionadas por los motores cognitivos integrados. Permite identificar patrones de uso, desequilibrios en la carga de trabajo y oportunidades para optimizar la configuración, mejorando la eficiencia operativa y la experiencia del cliente.

Interpretación de los datos

El gráfico de pastel muestra la proporción de intenciones ejecutadas por cada motor cognitivo en el tenant, destacando su participación en el total de interacciones. Cada sección representa un motor y su tamaño refleja el volumen de intenciones gestionadas, facilitando la identificación rápida de qué motor asume la mayor carga de trabajo.

  • Leyenda interactiva: Detalla los motores disponibles, como LEA, IBM Watson, DialogFlow y Microsoft CLU, junto con el número de intenciones asociadas a cada uno, lo que ayuda a asociar visualmente cada segmento del gráfico con su motor correspondiente.
  • Patrones de uso y desequilibrios: Un motor con mayor participación podría estar gestionando intenciones clave o ser más eficiente. Una distribución desigual sugiere sobresaturación o infrautilización, lo que podría afectar el rendimiento.
  • Oportunidades de optimización: Los motores con menor participación podrían ser optimizados o redistribuir la carga para equilibrar el rendimiento.

Caso de uso

Optimización de la Distribución de Carga entre Motores Cognitivos

Descripción: En un sistema de atención al cliente que utiliza múltiples motores cognitivos, el equipo debe asegurar una carga de trabajo equilibrada entre ellos. Este gráfico facilita la identificación de patrones de uso y áreas de mejora en la configuración.

Cómo se usa el gráfico:

  1. Monitoreo de uso: El gráfico muestra qué motores gestionan más interacciones. Si un motor tiene una participación alta, podría estar sobrecargado, lo que requeriría ajustes.
  2. Redistribución de la carga: Si algunos motores están sobresaturados, el equipo puede redistribuir intenciones para mejorar la eficiencia y reducir los tiempos de respuesta.
  3. Evaluación del desempeño: Al analizar el volumen de interacciones y el rendimiento (tiempos de respuesta, tasas de acierto), se puede determinar si se necesitan ajustes en el modelo o entrenamiento.
  4. Optimización y expansión: Los motores infrautilizados pueden ser optimizados o entrenados para gestionar nuevas intenciones, equilibrando mejor la carga de trabajo.
  5. Decisiones estratégicas: El análisis visual facilita la priorización de inversiones en motores más utilizados o eficientes, así como la integración de nuevos motores si es necesario.

Intenciones cognitivas totales

La tabla proporciona una visión detallada de cómo se distribuyen las interacciones entre las intenciones cognitivas y los motores cognitivos, lo que permite evaluar el desempeño del sistema y detectar oportunidades de mejora.

Interpretación de los datos

  • Nombre de la intención: Identifica la intención cognitiva y el tipo de interacción que maneja, facilitando el análisis de la carga de trabajo y su relevancia en el flujo de interacciones.
  • Total de interacciones: Muestra la frecuencia de ejecución de cada intención. Las intenciones con un alto número de interacciones son críticas y deben monitorearse para asegurar su desempeño.tención está gestionando de manera óptima el volumen de interacciones.
  • Motor cognitivo: Indica el motor que ejecuta cada intención, lo que permite evaluar la eficiencia de cada motor según el número de interacciones gestionadas. Un motor con muchas interacciones podría estar sobresaturado, mientras que uno con pocas podría requerir ajustes o más entrenamiento.

Caso de uso

Optimización del Sistema de Atención al Cliente

Descripción: En una empresa que utiliza motores cognitivos para automatizar respuestas, es esencial priorizar la optimización de las intenciones más relevantes y mejorar aquellas con menor efectividad. El gráfico de pastel y la tabla asociada proporcionan información clave para este objetivo.

Cómo se usa el gráfico y la tabla:

  1. Identificación de intenciones más solicitadas: El gráfico de pastel resalta las intenciones con mayor frecuencia de detección, lo que indica su relevancia y prioridad para garantizar precisión y efectividad.
  2. Análisis del desempeño por motor cognitivo (usando la tabla): Al revisar la columna Motor cognitivo, se puede evaluar si el motor asociado a cada intención está gestionando de manera óptima el volumen de interacciones.
  3. Identificación de áreas de mejora: Al revisar la columna "Motor cognitivo", se puede evaluar si el motor asociado a cada intención está gestionando de manera óptima el volumen de interacciones.
  4. Redistribución de carga entre motores: Si un motor gestiona un volumen excesivo de interacciones, se puede redistribuir la carga entre otros motores para equilibrar el sistema y mejorar su rendimiento.
  5. Toma de decisiones estratégicas: Los datos visualizados permiten priorizar mejoras en las intenciones más críticas para los usuarios, optimizando el rendimiento global del sistema.

Confianza de la detección de la interacción

Este gráfico evalúa la precisión del motor cognitivo al identificar intenciones en las interacciones. Muestra el nivel de confianza del modelo en asignar correctamente una intención, lo que ayuda a identificar áreas donde el modelo necesita mejoras, optimizando los datos de entrenamiento y la efectividad del sistema.

Interpretación de los datos

  • Eje X: Agrupa las intenciones detectadas, representando cada una según las frases de entrada y los datos de entrenamiento.
  • Eje Y: Muestra la confianza del motor cognitivo como un porcentaje (de 0 a 100). Un valor cercano a 100 indica alta confianza, mientras que valores bajos reflejan incertidumbre en la detección.

Este gráfico no solo revela las intenciones más frecuentes, sino también aquellas en las que el modelo muestra menos confianza, lo que indica áreas donde se puede mejorar el entrenamiento.

Leyenda interactiva

Muestra dos líneas:

  • Confidencia promedio del tenant: Esta línea muestra el nivel promedio de confianza del motor cognitivo para todas las intenciones detectadas dentro de un tenant específico
  • Confidencia promedio de la intención: Esta línea refleja la confianza promedio para cada intención detectada en particular.

Interpretación de los puntos:

  • Puntos altos: Alta confianza (cerca de 100) indica que el motor está seguro de haber identificado correctamente la intención, basado en patrones claros de la entrada.
  • Puntos bajos: Baja confianza indica dudas sobre la intención detectada, posiblemente por frases ambiguas o falta de entrenamiento en esas áreas.

Caso de uso

Mejora de la Precisión del Modelo Cognitivo en un Sistema de Atención al Cliente

Descripción: En un sistema de atención al cliente, garantizar la alta confianza del modelo al identificar intenciones es clave. Este gráfico ayuda a monitorear la precisión de la detección, identificar áreas problemáticas y tomar decisiones informadas sobre el reentrenamiento del modelo.

Cómo se usa el gráfico:

  • Evaluación de confianza en las intenciones: Observar las intenciones con alta confianza (puntos cercanos a 100) para asegurarse de que el modelo está funcionando bien en esas áreas.
  • Identificación de intenciones problemáticas: Los puntos bajos indican intenciones donde el modelo no está seguro. Esto puede ser por frases ambiguas o falta de datos de entrenamiento, lo que requiere revisión para mejorar el rendimiento.
  • Análisis de intenciones frecuentes y su confianza: Comparar la frecuencia de las intenciones con su nivel de confianza para identificar áreas comunes que puedan necesitar atención.
  • Toma de decisiones sobre reentrenamiento: Si varias intenciones muestran baja confianza, se puede mejorar el modelo ajustando los datos de entrenamiento o añadiendo más ejemplos específicos para reducir la incertidumbre.

Tabla de Frases Cognitivas

Esta tabla analiza el desempeño del motor cognitivo al identificar intenciones y generar respuestas. Proporciona métricas clave como confianza, llamadas repetidas y tipos de resultados, ayudando a detectar áreas de mejora para optimizar los datos de entrenamiento y la interacción del sistema con los usuarios.

Interpretación de los datos

La tabla está estructurada en seis columnas distribuidas de la siguiente manera:

  1. Texto: Entrada del usuario.
  2. Nombre de la intención: Intención identificada por el motor.
  3. Llamadas: Frecuencia de la entrada textualmente repetida.
  4. Confdencia: Nivel de certeza del motor en la identificación de la intención (0 a 100).
  5. Confidencia mínima: Nivel más bajo de confianza alcanzado en las evaluaciones de esta frase.
  6. Tipo de resultado: Salida generada por el motor, con los siguientes valores posibles:
    • NormalEvaluated: Entrada procesada correctamente con confianza adecuada.
    • SystemIrrelevant: Entrada no relacionada con las intenciones configuradas.
    • SilentError: Error procesado sin notificación visible al usuario.
    • NonCognitiveAbility: Entrada fuera del alcance del motor cognitivo.
    • Deflection: SRedirección a otra área o tema.
    • DeflectionClientIdentification: Solicita información adicional del usuario antes de responder.
    • Voice: Respuesta generada en aplicaciones de voz.
    • CognitiveEvaluationError: Error en la evaluación cognitiva debido a ambigüedad o datos insuficientes.
    • NotFoundError: Entrada sin intención o respuesta asignada.
    • LowConfidenceEvaluationError: Detección con baja confianza, sin respuesta confiable.
    • Error: Error genérico en el procesamiento.

Las frases con baja confianza o resultados problemáticos señalan áreas clave para ajustes en los datos de entrenamiento o en la configuración del sistema.

Caso de uso

Identificación de Áreas de Mejora en un Motor Cognitivo

Descripción: Una empresa utiliza un motor cognitivo para automatizar la atención al cliente. Los analistas desean identificar posibles ajustes en el modelo para mejorar su precisión y optimizar las respuestas generadas. Para lograrlo, analizan la tabla de resultados.

Uso de la Tabla:

  • Texto y Nombre de la Intención: Se filtran frases comunes que generan resultados inesperados, como SystemIrrelevant o NotFoundError.
  • Llamadas: Se priorizan frases con mayor frecuencia para maximizar el impacto de las mejoras.
  • Confidencia y Confidencia Mínima: Las frases con niveles de confianza bajos, especialmente por debajo del umbral aceptado, se envían para revisión del modelo.
  • Tipo de Resultado:
    • Analizar entradas categorizadas como LowConfidenceEvaluationError o SilentError para ajustar intenciones o ampliar el dataset de entrenamiento.
    • Revisar las entradas marcadas como DeflectionClientIdentification para verificar si las solicitudes de información adicional son claras para el usuario.