ServiceNow presenta EVA, un marco para evaluar agentes de voz conversacionales

Resumen del corpus

ServiceNow presentó EVA, un marco de evaluación de extremo a extremo para agentes de voz conversacionales que puntúa conjuntamente la precisión (EVA-A) y la experiencia (EVA-X) de las conversaciones habladas. El marco usa una arquitectura bot a bot con simulador de usuario, agente de voz, ejecutor de herramientas, validadores y una suite de métricas, y se publica con un conjunto de datos de aerolínea de 50 escenarios y 15 herramientas. Al evaluar 20 sistemas, los autores hallaron una compensación consistente entre precisión y experiencia, y señalaron la transcripción de entidades nombradas como un modo de falla dominante.