Benchmarking de optimizaciones guiadas por proveedores en NPUs de borde: De NPU solo a rendimiento de extremo a extremo.

Resumen del corpus

Se presenta una metodología de benchmarking para evaluar el rendimiento de las NPU de borde, comparando configuraciones de optimización guiada por el proveedor (VG-NPU y VG-E2E). Los resultados indican que VG-NPU mejora la precisión y la latencia de llamada en tiempo de ejecución, mientras que VG-E2E reduce la latencia a nivel de sistema, mostrando la importancia de evaluar las optimizaciones en diferentes niveles de despliegue.