HPE pone el almacenamiento a trabajar en el caro problema de memoria de la IA

Resumen del corpus

HPE está abordando el problema de la memoria de GPU en la IA mediante la tecnología Alletra MP X10000, que ofrece una caché KV para reutilizar el estado de inferencia. Pruebas validadas demuestran que esta solución puede lograr hasta 20 veces más rápido el tiempo hasta el primer token y un 17 veces mayor rendimiento de inferencia efectivo al evitar el recálculo repetitivo de la memoria de GPU. Esto aborda la necesidad de manejar contextos largos y múltiples agentes en cargas de trabajo de IA complejas.