NVIDIA NIM permite desplegar más de 100.000 LLM de Hugging Face con un solo microservicio

Resumen del corpus

NVIDIA anunció que sus microservicios de inferencia NIM permiten desplegar más de 100.000 modelos de lenguaje grandes (LLM) alojados en Hugging Face mediante un único contenedor Docker. El sistema detecta automáticamente arquitectura, formato y cuantización del modelo, y selecciona el backend de inferencia adecuado entre TensorRT-LLM, vLLM y SGLang sin configuración manual. La publicación incluye ejemplos de despliegue y usuarios reportaron problemas de acceso a la imagen en el registro de contenedores.