Buscar noticias
Buscá por texto y descubrí noticias relacionadas con tu consulta.
Noticias relevantes
Hasta 10 noticias relacionadas por su significado, ordenadas por relevancia.
No encontramos noticias relacionadas por su significado.
Noticias encontradas
Coincidencias en título, descripción, resumen, tags, personas o periodista.
2 resultados para «Luc Georges»
Más recientes primero · Hasta 30 noticias por página
Hugging Face Blogtokenizers v1: codificación, decodificación y escalado medidos
Hugging Face publicó tokenizers v1, una reescritura de su biblioteca de tokenización que codifica texto entre 3 y 30 veces más rápido que la versión v0.23 en un Apple M4 Max, manteniendo idénticos los IDs de token, la API y el vocabulario. Las mejoras combinan un divisor basado en flujos de bits con SIMD en lugar de expresiones regulares, una caché de palabras por hilo, un bucle de fusión sin asignaciones y llamadas al modelo por lotes. La versión candidata ya está en crates.io y la hoja de ruta hacia 1.0.0 incluye más familias de modelos, bindings de C/C++ para ExecuTorch y llama.cpp, y una futura exploración de codificación en GPU.
Continuous batching desde los primeros principios: cómo optimizar la inferencia de LLM
Artículo técnico del blog de Hugging Face que explica desde los fundamentos el continuous batching, la técnica que permite servir modelos de lenguaje a muchos usuarios simultáneamente. Partiendo del mecanismo de atención y la caché KV, los autores derivan el prefill troceado y el ragged batching con planificación dinámica, y muestran cómo combinados maximizan el throughput y eliminan el desperdicio de relleno en la inferencia de LLM.