Buscar noticias

Hugging Face Blog🇺🇸 Estados Unidos17 dic 2024, 9:00 p. m.

Bamba: modelo híbrido Mamba2 eficiente en inferencia

IBM, Princeton, CMU y UIUC presentaron Bamba-9B, un modelo híbrido Mamba2 entrenado con 2,2 billones de tokens y datos abiertos. Según los autores, ofrece hasta 2,5 veces más rendimiento y la mitad de latencia que transformers estándar en vLLM, y su desempeño promedio queda casi a la par de Meta Llama 3.1 8B al excluir matemáticas y MMLU. El modelo y las recetas de entrenamiento se publicaron en transformers, vLLM, TRL y llama.cpp para fomentar la experimentación de la comunidad.

Periodista: Linsong Chu, Divya Kumari, Tri Dao, Albert Gu, Raghu Ganti, Dakshi Agrawal, Mudhakar Srivatsa, Davis Wertheimer, Fabian Lim, Antoni Viros, Nelson Gonzalez, Tuan HoangTrong, Ofir Arviv, Yotam Perlitz, Michal Shmueli-Scheuer, Haochen Shen, Minjia Zhang, Gabe Goodhart, Naigang Wang, Nick Hill, Joshua Rosenkranz, Charlie Liu, Adnan Hoque, Chih-Chieh Yang, Sukriti Sharma, Anh Uong, Jay Gala, Syed Zawad, Ryan Gordon