Presentan RWKV, una arquitectura que combina las ventajas de las RNN y los transformers

Resumen del corpus

Hugging Face presentó la integración de RWKV, una arquitectura que combina ventajas de las redes neuronales recurrentes (RNN) y de los transformers, en su librería transformers. El proyecto, liderado por Bo Peng y con GPUs donadas por Stability AI, ofrece modelos de lenguaje de entre 170 millones y 14.000 millones de parámetros, además de versiones de chat (Raven) ajustadas por instrucciones. La arquitectura busca entrenar más rápido que GPT y mantener eficiencia de memoria en inferencia con contextos largos.