Mixture-of-Models: Inferencia Distribuida sobre LLMs Heterogéneos como Mezcla de Expertos a Nivel de Modelo
Resumen del corpus
Se propone la arquitectura Mixture-of-Models (MoM) como Switch Transformer para escalar la capacidad de los modelos MoE al nivel semántico, componiendo la inferencia a través de LLMs distribuidos entrenados independientemente. El método utiliza un protocolo de Deliberación Auto-Evaluativa N-Way para alcanzar consenso. Los resultados experimentales demuestran que un conjunto de modelos más pequeños puede igualar el rendimiento de un modelo MoE de 120B.
Tags
Personas mencionadas
Noticia original