mixture-of-experts
Todas las noticias con este tag · Estados Unidos.
Ver estadísticas de este tema
Noticias por hora
Últimas 24 horas · hora argentina
Consultar los valores por hora
| Hora | Noticias |
|---|---|
| 13 nov 2026, 7:00 p. m. | 0 |
| 13 nov 2026, 8:00 p. m. | 0 |
| 13 nov 2026, 9:00 p. m. | 0 |
| 13 nov 2026, 10:00 p. m. | 0 |
| 13 nov 2026, 11:00 p. m. | 0 |
| 14 nov 2026, 12:00 a. m. | 0 |
| 14 nov 2026, 1:00 a. m. | 0 |
| 14 nov 2026, 2:00 a. m. | 0 |
| 14 nov 2026, 3:00 a. m. | 0 |
| 14 nov 2026, 4:00 a. m. | 0 |
| 14 nov 2026, 5:00 a. m. | 0 |
| 14 nov 2026, 6:00 a. m. | 0 |
| 14 nov 2026, 7:00 a. m. | 0 |
| 14 nov 2026, 8:00 a. m. | 0 |
| 14 nov 2026, 9:00 a. m. | 0 |
| 14 nov 2026, 10:00 a. m. | 0 |
| 14 nov 2026, 11:00 a. m. | 0 |
| 14 nov 2026, 12:00 p. m. | 0 |
| 14 nov 2026, 1:00 p. m. | 0 |
| 14 nov 2026, 2:00 p. m. | 0 |
| 14 nov 2026, 3:00 p. m. | 0 |
| 14 nov 2026, 4:00 p. m. | 0 |
| 14 nov 2026, 5:00 p. m. | 0 |
| 14 nov 2026, 6:00 p. m. | 0 |
| 14 nov 2026, 7:00 p. m. | 0 |
Noticias por día
Últimos 30 días, incluido hoy · hora argentina
Consultar los valores por día
| Día | Noticias |
|---|---|
| 2026-10-16 | 0 |
| 2026-10-17 | 0 |
| 2026-10-18 | 0 |
| 2026-10-19 | 0 |
| 2026-10-20 | 0 |
| 2026-10-21 | 0 |
| 2026-10-22 | 0 |
| 2026-10-23 | 0 |
| 2026-10-24 | 0 |
| 2026-10-25 | 0 |
| 2026-10-26 | 0 |
| 2026-10-27 | 0 |
| 2026-10-28 | 0 |
| 2026-10-29 | 0 |
| 2026-10-30 | 0 |
| 2026-10-31 | 0 |
| 2026-11-01 | 0 |
| 2026-11-02 | 0 |
| 2026-11-03 | 0 |
| 2026-11-04 | 0 |
| 2026-11-05 | 0 |
| 2026-11-06 | 0 |
| 2026-11-07 | 0 |
| 2026-11-08 | 0 |
| 2026-11-09 | 0 |
| 2026-11-10 | 1 |
| 2026-11-11 | 2 |
| 2026-11-12 | 0 |
| 2026-11-13 | 0 |
| 2026-11-14 | 0 |
Los gráficos cuentan por fecha de publicación y respetan los filtros. El archivo incluye todo el histórico.
Noticias de mixture-of-experts
3 noticias · De más nuevas a más antiguas.
arXiv Computer Science AIEntendiendo los modelos de lenguaje Mixture-of-Experts más allá de los límites de los expertos
El artículo investiga la organización a nivel de neurona en modelos Mixture-of-Experts (MoE) utilizando la medida RAMP. Se encontró que los conjuntos de neuronas especializadas por dominio muestran un solapamiento significativamente mayor en muestras del mismo dominio que entre diferentes dominios. Se propone un método de poda (RAMPr) para seleccionar neuronas y preservar el rendimiento del modelo.
Pruning y destilación de Mixture-of-Experts a modelos de lenguaje densos
Se presenta un marco sistemático para convertir modelos Mixture-of-Experts (MoE) entrenados en arquitecturas densas estándar mediante la puntuación, selección y agrupación de expertos. Se demuestra que el método de puntuación es el factor más influyente, superando a métodos previos en la comparación de modelos como Qwen3-30B-A3B. El método MoE-a-denso mostró una mejora de +6.3 puntos porcentuales en precisión de *downstream* comparado con el *pruning* denso-a-denso.
Estabilizando el Aprendizaje por Refuerzo en MoE al alinear enrutadores de entrenamiento e inferencia
Se propone el método Rollout Routing Replay (R3) para estabilizar el entrenamiento de aprendizaje por refuerzo (RL) en modelos Mixture-of-Experts (MoE). Este método registra las distribuciones de enrutamiento de la fase de inferencia y las repite durante el entrenamiento, reduciendo la divergencia KL y previniendo el colapso del entrenamiento. Los experimentos confirman que R3 estabiliza el entrenamiento de RL y supera a otros métodos existentes.