Decodificación especulativa de nivel de frase en un objetivo congelado

Resumen del corpus

Se presenta una mejora en la decodificación especulativa para aumentar el rendimiento al permitir que más candidatos sobrevivan a la verificación. Se describe una técnica donde una cabezal MLP predice frases de una a tres palabras en un vocabulario de borrador separado, optimizando el uso de parámetros y manteniendo la coherencia con el vocabulario del modelo base. Los resultados demuestran una ventaja en métricas de razonamiento matemático frente a otros modelos.

Periodista: Madhusudhana Naidu

Personas mencionadas
Noticia original

Ver todas las noticias de arXiv Computer Science AI