Brasilidade: Medindo la identidad brasileña para modelos de lenguaje grandes

Resumen del corpus

Se presenta una nueva metodología de evaluación llamada Brasilidade para medir las limitaciones de los Modelos de Lenguaje Grandes (LLMs) en portugués brasileño. La investigación demuestra que el tamaño del modelo no es el factor determinante del rendimiento, y que modelos de tamaño mediano superaron a los modelos más grandes en los protocolos evaluados. Esto subraya la necesidad de nuevos benchmarks para mejorar el entrenamiento de modelos en este dialecto.