Un tokenizador multi-palabra para 204 idiomas que necesita menos tokens que GPT-4o

Resumen del corpus

Se presenta un tokenizador Havon v3 y v4, y posteriormente v5, diseñado para manejar 204 idiomas, comparando su eficiencia de tokens frente al tokenizador de GPT-4o. Los resultados muestran que el tokenizador v4 y v5 logran una reducción en el número de tokens necesarios en comparación con GPT-4o en varios idiomas, especialmente en inglés y lenguas romances.

Periodista: Johin Johny, Ankur Ghosh, Shervin Sam

Personas mencionadas
Noticia original

Ver todas las noticias de arXiv Computer Science AI