Un tokenizador multi-palabra para 204 idiomas que necesita menos tokens que GPT-4o
Resumen del corpus
Se presenta un tokenizador Havon v3 y v4, y posteriormente v5, diseñado para manejar 204 idiomas, comparando su eficiencia de tokens frente al tokenizador de GPT-4o. Los resultados muestran que el tokenizador v4 y v5 logran una reducción en el número de tokens necesarios en comparación con GPT-4o en varios idiomas, especialmente en inglés y lenguas romances.
Tags
Personas mencionadas
Noticia original