Temperatura, no conocimiento: Lo que el autoentrenamiento recursivo y sus remedios hacen a la confianza de un modelo de lenguaje

Resumen del corpus

Se investiga cómo el autoentrenamiento recursivo afecta la confianza de los modelos de lenguaje, encontrando que la confianza se agudiza y las respuestas más seguras se vuelven menos fiables. Se comparan diferentes remedios para mitigar este efecto, observando que algunos métodos mejoran la discriminación pero provocan subconfianza.

Noticia original

Ver todas las noticias de arXiv Computer Science AI