Entendiendo los desafíos en la optimización generativa iterativa con LLMs

Resumen del corpus

Se investiga la optimización generativa iterativa con LLMs, encontrando que su fragilidad se debe a decisiones de diseño no explícitas sobre qué editar y qué evidencia de aprendizaje proporcionar. Se analizan tres factores clave, como el artefacto inicial y el horizonte de crédito, para determinar el éxito de la optimización en diferentes escenarios. Se propone una regla de tamaño de lote y horizonte de crédito calibrada para transferir a otros modelos.

Periodista: Allen Nie, Xavier Daull, Zhiyi Kuang, Abhinav Akkiraju, Anish Chaudhuri, Max Piasevoli, Ryan Rong, YuCheng Yuan, Prerit Choudhary, Shannon Xiao, Rasool Fakoor, Adith Swaminathan, Ching-An Cheng

Noticia original

Ver todas las noticias de arXiv Computer Science AI