Buscar noticias
Buscá por texto y descubrí noticias relacionadas con tu consulta.
Noticias relevantes
Hasta 10 noticias relacionadas por su significado, ordenadas por relevancia.
No encontramos noticias relacionadas por su significado.
Noticias encontradas
Coincidencias en título, descripción, resumen, tags, personas o periodista.
1 resultado para «Mario Zechner»
Más recientes primero · Hasta 30 noticias por página
Hugging Face Blog¿Es suficientemente agéntico? Cómo evaluar modelos abiertos con tus propias herramientas
Hugging Face publicó un arnés de evaluación, agent-eval, que mide no solo si un agente de programación resuelve una tarea con la biblioteca transformers, sino cuánto esfuerzo le lleva: turnos, tokens, tiempo y errores. El estudio comparó modelos abiertos grandes y pequeños en tres niveles (bare, clone y skill) y halló que el commit que agrega una CLI y una Skill reduce el tiempo de los modelos grandes pero perjudica a los pequeños, que en algunos casos caen del 100% al 0% de acierto. Los autores concluyen que las APIs orientadas a agentes deben evaluarse en distintos tamaños de modelo antes de publicarse.