BigCodeArena: Revelando preferencias humanas más fiables en la generación de código mediante la ejecución
Resumen del corpus
Se presenta BigCodeArena, una plataforma de evaluación humana para la generación de código que permite la ejecución de código generado por LLM. La plataforma utiliza datos de más de 14,000 sesiones de conversación para evaluar las preferencias humanas en la codificación. Se identifican diferencias en el rendimiento de los LLM al juzgar preferencias de codificación cuando se dispone de resultados de ejecución.
Tags
Personas mencionadas
Noticia original - Terry Yue Zhuo
- Xiaolong Jin
- Hange Liu
- Juyong Jiang
- Tianyang Liu
- Chen Gong
- Bhupesh Bishnoi
- Vaisakhi Mishra
- Marek Suppa
- Noah Ziems
- Saiteja Utpala
- Ming Xu
- Guangyu Song
- Kaixin Li
- Yuhan Cao
- Bo Liu
- Zheng Liu
- Sabina Abdurakhmanova
- Wenhao Yu
- Mengzhao Jia
- Jihan Yao
- Kenneth Hamilton
- Kumar Shridhar
- Minh Chien Vu
- Dingmin Wang
- Jiawei Liu
- Zijian Wang
- Qian Liu
- Binyuan Hui
- Meg Risdal
- Ahsen Khaliq
- Atin Sood
- Zhenchang Xing
- Wasi Uddin Ahmad
- John Grundy
- David Lo
- Banghua Zhu
- Xiaoning Du
- Torsten Scholak
- Leandro von Werra