Buscar noticias
Buscá por texto y descubrí noticias relacionadas con tu consulta.
Noticias relevantes
Hasta 10 noticias relacionadas por su significado, ordenadas por relevancia.
Hugging Face BlogPerfilado en PyTorch (Parte 1): guía para principiantes de torch.profiler
Entrada de blog de Hugging Face que inaugura una serie sobre perfilado en PyTorch, centrada en el uso de torch.profiler para leer trazas de CPU y GPU. Explica con ejemplos de multiplicación y suma de matrices cómo distinguir algoritmos limitados por sobrecarga de los limitados por cómputo, interpretar la tabla del perfilador y la cadena de despacho hasta los kernels de CUDA. También analiza el efecto de torch.compile, que fusiona operaciones a nivel del despachador pero no genera un kernel único y aumenta la sobrecarga de CPU por paso.
La deduplicación a gran escala detrás de BigCode
El artículo técnico de Chenghao Mou explica el proceso de deduplicación casi exacta a gran escala aplicado a los conjuntos de datos de BigCode, usando MinHash y hashing sensible a la localidad (LSH). Detalla cómo la eliminación de duplicados mejora el rendimiento de los modelos de lenguaje y de código, reduce riesgos de privacidad y evita la contaminación de benchmarks. Describe la implementación escalable con Spark, que permitió deduplicar 1,4 TB de datos en menos de 4 horas con un costo de 15 dólares por hora.
arXiv Computer Science AIPoolwise: Evaluando modelos de recompensa para la selección entre prompts
Se presenta Poolwise, un protocolo diseñado para evaluar modelos de recompensa en la selección de datos a través de diferentes prompts. El protocolo mide la calidad del conjunto seleccionado y compara el ranking dentro del prompt. Los experimentos demuestran que ajustar la puntuación media de cada prompt mejora la selección de datos con una retención del 30 por ciento.
Parquet Content-Defined Chunking: nueva función de PyArrow y Pandas para deduplicar archivos en Hugging Face
Hugging Face presentó la función Parquet Content-Defined Chunking (CDC), ya disponible en PyArrow y Pandas, que permite deduplicar archivos Parquet sobre la capa de almacenamiento Xet. La técnica divide las columnas en data pages según su contenido, de modo que solo se transfieren los fragmentos modificados al subir o descargar datos. El artículo demuestra con ejemplos que agregar columnas, concatenar filas o cambiar tamaños de row-group reduce drásticamente el volumen transferido, aunque las inserciones y eliminaciones de filas siguen siendo el caso más costoso.
The DecoderGPT-6 Astra ve la matriz y reprograma otros modelos de IA directamente a través de sus pesos
Investigadores desarrollaron un método llamado "Programación en Espacio de Pesos" donde un modelo de IA, Astra, puede ajustar directamente los pesos de otros modelos sin necesidad de un reentrenamiento completo. Este enfoque permitió a Astra mejorar las habilidades matemáticas de un modelo de lenguaje, aumentando significativamente su precisión en benchmarks específicos. Se sugiere que este método podría facilitar auditorías de seguridad y cambios de comportamiento dirigidos en modelos de IA de manera más eficiente.
OpenAI NewsTécnicas para entrenar grandes redes neuronales
OpenAI publicó un artículo técnico que describe las principales técnicas para paralelizar el entrenamiento de grandes redes neuronales sobre clústeres de GPUs. Se explican el paralelismo de datos, de pipeline, de tensores y la mezcla de expertos, junto con estrategias de ahorro de memoria como el checkpointing, la precisión mixta y el offloading. El texto destaca que estas técnicas permiten escalar modelos a cientos de miles de millones o billones de parámetros.
Noticias encontradas
Coincidencias por palabras en títulos, resúmenes, temas, personas, lugares o firmas.
Resultados para «pairprogramming»
Más recientes primero · Hasta 30 noticias por página
HackerNoon¿Qué sucede cuando los agentes de IA comienzan a mantener código legado?
La noticia aborda el tema de los agentes de Inteligencia Artificial y su capacidad para mantener código legado, señalando que la falta de contexto empresarial hace que el mantenimiento autónomo sea un riesgo mayor. También se mencionan avances en herramientas de IA para desarrollo, la obsolescencia de herramientas como Git por agentes de IA, y la seguridad informática con vulnerabilidades encontradas por IA.