Buscar noticias

Hugging Face Blog🇺🇸 Estados Unidos8 may 2024, 9:00 p. m.

Intel presenta aplicaciones RAG empresariales eficientes en costos con Gaudi 2 y Xeon

Intel publicó un artículo técnico que muestra cómo construir aplicaciones empresariales de generación aumentada por recuperación (RAG) usando sus aceleradores Gaudi 2 y CPU Xeon dentro de la plataforma abierta OPEA. El ejemplo usa LangChain con la plantilla rag-redis, el modelo de embedding BAAI/bge-base-en-v1.5 sobre Granite Rapids y un LLM servido con TGI en Gaudi 2. Según los benchmarks con Llama2-70B y 16 usuarios concurrentes, el sistema basado en H100 ofrece 1,13 veces más rendimiento pero solo 0,44 veces el rendimiento por dólar de Gaudi 2.

Periodista: Julien Simon, Haihao Shen, Antony Vance Jeyaraj, Matrix Yao, Leon Lv, Greg Serochi, Deb Bharadwaj, Ke Ding