Artwork

Contenido proporcionado por Virtually Speaking Podcast. Todo el contenido del podcast, incluidos episodios, gráficos y descripciones de podcast, lo carga y proporciona directamente Virtually Speaking Podcast o su socio de plataforma de podcast. Si cree que alguien está utilizando su trabajo protegido por derechos de autor sin su permiso, puede seguir el proceso descrito aquí https://es.player.fm/legal.
Player FM : aplicación de podcast
¡Desconecta con la aplicación Player FM !

Exploring RAG Pipelines with Private AI Foundation and NVIDIA

19:09
 
Compartir
 

Manage episode 451990262 series 2952236
Contenido proporcionado por Virtually Speaking Podcast. Todo el contenido del podcast, incluidos episodios, gráficos y descripciones de podcast, lo carga y proporciona directamente Virtually Speaking Podcast o su socio de plataforma de podcast. Si cree que alguien está utilizando su trabajo protegido por derechos de autor sin su permiso, puede seguir el proceso descrito aquí https://es.player.fm/legal.

In this episode of the Virtually Speaking Podcast, we delve into the world of AI with Justin Murray, Product Marketing Engineer, and Frank Denneman, Chief Technologist for AI at Broadcom. We discuss retrieval augmented generation (RAG), a powerful approach that combines large language models with real-time, trusted data. Learn how RAG pipelines can be architected using Private AI Foundation with NVIDIA, including insights into key components like LLMs, NVIDIA Inference Microservices, and Vector DB. We also explore best practices for GPU sizing and when to use fractional or multiple GPUs for optimal performance. Join us for this fascinating conversation!

  continue reading

111 episodios

Artwork
iconCompartir
 
Manage episode 451990262 series 2952236
Contenido proporcionado por Virtually Speaking Podcast. Todo el contenido del podcast, incluidos episodios, gráficos y descripciones de podcast, lo carga y proporciona directamente Virtually Speaking Podcast o su socio de plataforma de podcast. Si cree que alguien está utilizando su trabajo protegido por derechos de autor sin su permiso, puede seguir el proceso descrito aquí https://es.player.fm/legal.

In this episode of the Virtually Speaking Podcast, we delve into the world of AI with Justin Murray, Product Marketing Engineer, and Frank Denneman, Chief Technologist for AI at Broadcom. We discuss retrieval augmented generation (RAG), a powerful approach that combines large language models with real-time, trusted data. Learn how RAG pipelines can be architected using Private AI Foundation with NVIDIA, including insights into key components like LLMs, NVIDIA Inference Microservices, and Vector DB. We also explore best practices for GPU sizing and when to use fractional or multiple GPUs for optimal performance. Join us for this fascinating conversation!

  continue reading

111 episodios

All episodes

×
 
Loading …

Bienvenido a Player FM!

Player FM está escaneando la web en busca de podcasts de alta calidad para que los disfrutes en este momento. Es la mejor aplicación de podcast y funciona en Android, iPhone y la web. Regístrate para sincronizar suscripciones a través de dispositivos.

 

Guia de referencia rapida

Escucha este programa mientras exploras
Reproducir