Mixed Attention & LLM Context | Data Brew | Episode 35 Data Brew By Databricks podcast

Artwork

Databricks Data Analytics Apache Spark Delta Lake Machine Learning Data Engineering Artificial Intelligence Tech Data Science Science Lifestyle Podcasting Education

Contenido proporcionado por Databricks. Todo el contenido del podcast, incluidos episodios, gráficos y descripciones de podcast, lo carga y proporciona directamente Databricks o su socio de plataforma de podcast. Si cree que alguien está utilizando su trabajo protegido por derechos de autor sin su permiso, puede seguir el proceso descrito aquí https://es.player.fm/legal.

Data Brew by Databricks « »
Mixed Attention & LLM Context | Data Brew | Episode 35

5M ago 39:11

Compartir

MP3•Episodio en casa

Contenido proporcionado por Databricks. Todo el contenido del podcast, incluidos episodios, gráficos y descripciones de podcast, lo carga y proporciona directamente Databricks o su socio de plataforma de podcast. Si cree que alguien está utilizando su trabajo protegido por derechos de autor sin su permiso, puede seguir el proceso descrito aquí https://es.player.fm/legal.

In this episode, Shashank Rajput, Research Scientist at Mosaic and Databricks, explores innovative approaches in large language models (LLMs), with a focus on Retrieval Augmented Generation (RAG) and its impact on improving efficiency and reducing operational costs.
Highlights include:
- How RAG enhances LLM accuracy by incorporating relevant external documents.
- The evolution of attention mechanisms, including mixed attention strategies.
- Practical applications of Mamba architectures and their trade-offs with traditional transformers.

… continue reading

41 episodios

#Databricks #Data Analytics #Apache Spark #Delta Lake #Machine Learning #Data Engineering #Artificial Intelligence #Tech #Data Science #Science #Lifestyle #Podcasting Education

Artwork

Mixed Attention & LLM Context | Data Brew | Episode 35

Data Brew by Databricks

71 subscribers

published 5M ago

Compartir

MP3•Episodio en casa

Contenido proporcionado por Databricks. Todo el contenido del podcast, incluidos episodios, gráficos y descripciones de podcast, lo carga y proporciona directamente Databricks o su socio de plataforma de podcast. Si cree que alguien está utilizando su trabajo protegido por derechos de autor sin su permiso, puede seguir el proceso descrito aquí https://es.player.fm/legal.

In this episode, Shashank Rajput, Research Scientist at Mosaic and Databricks, explores innovative approaches in large language models (LLMs), with a focus on Retrieval Augmented Generation (RAG) and its impact on improving efficiency and reducing operational costs.
Highlights include:
- How RAG enhances LLM accuracy by incorporating relevant external documents.
- The evolution of attention mechanisms, including mixed attention strategies.
- Practical applications of Mamba architectures and their trade-offs with traditional transformers.

… continue reading

41 episodios

#Databricks #Data Analytics #Apache Spark #Delta Lake #Machine Learning #Data Engineering #Artificial Intelligence #Tech #Data Science #Science #Lifestyle #Podcasting Education

All episodes

×

Bienvenido a Player FM!

Player FM está escaneando la web en busca de podcasts de alta calidad para que los disfrutes en este momento. Es la mejor aplicación de podcast y funciona en Android, iPhone y la web. Regístrate para sincronizar suscripciones a través de dispositivos.

Escucha más de 500 temas

Escucha este programa mientras exploras