Artwork

Contenido proporcionado por Kubernetes Bytes, Ryan Wallner, and Bhavin Shah. Todo el contenido del podcast, incluidos episodios, gráficos y descripciones de podcast, lo carga y proporciona directamente Kubernetes Bytes, Ryan Wallner, and Bhavin Shah o su socio de plataforma de podcast. Si cree que alguien está utilizando su trabajo protegido por derechos de autor sin su permiso, puede seguir el proceso descrito aquí https://es.player.fm/legal.
Player FM : aplicación de podcast
¡Desconecta con la aplicación Player FM !

Deploy and fine-tune LLM models on Kubernetes using KAITO

44:17
 
Compartir
 

Manage episode 433011321 series 3332465
Contenido proporcionado por Kubernetes Bytes, Ryan Wallner, and Bhavin Shah. Todo el contenido del podcast, incluidos episodios, gráficos y descripciones de podcast, lo carga y proporciona directamente Kubernetes Bytes, Ryan Wallner, and Bhavin Shah o su socio de plataforma de podcast. Si cree que alguien está utilizando su trabajo protegido por derechos de autor sin su permiso, puede seguir el proceso descrito aquí https://es.player.fm/legal.

In this episode of the Kubernetes Bytes podcast, Bhavin sits down with Sachi Desai, Product Manager and Paul Yu, Sr. Cloud Advocate at Microsoft to talk about the open source KAITO project. KAITO is the Kubernetes AI Toolchain Operator that enables AKS users to deploy open source LLM models on their Kubernetes clusters. They discuss how KAITO helps with running AI-enabled applications alongside the LLM models, how it helps users bring their own LLM models and run them as containers, and how KAITO helps them fine-tune open source LLMs on their Kubernetes clusters.

Check out our website at https://kubernetesbytes.com/

Cloud Native News:

  • https://azure.github.io/AKS/2024/07/30/azure-container-storage-ga
  • https://github.blog/news-insights/product-news/introducing-github-models/

Show links:

  1. Fei Guo - https://www.linkedin.com/in/fei-guo-a48319a/
  2. Ishaan Sehgal - https://www.linkedin.com/in/ishaan-sehgal/

Timestamps:

  • 00:02:15 Cloud Native News
  • 00:05:34 Interview with Sachi and Paul
  • 00:42:08 Key takeaways
  continue reading

88 episodios

Artwork
iconCompartir
 
Manage episode 433011321 series 3332465
Contenido proporcionado por Kubernetes Bytes, Ryan Wallner, and Bhavin Shah. Todo el contenido del podcast, incluidos episodios, gráficos y descripciones de podcast, lo carga y proporciona directamente Kubernetes Bytes, Ryan Wallner, and Bhavin Shah o su socio de plataforma de podcast. Si cree que alguien está utilizando su trabajo protegido por derechos de autor sin su permiso, puede seguir el proceso descrito aquí https://es.player.fm/legal.

In this episode of the Kubernetes Bytes podcast, Bhavin sits down with Sachi Desai, Product Manager and Paul Yu, Sr. Cloud Advocate at Microsoft to talk about the open source KAITO project. KAITO is the Kubernetes AI Toolchain Operator that enables AKS users to deploy open source LLM models on their Kubernetes clusters. They discuss how KAITO helps with running AI-enabled applications alongside the LLM models, how it helps users bring their own LLM models and run them as containers, and how KAITO helps them fine-tune open source LLMs on their Kubernetes clusters.

Check out our website at https://kubernetesbytes.com/

Cloud Native News:

  • https://azure.github.io/AKS/2024/07/30/azure-container-storage-ga
  • https://github.blog/news-insights/product-news/introducing-github-models/

Show links:

  1. Fei Guo - https://www.linkedin.com/in/fei-guo-a48319a/
  2. Ishaan Sehgal - https://www.linkedin.com/in/ishaan-sehgal/

Timestamps:

  • 00:02:15 Cloud Native News
  • 00:05:34 Interview with Sachi and Paul
  • 00:42:08 Key takeaways
  continue reading

88 episodios

Todos los episodios

×
 
Loading …

Bienvenido a Player FM!

Player FM está escaneando la web en busca de podcasts de alta calidad para que los disfrutes en este momento. Es la mejor aplicación de podcast y funciona en Android, iPhone y la web. Regístrate para sincronizar suscripciones a través de dispositivos.

 

Guia de referencia rapida

Escucha este programa mientras exploras
Reproducir