Asynchronous Versus Synchronous Execution PyTorch Developer podcast

Artwork

Tech PyTorch Edward Yang Team PyTorch Deep Learning Machine Learning

Contenido proporcionado por PyTorch, Edward Yang, and Team PyTorch. Todo el contenido del podcast, incluidos episodios, gráficos y descripciones de podcast, lo carga y proporciona directamente PyTorch, Edward Yang, and Team PyTorch o su socio de plataforma de podcast. Si cree que alguien está utilizando su trabajo protegido por derechos de autor sin su permiso, puede seguir el proceso descrito aquí https://es.player.fm/legal.

PyTorch Developer Podcast « »
Asynchronous versus synchronous execution

3+ y ago 15:03

Compartir

MP3•Episodio en casa

Contenido proporcionado por PyTorch, Edward Yang, and Team PyTorch. Todo el contenido del podcast, incluidos episodios, gráficos y descripciones de podcast, lo carga y proporciona directamente PyTorch, Edward Yang, and Team PyTorch o su socio de plataforma de podcast. Si cree que alguien está utilizando su trabajo protegido por derechos de autor sin su permiso, puede seguir el proceso descrito aquí https://es.player.fm/legal.

CUDA is asynchronous, CPU is synchronous. Making them play well together can be one of the more thorny and easy to get wrong aspects of the PyTorch API. I talk about why non_blocking is difficult to use correctly, a hypothetical "asynchronous CPU" device which would help smooth over some of the API problems and also why it used to be difficult to implement async CPU (but it's not hard anymore!) At the end, I also briefly talk about how async/sync impedance can also show up in unusual places, namely the CUDA caching allocator.

Further reading.

CUDA semantics which discuss non_blocking somewhat https://pytorch.org/docs/stable/notes/cuda.html
Issue requesting async cpu https://github.com/pytorch/pytorch/issues/44343

… continue reading

83 episodios

#Tech #PyTorch #Edward Yang #Team PyTorch #Deep Learning #Machine Learning

Artwork

Asynchronous versus synchronous execution

PyTorch Developer Podcast

32 subscribers

published 3+ y ago

Compartir

MP3•Episodio en casa

Contenido proporcionado por PyTorch, Edward Yang, and Team PyTorch. Todo el contenido del podcast, incluidos episodios, gráficos y descripciones de podcast, lo carga y proporciona directamente PyTorch, Edward Yang, and Team PyTorch o su socio de plataforma de podcast. Si cree que alguien está utilizando su trabajo protegido por derechos de autor sin su permiso, puede seguir el proceso descrito aquí https://es.player.fm/legal.

CUDA is asynchronous, CPU is synchronous. Making them play well together can be one of the more thorny and easy to get wrong aspects of the PyTorch API. I talk about why non_blocking is difficult to use correctly, a hypothetical "asynchronous CPU" device which would help smooth over some of the API problems and also why it used to be difficult to implement async CPU (but it's not hard anymore!) At the end, I also briefly talk about how async/sync impedance can also show up in unusual places, namely the CUDA caching allocator.

Further reading.

CUDA semantics which discuss non_blocking somewhat https://pytorch.org/docs/stable/notes/cuda.html
Issue requesting async cpu https://github.com/pytorch/pytorch/issues/44343

… continue reading

83 episodios

#Tech #PyTorch #Edward Yang #Team PyTorch #Deep Learning #Machine Learning

Wszystkie odcinki

×

Bienvenido a Player FM!

Player FM está escaneando la web en busca de podcasts de alta calidad para que los disfrutes en este momento. Es la mejor aplicación de podcast y funciona en Android, iPhone y la web. Regístrate para sincronizar suscripciones a través de dispositivos.

Escucha más de 500 temas

Escucha este programa mientras exploras