#111: Formal Algorithms for Transformers

Misreading Chat

#コンピューターサイエンス #テクノロジー #Computer Science #Hajime Morrita, Jun Mukai

31:01

National Geographic photographer and conservationist Jaime Rojo has spent decades capturing the beauty and fragility of the monarch butterfly. Their epic migration is one of nature’s most breathtaking spectacles, but their survival is under threat. In this episode, Jaime shares how his passion for photography and conservation led him to document the monarchs’ journey. He and host Brian Lowery discuss the deeper story behind his award-winning images, one about resilience, connection, and the urgent need to protect our natural world. See Jaime's story on the monarch butterflies at his website: rojovisuals.com , and follow Brian Lowery at knowwhatyousee.com .…

hace 2 años 38:01

MP3•Episodio en casa

勤務先への脅威に怯える森田が Transformer を復習しました。ご意見ご感想などはおたより投書箱や Reddit にお寄せください。iTunes のレビューや星も歓迎です。

今回は録音に際し Adobe Podcast (beta) のバグを引き当ててしまい、向井と森田の音声トラックがずれてしまいました。ごめんなさい。次回からは non-beta の手堅いツールで録音しようと思います・・・。

147 episodios

#111: Formal Algorithms for Transformers

Misreading Chat

159 subscribers

published hace 2 años

MP3•Episodio en casa

147 episodios

#コンピューターサイエンス #テクノロジー #Computer Science #Hajime Morrita, Jun Mukai

Todos los episodios

1
#143 – SWE-bench: Can Language Models Resolve Real-World GitHub Issues? 36:07

hace 12 weeks36:07

36:07

GitHub の Issue を読んでバグを直すエーアイについて森田が読みました。ご意見感想などは Reddit やおたより投書箱にお寄せください。 iTunes のレビューや星もよろしくね。 [2310.06770] SWE-bench: Can Language Models Resolve Real-World GitHub Issues? [2405.15793] SWE-agent: Agent-Computer Interfaces Enable Automated Software Engineering SWE-bench Introducing SWE-bench Verified | OpenAI The new Claude 3.5 Sonnet, Computer Use, and Building SOTA Agents — with Erik Schluntz, Anthropic…

1
#142: An Empirical Study of Rust-for-Linux: The Success, Dissatisfaction, and Compromise 54:05

hace 13 weeks54:05

54:05

Rust を Linux カーネルへで使う取り組みの進捗を向井がウォッチしました。ご意見感想などは Reddit やおたより投書箱にお寄せください。 iTunes のレビューや星もよろしくね。 An Empirical Study of Rust-for-Linux: The Success, Dissatisfaction, and Compromise | USENIX Rust for Linux

1
#141: SQL Has Problems. We Can Fix Them: Pipe Syntax In SQL 36:55

hace 16 weeks36:55

36:55

Google SQL の新しい文法を森田が紹介しました。ご意見感想などは Reddit やおたより投書箱にお寄せください。 iTunes のレビューや星もよろしくね。 SQL Has Problems. We Can Fix Them: Pipe Syntax In SQL PRQL Pipe syntax | BigQuery | Google Cloud SQLite Forum: Interesting paper from Google on pipe syntax on SQL

1
#140: GSM-Symbolic: Understanding the Limitations of Mathematical Reasoning in Large Language Models 39:54

hace 18 weeks39:54

39:54

LLM にひっかけ算数問題を出してみる話を向井が読みました。ご意見感想などは Reddit やおたより投書箱にお寄せください。 iTunes のレビューや星もよろしくね。 [2410.05229] GSM-Symbolic: Understanding the Limitations of Mathematical Reasoning in Large Language Models GitHub – openai/grade-school-math

1
#139: NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis 38:00

hace 22 weeks38:00

38:00

写真を集めてシーンをレンダリングするニューラルネットを森田が読みました。ご意見感想などは Reddit やおたより投書箱にお寄せください。 iTunes のレビューや星もよろしくね。 NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis NeRF Tutorial ECCV 2022 illuminate.google.com

1
#138: Distilling the Knowledge in a Neural Network 23:38

hace 25 weeks23:38

23:38

大きなモデルから小さなモデルを作るテクニックを向井が回願しました。ご意見感想などは Reddit やおたより投書箱にお寄せください。 iTunes のレビューや星もよろしくね。 [1503.02531] Distilling the Knowledge in a Neural Network

1
#137: Optimal Quantile Approximation in Streams 27:32

hace 29 weeks27:32

27:32

ストリームにパーセンタイルを計算したい森田が教科書を読みました。ご意見感想などは Reddit やおたより投書箱にお寄せください。 iTunes のレビューや星もよろしくね。 [1603.05346v2] Optimal Quantile Approximation in Streams Small Summaries for Big Data Data Types – Presto 0.288 Documentation Estimating Percentile Values | Snowflake Documentation KLL sketch vs t-digest – DataSketches…

1
#136: Distinct Elements in Streams: An Algorithm for the (Text) Book 25:58

hace 30 weeks25:58

25:58

学部生にも実装できるストリームの要素カウントアルゴリズムを向井が試しました。ご意見感想などは Reddit やおたより投書箱にお寄せください。 iTunes のレビューや星もよろしくね。 [2301.10191] Distinct Elements in Streams: An Algorithm for the (Text) Book The CVM Algorithm for Estimating Distinct Elements in Streams Computer scientists invent an efficient new way to count | Hacker News…

1
#135: In-Datacenter Performance Analysis of a Tensor Processing Unit 44:18

hace 35 weeks44:18

44:18

行列の掛け算が得意なハードウェアについて森田が読みました。ご意見感想などは Reddit やおたより投書箱にお寄せください。iTunes のレビューや星もよろしくね。 [1704.04760] In-Datacenter Performance Analysis of a Tensor Processing Unit Systolic Arrays – an overview | ScienceDirect Topics Pallas: a JAX kernel language — JAX documentation About Groq – Fast AI Inference The Design Process for Google’s Training Chips: TPUv2 and TPUv3 | IEEE Journals & Magazine | IEEE Xplore…

1
#134: LoRA: Low-Rank Adaptation of Large Language Models 28:40

hace 38 weeks28:40

28:40

巨大 ML モデルの軽量 fine-tuning 手法を向井が読みました。ご意見感想などは Reddit やおたより投書箱にお寄せください。 iTunes のレビューや星もよろしくね。 [2106.09685] LoRA: Low-Rank Adaptation of Large Language Models

1
#133: Triton: An Intermediate Language and Compiler for Tiled Neural Network Computations 30:19

hace 41 weeks30:19

30:19

CUDA を書かずに済む GPU カーネルの DSL について森田が読みました。ご意見感想などは Reddit やおたより投書箱にお寄せください。 iTunes のレビューや星もよろしくね。 Triton: An Intermediate Language and Compiler for Tiled Neural Network Computations Introducing Triton: Open-source GPU programming for neural networks | OpenAI Welcome to Triton’s documentation! — Triton documentation Hello Triton.ipynb – Colab #01: Tensor Comprehensions, Rust Belt – Misreading Chat #23 – Halide: Decoupling Algorithms from Schedules for High-Performance Image Processing – Misreading Chat #27 – Julia: A Fresh Approach to Numerical Computing – Misreading Chat…

1
#132: High-Resolution Image Synthesis with Latent Diffusion Models 34:30

hace 43 weeks34:30

34:30

Stable Diffusion の元論文を向井が読みました。ご意見感想などは Reddit やおたより投書箱にお寄せください。 iTunes のレビューや星もよろしくね。 [2112.10752] High-Resolution Image Synthesis with Latent Diffusion Models [2105.05233] Diffusion Models Beat GANs on Image Synthesis Classifier-Free Diffusion Guidance | OpenReview What are Diffusion Models? | Lil’Log…

1
#131: FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness 30:40

hace 45 weeks30:40

30:40

CUDA で書かれた PyTorch 用カーネルに森田が玉砕しました。ご意見感想などは Reddit やおたより投書箱にお寄せください。 iTunes のレビューや星もよろしくね。 [2205.14135] FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness GitHub – Dao-AILab/flash-attention: Fast and memory-efficient exact attention GitHub – NVIDIA/apex: A PyTorch Extension: Tools for easy mixed precision and distributed training in Pytorch [2307.08691] FlashAttention-2: Faster Attention with Better Parallelism and Work Partitioning [2112.05682] Self-attention Does Not Need $O(n^2)$ Memory GitHub – tspeterkim/flash-attention-minimal: Flash Attention in ~100 lines of CUDA (forward pass only)…

1
#130: Diffusion models from scratch, from a new theoretical perspective 30:44

hace 47 weeks30:44

30:44

向井が画像生成の拡散モデルに入門しました。ご意見感想などは Reddit やおたより投書箱にお寄せください。 iTunes のレビューや星もよろしくね。 Diffusion models from scratch [1503.03585] Deep Unsupervised Learning using Nonequilibrium Thermodynamics [2006.11239] Denoising Diffusion Probabilistic Models

1
#129: Programming Massively Parallel Processors (Ch.4- Ch.6) 59:43

hace 49 weeks59:43