Stable Diffusion の元論文を向井が読みました。ご意見感想などは Reddit やおたより投書箱にお寄せください。iTunes のレビューや星もよろしくね。 [2112.10752] High-Resolution Image Synthesis with Latent Diffusion Models [2105.05233] Diffusion Models Beat GANs on Image Synthesis Classifier-Free Diffusion Guidance | OpenReview What are Diffusion Models? | Lil’Log…

CUDA で書かれた PyTorch 用カーネルに森田が玉砕しました。ご意見感想などは Reddit やおたより投書箱にお寄せください。iTunes のレビューや星もよろしくね。 [2205.14135] FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness GitHub – Dao-AILab/flash-attention: Fast and memory-efficient exact attention GitHub – NVIDIA/apex: A PyTorch Extension: Tools for easy mixed precision and distributed tra…

向井が画像生成の拡散モデルに入門しました。ご意見感想などは Reddit やおたより投書箱にお寄せください。iTunes のレビューや星もよろしくね。 Diffusion models from scratch [1503.03585] Deep Unsupervised Learning using Nonequilibrium Thermodynamics [2006.11239] Denoising Diffusion Probabilistic ModelsPor Jun Mukai

森田が飽きずに CUDA の教科書を読んでます。ご意見感想などは Reddit やおたより投書箱にお寄せください。iTunes のレビューや星もよろしくね。 Programming Massively Parallel Processors: A Hands-on Approach (Amazon.co.jp, Elsevier) NVIDIA H100 Tensor Core GPU Architecture OverviewPor Hajime Morrita

@fuku2014 さんと一緒に「Mac」「iPhone」「LLM」などについて話しました。 Show note 花粉症つらい アレグラとビラノア US配列縛り iPhone14デビュー iPhone6 -> iPhoneXR -> iPhone14 性能は良い 小さい iPhone が好きだから SE4 に期待している Apple Developer Program やめた Game Porting Toolkit Whisky Mac mini は購入したが開発には必要ないのが現状 LLMのファインチューニングとコンテキストありの質問ではどっちがいいのか ファインチューニングはマシンが必要になる コンソールエンジニア 質問に対してプライベートな情報を与えてその上で回答を得るのがコンテキス…

Meta の vector search 実装の関連論文を向井が読みました。ご意見感想などは Reddit やおたより投書箱にお寄せください。iTunes のレビューや星もよろしくね。 facebookresearch/faiss: A library for efficient similarity search and clustering of dense vectors. Home · facebookresearch/faiss Wiki Optimized Product Quantization | IEEE Journals & Magazine | IEEE Xplore Product Quantization for Nearest Neighbor Search [1…

森田が CUDA の入門書を読み始めました。ご意見感想などは Reddit やおたより投書箱にお寄せください。iTunes のレビューや星もよろしくね。 Programming Massively Parallel Processors: A Hands-on Approach (Amazon.co.jp, Elsevier) Evolution of the Graphics Processing Unit (GPU) | IEEE Journals & Magazine | IEEE Xplore David Kirk (scientist) – WikipediaPor Hajime Morrita

AI 流行りで台頭中な Vector DB のサーベイを向井が眺めました。ご意見感想などは Reddit やおたより投書箱にお寄せください。iTunes のレビューや星もよろしくね。 [2309.11322] Vector database management systems: Fundamental concepts, use-cases, and current challenges [2310.11703] A Comprehensive Survey on Vector Database: Storage and Retrieval Technique, Challenge [2310.14021] Survey of Vector Database Management Syst…

Intel の CPU にやってきたニューラルなんとかの出自を森田がたどりました。ご意見感想などは Reddit やおたより投書箱にお寄せください。iTunes のレビューや星もよろしくね。 Always-on Vision Processing Unit for Mobile Applications | IEEE Journals & Magazine | IEEE Xplore (Google Scholar) Intel Core Ultra Ushers in the Age of the AI PC Intel® Movidius Vision Processing Units (VPUs) Amazon.com: Intel NCS2 Movidius Neural Compu…

@YOMOGItanpop さんと一緒に「最近の活動」「病気」「コーディング」について話しました。 Show note 酔っ払っているのと眠いのがあって言葉遣いが荒いです コロナ後の活動、最近の活動 リアル店舗での買い物について、すぐにほしいものがある場合は使うしなくならなそう なくなるお店、なくならないお店 そもそも物を買わない生活になった 今年はよく体調を崩した、難聴と蕁麻疹 ストレスと病気、定期的な運動 これからもコーダーとして頑張るにはどうすればいいか、現場でコードを書き続けることの大切さ 老害にならないようにする、モダンな技術 10年以上エンジニアをやってみた感想 一歩踏み出すことの大切さ できない人ができるようになるためにはどうすればいいのか、ただ教えているだけではダメ 情熱があ…

LLM に解かせる難問集と採点結果を向井が睨みました。ご意見感想などは Reddit やおたより投書箱にお寄せください。iTunes のレビューや星もよろしくね。 [2311.12983] GAIA: a benchmark for General AI Assistants gaia-benchmark/GAIA · Datasets at Hugging FacePor Jun Mukai

(壊れた音声ファイルを配信してしまったので、修正したファイルで同じエピソードを再配信しています。ごめんね。教えてくれた皆さんありがとうございました。） GPGPU ワナビーの森田が C++ 拡張の GPGPU 標準を眺めました。ご意見感想などは Reddit やおたより投書箱にお寄せください。iTunes のレビューや星もよろしくね。 SYCL Overview – The Khronos Group Inc SYCL.tech – Find out the latest SYCL news, videos, learning materials and projects. GitHub – Tohoku-University-Takizawa-Lab/neoSYCL: A SYCL Imp…

Meta 社のインターンが分散トレーシングで集めたログを睨んだ論文を向井が読みました。ご意見感想などは Reddit やおたより投書箱にお寄せください。iTunes のレビューや星もよろしくね。 Lifting the veil on Meta’s microservice architecture: Analyses of topology and request workflows | USENIX GitHub – facebook/fbthrift: Facebook’s branch of Apache Thrift, including a new C++ server. Canopy: An End-to-End Performance Tracing and Analysis…

開発生産性の測り方について森田が読みました。ご意見感想などは Reddit やおたより投書箱にお寄せください。iTunes のレビューや星もよろしくね。 The SPACE of Developer Productivity – ACM Queue DORA | DevOps Research and Assessment Accelerate: The Science of Lean Software and DevOps: Building and Scaling High Performing Technology Organizations LeanとDevOpsの科学[Accelerate] テクノロジーの戦略的活用が組織変革を加速する…

でかいコンテナイメージをサーバレスで高速に起動する話を向井が読みました。ご意見感想などは Reddit やおたより投書箱にお寄せください。iTunes のレビューや星もよろしくね。 On-demand Container Loading in AWS Lambda | USENIX Marc Brooker’s Blog – Marc’s Blog #44: Firecracker #91: Serverless in the Wild #99: The Prusti Project: Formal Verification for RustPor Jun Mukai

ウェブ検索の開発に使われていた A/B テストのインフラについて森田が読みました。ご意見感想などは Reddit やおたより投書箱にお寄せください。iTunes のレビューや星もよろしくね。 Overlapping Experiment Infrastructure: More, Better, Faster Experimentation – Google Research Putting a Bolder Face on Google – The New York Times Goodbye, Google | StopdesignPor Hajime Morrita

ML アクセラレータ TPU の分散実行インフラについて向井が読みました。ご意見感想などは Reddit やおたより投書箱にお寄せください。iTunes のレビューや星もよろしくね。 [2203.12533] Pathways: Asynchronous Distributed Dataflow for ML [2204.02311] PaLM: Scaling Language Modeling with Pathways System Architecture | Cloud TPU | Google CloudPor Jun Mukai

@YOMOGItanpop さんと一緒に「プライムデー」「Stable Diffusion」「Blender」「夏」「Netflix」について話しました。 Show note 幅60cm400リットル以上の冷蔵庫を購入した Amazonで大型家電を購入すると搬入はヤマト運輸さんなのか 搬入できないと返品になってしまう カードの請求がすごいことになっている Keras の再帰型ニューラルネットワーク マルコフ連鎖 ツイートから自動文章生成をしてみる Stability for Blender 3Dプリンターのスライサーソフトとは？ キレイに出力するにはスライサのスキルも求められる CIVIT AI ChatGPT プロンプトエンジニアとは？AI領域で話題の職種について解説！ ハムスターを飼って…

組み込みデータベースの新顔紹介を森田が読みました。ご意見感想などは Reddit やおたより投書箱にお寄せください。iTunes のレビューや星もよろしくね。 DuckDB: an Embeddable Analytical Database SQLite: Past, Present, and Future An in-process SQL OLAP database management system – DuckDB 25 Years of Python at CWIPor Hajime Morrita

@fuku2014 さんと一緒に「Vision Pro」「M2 Mac」「WWDC」などについて話しました。 Show note Vision Pro Apple Vision Pro、価格は3,499ドルから WWDC23 個人としてはおもちゃになりそう、教育やスポーツの場面で役に立つか センサーとかスペックは良さそう、バッテリーが持たなさそうなのがネックか M3 はいつ出るのか M2Pro mac mini デビュー 途中ビープっぽい音切れが入ってしまっています、M2 Mac mini にして初収録だったので設定ミスがあったかもです iPhone は今後どのように進化していくのか、チップやカメラ以外に Stable Diffusion グラフィックボードベースで選択すると OS が Wi…

人気圧縮フォーマット ZSTD のアルゴリズムについて向井が調べました。ご意見感想などは Reddit やおたより投書箱にお寄せください。iTunes のレビューや星もよろしくね。 [1311.2540] Asymmetric numeral systems: entropy coding combining speed of Huffman coding with compression rate of arithmetic coding facebook/zstd: Zstandard – Fast real-time compression algorithm From Project Management to Data Compression Innovator With Yann…

LLM をチャットボットに仕立てる finetuning について森田が読みました。ご意見ご感想などはおたより投書箱や Reddit にお寄せください。iTunes のレビューや星も歓迎です。 [2203.02155] Training language models to follow instructions with human feedback [2212.08073] Constitutional AI: Harmlessness from AI Feedback It looks like GPT-4-32k is rolling out | Hacker News Anthropic | Introducing Claude Goodhart’s law – Wikipedia…

クラウドのネットワーク設定を簡単にする抽象について向井が読みました。ご意見感想などはおたより投書箱にお寄せください。iTunes のレビューや星も歓迎です。Reddit もはじめました。 Invisinets: Removing Networking from Cloud Networks | USENIXPor Jun Mukai

LLM に算数の文章題を解かせるコツについて森田が読みました。ご意見ご感想などはおたより投書箱や Reddit にお寄せください。iTunes のレビューや星も歓迎です。 Improving Language Understanding by Generative Pre-Training Language Models are Unsupervised Multitask Learners [2005.14165] Language Models are Few-Shot Learners [2201.11903] Chain-of-Thought Prompting Elicits Reasoning in Large Language Models NLP’s ImageNet mom…

複数クラウドをまたいだバッチのパイプラインを動かす話を向井が読みました。ご意見感想などはおたより投書箱にお寄せください。iTunes のレビューや星も歓迎です。Reddit もはじめました。 SkyPilot: An Intercloud Broker for Sky Computing | USENIX GitHub – skypilot-org/skypilot: SkyPilot is a framework for easily running machine learning workloads on any cloud through a unified interface. From cloud computing to sky computing | Proceedings …

勤務先への脅威に怯える森田が Transformer を復習しました。ご意見ご感想などはおたより投書箱や Reddit にお寄せください。iTunes のレビューや星も歓迎です。 今回は録音に際し Adobe Podcast (beta) のバグを引き当ててしまい、向井と森田の音声トラックがずれてしまいました。ごめんなさい。次回からは non-beta の手堅いツールで録音しようと思います・・・。 [2207.09238] Formal Algorithms for Transformers #15 – Neural Machine Translation by Jointly Learning to Align and Translate #38 – Subword Regularizat…

@tily さんと一緒に「オーディオ」「VHS」「Chat-GPT」「ボーカロイド」について話しました。 Show note iPhoneのイヤホンを猫にかじられて断線した ラインアウトケーブル おもちゃのにラインアウトケーブルを接続できないか試している、電子工作難しい ミニキーボード オーディオケーブルの基本3ポイント 電池で動作するハンダゴテが便利 アナログブーム、昔のビデオで映像を見る VHSを買ったらテープが巻き込まれて壊れた 8mmビデオ Chat-GPT 2019年までのデータだから最近のことを聞くと古いデータを元に回答するので当てにならない イントラや閉じた環境に特化した Chat-GPT がほしい Chat-GPT を使いこなす技術が必要 ラインアウトのやり方も Chat-G…

最近 Reddit をはじめたよ、きてね、というお知らせです。https://www.reddit.com/r/MisreadingChat/Por Hajime Morrita

遅くなったディスクをみつける Alibaba Cloud の実験について向井が読みました。ご意見感想などはおたより投書箱にお寄せください。iTunes のレビューや星も歓迎です。Reddit もはじめました。 Perseus: A Fail-Slow Detection Framework for Cloud Storage Systems | USENIXPor Jun Mukai

データベースベンダーの宣伝を読んでもよくわからかった森田が DB ベンチマークの歴史を読みました。感想などはおたより投書箱にお寄せください。iTunes のレビューや星も歓迎です。 CockroachDB is 10x more scalable than Amazon Aurora for OLTP workloads TPC-Homepage (TLS の証明書が切れてますよ…) The History of DebitCredit and the TPC A Measure of Transaction Processing Power The Evolution of TPC Benchmarks: Why TPC-A and TPC-B are Obsolete tpc-c_v5.…

Haskell の親分により開発中の次世代関数型論理メタバース言語に向井が入門しました。感想などはおたより投書箱にお寄せください。iTunes のレビューや星も歓迎です。 The Verse Calculus: a core calculus for functional logic programming – Simon Peyton Jones Beyond Functional Programming: The Verse Programming Language (Simon Peyton Jones) – YouTubePor Jun Mukai

Adobe と PostScript の歴史を森田が読みました。感想などはおたより投書箱にお寄せください。iTunes のレビューや星も歓迎です。 PostScript: A Digital Printing Press – CHM Founding and Growing Adobe Systems, Inc. (paywall) Simple Ideas That Changed Printing and Publishing on JSTOR (paywall) The Origins of PostScript (paywall) LaserWriter – Wikipedia TrueType hinting – Typography | Microsoft Learn Instr…

AI がチャットしながらボードゲームで勝つ話を向井が読みました。感想などはおたより投書箱にお寄せください。iTunes のレビューや星も歓迎です。 Human-level play in the game of Diplomacy by combining language models with strategic reasoning | Science CICERO: An AI agent that negotiates, persuades, and cooperates with people Diplomacy (game) – WikipediaPor Jun Mukai

@YOMOGItanpop さんと一緒に「コロナ」「ワールドカップ」「blender」「映画」「断捨離」「emacs」について話しました。 Show note コロナの症状は喉が痛く、鼻が効かなくなった Gather 未だに一緒に開発しているチームメンバーとリアルに顔を合わせたことがないのはいかがなものか ワールドカップ日本頑張った ワールドカップのIoT化がすごい、オフサイド判定、ライン判定 W杯のボールにはセンサー搭載 大会を支えるAI、コネクテッド技術とは スポーツの世界のIoT化が進んで審判が不要な時代が来る トラックマン 野球の審判のAI判定について 判定はAIに変わるかもしれないがプレイする選手はあくまでも人間 Github Copilot モバイルモーションキャプチャー moc…

データベースのクエリ処理に関する常識古典論文を森田が読みました。感想などはおたより投書箱にお寄せください。iTunes のレビューや星も歓迎です。 Volcano – An Extensible and Parallel Query Evaluation System Apache IcebergPor Hajime Morrita

TCP をやっつけたいメッセージ志向プロトコルの提案を向井が拝聴しました。感想などはおたより投書箱にお寄せください。iTunes のレビューや星も歓迎です。 [2210.00714] It’s Time to Replace TCP in the Datacenter Netdev | Netdev 0x16 – Sessions GitHub – PlatformLab/Homa: Low-Latency Data Center Network Transport A Philosophy of Software Design, 2nd EditionPor Jun Mukai

森田が NVIDIA の GPU で二次元お絵描きする話を調べました。感想などはハッシュタグ #misreading や おたより投書箱 にお寄せください。iTunes のレビューや星も歓迎です。 GPU Accelerated Path Rendering | NVIDIA Developer Resolution Independent Curve Rendering using Programmable Graphics Hardware – Microsoft Research Bezier quadratic (Loop/Blinn) – WebGL demo Accelerating vector graphics rendering using the graphics har…

向井が Git の難しさに見識を深めました。感想などはハッシュタグ #misreading や おたより投書箱 にお寄せください。iTunes のレビューや星も歓迎です。 Do Developers Really Know How to Use Git Commands? A Large-scale Study Using Stack Overflow (Paper) Do Developers Really Know How to Use Git Commands? · It Will Never Work in TheoryPor Jun Mukai

高給企業 Databricks の論文を森田が冷やかしました。感想などはハッシュタグ #misreading や おたより投書箱 にお寄せください。iTunes のレビューや星も歓迎です。 Lakehouse: A New Generation of Open Platforms that Unify Data Warehousing and Advanced Analytics – Databricks Delta Lake: High-Performance ACID Table Storage over Cloud Object Stores – Databricks Photon: A High-Performance Query Engine for the Lakehouse G…

Podcast 100 回記念に森田と向井が読者のみなさまの質問に答えさせてもらう AMA をやってみました。 On Misreading Chat – Jun Mukai’s blog On Misreading Chat – 2021-01-06 / steps to phantasien Rebuild – Podcast by Tatsuhiko Miyagawa ByteCast Archive Linear Digressions CoRecursive Podcast – The Stories Behind The Code Spilled Milk the morning paper | a random walk through Computer Science rese…

そろそろこの podcast も 100 回目なので、記念に AMA すなわち読者質問回でもやるのはどうだろうと向井と森田が相談しました（やります）。 そこで皆様からの質問などをお待ちしております。投稿先はメール: hello@misreading.chat, Twitter hashtag #misreading, あるいは Google Forms https://forms.gle/aDU21GzBvqpnQTcS7　です。Por Hajime Morrita

Rust で使える静的検証ツールの論文を向井が読みました。感想などはハッシュタグ #misreading か hello@misreading.chat にお寄せください。iTunes のレビューや星も歓迎です。 Prusti – Programming Methodology Group | ETH ZurichPor Jun Mukai

昔 Amazon が作った DynamoDB の祖先について森田が読みました。感想などはハッシュタグ #misreading か hello@misreading.chat にお寄せください。iTunes のレビューや星も歓迎です。 Amazon’s Dynamo | All Things Distributed Chord (peer-to-peer) – Wikipedia Vector clock – Wikipedia Dynamo | Apache Cassandra DocumentationPor Hajime Morrita

AWS の中の人が Rust の力で TLA+ に対抗する話を向井が読みました。感想などはハッシュタグ #misreading か hello@misreading.chat にお寄せください。iTunes のレビューや星も歓迎です。 Using Lightweight Formal Methods to Validate a Key-Value Storage Node in Amazon S3 | Proceedings of the ACM SIGOPS 28th Symposium on Operating Systems Principles Prusti – Programming Methodology Group | ETH Zurich tokio-rs/loom: Con…

AWS の人気サービス DynamoDB の論文を森田が眺めました。感想などはハッシュタグ #misreading か hello@misreading.chat にお寄せください。iTunes のレビューや星も歓迎です。 Amazon DynamoDB: A Scalable, Predictably Performant, and Fully Managed NoSQL Database Service | USENIX Fast NoSQL Key-Value Database – Amazon DynamoDB – Amazon Web Services Going Head-to-Head: ScyllaDB vs Amazon DynamoDB – ScyllaDB Amazon…

@fuku2014 さんと一緒に「健康」「プライムデー」「Mac」などについて話しました。 Show note 体調悪く咳がひどかったので多少聞き苦しくなっています 自分が誰にも合わなくても子供たちから感染する 早寝早起きの生活が身についた 仕事にも多少影響している、夜活動する人とのタイムラグが発生している プライムデーで購入したもの アイリスオーヤマ ドラム式洗濯機 乾燥機能付き 8kg HDK832A-W ホワイト 西川 高反発 マットレス シングル エニーマット 好きな酒の話 使っている MacBookAir が古すぎて Monterey 以降が使えない Xcode も最新版がインストールできないので Swift の最新版も使えない iPhone の最新版のシミュレータも使えない ma…

ちょっとやそっとで死なない分散 RDB の論文を向井が読みました。感想などはハッシュタグ #misreading か hello@misreading.chat にお寄せください。iTunes のレビューや星も歓迎です。 CockroachDB: The Resilient Geo-Distributed SQL Database | Proceedings of the 2020 ACM SIGMOD International Conference on Management of Data Spanner: Google’s Globally Distributed Database: ACM Transactions on Computer Systems: Vol 31, No 3…

Kubernetes 以前に元気だったクラスタスケジューラの論文を向井が読みました。感想などはハッシュタグ #misreading か hello@misreading.chat にお寄せください。iTunes のレビューや星も歓迎です。 Mesos: A Platform for Fine-Grained Resource Sharing in the Data Center | USENIXPor Jun Mukai

データベースワナビーになった森田が SQL に入門しました。感想などはハッシュタグ #misreading か hello@misreading.chat にお寄せください。iTunes のレビューや星も歓迎です。 SEQUEL: A structured English query language A Relational Model of Data for Large Shared Data Banks Specifying queries as relational expressions: The SQUARE data sublanguage 森田の PC ノイズが聞き苦しくなってしまいましたがご容赦ください。夏のせいです。…

ソフトウェア開発のムダについて現場に潜り込み分析した論文を森田が読みました。感想などはハッシュタグ #misreading か hello@misreading.chat にお寄せください。iTunes のレビューや星も歓迎です。 Software Development Waste (PDF) It Will Never Work in Theory Making Software: What Really Works, and Why We Believe It Lean Software Development: An Agile Toolkit xkcd: Compiling On Pivotal: This Company Believes You Should Never Hac…