「次の1トークン」以外に、言語生成をどう設計するか ― 拡散言語モデル（dLLM）入門：生成の原理・学習の理論・高速化の現在（Masked / Uniform・Distillation）
参加費
一般: 11,000円(税込)
学生: 5,500円(税込)
※所属機関内にて領収書と共に税額や金額の根拠を求められた際には、本ページのスクリーンショット等でご対応いただけますと幸いです。
学習ポイント
自己回帰型 と 拡散型 の言語モデルの違いを、生成手順 と 確率モデル の両面から整理できるようになります。
離散拡散 の学習・生成の数理を基礎から掴み、マスク型（Masked）と一様型（Uniform） の位置づけを LLaDA ・ DiffusionGemma などの代表例とともに理解します。
並列生成ができる拡散言語モデルで、精度を保ったまま 生成段数を減らすのがなぜ難しいか（次元相関） を説明し、講師自身の研究 Di4C（ICML 2025） による蒸留の考え方・理論保証・実験結果の入口を理解します。
LLaDA や DiffusionGemma などの 推論コードを読み解く 視点と、公開実装の現状・速度と品質の評価・今後の研究課題の見方を身につけます。
詳細概要
ChatGPT 系のように「次の1トークン」を左から右へ積み上げる生成と、拡散に基づく言語生成は、手順も確率モデルも異なります。本セミナーでは、その違いから入り、拡散言語モデル（dLLM） について 生成の原理・学習の理論・高速化の現在 を 120分 で整理します。
まず、自己回帰型 LLM と拡散言語モデルの違い、マスク型 と 一様型 の位置づけを、LLaDA ・ DiffusionGemma などの代表例とともに解説します。続けて、一般の離散拡散モデルについて、生成と学習を中心に基礎から解説します。
中盤以降は、少数段生成を難しくする 次元相関 と、それを解決するための蒸留手法を講師自身の研究 Di4C（ICML 2025） から、考え方・理論保証・実験結果とともに紹介します。あわせて、LLaDA や DiffusionGemma などの 推論コードを読み解く ほか、公開実装の現状、速度と品質の評価の考え方、今後の研究課題に触れ、手元で試すための Python 演習 を案内します。
本セミナーは、すでに言語生成・生成モデル・LLM に関わっている方はもちろん、これから LLM に関わろうとしている方 や、業務・研究への 取り込みを検討している方 にも向けた 120分セミナー です。資料はダウンロードが可能で終了後は アーカイブ動画を1か月 ご覧いただけます。
キーワード
拡散言語モデル、dLLM、離散拡散モデル、マスク型 Masked Diffusion、一様型 Uniform Diffusion、LLaDA、DiffusionGemma、次元相関、蒸留、Di4C、高速化、自己回帰型 LLM
セミナーで扱う内容
自己回帰型と拡散型の言語モデルの違い（生成手順・確率モデルの両面）
離散拡散の学習・生成の数理（基礎から）
マスク型と一様型の位置づけ（LLaDA・DiffusionGemma などの代表例）
次元相関により少数段生成が難しい理由と、蒸留手法 Di4C（ICML 2025）
LLaDA や DiffusionGemma などの推論コードの読み解き
公開実装の現状、速度と品質の評価、今後の研究課題、Python 演習の案内
こんな方へ（想定受講者）
言語生成・LLM・生成モデルに関わり、自己回帰型以外の生成の整理に関心がある実務家・研究者・大学院生
これから LLM に関わろうとしている方、または業務・研究に LLM / 生成モデルを取り入れようと検討している方
統計・機械学習の基礎があり、dLLM の原理・学習と高速化（次元相関・Di4C）を一度整理したい方
LLaDA ・ DiffusionGemma などの公開実装・推論コードの見方を掴みたい方
講師紹介
早川 知志（Satoshi Hayakawa）
東京大学大学院情報理工学系研究科 助教（2026年4月〜）。それ以前はソニーグループ株式会社で研究。オックスフォード大学大学院数学研究科にて博士号取得（2020年10月〜2024年1月）。現在は確率的生成モデルや、離散データ・高次元の確率分布全般に関心を持ち、とくに 離散拡散の蒸留（Di4C） や拡散言語モデル周辺の理論・方法を研究している。
主な受賞に、オックスフォード大学数学研究科 DPhil Thesis Prize（2024）、NeurIPS 2022 Scholar Award、日本神経回路学会 論文賞（2021）、東京大学大学院情報理工学系研究科 研究科長賞（2021）、国際数学オリンピック金メダル（2014）など。
HP: https://satoshi-hayakawa.github.io/（日本語: index-ja）
領収書発行
領収書を希望の方は、下記よりお問い合わせください。なお、学割利用の方への領収書発行はいたしかねますので、予めご了承ください。
https://seminar.no-spare.com/receipt
注意事項
本セミナーはZoom Webinarsを用いて開催いたします。
お申し込み後、弊社より本セミナーへのZoom参加用URLを開催当日までに送付いたします。
開催時間になりましたら、送付するURLよりご参加ください。
講義終了後からの受講申込や、講義途中からの申込およびライブ受講の欠席による返金は致しかねますので、予めご了承ください。
本セミナーにお申し込みいただいた方には、本セミナーのアーカイブ動画 講義資料 演習資料（演習のあるセミナーのみ）の3点を配布いたします。
お申し込み後、諸事情によりリアルタイムでのご参加が難しくなってしまった方にも、上記3点の資料を配布いたします。
アーカイブ配信期間は、セミナー終了より1ヶ月間です。
万が一、開催時間になっても事前案内メール（Zoomの参加URLや講義資料など）が届かない場合は、迷惑メールフォルダやゴミ箱に自動的に振り分けられている場合がございます。一度ご確認いただきますようお願い申し上げます。
参加URLはメールにてご案内いたします。no-spare.comドメインより受け取ることができるように設定をお願い申し上げます。
お問い合わせの際は、弊社コンタクトフォームよりお願い申し上げます。
禁止事項
録音や録画撮影などはご遠慮ください。
配布した一切の資料 / 動画を無断で公開、転載することは固く禁じます。
免責事項
本セミナーの内容は、事前の告知なく変更を行う場合があります。
主催者および講演者の諸般の事情や、天災地変その他の不可抗力の事態により、本セミナーの一部あるいは全部を中止させていただく場合があります。
弊社ドメインをブロックしていたことによりメールが受け取れなかったことによる参加の遅れや欠席などの責任は負いかねますので、ご了承ください。
上記が発生する場合は、当社から受講者に対して、本ページやSNS、電子メールなどで事前にお知らせいたします。ただし、事由によっては事前のお知らせがないことを予めご了承ください。