深層学習　生成AIの基礎

学部2, 3年生以上を主な対象とした深層学習の教科書。ニューラルネットワークの基本からはじめて、生成AI（言語生成と画像生成）について理解することを目指す。 本書ではまず、進化・深化した深層学習の要素技術と、表現学習の代表例である単語埋めこみ、さらに、ネットワーク基盤としてのトランスフォーマーを、その基礎である注意機構とともに解説する。言語生成については、言語処理の基盤アーキテクチャとして応用範囲のひろい大規模言語モデルを導入し、発展形である言語生成モデルを紹介する。大規模言語モデルを言語生成モデルへと昇華させるのに必要となった強化学習についても、本質的な事柄にしぼって詳述する。画像生成については、生成モデルとして発展いちじるしい拡散モデルを取り上げ、さらにGAN（Generative Adversarial Network）についても解説する。最後に、半教師学習や不均衡なデータにおける学習・知識蒸留など、さまざまな学習の枠組みについて解説する。 第1章　はじめに 1.1　ニューラルネットワークの基礎 1.2　ニューラルネットワークの行列表記 1.3　深層学習の発展とその要因 1.4　付　録 【第I部　基　盤】 第2章　深層学習をささえる要素技術 2.1　確率的勾配降下法の進化と深化 2.2　勾配消失/発散に対する対応 2.3　残差接続 2.4　活性の正規化 2.5　付　録 第3章　RNN：recurrent neural network 3.1　RNNのアーキテクチャと計算 3.2　RNNの学習 第4章　単語埋めこみ 4.1　単語のベクトル表現 4.2　Word2Vec 4.3　Word2Vecの学習 4.4　埋めこみの取得 第5章　トランスフォーマー 5.1　注意機構 5.2　トランスフォーマー 5.3　トランスフォーマーの適用例 第6章　強化学習 6.1　問題設定 6.2　Q学習とDQN 6.3　方策勾配法とその発展形 【第II部　生成モデル】 第7章　言語の生成 7.1　言語モデル 7.2　RNN言語モデル 7.3　系列変換モデル 7.4　大規模言語モデル 7.5　言語生成モデルに向けて 7.6　言語生成モデル 7.7　付　録 第8章　拡散モデル 8.1　拡散モデルの概要 8.2　マルコフ過程（マルコフ連鎖） 8.3　拡散モデルの定式化 8.4　拡散モデルの学習 8.5　Stable diffusion：拡散モデルの実装 8.6　付　録 第9章　GAN：生成的敵対ネットワーク 9.1　GANの基本 9.2　GANの発展 【第III部　深層学習アラカルト】 第10章　取りあつかい注意のデータ 10.1　クラス間のデータ不均衡 10.2　クラスラベル誤り 第11章　多様な学習の枠組み 11.1　距離計量学習 11.2　知識蒸留 11.3　半教師あり学習 第12章　微分可能演算機構 12.1　微分可能データ増強 12.2　幾何学的変換機構 12.3　付　録 索　引