機械学習のためのカーネル100問 with Python

カーネルの技術は，主成分分析，回帰分析，関数データ解析などのデータ分析，サポートベクトルマシン，ガウス過程といった機械学習で，頻繁に用いられている。有限次線形空間におかれた特徴量を関数に対応させることによって非線形の情報処理が実現できる，というメリットがある。その関数の線形空間を完備なものとしたとき，カーネルが再生性を満足していれば，線形空間を再生核Hilbert空間(RKHS)という。 カーネルは，機械学習の必須の技術であると言われながらも，大多数のデータサイエンティスト，機械学習エンジニアが「使い方」以上の理解をしていないのが現状である。本質がわからないため，新製品の開発や学術研究のために論文を読もうとしても，表面的な理解にとどまる。著者は，そのような苦手意識の克服には，数学の基礎，とりわけ関数解析の入門的な事柄を身につけることが先決であると主張する。 著者は2020年4月から8月に大阪大学大学院基礎工学研究科で講義を行い，その経験を通してカーネルの本質を伝えることの難しさを実感し，その反省をふまえて本書が完成した。 本書は「機械学習の数理100問シリーズ」の他の書籍と同様，ソースプログラムと実行例を提示して理解を促している。数式だけであれば，特にカーネルの場合，読者が最後まで理解することは容易ではない。また，関数解析の基本を理解してから，それ以降の章での応用を検討していて，数学の予備知識を前提としていない。さらに，RKHSのカーネルと，ガウス過程・関数データ解析のカーネルの両方を検討し，両者の扱いを明確に区別している。そうしたユニークさが，本書の特徴といえる。 本書によって確実な基礎が身につき，難しそうに思えていたカーネルの論文がスムーズに読め，一段高いところからカーネルの全体が見えてくる。カーネルを克服してステップアップしたいと願う，データサイエンティスト，機械学習エンジニア，研究者にとってうってつけの書である。 第1章　正定値カーネル 1.1　行列の正定値性 1.2　カーネル 1.3　正定値カーネル 1.4　確率 1.5　Bochnerの定理 1.6　文字列，木，グラフのカーネル 付録　命題の証明 　問題1〜15 第2章　Hilbert空間 2.1　距離空間と完備性 2.2　線形空間と内積空間 2.3　Hilbert空間 2.4　射影定理 2.5　線形作用素 2.6　コンパクト作用素 付録　命題の証明 　問題16〜30 第3章　再生核Hilbert空間 3.1　RKHS 3.2　Sobolev空間 3.3　Mercerの定理 付録　命題の証明 　問題31〜45 第4章　カーネル計算の実際 4.1　カーネルRidge回帰 4.2　カーネル主成分分析 4.3　カーネルSVM 4.4　スプライン 4.5　Random Fourier Features 4.6　Nyström近似 4.7　不完全Cholesky分解 付録　命題の証明 　問題46〜64 第5章　MMDとHSIC 5.1　RKHSにおける確率変数 5.2　MMDと2標本問題 5.3　HSICと独立性検定 5.4　特性カーネルと普遍カーネル 5.5　経験過程入門 付録　命題の証明 　問題65〜83 第6章　Gauss過程と関数データ解析 6.1　回帰 6.2　分類 6.3　補助変数法 6.4　Karhunen-Lóeve展開 6.5　関数データ解析 付録　命題の証明 　問題84〜100 参考文献 索引