LLMのファインチューニングとRAG

公開LLMでファインチューニングとRAGを学ぼう！ この本は、公開されている大規模言語モデル（LLM：Large Language Model）を使った独自のチャットボットを構築することを目標に、LLM のファインチューニングと RAG (Retrieval Augmented Generation) の基礎とそのプログラミングについて学ぶものです。 ChatGPT の台頭により、高性能なチャットボットへの期待が急速に高まっています。しかしそのチャットボットの核となる LLM は基本的に言語モデルであるために、幻覚（誤った情報）を生成します。とくにローカルな情報や最新の情報は持っていないために、それらに関する質問に対して、正しい回答は期待できません。また ChatGPT のように LLM が外部のサーバにある場合、自社データを LLM に投げることには抵抗があると思います。 本書では、そういった課題を解決するために、公開 LLM をファインチューニングしたり、公開 LLM を使った RAG を構築することでよりニーズに沿ったチャットボットを構築します。その結果、構築したチャットボットは、自身が関わる分野について深く正確に回答してくれるようになります。 第1章　大規模言語モデル 第2章　ファインチューニング：言語モデルの追加学習 第3章　Instruction Tuning：指示に基づくファインチューニング 第4章　大規模言語モデルのファインチューニング 第5章　RAG：検索を併用した文生成 第6章　ChainlitによるGUIのチャットボット