No.510

昨今の主流である大規模言語モデルについての概要 of 概要

　昨今のAI発展の起爆剤となったLLM（Large Language Model：大規模言語モデル）。よく聞かれるがいちいち説明するのが面倒くさいので、口頭説明レベルで概要と学習の流れをコピペ用にメモした。

　概要としては間違っていないと思うけど、雑いのもいいとこなので、あくまでも初心者や飲み屋のネーちゃんくらいまでに止めておくのが吉。

LLM（大規模言語モデル）

　最近のAIの隆盛を支えたAIの種類。
　従来のAIは文章などを学習するための「教師」と呼ばれる仕組み（データの順番の指示や判定方法）が必要だったが、それを必要とせず効率的に学習できるようになった。
　膨大な量の単語と単語の関連づけを学習させたAIであり、汎用的に使用できるが、それぞれの用途に応じた出力処理を作成する必要がある。

AIの学習

　AIの能力を決める基本的な学習である「事前学習」がAIの地頭を育てる主要な学習過程となる。一般的に言われる「膨大な演算を必要とする」などは主にこの過程のことである。
　基本的な知識を修得したAIに個別の問題を解決させるため、専門の知識を与えるのが「追加学習（ファインチューニング）」である。

・事前学習

　AIに日本語を理解させるためには、「そもそも日本語とは何か」「どのような構造の言語なのか」といった基礎的な事前学習を行わせる必要がある。
　偏りの少ない良質な文章の選別や、AIへの学習させるコスト（時間など）は本来膨大なものだが、LLMのモデルによっては既に適切なデータで学習させたAIが公開されているため、事前学習をスキップすることができる。
　学習元のデータは、Wikipediaの日本語記事を選別したものや、学術機関が公開している各言語の学習用文章などが利用されるようだ。

・追加学習（ファインチューニング）

　実際にAIを目的のために使用するには、その目的に応じた勉強を行わせる必要がある。
　例えば「文章から要約を作成する」という目的だったら、「要約された文章」と「元の文章」を用意して学習を行わせる必要がある。
　学習データの分量と質はそのままAIの頭の良さに繋がる重要なファクターである。