ChatGPTって何ができるの？3モデル？4モデル？何が違うの？（前編）
- AI活用
- ChatGPT
- OpenAI
- 全業種
今や生成AIの代表サービスと言っても過言ではないChatGPTですが、なんとなく会話が成立するすごいサービス…というイメージがあるかと思います。
今回はそんなChatGPTのバックグラウンドから最新モデルでできることについてご紹介します。
ChatGPTとは
OpenAI社が2022年11月に公開した人工知能チャットボットです。
せっかくなのでChatGPTに質問してみました。
「ChatGPTは、OpenAIによって開発された大規模な言語モデルで、GPT-3.5アーキテクチャに基づいています。ChatGPTは、自然言語理解、文章生成、文章翻訳、対話システムなどのタスクを実行することができます。ChatGPTは、大量のテキストデータを学習し、それを使用して人間とのような自然な対話を行うことができます。ChatGPTは、多数の言語に対応しており、様々な分野の知識を持っています。」
との回答が返ってきましたが、ちょっと専門用語が多いです。
GPT-3.5という単語が出てきましたので背景を整理してみました。
ChatGPTの進化
ChatGPTには前身のモデルがあり、進化を遂げて現在の形になっております。
GPTモデル
- OpenAIが開発した「文章生成モデル」です
- GPTは「Generative Pre-trained Transformer」の略称です
- Googleの開発した言語モデルである「Transformer」をベースに、教師なし学習ができ、Pre-training(事前学習)とFine-tuning(微調整)ができるようにっております
- データやパラメータの大きさを「GPT-〇」で表現し、後ろの数字が大きくなるとデータやパラメータが大きくなります。つまり際限なくGPT(LLM)は精度が上がり続ける仕様です
InstructGPTモデル
- GPTモデルからRLHF(人間のフィードバックによる強化学習)を用いて、バイアスを排除するようにチューニングされた言語モデルの進化系です
ChatGPTモデル
- 対話に特化するためにInstructGPTとは異なる学習データを用いております
- ○○GPTのように○○に入る部分が何を調整したのか表現しております、今回はChatです
- OpenAIのGPT-3ファミリーの言語モデルを基に構築されており、「教師あり学習」と「強化学習」の両方の手法で転移学習されております
- データセットの品質改善や強化学習を取り入れることで、まるで人間と会話しているかのような自然な文章を生成できるようなった進化版です
次は既存モデルや旧モデルとの比較です。
既存モデルとChatGPTの違い
既存モデル
- 生成分が人間の期待するものと一致していない
- ネット上から収集された大規模なテキストデータを学習に用いているので、信頼性の低いテキストや有害なテキストを生成する恐れがある
- 表現を少し砕けたものにすると意味理解が出来ず、筋違いな回答を生成することがある
ChatGPT
- InstructGPTという先行モデルで用いられた「人間のフィードバックに基づいた強化学習」の考え方をChatGPTでも採用
- 有害なテキストを生成しないようにモデルを微調整
- 「ユーザーとAIの会話」のデータを作成し、学習に会話ならではの砕けた表現などでも正しく意味理解し、適切な回答の生成することが可能
GPT-3とGPT-4とのスペック比較
※データセット：学習量
定性的な比較はいまいち違いがイメージできませんでしたが、数字で比較してみると大幅なアップデートということがわかるかと思います。
では具体的にGPT-4の最新モデルになったことでできるようになったことを後編でご紹介します。
