G検定

2021年第3回G検定 振り返り 第14問(GPT-3)

2021年12月29日

シラバス分野:ディープラーニングの手法 自然言語処理からの出題です。

事前学習モデルを用いた転移学習

大規模なデータを用いてあらかじめ汎用的な特徴を学習し終えているモデルのこと

事前学習モデルを活用すると何が良いのか?

手元にある学習データが小規模であっても、事前学習モデルを活用することで転移学習に利用でき、高精度な認識精度を達成できること

事前学習と転移学習に使いやすい自然言語処理モデルの代表例として

  • BERT
  • GPT系モデル

がある。

画像認識分野で、同様に考えて事前学習をおこなっているものに、VGG16ResNetがある(大規模な画像データセットとしてImageNet等を利用)。

GPT系モデル

GPT(Generative Pre-Training)は、Open AIが開発した事前学習モデル。

OpenAIにGPT-3APIの利用申請して、承認を受ける必要がある。

トランスフォーマーのデコーダーと似た構造を持つネットワークを用いて、過去の単語列から次の単語を予測するように学習を行う。

GPT系モデルはバージョンアップするに従い、パラメータ数が桁違いに増加している。

  • 初代GPT ⇒ パラメータ数    1.1億個
  • GPT-2  ⇒ パラメータ数  15億個
  • GPT-3  ⇒ パラメータ数 1750億個

(出典:【5分講義・自然言語処理#4】最新のGPTを知りましょう

言語理解タスク

GPTは、文章の内容や背景を理解する高い能力をもちあわせている。

以下のような幅広い言語理解タスクに対応できる。

  • 評判分析

入力された文が、ポジティブか、ネガティブか、ニュートラルか、を判定する。文書分類の一種である。

  • 自然言語推論

与えられた2つの文の内容に、矛盾があるか?一方が他方を含意するか?、などを判定する。含意関係認識とも呼ばれる。

  • 質問応答

文章とこれに関する質問文が与えられたときに、適切な回答を選択肢の中からえらぶ。

  • 意味的類似度

2つの文が用意され、それらが同じ意味であるかを判定する。

GPT-3の優れている点と残されている課題

  • 優れている点

「ある単語の次に来る単語」を非常に高い精度で予測できる。

文章の書き出しを与えるだけで、続きの文章を自動生成できる。

  • 残されている課題

前の文章にある単語との関係性を学習することには長けているが、人間社会の慣習・常識(当然の物理現象など)をもちあわせていない。

違和感や矛盾のある文章を生成してしまうことがある。

  • この記事を書いた人

NISHIBIZ

・JDLA G検定 2021 #3 合格者
・令和3年度 中小企業診断修得者
記事は資格取得情報(ディープラーニング検定と中小企業診断士試験)他、
エンタメ(音楽・アニメ・テレビ)と時事/雑学。
Apple Musicを愛用。NISHIBIZでプレイリスト「私的ベスト」検索。
音楽の嗜好はエレクトロ/エモ

-G検定