2021年第3回G検定 振り返り 第6問(勾配消失問題、ReLU関数)

シラバス分野:ディープラーニングの概要 勾配消失問題、ReLU関数からの出題です。 勾配消失問題とは何か 勾配消失問題とは、誤差の勾配を逆伝播する過程において、勾配の値が消失してしまい、学習が進まなくなるディープニューラルネットワーク特有の現象のこと。 ニューラルネットワークを多層化すると、誤差逆伝播法では各々の層で活性化関数の微分がかかり、勾配が消失しやすくなります。 層が深いほど起こりやすく、ディープラーニングにおいては、過学習と並び、注意すべき課題として知られています。 回避する方法はあるのでしょう ...

ReadMore

2021年第3回G検定 振り返り 第5問(fastText)

シラバス分野:ディープラーニングの手法 自然言語処理からの出題です。 単語の数値化手法 (One-Hotベクトル⇒分散表現) 文書をコンピュータで扱うために、単語の数値化が必要。 まず考えられたのがOne-Hotベクトルでした。 しかし次のような問題点が。 単なるダミー数値であり、同一単語かどうかの判定はできるが、単語の意味や関係性を表現できない(←すべての単語を独立に扱っている)。 ベクトルの次元数が膨大(かつスパース)なので計算時間が激増してしまう。 そこで単語を分散表現に変換する手法を2000年に新 ...

ReadMore

2021年第3回G検定 振り返り 第4問(説明可能AI、XAI)

シラバス分野:ディープラーニングの社会実装に向けて XAIからの出題です。 XAIの必要性 XAI(エクスプレイナブルAI)とは、予測結果や推定結果を得るまでのプロセスが説明可能になっているAIモデルのこと。 ディープニューラルネットワークなど従来のAIは、入力から予測結果が得られるまでのプロセスがブラックボックスで、人間が解釈できないことが多かった。 しかしAIの社会的応用が促進される中で、「中身がわからないと安心して利用できない」という要望が表明されるケースが増加。 そのため、説明・解釈可能性を備えた ...

ReadMore

2021年第3回G検定 振り返り 第3問(アダマール積)

シラバス分野:数理・統計からの出題です。 アダマール積とは、行列の乗算方法。 行列の加法と似ていて、行列の同じ行・同じ列の要素を乗算して、新しい行列を作ります。 具体的に見てみましょう。 アダマール積の具体例 GとHのアダマール積はこうなります。 見てわかるように、行数と列数が一致していなければなりません。(両方とも2行3列) 結果、その解の行列Nの行数・列数も同じになる。(解の行列も2行3列) ディープラーニングでアダマール積を使う場面 アダマール積は、再帰型ニューラルネットワーク(RNN)のLSTM( ...

ReadMore

2021年第3回G検定 振り返り 第2問(チューリングテスト)

シラバス分野人工知能分野の問題 チューリングテストからの出題です。 「人工知能の父」と呼ばれるアラン・チューリングは、「アウトプットこそが知能」だと考えました。 人工知能ができたかどうかを判定する方法として、チューリングが提唱したのが、チューリングテストです。 チューリングテストとはどのようなテストか? 手順 判定者が、隔離されている部屋にいる相手(人間orコンピュータ)に質問をする。 相手(人間orコンピュータ)は回答する。 判定者は回答の内容のみから、相手が人間であるかコンピュータであるかを判定する。 ...

ReadMore

2021年第3回G検定 振り返り 第1問(VGG、ResNet、スキップ構造)

シラバス分野:ディープラーニングの手法 CNNからの出題です。 CNNとはなんの略語? ⇒ Convolutional Neural Network ⇒ 日本語にすると畳み込みニューラルネットワーク 画像認識のために考えられたモデルです。 ILSVRC~コンピュータによる画像認識の競技会 ILSVRCというコンピュータによる画像認識技術の競技会があります。 優勝したモデルを追っていくと、画像認識技術の進化がわかります。 開催 出来事 ILSVRC2012 ジェフリー・ヒントン率いるチームのAlexNetが ...

ReadMore