徒然weed

アウトプットの場

「はじめてのパターン認識」第7章

f:id:shintaro-football7:20191101221245j:plain
「はじめてのパターン認識」という本を買って読んでいるので第7章からだけど自分のまとめたいようにまとめます。

はじめてのパターン認識

はじめてのパターン認識

誤差逆伝播

・バッチアルゴリズム

学習データ全体を用いて重みの修正量を計算する(この操作一回を1エポック)。
評価関数はE(w) = \sum_{n=1}^{N}E_n(w)

・確率降下法(オンライン学習)

コスト関数の降下方向を1つの訓練データから計算した勾配で近似する。確率降下法はどの訓練データもある程度似ているという前提のもとで計算しているので外れ値に弱い。


以下、誤差逆伝播の概略図。
①問題設定する。k層が出力層。3層のみを考える。
②i層とj層の間の重みを計算するときはコスト関数Eがy_1,y_2,...y_kの関数であることに注意。
f:id:shintaro-football7:20191102113613j:plain

学習特性

・誤差評価関数は局所最適解をたくさん持ち、どれに落ち着くのかは重みの初期値に依存する。
・学習が進むにつれて重みが大きくなり過学習を引き起こすので正則化項をコスト関数に加える。(L1正則化、L2正則化など)
正則化については 今更聞けないディープラーニングの話【ユニット・層・正則化・ドロップアウト】 - HELLO CYBERNETICS がわかりやすかった。


だいぶおおざっぱにまとめてしまい反省ですが、雰囲気は大体つかんでいるのでこれでおしまい。次回はSVMについて。



本日のおまけ
なんか良い歌に仕上がってて笑う。