雲雀は高く空を舞い このページをアンテナに追加 RSSフィード

「ひよこは高く空を舞い」について

2006-06-05

[]グループキーワード「ひよこの会グループキーワード「[[ひよこの会]]」 - 雲雀は高く空を舞い を含むブックマーク はてなブックマーク - グループキーワード「[[ひよこの会]]」 - 雲雀は高く空を舞い グループキーワード「[[ひよこの会]]」 - 雲雀は高く空を舞い のブックマークコメント

グループキーワード「ひよこの会」を作ろうと思うんだけどなに書こう。

[]「ニューラルネット入門」より (1) 「ニューラルネット入門」より (1) - 雲雀は高く空を舞い を含むブックマーク はてなブックマーク - 「ニューラルネット入門」より (1) - 雲雀は高く空を舞い 「ニューラルネット入門」より (1) - 雲雀は高く空を舞い のブックマークコメント

これは云々である.

だいぶ基本的なテキストぽい.

1. はじめに

略.

2. 最急降下法

多くの場合,学習とは,与えられた評価関数の最適化問題に帰着する.数多く存在する最適化手法のうち,ここでは最も簡単な最適化手法の1つである「最急降下法」について記す.

評価関数 \fs{+1} f(a) を最小にする \fs{+1}a を求める.

最急降下法は,ある適当な初期値から始めて,その値を繰り返し更新することにより,最適なパラメータを求める繰り返し最適化手法のうち最も基本的なものの1つである.

この方法におけるパラメータ更新は式(1)でなされる.

\fs{+1} a^{(k+1)} = a^{(k)} - \gamma \frac{\partial f(x)}{\partial a}|_{a=a^{(k)}}... (1)

ここで \fs{+1}a^{(k)}\fs{+1}k 回目の繰り返しで得られたパラメータ \fs{+1}a の推定値で, \fs{+1}\gamma は学習係数と呼ばれる定数であり, \fs{+1}(\gamma >0) である.\fs{+1}\gamma が大きい場合、最適パラメータの周囲で値が振動あるいは発散してしまう可能性がある.一方,\fs{+1}\gamma が小さい場合,1回の更新ではパラメータの値がほとんど修正されず,最適なパラメータが求まるまでの繰り返し回数が多く必要となる.

 ほーむわーく

以下の \fs{+1}f(a) が最小の値を取る \fs{+1}a を最急降下法を用いて求めよ

  1. \fs{+1} f(a) = (a - 1.0)^2
  2. \fs{+1} f(a) = (a - 1.0)^2 (a + 1.0)(a + 2.0)


cat::信号処理

, ,

kiri-nokiri-no2006/06/06 13:41先生! a と α の見分けがつきません!

allegroallegro2006/06/08 04:07確かに(笑)とりあえず学習率をαからγに変えました。

トラックバック - http://chick.g.hatena.ne.jp/allegro/20060605
テクノラティプロフィール