世の中のAIブームの影響を受けて、何年かぶりにニューラルネットワークNNをやってみたのですが・・・
思いの外うまくいかない。
【手書き数字の文字認識】
digits(8*8),MNIST(28*28)の手書き数字の文字認識をやってみたのですが、バックプロパゲーションの出力が０ばかりになってしまった。
【対処法】
正解の時は、バックプロパゲーションをしない。
間違えた時だけ、バックプロパゲーションを行う。
ネットに書いてありました・・・(T . T)
【なぜこんなことになったのか】
手書き数字の文字認識は、入力に対して、１〜１０の１０種類の出力を出すわけですが・・・
出力の設計は、
0ならば[1 0 0 0 0 0 0 0 0 0 ] １ならば[0 1 0 0 0 0 0 0 0 0 ]
みたいになるわけです。
一つだけ１で、残りの９が０となるわけです。
このようなのをwinner-take-allというらしいのですが・・・
ニューロの立場で考えた場合、１になる確率は10%で0になる確率は90%です。
０を出力していれば、９割近く正解するわけです。
バックプロバゲーションを常に有効にした場合、
なまじ出力をしても、９割の確率で出力を０にしろと言われるわけです。
１にしろと言われるのは１割だけ、そのため、ニューロは０出力になってしまったわけです。
