過学習(過剰適合)とは。

  AIにも過学習(過剰適合)がある。

過剰適合(かじょうてきごう、英: overfitting)や過適合(かてきごう)や過学習(かがくしゅう、英: overtraining)とは、統計学や機械学習において、訓練データに対して学習されているが、未知データ(テストデータ)に対しては適合できていない、汎化できていない状態を指す。汎化能力の不足に起因する。

 Wikipediaより。

 人間にもある。チェス、将棋、囲碁において、全体の極一部の手しか使っていなかったというのがまさしくソレ。あまりにも「優等生データ」を学習しすぎると(例えば名人同士)、突拍子もナイ非常識な手を打たれた時に対応できなくなる。

 例えば武道にはルールと型があり、ボクシングの試合なら相手は蹴ってこない前提で戦えるが、ストリートのケンカにはソレがなく、刃物や銃を出すかもしれない。実社会では何をするかわからない(予測できない)相手にも対応する必要がある。すなわち必要に応じて「逃げ足の速さ」も強さ(生命力)として加味される。

 過学習は、ヘッブの法則で言えば特定のニューロンが繰り返し発火した結果強化され過ぎ、他のニューロンが鈍感になっている状態と言える。

 例えば暗号解読や行列推理のような規則性・法則性を見いだす作業ばかり続けていると、意地でも規則性・法則性を見いだそうと盲目的になる人がいる。だから何の意味もないダミー問題を入れて本来の思考力を試す必要がある(2017年「項目反応理論」で書いた)。

 言い換えると思考の偏りをあぶり出すことで、他の思考力を失っていることが測定できる。すなわち賢くなったのではなく、何かと引き換えている状態。

 要は「何かあるはずだ」と構えている人は、「何もない」と結論付けるのに時間がかかる(生産性が下がる)。「見いだせないのは自分の思考が足りないから」だと考えてしまうから。

 作者が私じゃなくても(笑)、AIならチェス・将棋・囲碁で“変な手”を打つのと同じように「え?」という問題を出題するだろう。

 私はよく暗号解読を行うので、一定時間を超えて考えないようにしている。全くもって無秩序な文字の羅列である可能性もあるから。例えば犯罪捜査ならそれが“敵”の捜査かく乱戦略かもしれない点を常に意識しておく必要がある。

 しかし考えることをやめて他のことをし出したときに答えが出てみたりする。1973年、井上陽水は楽曲“夢の中へ”で「探すのをやめた時、見つかることもよくある話で♪」と唄った。「それより僕と踊りませんか♪」と。

 これは思考の変質性が解け、視野が広がった瞬間に探していたものが見つかる。だから今は踊りませんか?と問いかけている。大抵私の場合は美女とシャンパンを飲み食事を済ませ、葉巻をくゆらせコニャックグラスを持ちそろそろチークタイムかというときにソレが訪れる(笑)。

 本来シャンパン、白ワイン、赤ワイン、ブランデーまで飲めば思考力や認知能力は下がっているはずだが、そういう時にふとひらめくことが多いのは、必要とされていたものがその能力ではなかったということだろう。

 ヒトの脳とは複雑極まりないが、時として単純明快にストレートを打ってくる。

 というわけで過学習に注意する必要がある。

ニューロンの発火を理解するためのパーセプトロン。恋愛スイッチ編。