要はバランスですね

先月の電子情報通信学会誌は、
「確率を手なずける秘伝の計算方法ー古くて新しい確率・統計モデルのパラダイム」
という小特集が組まれていて、EMやブースティング、SVM等の基礎の説明をしていた。

この会誌では、ブースティングを次のように表現している。
ブースティングは「3人寄れば文殊の知恵」のことわざを地で行こうとするものと。
3人寄れば文字の知恵の例が以下です。
------------------------------------------------------------------------------
　　今、3人一組でチームを作って、クイズ大会を行なう状況であるとする。
　　出題ジャンルは10種類(政治とかスポーツ,etc)で、○×クイズとする。
　　今、優秀な3人が組んだチームと、まあまあ出来る3人が組んだチームがいます。
　　優秀な3人は、8種類のジャンルは得意だが2種類のジャンルが苦手である。
　　まあまあの方は、6種類のジャンルが得意だが苦手なジャンルがそれぞればらけている。
　　3人で協力して1つの答えを出す場合(個々がクイズに答え合計点を競うわけではない)、
　　どちらのチームが強いでしょう？という話。
-----------------------------------------------------------------------------
で、優秀な3人の結果とまあまあの3人の結果が以下の図
(□は人がジャンルの正解を知っている事を表し、■はジャンルの正解を知らない事を表す)。
　　
優秀チーム　　　　　　　　　　　　　　まあまあチーム
aさん:□□□□□□□□■■　　dさん:□□□□□□■■■■
bさん:□□□□□□□□■■　　eさん:□□□■■■□□□■
cさん:□□□□□□□□■■　　f さん:■■■□□□□□□■
　　　　　↓(多数決による答え)　　　　　　　↓(多数決による答え)
　　　　□□□□□□□□■■　　　　　　□□□□□□□□□■

とまあ予想通り、まあまあチームの方が良い成績を残せるという例でした。
この上例のように、どうやって多様な人材を集めるのかがブースティングの肝としています。
人を集めるときに、バランス良くうまい選択ができるように実装したのがブースティングだと。
その後は数式〜という流れでした
(数式については、長くなったので割愛します。気になった人は各自で確認して下さい)

しかし、まあまあチームを実装したのがブースティングだとしたら、
優秀チームはなんだろう？東京読売巨○軍か(笑)。

以上、今日はこんなんでした。間違ってる箇所があれば、ご指摘して下さい。
こんなんblogに載せるなよと突っ込まれそうですが(笑)。

＊参考文献：電子情報通信学会誌,Vol.88,NO.9,9pp724--729「ブースティングと学習アルゴリズムー三人寄れば文殊の知恵は本当か？」