仮説なきデータマイニングが陥る落とし穴「ファインマン・トラップ」

〈先入観も予備知識もない状態からビッグデータを解析し、そこに相関関係を発見する。そんな仮説なきデータマイニングには、誤った結果や意味のない結果を生み出してしまう危険が常に潜んでいる。「ファインマン・トラップ」と呼ばれるこの現象について、いま改めて考えるべきではないか──。経済学者のゲアリー・スミスによる考察。〉

1965年にノーベル賞を受賞した物理学者のリチャード・ファインマンは、ある日カリフォルニア工科大学の学生たちにこんな問題を出した。「いま教室を出て駐車場に行ったとき、最初に目にするクルマのナンバープレートが特定のもの、仮に『6ZNA74』である確率を求めよ」

数字とアルファベットの出現確率はすべて同等かつ独立して決まるという仮定のもと、学生たちは「確率は1,700万分の1以下である」と推定した。ところが、ファインマンは計算を終えた学生たちに、正しい確率は「1」であると明かした。ファインマンは授業に来るときに、そのナンバープレートを目にしていたのだ。

極めてまれなことも、すでに起きている場合はまれではないのである。

◆データマイニングのアキレス腱に

この「ファインマン・トラップ」、つまり、何を求めればよいのかという予備知識がゼロの状態からデータを漁ってパターンを探すことは、データマイニングに基づく研究の“アキレス腱”と言える。

異常なことや驚くようなことを、その事象が起きたあとに“発見”したとしても、実際それは異常でも驚くべきことでもない。パターンは必ず見つかるが、誤解を招いたり、不合理だったり、それよりひどい結果に終わったりすることが往々にしてあるのだ。いくつか例を見ていこう。

https://wired.jp/2019/04/09/exaggerated-promise...

返信する

これは重要な話。でも偽りの相関でも見つらないよりはいい。
それが真の相関かどうかは人間が確かめればいい。
見落としていた物が見つかる、煩雑な作業から解放されるのがすばらしい。

返信する