米大統領選予測の失態、データサイエンスに打撃

ビッグデータが8日、失態を演じた。米国で最も賢明なデータサイエンティストの手中にある最も洗練された技術は、米大統
領選の開票が進む中で明確になったものを見落とした。民主党候補ヒラリー・クリントン氏の圧勝を予想した世論調査の間
違いを検証しているデータ分析の専門家は、データ群の幅の狭さ、欠陥のあるアルゴリズム、そして人間は誤りうるという
点を指摘している。これらの点は、企業が独自のデータ分析や予測を行う方法に影響を与える可能性がある。

米バブソン大学のIT・経営学教授、トーマス・ダベンポート氏は「分析に使用しているモデルは、使えないことが分かるま
で悪いモデルだと気付かないことが多い」と述べた。

正確な予測をするには、過去のパターンについて信頼できるデータをアルゴリズムに取り込む必要がある。クリントン氏と
共和党候補ドナルド・トランプ氏の選挙戦は、感情的な言葉の応酬が多く、政策スタンスの比較に割く時間が比較的短かっ
たため、過去のひな型、ひいては多くのアルゴリズムが使えなかった。

企業も適切な質問をして正確なデータを集める上で同様の課題に直面している。ニューヨーク大学スターン経営大学院と
データ・サイエンス・センターの教授、バサント・ダール氏は、人間はすでに知っている事柄を裏付けるデータに頼る傾向
があり、このことが、組織が適切な戦略的判断を下すのを妨げる可能性があると指摘した。

今回の大統領選は、企業の日々の意思決定では問題にならないかもしれないことをデータサイエンティストらに突き付け
た。例えば、予測モデルに当てはめられる過去のデータが十分ではなかった。これに対し、小売業者は過去の購買行動に関
して膨大なデータを持っていると考えられる。

IBMの分析事業部門の製品開発担当副社長、ロブ・トーマス氏は「明らかにデータはアルゴリズムに勝る」とし、「包括的
なデータがなければ、包括的ではない予測になりがちだ」と指摘した。

未知、未収集ないし未使用のデータ、つまりトーマス氏が言うところの「ダークデータ」は、予測を誤った方向に導くこと
がある。ある企業幹部が使えるデータを全て使っても、「その周辺の事柄について考えなければ、関連データの大部分を無
視したことになる」と同氏は説明している。

大統領選投票日の8日夜は、そうした「周辺の事柄」がトランプ氏への投票となって現れた。トランプ氏の当選は大半の世論
調査で予想されていなかった。民主党地盤だったミシガン州とウィスコンシン州が共和党支持に変わることも見込まれてい
なかった。

以下ソース
http://jp.wsj.com/articles/SB1019224625177552381...

返信する

人は嘘をつくものだ
人の嘘に対応できなかっただけ

返信する

予測システムの不備、誤りではないな。
これはシステム営業者の言い訳だろう。
事実は、今回の事件が情報処理システムの運用範囲を越えてしまったから。

革命や社会構造の崩壊、金融恐慌、火山の噴火、巨大地震、などは
論理的な予測はできても、その瞬間は予測できない。
理由は、ベースとなるデータが「決定論」的であるのに、
予測は字義の通り「確率論」に依るという、パラドックスがあるからだ。

つまり、結果予測は確率という幅のある数値、
しかし元になるデータは確定された事実以外は許されない。
以外＝（思い込みや好み印象）を事実と思いたい我々一般人の議論を想像してみたらわかる。

いわゆる平時＝状況が安定している時、予測の誤差は期待値内に収まるので実用できる。
しかし、有事＝人心の転換や、地震の崩壊ポイントは平時に誤差の範囲だった微小なファクターが
ものすごい（予測できない）勢いで増大するからだ。
ギリギリでバランスを取っていた巨大なモビールがちょっとした力で大きく傾くのに似ている。
動くことはわかっているが、その入力時点は実用的には予測できない。
たとえば、東京で大地震が起こるとして、予測はそれに対処できる時間より前でなくてはならないということだ。

地震予測みたいなものは、平時の情報処理プログラムでは役に立たない。
という難題のささやかな事件が起こったというわけさね。
イギリスのUA離脱から、安定的であった先進諸国でも、そういうことが起こり始めているんだね。

返信する

必死に言い訳中、まで読んだ。

返信する

木村太郎が「TVコメンテーターでただ一人」トランプ当選を予測をしていた、と自慢しとるが
「ただ一人」トランプ支持者だった。つまり贔屓の馬にベットしただけで、
特段予測能力があったわけじゃない、ということと同じ。
結局、大乱、大災害は預言者以外は予測できんつーこと。
その預言者がわけわからんがww

なんかさ、自衛隊のスーダン派兵も、その「平時」モードでやっているよな？
現場は「有事」まっただ中つーか、「有事」だから派兵するんだろ？
ご近所に予備役のおっさんがいるんだが
「あそこの戦争は敵と一般市民が見た目区別できんのに、
今の法律じゃ、現場が混乱して市民を撃っちまったら国は守ってくれん」言うとった。
戦地じゃないっつー建前で行かされるんだから、ただの殺人、ん？過失至死？鉄砲撃ってそりゃないな。
そこんとこをきっぱりせいで、背広がイキっとるんは、制服はかなわんで。
現場は可哀想なことになるなあ。言うとった。
関係なさそで関係ある話。

返信する

トランプ支持を表明すると差別主義者の烙印を押されてしまうので
隠れトランプが多かっただけだろ

返信する

人間誰しも人にバカとは思われたくないから
表向きは「ヒラリー支持」を装いつつ
でもやっぱりトランプに投票しちゃった仮面バカが大勢いたんだろう

現状のビッグデータサイエンスは
まだポーカーに勝てるレベルにないってことだ

返信する

>>6
そんな事は誰でもわかるのに、全く計算に入れなかった。

つまり、無能。

返信する

>>7
>>8
君たちよかもうちょっと高学歴高収入な人が運営ぢているよ

返信する

そんなに素晴らしい予測が出来るなら
競馬の予測をしてほしい。

返信する

>>8
でもわかっててもそんなことまで盛り込むと運用者が差別主義と関連されかねない
そこまで読みきれてなかった

返信する

>>11
なにを言ってんだお前は。

こいつらは、選挙結果を当てるのが仕事。

返信する

>>12
なにを言ってんだお前は。
だから当たらなかった言い訳を考えてあげてるんだよ

返信する

>>13
頭悪いんだから、黙ってた方がいいよ。

返信する

たてまえだけの正論がまかりとおる時代に
ご時世、割を食ってる低学歴労働者と、二流大学出の怨念度を数字にするのは
日本ではもっと計算しにくいだろうなあ。
なんせ、先の戦争で言われるまま崖から飛び降りたり、集団自決したり。
これ、災害被災者がじっと行列作ったり、観客がスタジアムで掃除したりという
素晴らしき日本人の、目の前の世間にがんじがらめという
もう一方の暗黒面だからね。

返信する