予測について、確率・統計の種類とデータ分析とAI、データ評価について、意思決定と期待値と結果の関係について

WIP

Reports that say that something hasn't happened are always interesting to me, because as we know, there are known knowns; there are things we know we know. We also know there are known unknowns; that is to say we know there are some things we do not know. But there are also unknown unknowns—the ones we don't know we don't know. And if one looks throughout the history of our country and other free countries, it is the latter category that tend to be the difficult ones.

この言葉は色々な分野で予測に関する仕事をしている人の間ではとても有名な言葉である。 イラク戦争時、当時の国防大臣であったラムズフェルド氏が語った言葉である。 当時この言葉はジャーナリズムからの嘲笑を買ったらしいが、その後予測について語られる際には重要な金言として度々引用されている。 ここに一つぬけているものがあるが、unknown knownsである。予測に認知の領域も含めるのであれば当然この言葉も含まれても良かっただろう。 特に戦争に関する情報を評価する言葉であったのであれば。

全ての悩める人が行き着く、因果関係と確率、活路を見出す意思決定論

人

全ての悩みの原因は人間関係である 恋愛 友人 仕事 倫理・道徳 犯罪 教育 結婚

もの

アカデミック ビジネス

活路を見出す意思決定論

ことわざ・四字熟語 エセー タルムード 五輪書 聖書 コーラン 仏典 四書五経

予測

予測とは、英語でprediction、presumption、conjencture、forecastなどであり、 日本語でも予測、推測、推定、推察など複数の言葉があり、厳密に言えば区別できなくはないだろうが、実際に使用する際にはほとんど区別をつけられずに使っている。 それにはおそらく理由があり、それらの言葉の表す内容自体が曖昧であるか、もしくは難しいから理解が追いつかないからだろう。 予測に関する考察については後述

確率について

そもそも確率についての定義というのは未だ定まっているとは言い難い大きく二つに分けるとしたら、いかの二つだろう 1. ギャンブルで使われるサイコロの1がでる確率は1/6であるというスタイルの確率 取り得る組み合わせを全て列挙し、その取り得る事象がそれぞれ同じ度合いで起こるなら(ここにすでに確率的な概念を含んでいるので不思議なことである)

  1. 明日の降水確率は60%であるというような未来予測の確率 過去のKnown knownsのデータから恣意的に導き出した役に立つと思われる0から1の間で表される数値。 この数値が未来に役立てられるという考え方。

確率の特色、特に意思決定に使われるという点、結論を含む確率つまり期待値、期待値を含むと確率の捉え方は大きく変わる可能性が高いという点

Probability、確率、蓋然性で表される3つの事柄

  1. 証拠自体がどれくらい本当であるかどうか
  2. 証拠から結論を導き出すのがどれくらい確からしいのか

データに関して、知っているデータなのか知らないデータなのか

  1. Known knowns すでにデータとして持っていて、分析軸として含んでいるデータ

  2. known unknowns 分析軸としては何らかの理由で(まだデータを集めていない、もしくは集めるのが難しい、データが完全ではない)利用していないデータ、これから集めるかもしれないし、集めないかもしれない。

  3. Unknown unknowns データとして含んでいない、集め忘れている、考慮している空間に含まれてないが現実世界では存在する証拠や根拠やデータ、関係ないと思ってしまっているデータ。未来のデータ。 このデータは含めるには既存の枠組みが変わってしまうデータ。

  4. Unknown unknowns 体で体得していたり、すでに経験としては活用しているにも関わらず、数字や評価軸としては利用していない、評価軸に含み忘れているデータ、何らかの理由で得ているのに認知できていないデータ

除去されるノイズ、利用されるシグナル

ソフトサイエンスはどれくらい社会に役立つのか、ソフトサイエンスが社会に与える大きな影響

期待

不完全な期待が呼び込むブラックスワン、歴史を動かしてきた本当らしくないこと

事実は小説よりも奇なり バイロン 本当らしくないことがたまたま起こることは多い アガストン

法の研究から生まれた確率、道徳と境界が曖昧だった経済

統計解析・機械学習・AIで出来るただ2つのこと

分類と回帰(classificationとregression)

  1. 分類に基づく情報の整理
  2. 分類に基づく意思決定
  3. 回帰に基づく推定
  4. 推定値に対する閾値の設定による意思決定

AIによってソフトサイエンス化するハードサイエンス、境界が曖昧になった日、統計量・確率が使われる、サイエンス、ネイチャーの論文

AIは最早あらゆる学問分野、産業、ビジネスに活用できると考えられている。

ソフトサイエンス

  1. 法律
  2. 政治学
  3. 経済学
  4. 金融
  5. 認知心理学

ハードサイエンス

  1. 医学
  2. 生物学
  3. 化学
  4. 物理学
  5. 工学
  6. 建築
  7. デザイン・設計
  8. センサーとアクチュエータ
  9. インテグレーテッドなシステムの接合部

工学において成功したフィードバックと最適化、成功したロドニーブルックス

ビジネス

  1. 経営
  2. 意思決定
  3. マーケティング

意思決定に悩める人間と同じ哲学に関して悩むようになるAI、AIと共に悩み人間の未来図

AIが最終的に行うのは分類か回帰に基づいた意思決定である。意思決定をする人間に近くなればなるほど、結論を含んだ確率(つまり期待値)の予測が意思決定自体に与える悪影響について悩みを抱えるようになる。 時間が前に進み続ける限り、構造的に人間もAIも、古代の人間が度々経験してきたある低レベルの悩み、つまり未来は起こるまで現在ではない、未来は予測出来ないという悩みに行き着く。

Innovationの意味

イノベーションは「技術革新」と訳されたためか、今までとは全く違ったことをやらなければいけない、と思われがちです。しかし、私はそんなに難しく考えなくてもいいんじゃないかと思っています。今までにあった古い知識や技術でも、新しい捉え方ができればイノベーションにつながるはずです。イノベーションを定義したヨーゼフ・シュンペーターによると、従来からあった要素を新結合させたり、新しい捉え方・活用法を見出したりすることをイノベーションとしています。 田中耕一

意思決定の指標

与えられうものは有限、求めるものは無限 小平奈緒 身を浅く思ひ、世を深く思ふ。 宮本武蔵

決定論と非決定論、因果律と相関関係の不思議、因果律と相関関係の同時性、ヒュームによる因果関係の否定、認知的問題の因果関係

量子力学の世界の局所性と実在性、もしくは可観測性と

因果関係と相関関係の不思議、どちらも説明上逆も成り立つ、つまりa=>bとb=>aは無理やり解釈しようとすれば言語上の解釈は可能ではないだろうか。 そもそもどちらもその関係が成立するのはaとbが同時に起こった時のみである。つまり、仮に100%こうなると分かっていたとしてもそれが実際に起こるまでは非常に高い確率で起こると説明されるだけで因果関係と呼ばれることはない。つまり未来の事象に対して因果関係や相関関係は成立しない。 つまり両方の事象が成立して、つまり因果というものは因=>果の順で成立するのではなく、因果として同時に成立している。

予測に関する考察

学術的に怪しい統計

学術的に誤りだらけの統計が役に立つビジネスの勘違い

意思決定のスピードが上がるプラシーボ効果

予測を辞めたシステム開発、予測を辞めたバフェット、予測を辞めたスタートアップ

プランと予測の違い、意思決定における決定的な違い

  1. 忘れられていくプラン 社会計画、社会主義、計画経済の悪評、成功した(と言われている)日本型モデル、シンガポールモデル 綿密なプランがあるアメリカ経済とシリコンバレースタートアップ

  2. プランのない意思決定の危険 どれくらいのプランなのか、プランは予測を含んでいるのか

未来を予測し続ける愚かなギャンブラーと経済学者

外れ続けるテクノロジーの未来予測、あまりに大きく外れるかあまりに大きい度合いで小さく外れる

  1. 革新せずに浸透する3つのテクノロジージャーナリズム、3Dプリンター・ビッグデータ・AI 宣伝するのは、ジャーナリストと経営者、常に気付いている優秀な技術者、踊らされる被雇用者、データサイエンティスト・AI人材という間違い、エクセルとワードが使える事務員という神話

システム

予測とシステム開発

予測をしないマーティンファウラー、成功するMatzとDHH

予測とスタートアップ

ビジョナリーカンパニーという本のおそろしさ

自分には常に当てはまらない統計、自分に常に当てはまる占い

確率で正しく、経済で間違うケインズ、道徳と経済で正しいアダムスミス

参考文献

ナシームニコラスタレブ 予測について 意思決定の際の自分の状態 意思決定の際の相手の状態

ハーバートサイモン 予測が役立つシステム フィードバック、フィードフォワードという予測を廃する未来の考え方 ゲーム理論

ダニエルカーネマン 不合理な意思決定 未来を含んだ予測について

ケインズ 確率の種類

ネイトシルバー シグナル&ノイズ