分析の失敗パターン

かつて日の丸電気産業の中心であったはずの東芝株式会社が起こした不正会計は、「チャレンジ」の名のもとに、現場で強要されていました。 
各部署に、短期間ではおおよそ達成不可能な利益目標を示し、圧力をかけた。なかには、3日で120億円の利益を出すよう求めたこともあるという。その結果、“水増し”という不正行為が蔓延していったのだった 

聞き取り調査で続々判明！「チャレンジ強要職場」の悲惨な実態​
経営陣が目標達成をしているかのごとく株主に報告するため、現場レベルで無謀な粉飾が起きていたのです。
このように、数字を「創り始める」パターンが起きる原因はいくつかあります。 大抵の場合、それは「無茶苦茶な、実現不可能な目標値」と「現場の創意工夫」によって起こります。これは数字を創らないとどうやっても達成できない、と現場が思っていまえば、あとは工夫するしかないのです。
「目標」は「分析」のもとに作るべきものですが、達成が可能か不可能かを別にする精神論から目標を作ってしまうと、達成が不可能な目標になってしまうことも珍しくありません。 明確で高いゴールを設定することは従業員のエンゲージメントを上げることはわかっています が、ただ単に高い目標を設定すれば、業績が上がるわけではありません。 重要なことは、何が起きているのかを明確に把握することであって、「現実離れした高い目標を設定すればみんな頑張るだろう」などと言った精神論ではないのです。
データの重要度を設定しないとどうなるか？
「自転車置き場の議論」という有名な例えがあります。 
パーキンソンの凡俗法則（Parkinson’s Law of Triviality）とは、イギリスの歴史学者・政治学者シリル・ノースコート・パーキンソン（Cyril Northcote Parkinson）が1957年に発表した「組織は些細なものごとに対して、不釣り合いなほど重点を置く」という主張のことです。

プロジェクトを遅延させるパーキンソンの凡俗法則とは何か？その対処法を紹介​
原子炉をどこに作るか、どうやって作るかと言った話は本質的で、かつ専門的な知識も必要であり、簡単に結論が出せる問題ではありません。 一方、自転車小屋の屋根をどうするか、というのは誰でも簡単に参加でき、結論が出しやすい議論です。このように、分析は仮に正確にできていたとしても、そもそも何を分析すべきかという優先順位を間違えてしまうと、正しい議論はできないのです。
分析する上において最も重要なのは「何を分析することが最も、最終的なゴールにとってインパクトが大きいか」という視点を持つことですが、ともすれば、現代のデジタルマーケティングはあまりに数字が多く、何が重要で何が重要でないのか、わからなくなってしまう可能性があります。 
データ＝真実ではない
「分析」は、加工されたデータに基づく推論や概要です。分析は真実ではありません。そして、データはなまものです。鮮度が落ちれば落ちるほど、真実から遠ざかっていきます。
生のデータは、選ばれるデータと選ばれないデータに分かれ、さらにそこから集計データとして加工されます。 そして、最終的な解釈になると、生のデータからはいかようにも料理できてしまうのです。
データは可能な限り、経営者から距離の近いところで分析されるべきものです。
残念ながら、日本の経営者の少なくない方々が、充分にデータを理解しているとは言えません。大抵、コンサルティングファームであったり、広告代理店が持ってきた資料だけを見て、分析した気持ちになっています。 
もちろん、コンサルティングファームや広告代理店は高いスキルを持っています。しかし、ことデータ分析に関して言えば、高いスキルが正しい分析に結びつくとは限らないのです。
ウソには3つある。普通のウソと、真っ赤なウソと、統計だ
という有名なジョークがありますが、統計というものは、データから解釈を導くことであり、結論をポジティブにするかネガティブにするかは、一定程度分析者に委ねられています。
 例えば「顧客満足度が前年比で120％上昇しました（ただし、キャンセル率も120％上昇したことは隠す）」など、あえて良い解釈をしてデータを説明したことは、一度くらいはあるのではないでしょうか。
チェリーピッキングとは
データの重要度が設定されないまま、大量のデータだけがある状態では、分析者が意図的に、見せたいデータを選ぶことが出来ます。 これを、チェリーピッキング（自分にとって重要な数字のみを選択する）といいます。
どんなに簡単なものであっても、データ分析は、データの重み付けが必要です。この場合であれば、コンバージョンが主でその他の数字は従です。主となる数字を上げる方法を考えるために、従の数字が存在することを忘れてはいけません。
ブラックボックスを作るな
2008年、アメリカの金融大手、リーマン・ブラザーズが破綻しました。いわゆる「リーマン・ショック」です。 アメリカには「格付け機関」と呼ばれる、株式や債券を評価する企業がありますが、破綻直前の大手格付け会社「スタンダード＆プアーズ」による格付けは上から6番目に高い「Aランク」でした 。
もちろん、リーマンショックの要因は複数ありますが、格付け機関が影響の一つであったことは否定仕様がありません。 信じがたいことに、最先端であったはずのウォール街の金融アナリストたちは、一体どのように評価しているか全くわからない「格付け機関」の評価をもとに、破綻はありえないと判断していたのです。
この馬鹿げた格付けの欺瞞を見抜いたことで大成功したストーリーを描いたのが、映画「ビッグ・ショート」（と、その原作である「世紀の空売り」）でした。 
彼らは格付けではなく、シンプルに考えたのです。実際にサブプライム・モーゲージ債の実態を見抜くために、実際に現地に飛び、サブプライムで貸し付けている一人ひとりが、到底住宅ローンの返済能力がないことに気付きました。 
たとえ、返済能力がない人間に貸している住宅ローンが100個まとまっていても、破綻しないわけがない。そして、一つが破綻すれば連鎖的に破綻する。彼らはブラックボックスの格付けではなく、現実を信用したことで大金持ちになりました。
検証不可能なブラックボックスの数値を分析に組み込んでしまう、そんなマーケティングの現場は珍しくありません。 例えば、あえて複雑な数式を作り、様々な数値を組み込んだ「独自の指標」などを作り出してしまうと要注意です。 一度作られた指標は独り歩きします。本当に売上などの重要な指標に貢献しているのか？ということがわからないまま、ブラックボックスの複雑な数式を作って満足してしまうことは珍しくないのです。
こうあってほしいという思い込み
第二次世界大戦開戦前夜、総力戦研究所と呼ばれる施設がありました。これは、来るべき日米戦争に備え、官庁・陸海軍・民間から優秀な若手エリートを集め、総力戦に備えたシミュレーションを行うものでした。
総力戦研究所は、結果から見るとかなり正確な予測をしていました。例えば、日本の石油の備蓄は確実に足りなくなると予想していました。パレンバンなど、南方進出をして油田を確保しても、本土輸送が難しいと考えていたのです。
鈴木総裁は、この日「南方作戦遂行の場合液体燃料如何」という項目について、こう答えた。 「ある程度やりくりすれば、第一年二百五十五、第二年十五、第三年七十万トン残る」 この数字の根拠は、高橋証言でその内幕が明らかにされたが、要するにつじつま合わせで生まれた数字であった。

鈴木は、自分の報告の効果を知っていたはずである。 
――企画院総裁の提出した数字は「やる」ためのつじつま合わせに使われたと思うが、その数字は「客観的」といえますか。 

「客観的だよ。戦にならないように、と考えてデータを出したつもりだ」

 ――でも石油は南方進出した場合のみに「残る」とでていたが……。 

「戦争を何年やるか、という問題なんだ。仕掛けたあとは緒戦に勝利して、すぐに講和にもっていく。その戦はせいぜい一年か二年。そうすれば石油は多少残る、と踏んでいたんだ」

猪瀬直樹著　「昭和16年夏の敗戦」（中公新書）​
​
結果的に、総力戦研究所は日本が敗戦するという結論を時の陸軍大臣である東条英機に伝えます。しかし、東条はこれを握りつぶしました。
二日間にわたり克明にメモを取っていた東條陸相が立ち上がった。いつものように右腕を後ろに回し、前方に差し出した左手にメモ帳を広げそれをチラチラ眺めながらカン高い声を発しようとしていた。

「諸君の研究の労を多とするが、これはあくまでも机上の演習でありまして、実際の戦争というものは、君たちの考えているようなものではないのであります。日露戦争でわが大日本帝国は、勝てるとは思わなかった。しかし、勝ったのであります。戦というものは、計画通りにいかない。意外裡なことが勝利につながっていく。したがって、君たちの考えていることは、机上の空論とはいわないとしても、あくまでも、その意外裡の要素というものをば考慮したものではないのであります。なお、この机上演習の経過を、諸君は軽はずみに口外してはならぬということでありますッ」
​
結果を見れば、どちらが正しかったのかは明らかです。開戦の根拠となったのは極めて楽観的な予測……つまり、つじつま合わせと、「なんとかなるだろう」という根拠なき楽観です。
 データがあり、シミュレーションが行われ、その予測が正しかったとしても、結局の所、判断が変わらなければなんの意味もない。自分たちが持っていきたい結論に「合わせて」データを作ることになってしまうのです。
「やってみなければわからない」という言葉はしばしば使われますが、これはとても危険です。
この言葉は極めて危険な言葉です。もちろん、全ての施策が完璧に予測できるわけではありません。 しかし、合理的に考えられるシミュレーションを無視して、とにかくやってみよう、となるは危険な徴候です。
また、そのようなケースでは撤退もままならないことが珍しくありません。 重要なことは、現実をしっかり見て、今起きていることが正しいことなのかを判断することです。
サンクコストとコンコルド効果
​コンコルド効果、という言葉をご存知でしょうか。 コンコルドはイギリスとフランス共同開発の超音速旅客機で、ニューヨークとロンドンという欧米圏の二大都市をわずか三時間で移動できる、夢の旅客機でした。
しかし、開発中のころから開発費がかさみ、採算が取れないことは明白です。途中で中止するほうが費用が節約できることは明らかでした。 しかし、結果的に費用はかさみ、退役するまでに大きな赤字を出す、大失敗となってしまいました。
分析して明確にわかっていること（明らかに中止をしたほうが赤字が少ない、戦争を始めても失敗する）すら、現実を見ることができないと、意思決定に活かすことができません。
 「今見えているものが全てではない」は真実ですが、都合の悪い数字が出たからと言って、その数字以外の要素を意思決定に入れるのは馬鹿げています。それなら、最初から分析などしなければいいのです。
人間は信じたいものを信じる
​Human Communication Research の論文 によると、人間は自分の認知スキーマに合わせて情報を歪めているということが明らかになっています。様々な実験によっても、人間が自分にとって信じたいものを真実として扱ってしまうことは明らかです。
心理学には「正常性バイアス」という言葉があります。これは、災害などにあっても「自分だけは助かるだろう」と思いこむ心理です。 もちろん、災害などにおいては、このバイアスはすぐ現実の前に流されてしまい、極端な場合は死に至ります。
一方、マーケティングの分野ではどうでしょうか？
外部から厳しくチェックが入らない限り、現場の人間は、どうしても好意的に解釈してしまうことは避けられません。
これは、NASAのように巨額の予算があり、スペースシャトルという人命のかかったプロジェクトでも同じでした。1986年、NASAは現場の技術者によるシビアな安全性の判断を無視し、チャンジャー号爆発事故を起こします。
幹部が、スペースシャトルに大事故が起きるリスクが10万回に1回と話すのを聞いて衝撃を受けた。ファインマンはすぐに、この主張のばかばかしさに気付いた。
このリスク評価では必然的結果として、NASAが274年間毎日スペースシャトルを飛ばしても平均して1回しか事故が起こらないということになる。ファインマンは、この10万回に1回という数値が有人飛行を前提とした目標値であり、そこから部品の故障率を算定するためのものであることに気付いた。

ファインマンは、10万分の1という数字は空想上のもので、スペースシャトルの惨事が起こる確率は荒い推定で100分の1程度ではないかと疑っていた。
その後彼は、技術者自身に調査を行うことを決め、彼らに匿名でスペースシャトルの爆発の確率の推定値を書かせた。ファインマンは、技術者の大半がその確率を50分の1から200分の1と評価していることを発見した。
(スペースシャトル退役時点で135回の飛行で2件の大事故が発生しており、確率は67.5分の1であった)

Wikipedia: ロジャース委員会報告書​
NASAですら間違うのですから、マーケティングプロジェクトで同じことが起こるのは避けられません。例えば自分がプロモーションの担当者なら、「売上は上がっていなかったけど、認知度は上がった」など、効果ができるだけ上がっているように解釈するのは自然なことです。
重要なことは、分析においてはこういったバイアスをできるだけ外さなくてはいけないということです。 人間は思い込む生き物である。これを理解した上で、データ分析に望みましょう。
データが小さいとぶれてしまう
ここに、コインがあります。 歪みがなく、裏表どちらも50％の確率で出る可能性があるコインです。このコインを10回投げても、裏表どちらかが出る割合は、必ずしも50％ずつとなるとは限りません。
しかし、このコインを100回投げれば、その確率は50％に近づき、1000回、10000回と、試行回数を増やしていけば、その確率は限りなく50％に近づいていきます。
これを、大数の法則と呼びます。
生命保険の誕生
彗星と生命保険。この2つに関連性が有ることは、ご存知でしょうか？
1656年、一人の男がイギリス・ロンドンで誕生しました。エドモンド・ハレー。ハレー彗星の名付け親として知られる天文学者です。
​
 彼は、天文学において様々な功績を残しました。
しかし、保険業界においては「現実の統計に基づく死亡率を初めて作った人間」としても有名です。 彼はドイツのブレスラウ（現在のポーランド・ヴロスラフ）市の記録を元に、年齢に基づく死亡率を詳細に算出し、これによって、イギリス政府は、年齢に応じた年金サービスを提供できるようになりました。
エドモンド・ハレーと同じ時期にロンドン王立協会に所属していたジェームス・ドドソンは、この研究を先行研究として、独自の死亡率を算出し、この結果、世界で初めて、合理的な統計に基づいた「生命保険」が誕生することになりました。
​
生命保険はそれまで、ギャンブルのようなものでした。しかし、死亡率の計算と「生命表」の導入により、生命保険は初めて、「確実に勝てるゲーム」になりました。
生命保険も、たまたま加入した翌日に加入者が死ぬ可能性があります。その場合、ミクロで見れば生命保険会社は大損です。しかし、この加入者が膨大な数存在すれば、ミクロでの損得は吸収され、限りなく統計的な平均に近づいてきます。
これは、カジノで考えてみるとわかりやすいかもしれません。個人で見れば、カジノで遊ぶ参加者一人ひとりは、勝つ可能性が充分にあります。しかし、カジノ側からすれば、参加者は無限にいて、勝つ人も負ける人もいますが、最終的には勝つことになっています。
一見、マーケティングの話と関係がないように見えるかもしれません。しかし、マーケティングもカジノも、お金を払い（投資）し、結果を得る、という意味では同じなのです。 カジノで考えて見るならば、例えば「赤が○回連続で出た」など、実際のところあまり意味のない数値を分析したとしても、ほとんど意味がありません。
重要なのは、大数の法則に従い、試行回数が増えたときに儲けが出るかどうかです。
世論調査をするときに、周りにいる数人の意見を聞いても正しい結果は出ません。当然、統計的に必要な標本量（データ量）を確保しなければいけません。
例えば、広告に関していえば、スタートして数千円使っただけで「これは効果が出ない」と決めつけてしまうのは早計です。
無尽蔵に広告費を使うわけにはいきませんが、一定のデータ量が貯まるまでは、小さな改善からはじめてみるほうがよいと考えます。また、一定期間は予算を抑えた「トライアル」として、テストデータを集めてみる期間とするのも効果的です。その上で、実際に大きく広告を打つかどうかを決めるのです。
📊マーケティング・アナリティクス - 前
マーケティングKPIの作り方
次 - 📊マーケティング・アナリティクス
A/Bテストとカイゼン
最終更新 3mo ago
PDFに出力
リンクのコピー