Hammurabi
法則一覧

第111条意思決定

大半のアイデアは失敗する

大手 Web 企業のオンライン対照実験では、チームが自分たちでふるいにかけた後のアイデアでも、測ってみると大半は効果がないか逆効果で、どれがそうかを専門家が事前に見分けるのも苦手なことが多い。

心得

気に入っている案ほど、たぶん外れる仮説として扱う

どうするか

作る前に、そのアイデアで動かしたい指標とその幅を書いておき、フラグの裏に置いてランダムに選んだ一部の利用者に出す。指標が動かなければ、チームがどれだけ自信を持っていても捨てるか作り直す。ランダムに割り振れないとき（トラフィックが少ない、長期の賭け、戻せない変更）はそう明記し、測ったふりをせずに判断で決める。

なぜ起きるか

どの機能も、誰かが価値があると信じたから作られる。それを承認するレビューも同じ信念で動く。Microsoft がアイデアをオンラインの対照実験で測ると "only about 1/3 of ideas improve the metrics they were designed to improve" だった。測らずに十のアイデアを出したチームは、およそ三分の一が良く、三分の一が変化なし、三分の一が悪い結果になり、全体の価値は小さいと著者らは見積もる。実験は自信のない案ほど行われやすいが、論文によれば新機能をすべて評価していた Amazon でも成功率は50%を下回った。しかも測らなければ誰も気づかない。"For most ideas, the change in key metrics will be too small to detect over time." 勘で当てようとしても当たらない。"It is humbling to see how bad experts are at estimating the value of features (us included)." 著者らが自分たちの A/B テスト八件の結果を当てさせた調査では、200件を超える回答のうち、六件以上当てた人は一人もいなかった。

当てはまらなくなるとき

確信への賭け：対照実験にそもそもかけられない決定もある。同じ論文は、実験が向くのは戦略の実行で戦略の立案ではなく、"not suited for assessing a major change in business models, a large merger or acquisition" だという Davenport の指摘に同意し、測るのが "non-economical" な場合があることも認めている。本項の読みでは、そこでは誰かが判断で決めるしかない。

出典

Ronny Kohavi ほか『Online Experimentation at Microsoft』(Microsoft ThinkWeek, 2009)。"only about 1/3 of ideas improve the metrics they were designed to improve" と、良い・変化なし・悪いがそれぞれ三分の一という見積り、A/B テスト八件の調査の出典。対抗原理は同じ論文の 6.7 節による。Thomas H. Davenport『How to Design Smart Business Experiments』(2009, 論文での引用による) の、実験は戦略の立案に向かないという指摘に同意し、"not measurable" と "non-economical to measure" を分けている。それを判断で決めてよい根拠と読むのは本項の解釈で、論文の主張ではない。

原典を読む

引用するとき

Hammurabi『第111条 大半のアイデアは失敗する』 https://kanywst.github.io/hammurabi/ja/laws/most-ideas-fail/

BibTeX
@misc{hammurabi-most-ideas-fail,
  title  = {大半のアイデアは失敗する},
  author = {{Hammurabi contributors}},
  note   = {Hammurabi, § 111},
  url    = {https://kanywst.github.io/hammurabi/ja/laws/most-ideas-fail/}
}

本文は CC BY-SA 4.0 です。Hammurabi の名前と記事へのリンクを添えてください。

XBlueskyはてブLinkedIn

コラムで読む

関連する法則

GitHub で誤りを指摘する