第115条
トワイマンの法則
それほど大きな本物の効果がめったにない場で指標が驚くほど大きく動いたら、本当の効果より、計測か分析のバグであることのほうが多い。
心得
意外な数字は、確かめるまでバグ報告として扱う
どうするか
過去の実験よりはるかに良い、あるいは悪い結果が出たら、発表を止めてまず配管を確かめる。指標がどう記録されているか、変更が記録される中身を変えていないか、分析が同じものどうしを比べているか。そのうえで新しいサンプルで再現する。予想どおりのふつうの動きには、ここまでしなくてよい。
なぜ起きるか
よく知られた言い方では「面白く見える数字、変わって見える数字は、たいてい間違っている！」。Kohavi らはベイズの定理で説明する。大当たりはまれだ。実験結果が平均 0、標準偏差 0.25% に分布しているなら、ユーザーあたりセッション数の +2.0% は平均から標準偏差 8 個分も外れている。統計的に有意でも、計測の誤りのようなバグである可能性のほうが高い。有意水準 5%、検出力 80% で、本物の大当たりが 500 回に 1 回なら、有意な結果が本当に効いている確率は 3.1% まで下がる。人の確かめ方も偏っている。肩入れした機能の悪い結果は疑うのに、良い結果は祝ってしまう。だから自分に都合のよい誤りほど長く生き残る。
実際にあったこと
MSN で新しいオートサジェストのアルゴリズムを試した実験は、大成功に見えた。MSN から Bing に送られる検索が劇的に増えたからだ。この法則に従って調べると、新しいコードは利用者が候補を選ぶたびに実質二回検索を投げていて、そのうち一回は必ずブラウザが切っていた。
記録を読む当てはまらなくなるとき
ささいな変更が大きく効くこともある：同じ論文のルール1。ささいな変更が主要な指標を大きく動かすことがある。Bing のフォントの色の変更は年間1000万ドル以上の価値があった。大きな勝ちをすべてバグ扱いするチームは、それを見つける安くて当たりにくい実験をやめてしまう。
出典
Tony Twyman のものとされる言い伝え（フォークロア）で、A. S. C. Ehrenberg『The Teaching of Statistics: Corrections and Comments』(Journal of the Royal Statistical Society, Series A, 1975) を経て伝わった。Ron Kohavi, Alex Deng, Roger Longbotham & Ya Xu『Seven Rules of Thumb for Web Site Experimenters』(KDD, 2014) に記録されている。言い回し、ベイズによる説明、事例の出典。
原典を読む引用するとき
コラムで読む
- 数字で仕事を回すとき コラムの次：現地現物