第102条
自動化バイアス
自動化された補助を使う人は、自分で確かめる代わりにそれを頼りがちだ。補助が指摘しないものを見落とし、補助が間違っていてもそれに従う。
心得
ツールに従ったかではなく、結果に責任を持つ
どうするか
自動化された補助が判断に入る場所（生成されたコード、スキャナの結果、異常なしと告げるアラート）では、ツールに従ったかどうかではなく、結果に責任を持つ人を一人決める。セキュリティ、データ移行、本番の変更のように影響の大きい経路では、レビュアーはツールの出力ではなく要件と照らし合わせて確かめ、補助が見落としたものを記録しておく。ツールのほうが確かだとわかっている作業を手でやり直すことはしない。影響の小さい出力は抜き取りで確かめる。
なぜ起きるか
確かめるには注意がいる。たいてい正しい補助を使っていると、一回ごとの確認が無駄に思えてきて、本来なら自分でする探索がいつのまにか補助の出力に置き換わる。Parasuraman と Manzey のレビューは誤りを二種類に分け、補助が不完全なとき、自動化バイアスは見落とし（omission）と誤った指示への追従（commission）の両方を生むとしている。初心者だけの問題でもない。初心者にも熟練者にも起き、訓練や指示では防げず、個人の判断にもチームの判断にも影響するという。Perry らのユーザ実験では、AI のコードアシスタントを使った参加者は使わなかった参加者より有意に安全性の低いコードを書き、しかも自分のコードは安全だと思いやすかった。
実際にあったこと
2018年3月23日、カリフォルニア州マウンテンビューの US-101 で、Traffic-Aware Cruise Control と Autosteer を使って走っていた Tesla Model X が分岐部の導流帯に入り、損傷していた衝撃吸収装置に衝突して、運転者が亡くなった。NTSB は推定原因として、システムの限界から Autopilot が車を導流帯に向けたことと、運転者が反応しなかったことを挙げた。運転者が反応しなかったのは、おそらく携帯電話のゲームアプリに気を取られていたことと、部分的な運転自動化システムである Autopilot に頼りすぎていたためだとしている。
記録を読む当てはまらなくなるとき
アルゴリズム嫌悪：逆向きの誤りもよく起きる。Dietvorst、Simmons、Massey によれば、人は同じ間違いを見たとき、人間の予測者よりアルゴリズムのほうに早く信頼を失う。そのため、まだ自分より正確な補助を手放してしまう。
出典
Kathleen L. Mosier, Linda J. Skitka, Susan Heers & Mark Burdick『Automation Bias: Decision Making and Performance in High-Tech Cockpits』(International Journal of Aviation Psychology, 1998) と Linda J. Skitka, Kathleen L. Mosier & Mark Burdick『Does automation bias decision-making?』(International Journal of Human-Computer Studies, 1999)。このバイアスを検証した初期の研究。Raja Parasuraman & Dietrich H. Manzey『Complacency and Bias in Human Use of Automation: An Attentional Integration』(Human Factors, 2010) は本文で引いたレビュー。コードアシスタントの実験は Neil Perry, Megha Srivastava, Deepak Kumar & Dan Boneh『Do Users Write More Insecure Code with AI Assistants?』(CCS, 2023)。反対の力は Berkeley J. Dietvorst, Joseph P. Simmons & Cade Massey『Algorithm Aversion: People Erroneously Avoid Algorithms After Seeing Them Err』(Journal of Experimental Psychology: General, 2015)。
原典を読む引用するとき
コラムで読む
- AI がコードを書くとき コラムの次：テストオラクル問題
関連する法則
- 48自動化の皮肉自動化は人に最も難しい例外だけを残し、その対応に要る腕は使わないうちに鈍る。
- 33スイスチーズモデルどの防御層にも穴がある。事故は複数の層の穴がそろったときに起きる。
- 101ブランドリーニの法則誤った主張を論破するには、それを言うよりはるかに手間がかかる。だから安い主張が大量に来ると、確かめる側の手が回らなくなりうる。
- 105テストオラクル問題テストが誤った答えを捕まえられるのは、コードとは別に正しい答えを知っているものがあるときだけだ。そして多くのプログラムには、それがない。
- 103小さな変更レビューに出す変更が大きいほど、一行ずつは丁寧に読まれなくなる。欠陥はすり抜け、最初に見てもらうまでの待ちも長くなる。
- 106致命的な三点セット非公開データを読めて、外から来た内容を取り込み、外へデータを送れる AI エージェントは、その内容を書いた誰にでも操られてデータを漏らしうる。