心理学研究の再現率はなぜ低い？誤差変数というステルス性能の高い「やられ役」
心理学徒にとってはいささか寂しい結果が公表されました。
この結果に関しては、いろいろと思うところがある心理学徒は多いと思います。
この数字だけが独り歩きして世の中から「心理学は信用ならへんでえ」となってゆくのではないか…とちょっと心配しています。
まあ、この数字だけをみるとそう思わざるを得ないところもあるわけですが、「そこまで疑わんでもええやん！」という筆者なりの感想を書いてみました。
まず、筆者は追試研究の重要性を再認識したわけですが、それ以上に「研究とは誤差変数との戦いなり」という問題もあたらめて実感しました。
心理学研究では本当に些細なことでも誤差変数（想定外の結果に影響を与える要因）になりえます。
筆者の経験上、論文には記載されていないが影響しそうなものとしては（あくまでも筆者の印象です。エビデンスはありません…笑）
・実験者が研究参加者を迎え入れるときの表情や雰囲気、
・実験室の雰囲気（明るいか、暗いか、真新しいか、古めかしいか）、
・椅子の固さ、座り心地の良さ
・前後に世の中を騒がしているニュース（たとえば、日本なら311の前後では世の中のマインドが大きく違う）
・質問紙の項目順序（これだけで結果が変わることも…あなどれない！）、
・質問紙の紙質（真新しくてきれいな紙質だと丁寧に回答しなきゃ…という気になる人も）、
・質問紙と一緒にチョコレートを配ったかどうか（回収率が激変！！）
・ソーシャルスキルフルに丁寧にお願いした場合と機械的にお願いした場合には欠損値の量が違うような印象が…
・調査説明者がはつらつとしているか、好感が持てるか…。
・研究者が気づいていない、または合理的に違いを説明しにくい些細な属性の違い…たとえば、学生を対象にした調査研究なら、中だるみした学期の中期は比較的熱心または勤勉な学生が回答者（出席）に多いが、緊張感のある初期・末期は不真面目な学生も比較的よく出席している。果たして回答者の属性は同じと言えるのか否か？…。
などなど、誤差変数と疑惑がありそうなものを言い出せばきりがありません。
こいつらは、特撮ヒーローでいえばやられ役の戦闘員並みにごちゃごちゃ邪魔してくるわけです。
たちの悪いことにステルス性能が高かったりもします。研究者は不意打ちを食うわけです。
また、検証実験チームを疑うわけではありませんが、「絶対に再現するぞ！」という意気込みがあったかなかったかも実験者効果として影響したかもしれない。
などなど、疑い出せばいくらでも出てきますね。
そうです。これが誤差変数なのです。
人は本当に複雑で繊細な情報の収集・処理システムなので、わずかな違いにも敏感に反応するんですね。
でまた、心理学研究の多くは検証手続きに推測統計的な処理を用いるので、チャンスレベル（偶然、統計的有意になった、または有意にならなかった）という問題も抱えています。
偶然有意になった研究がどの程度公表されているのかわかりませんが、こういう研究は検証すればするほど「違うよね！」と確認されていくわけです。
この問題は追試研究を盛んにすることで解決できるので、対策があるわけですが、誤差変数の統制は研究者のセンスや細かい配慮にも依存しているわけです。
というように、心理学研究がそもそもが砂漠で砂金を探すようなミクロの攻防戦をやっているわけなので、細かい誤差変数のことは研究論文には書ききれませんし、研究者も知覚できていない場合もあります。
という状況を考えると、検証チームが全力で再現に取り組んだという前提の下でも、誰も気づいていない誤差変数がごちゃごちゃ邪魔していた中ではそう悪くない再現率だったのかもしれません。
このへん、研究法に詳しい先生方、いかがでしょうか。
オリジナルと同じ研究者が同じ環境で再現事件をすると再現された…という場合もあるかもしれませんし。
なので、この数字だけが独り歩きして安易に「心理学は信用ならへんでえ」などとなることだけは避けていただきたい。
心理学研究が信用できるか否かは一心理学徒である筆者が語るべきではないと思いますが、一般の皆さんには、このような誤差変数との戦いの中で研究者は真実を求めて戦っているということをお知りおきいただければ嬉しいです。
心理学研究を信じるか信じないかはあなた次第です！…とはならないように、私もがんばります！！
