再現性

どういう意味？

同じ手順でもう一度やり直し、前と同じ向きの結果が出るかどうかを指します。心理学の研究100件を別のチームが追試し直した検証では、同じ向きで有意だったのは約36%でした。効果量も平均するとおよそ半分に縮んでいます。同じ人がやり直すのではなく、別の研究室が同じ設計をたどるところが要点です。一度目が間違いとは限りませんが、確かさの度合いは二度目が出たかどうかで変わります。

どこで出てくるか

報告が1本あるだけの技と、思い出す練習のように追試が積み重なった技を分けるときに使います。モーツァルト効果は最初の報告のあと、別の研究室の追試で同じ結果が出ませんでした。読みにくい字が記憶を助けるという話も、望ましい困難の項目にあるとおり追試で割れています。教育の分野では上位誌に載る論文のうち追試が0.13%しかなく、二度目を待てないまま広まった技も残っています。

取り違えやすいところ

引用が多くて教科書に載っていることは、二度目が出た印ではありません。同じデータをもう一度計算し直す作業と、別の人が実験からやり直す作業も別で、この語が指すのは後者です。効果が縮んだからといって元の研究者が嘘をついたという意味でもありません。大きく出た結果のほうが世に出やすい出版バイアスも混じっています。一度目が大きすぎただけ、という見方が要ります。

解説動画（海外・英語）: Is there a reproducibility crisis in science? - Matt Anticole／TED-Ed

光より速いはずが: 2011年、物理学者のチームが、ジュネーブからイタリアの検出器までの730kmを走ったニュートリノが光より60ナノ秒だけ速く着いたと報告しました。半年かけて確かめ直しても奇妙な結果は消えませんでしたが、チームは革命だと祝う代わりに、説明を探す研究の継続を求める慎重な論文を出します。原因は後に、正しく接続されていない光ファイバーケーブル1本だと突き止められました。

確かめ直す資源: 発表された研究は次の研究や製品、政策のもとになるので、結論が誤っていれば時間も資源も、ときには健康までを誤った手がかりのために使うことになります。ところが年に100万本を超える論文を確かめ直す資源も職業上の見返りも足りていません。製薬の論文を数十本ずつ調べた最近の研究では、再現できたのは4分の1未満で、ほかの分野でも似た結果が見つかっています。

再現しない理由: 再現しない結果の出どころはいろいろです。誤りが元の設計・実施・データの解析に隠れていることもあります。医学の研究で患者が申告していない状態のような未知の要因があれば、新しい被験者では同じ結果になりません。単に二つ目のチームが最初のチームが何をしたのかを正確に知らないために再現できない場合もあります。

大きな結果への圧力: 研究者と雇う機関、発表する学術誌はどれも、大きな結果を頻繁に出すことを期待されます。重要な論文は経歴を進め、報道を集め、資金を確保するので、自分の面白い結果に自ら疑いをかける動機は薄くなります。期待した仮説を支持しない結果を発表する見返りも小さく、期待と一致した報告ばかりが溢れます（この偏りが出版バイアスです）。

査読と公開: 査読は専門家が提出論文の弱点を探す安全確認ですが、一人か二人で回す今のやり方は心もとないと動画は言います。1998年の研究では、わざと入れた八つの弱点のうち見つかったのは約25%でした。そこで生データや手順、解析の方法を広く公開する動きが進み、査読を強めることや、仮説を支持しなかった論文をもっと発表することも提案されています。