出版バイアス

どういう意味？

差が出た研究は論文になり、差が出なかった研究は机の引き出しに入ったまま公表されにくい、という偏りです。同じ問いを調べた実験のうち、効いたと出たものだけが世に出れば、あとから集めて平均した値は本当より大きく見えます。目に入る報告が行われた実験の全部ではない、というのがこの語の指す状態で、見えない側にこそ偏りがあると考えます。この埋もれ方は引き出し問題とも呼ばれます。

どこで出てくるか

メタ分析を読むときの点検項目になります。集めた研究の効果量と精度を散らした図が左右に偏っていないかを見ます。有意にぎりぎり届く結果だけが不自然に多くないかも手がかりです。この図鑑で「まだ分かっていない」と付けた技の多くはここが理由です。効いたという報告はあるのに、効かなかった検証が見えない状態が残ります。研究の本数が少ない分野ほど、この偏りの影響は大きくなります。

取り違えやすいところ

差が出なかった研究に値打ちがないという話ではなく、出ないほうが表に出にくいという流通の偏りです。再現性の問題と重なりますが、こちらは見えていない研究がある側の話で、やり直して同じ結果が出るかとは別に働きます。誰かが結果を隠しているという意味でもなく、載せる側と出す側の判断が積み重なって起きます。だから1本の報告より束の偏り方を見ます。

解説動画（海外・英語）: Why Half the Science You Trust Is Missing／Mirko von Hein

十本のうちの一本: ある新しい抗うつ薬の試験を十本走らせ、九本は偽の薬とほとんど変わらず、一本だけがたまたま差ありと出た——動画はこの想像から始まります。論文になり、医師が読み、次の指針に影響するのはどれか。出た記録は効くと言い、全部の記録はそう言わないのに、製薬会社の誰も嘘をついていない、という置き方です。

引き出しに入る: 差が出なかった側の研究者を追います。書き上げるには数週間から数か月かかり、雑誌は否定的な結果を先を争って載せはしません。経歴の助けにもならないので次の仕事へ移り、書くはずだった論文は書かれないままになります。埋めるのは検閲でも編集者でもなく本人の無理のない判断だ、と動画は言います。

証拠の山の正体: 同じ判断があらゆる研究室と分野で積み上がると、肯定的な結果は世に出て、否定的な結果は引き出しに残ります。私たちが証拠と呼んで指し示す山は、何が本当かの記録ではなく、書き留めるに足ると思われたものの記録になっている、と整理します。効くと読んだとき目に入っているのははいと出たほうの試験だけで、残りはまだ引き出しの中にある、という言い方をします。

受け取りが残る例: 見えない研究をどう確かめるか。動画は、多くの分野では手がないが薬の試験は例外だと言います。売る前に米国の規制当局へ結果が出る前の段階で登録する決まりがあるため、印刷されなかったものまで控えが残ります。2008年、ターナーという研究者が抗うつ薬12種・74本の試験について、控えと雑誌に載った姿を並べました。

見えない側を訊く: 控えでは肯定38本・否定など36本とほぼ半々なのに、雑誌側では肯定は37本まで載り、否定の22本は消え、11本は勝ちのように書き直され、正直に失敗と記したのは3本でした。読み手の目には94%が肯定と映ります。追試で再現性が問われたパワーポーズでも、支持側が挙げた肯定33本は引き出し問題だけで説明がつくと述べ、何が載らなかったかを訊くと結びます。