プレプリントの信頼性とは？7万件の分析結果を解説

最近、プレプリントの信頼性についての研究が注目を集めているんですよ。特にバイオメディカル分野では、プレプリントが査読後もほぼ変わらない結論を持っていることが示されたんです。これは南カリフォルニア大学のルスラン・ラストらによるもので、彼らは2018年から2025年の間にbioRxivに投稿された72,644件の原稿を分析したんですね。これ、すごい数ですよね。

彼らは、大規模言語モデルを使って主要な科学的結論を抽出して、プレプリントと査読済み版の要約を比較したんです。結果的に、39.9%の主要な結論が変わらず、さらに50%はわずかな修正のみが行われたって報告されています。これって、プレプリントが信頼できる情報源である可能性を示唆しているんですよね。

でも、注意が必要なのは、プレプリントの撤回率が低いからといって、必ずしも信頼性が高いとは限らないってことなんです。研究者の間で意見が分かれることもあるし、慎重に解釈する必要があります。特に、プレプリントの質は投稿者や研究内容によって異なる可能性があるので、そこも考慮しないといけません。

ラストたちの研究では、プレプリントとして発表された論文が、プレプリントとして発表されなかった論文に比べて、撤回される割合が約半分だったことも明らかになったんです。具体的には、10,000本あたり8.1本が撤回されたのに対し、プレプリントとして発表されなかった論文は10,000本あたり18.7本が撤回されたっていう結果でした。これ、かなりの差ですよね。

さらに、査読後に結論が変更されることがあるんですが、その場合はより慎重な表現になる傾向があるんですね。約8.4%の主要な発見がより慎重な言葉を使い、逆に自信のある表現を使ったのは4.2%でした。これ、研究の内容によっても変わるみたいで、バイオインフォマティクスの論文では7.2%が大きな変更を受けたのに対し、微生物学の研究では17.5%が大きな変更を受けたって結果が出てるんです。

最近では、主要な改訂の頻度が時間とともに減少していることもわかってきたんです。2019年に投稿された論文の17%が大きな改訂を受けたのに対し、2024年には5.7%に減少したっていうデータもあるんですよ。これ、査読者が過負荷になっている可能性を示唆しているっていう意見もあります。

ラストは、この傾向がプレプリントの利用方法の変化を反映していると考えていて、特にCOVID-19パンデミックの際には、科学者たちが短期間で結果を投稿する圧力にさらされていたことが影響しているんじゃないかと言っています。最近では、プレプリントに査読者のフィードバックが含まれている場合もあるとのことです。

最後に、プレプリントの選択バイアスについても触れておきたいんです。研究者によっては、プレプリントは誰が投稿するかやどの研究が投稿されるかによって、強い選択バイアスの影響を受けると指摘している人もいます。これ、プレプリントの信頼性を考える上で重要なポイントですね。