2016年3月8日、米国統計学会（American Statistical Association；ASA）は、科学者の間でP値の誤用が蔓延していることが、多くの研究成果を再現できないものにする一因になっていると警告した。ASAは、科学的証拠の強さを判断するために広く用いられているP値について、「P値では、仮説が真であるか否か、あるいは、結果が重要であるか否かの判断はできない」として、その利用法の指針を発表するという異例の動きに出た。

ASAの常任理事Ron Wassersteinによると、同学会がこうした基礎的事項について明確な提言を行ったのは177年の歴史上初めてのことであるという。その背景には、統計学全般が疑われるような形でP値が誤用されていることに、ASAのメンバーが懸念を募らせていることがある。

この声明で、ASAは研究者に対して、P値のみを根拠に科学的な結論を導き出したり政策を決定したりするのは 避けるようにと助言している（R. L. Wasserstein and N. A. Lazar Am. Stat. http://doi.org/bc4d; 2016）。研究者は、統計的に有意な結果を生じるデータ分析だけでなく、その研究で行った全ての統計的検定とデータ収集に関する選択についても記述しなければならない。それを怠ると、本当は頑健ではない結果にもかかわらず、不当に頑健性を持つように見えてしまう可能性があるからだ。

Public Library of Sicence； PLOSの編集長であるVeronique Kiermerは、ASAの声明は、P値への過度の依存に対する長年の懸念に重みを添え、問題打開のための見通しを示したと評価する。彼女はまた、「統計学の専門家たちが、専門外の分野の文献が抱えている問題に積極的に関わったという点でも、非常に重要な声明です」と言う。

P値は一般に、「2つのグループの間に差はない」「2つの特徴の間に相関関係はない」などの前提に立つ「帰無仮説」を検定（して棄却）するために用いられる。P値は、帰無仮説が真であると仮定したときに２グループ間の差が偶然生じる確率であり、P値が小さいほど、観察された値の組み合わせが偶然に生じる確率は小さくなる。一般に、P値が0.05未満であれば、その知見は統計的に有意であり、論文を発表してよいと理解されている。

けれどもASAの声明は、必ずしもそうではないと指摘する。P値が0.05ということは、その仮説が95％の確率で正しいことを意味するものではない。これは、帰無仮説が真であり、他の全ての仮定が正しいならば、観察されたような極端な結果が得られる確率が5%あることを意味する。そしてまた、P値は知見の重要性を示すものでもない。例えば、実際は疾患を治療する作用がない薬物であっても、統計分析の結果では患者の血糖値に有意な影響を及ぼしている場合もある。

ダナ・ファーバーがん研究所（米国マサチューセッツ州ボストン）の生物統計学者Giovanni Parmigianiは、P値から得られる情報についての誤解は多くの教科書や実践マニュアルに見受けられ、もっと早いうちに軌道修正するべきだったと言う。「20年前に声明を出していたら、生物医学研究は今よりもっと良いものになっていたでしょう」。

統計学者の苛立ち

P値の利用法への批判は新しいものではない。2011年には、研究者たちが、偽陽性についての意識を高めることを目的としてある統計分析を行った。「ビートルズの音楽を聴くことは学生を若返らせる」という研究で統計的に有意な知見を導いてみせたのだ（J.P. Simmons et al. Psychol. Sci. 22, 1359-1366; 2011）。また2015年には、ドキュメンタリー映画製作者が意図的にお粗末な臨床試験を行い、P値が0.05未満になるように分析を行って、「チョコレートを食べることはダイエットに有効」という結果が得られたと発表して話題になった（著者らはその後、種明かしをして論文を撤回した）。

カリフォルニア大学デービス校の心理学者で、Social Psychological and Personality Scienceの編集者であるSimine Vazireは、ASAの声明を知った科学者たちは、論文を執筆する際には自分が行った統計分析を全て開示するべきだと思うようになるだろう、と考えている。「ASAが声明を出したことで、統計学者は『この情報なしにP値を解釈してはいけない』と言いやすくなり、人々はP値を誤用している論文に疑いの目を向けるようになるでしょう」と彼女は言う。

ある科学誌は、P値を使った論文の発表を禁止するという思い切った対策を打っている。スローン・ケタリング記念がんセンター（米国ニューヨーク）の生物統計学者Andrew Vickersは、この科学誌の試みを、交通事故を減らすために自動車を運転しないように呼びかけるようなもので、逆効果かもしれないと言う。おそらく、彼らが本当に呼びかけたい人々の多くがこのメッセージを無視するからだ。Vickersは、「統計をレシピではなく科学として扱う」ことを研究者に教えるべきだと言う。

しかし、コロンビア大学（米国ニューヨーク）の統計学者Andrew Gelmanは、P値についての理解が深まったとしても、統計を利用して、あり得ないレベルの確実性を作り出したいという人間の衝動がなくなることはないと警告する。 「人間は、現実には手にすることができないものを追い求めます」と彼は言う。「確かさが欲しいのです」。

翻訳：三枝小夜子