科学的な結論はP値だけでは決められない
臨床研究では、P値が0.05(5%)未満であれば帰無仮説が間違っているとして、AとBは「統計学的に有意な差がある」と表現することが多いです。薬の有効性を評価するための臨床試験などでよく見かける表現です。
この「統計学的に有意な差」があるかどうかは、あたかも勝負を判定するリトマス試験紙のように扱われている実態があります。しかしこの点については、以前から批判がありました。
P値が0.049なら0.05より小さいので「有意差あり⇒有効」と考え、P値が0.051なら0.05より大きいので「有意差なし⇒有効とはいえない⇒無効」と考えてよいかといえば、そんなわけはありません! P値は連続的な値なので、0.05を境にスパッと分かれるはずがないですし、0.05という値も、閾値として慣習的に使われている(だけの)値です。0.05とは、5%の誤差は受け入れるということですので、もしも閾値を0.06にすれば(6%の誤差は受け入れる)、0.049でも0.051でも「統計学的に有意な差」になりますし、閾値を0.04にすれば(4%の誤差は受け入れる)、いずれも「統計学的に有意な差」ではなくなってしまいます。
こうした“P値信仰”ともいうべき風潮に関して、米国統計学会は2016年3月に声明を発表しました。これは、177年の歴史のある同学会で初めてのことだそうです(Nature. 2016;531:151.)。この中で、「科学的な結論、ならびにビジネスや政策上の判断は、P値が特定の閾値を超えるかどうかだけに基づいてなされてはならない」とはっきりと述べられています。
- (1)P値は、データが特定の統計モデルにどのくらい不適合かを表すことができる
- (2)P値は、検討された仮説が真である確率、あるいは、データがランダムな偶然だけにより得られた確率を測っているわけではない
- (3)科学的な結論、ならびにビジネスや政策上の判断は、P値が特定の閾値を超えるかどうかだけに基づいてなされてはならない
- (4)正しい推論には、完全な報告および透明性が必要である
- (5)P値あるいは統計学的有意性は、効果の大きさや結果の重要性を測っているわけではない
- (6)P値だけでは、あるモデルや仮説に関する根拠(エビデンス)の良い基準にはならない
(出典:Ronald L. Wasserstein & Nicole A. Lazar (2016): The ASA's statement on p-values: context, process, and purpose, The American Statistician, DOI: 10.1080/00031305.2016.1154108)
健康食品の広告に出てくるグラフなどで、P値そのもののほか、「統計学的な有意差」という表現が出てくることがあります。それを理由に、まるで鬼の首を取ったかのように食品の機能を強調していれば、きっと「ピーチ病」にかかっているのです。
医療ジャーナリスト・京都薬科大学客員教授
