p値ハッキングとは
p値ハッキングとは、研究者が統計的に有意でないデータを有意と見せるためにデータ分析を不適切に行う行為を指します。具体的には、データの探索、実験の方法、分析の技術などを調整し、求めるp値（通常は0.05未満）を得ることを目指します。この結果、偶発的な誤差やデータの変動を真の効果として誤解するリスクが生じます。
p値ハッキングの例
有名な例として、xkcdのコミック「ジェリービーンズの摂取がニキビの原因」が挙げられます。このコミックはp値ハッキングの一例としてしばしば引用されます。
最初に、研究者はジェリービーンズの摂取がニキビの原因であるという仮説を立てました。この仮説をテストするための検定を実施した結果、p>0.05という値が得られ、ジェリービーンズの摂取とニキビの発生との間には関連性がないことが示唆されました。
しかし、研究者は諦めずに新しいアプローチを試みました。次に、特定の色のジェリービーンズがニキビの原因となるかどうかを調べる新しい仮説を立てました。20色のジェリービーンズを用いて再び検定を実施したところ、緑色のジェリービーンズの摂取に関してはp<0.05という結果が得られました。これは緑色のジェリービーンズの摂取がニキビの原因となる可能性があることを示唆しています。この結果がメディアに取り上げられ、ニュースとして報じられることとなりました。
検定の繰り返しと誤判定のリスク
検定を何度も繰り返す行為は、誤った結果を導き出すリスクを増加させます。単一の検定では、帰無仮説が真の場合に誤って帰無仮説を棄却する確率は一般的に5%とされています。しかし、検定を繰り返すことでこの確率は累積していきます。
統計的仮説検定において、帰無仮説が真の場合、p-valueは一様分布に従います。これは、帰無仮説が正しいにも関わらず、5%の確率でそれを誤って棄却する可能性があることを示しています。この誤りは、αエラーとして知られています。
例として、20色のジェリービーンズを使用した場合、少なくとも1つの色において効果があると誤って判断する確率は、
となります。これは、検定を繰り返すことでαエラーのリスクが5%から64%に増加することを意味します。
p値ハッキングの防止策
p値ハッキングの防止策としては以下が挙げられます。
-
研究計画の事前登録
研究の開始前に研究計画を明確にし、公に登録することで、データ探索の途中で分析方法を変更するといったp値ハッキングのリスクを軽減することができます。 -
p値の基準への依存の回避
p < 0.05という基準に固執するのではなく、実際の効果の大きさや他の統計的指標を考慮することで、偽の結果を導くリスクを低減できます。 -
選択的な解析結果の報告の禁止
分析の結果、全ての情報を公正に報告することで、選択的な報告による偏りを避けることができます。 -
データの透明性の確保
研究データや分析方法を公開することで、他の研究者が再現性を検証できるようにすることが重要です。これにより、p値ハッキングの疑念を避けることができます。
参考
Ryusei Kakujo
Focusing on data science for mobility
Bench Press 100kg!