Apa itu P-Value Hacking
P-Value Hacking merujuk pada manipulasi yang tidak pantas terhadap analisis data oleh para peneliti untuk menyajikan data yang tidak signifikan secara statistik sebagai data yang signifikan. Secara khusus, para peneliti menyesuaikan aspek-aspek seperti eksplorasi data, metode eksperimental, dan teknik analisis untuk mendapatkan nilai p yang diinginkan (biasanya di bawah 0,05). Praktik ini meningkatkan risiko salah mengartikan kesalahan peluang atau fluktuasi data sebagai efek yang sebenarnya.
Contoh P-Value Hacking
Contoh yang terkenal adalah komik "Korelasi" dari xkcd. Komik ini sering dikutip sebagai ilustrasi dari p-value hacking.
Pada awalnya, para peneliti menghipotesiskan hubungan antara mengonsumsi permen jellybean dan timbulnya jerawat. Setelah melakukan tes untuk menyelidiki hipotesis ini, diperoleh nilai p yang lebih besar dari 0,05, yang menunjukkan tidak ada korelasi yang signifikan antara konsumsi permen jellybean dan timbulnya jerawat.
Namun, para peneliti tidak menyerah dan mencoba pendekatan baru. Mereka merumuskan hipotesis baru, berfokus pada apakah jellybean dengan warna tertentu mungkin menyebabkan jerawat. Dengan tes lain menggunakan 20 warna jellybean yang berbeda, mereka mendapatkan hasil p < 0,05 untuk konsumsi jellybean hijau. Ini mengindikasikan adanya kemungkinan hubungan antara konsumsi jellybean hijau dan timbulnya jerawat. Hasil ini mendapatkan perhatian media dan dilaporkan sebagai berita.
Pengujian Berulang dan Risiko Positif Salah
Melakukan pengujian berulang meningkatkan risiko mendapatkan hasil yang salah. Dalam satu pengujian, probabilitas menolak hipotesis nol secara keliru ketika hipotesis tersebut benar biasanya diatur pada 5%. Namun, probabilitas ini bertambah seiring dengan pengujian yang berulang.
Dalam pengujian hipotesis statistik, ketika hipotesis nol benar, nilai p mengikuti distribusi seragam. Ini mengimplikasikan peluang 5% untuk menolaknya secara salah, bahkan ketika hipotesis nol benar. Kesalahan ini dikenal sebagai kesalahan α.
Sebagai contoh, ketika menggunakan 20 warna jellybean yang berbeda, probabilitas menyimpulkan dengan salah bahwa terdapat efek untuk setidaknya satu warna adalah:
Ini berarti bahwa dengan mengulangi pengujian, risiko kesalahan Tipe I meningkat dari 5% menjadi 64%.
Langkah Pencegahan untuk P-Value Hacking
Beberapa langkah pencegahan dapat diambil untuk mengatasi p-value hacking:
-
Praregistrasi Rencana Penelitian
Mendeskripsikan dengan jelas rencana penelitian dan mendaftarkannya secara publik sebelum memulai studi dapat mengurangi risiko p-value hacking, seperti mengubah metode analisis selama eksplorasi data. -
Menghindari Ketergantungan pada Ambang Batas Nilai P
Alih-alih hanya fokus pada ambang batas p < 0,05, mempertimbangkan besarnya efek sebenarnya dan indikator statistik lainnya dapat mengurangi risiko menghasilkan hasil yang salah. -
Pelarangan Pelaporan Selektif Hasil Analisis
Melaporkan semua temuan secara tidak berpihak membantu menghindari bias yang diakibatkan oleh pelaporan selektif. -
Memastikan Transparansi Data
Berbagi data penelitian dan metode analisis memungkinkan peneliti lain untuk memverifikasi reproduktibilitas, dengan demikian menghindari kecurigaan terhadap p-value hacking.
Referensi
Ryusei Kakujo
Focusing on data science for mobility
Bench Press 100kg!