Çoklu test düzeltmesi: Bonferroni, Holm ve FDR nasıl seçilir?

Buradaki yanlış pozitif, gerçekte doğru olan bir sıfır hipotezinin reddedilmesidir. Tek tek karşılaştırmalarda kullanılan hata düzeyi, bütün karşılaştırmaların birlikte değerlendirilmesindeki hata düzeyiyle aynı değildir. NIST: çoklu karşılaştırmalar

Kurgusal hesap: Bütün sıfır hipotezleri doğru olsun; testler bağımsız olsun ve düzeltme uygulanmasın. Her testin gerçek yanlış ret olasılığı tam %5 ise, m testte en az bir yanlış ret olasılığı 1 − (1 − 0,05)^m olur.

Örneğin 20 testte hiç yanlış ret olmaması için 20 testin de doğru karar vermesi gerekir: 0,95^20 ≈ 0,3585. Bunun tümleyeni yaklaşık %64,2’dir. Bu, her 20 testlik araştırmanın %64,2 olasılıkla yanlış olduğu anlamına gelmez. Sıfır hipotezlerinin doğruluk durumu, testlerin bağımlılığı ve testlerin gerçek hata olasılıkları değişince bu hesap doğrudan uygulanamaz. Tablodaki değerler araştırma bulgusu değil, belirtilen koşullardan hesaplanan öğretici olasılıklardır.

Kurgusal bir eğitim araştırmasında son test, bir ay sonraki test, görev tamamlama süresi ve öz güven puanı ölçülsün. Araştırmacı, bu dört sonuçtan herhangi biri anlamlı çıkınca “eğitim başarılı” diyecekse dört testin ortak karara nasıl katıldığını açıklamalıdır. Yalnızca küçük p değerlerini seçip sonradan daha dar bir aile tanımlamak, baştaki seçim sorununu gizler.

Analiz planına şu küçük kayıt tablosunu ekleyebilirsiniz:

Bu kayıt biçimi AcademicFix’in çalışma önerisidir; her araştırmanın tek bir test ailesi olmak zorunda olduğu anlamına gelmez. Ayrı ailelerin gerekçesi, araştırma soruları ve karar yapısıyla açıklanmalıdır. Önceden belirlenen karşılaştırmalar ile sonuçları gördükten sonra seçilen karşılaştırmalar aynı planlama durumu değildir. NIST: karşılaştırma seçimi

Keşfedici olarak etiketlemek, çoklu test sorununu kendiliğinden ortadan kaldırmaz.

FDR için hiç ret olmayan durumda yanlış ret payı sıfır kabul edilir. FDR’nin %5’te kontrol edilmesi, tek bir çalışmada bulunan sonuçların tam %5’inin yanlış olacağı veya her bulgunun %5 yanlış olasılığı taşıdığı anlamına gelmez. Özgün Benjamini–Hochberg çalışması bağımsızlık altında kontrolü gösterir; her bağımlılık yapısına otomatik olarak uygulanmış sayılmaz. Benjamini ve Hochberg, 1995, s.291 ve 293

Bonferroni ve Holm geçerli tekil p değerleriyle aile düzeyinde kontrol sağlar; Holm için testlerin birbirinden bağımsız olması gerekmez. Benjamini–Yekutieli, genel bağımlılık altında FDR kontrolü için başka bir seçenektir ve daha tutucu olabilir. Yöntem adını sonuçlar elverişli çıktığı için seçmeyin. R’nin resmî p.adjust belgesi

Aşağıdaki p değerleri tamamen kurgusaldır. Dört test aynı, önceden tanımlanmış aileye aittir. Bonferroni ham p değerlerini 4 ile çarpar; sonucu en çok 1 olarak bildirir. Holm sıralı değerleri azalan çarpanlarla değerlendirir ve sıralama boyunca düzeltilmiş değerlerin azalmamasını sağlar. R p.adjust

Ham değerlere göre üç sonuç 0,05’in altındadır; iki düzeltmede de yalnızca A bu düzeyin altında kalır. Bu, B ve C’de etkinin kesinlikle bulunmadığını göstermez. Aynı şekilde A’nın düşük p değeri, etkinin büyük veya önemli olduğunu göstermez. Etki tahminini, belirsizliği ve tasarımı ayrıca yorumlayın. ASA’nın p-değeri ilkeleri

Hesabı R’de tekrarlamak için:

p <- c(A = .003, B = .018, C = .041, D = .120)
cbind(ham = p,
      bonferroni = p.adjust(p, method = "bonferroni"),
      holm = p.adjust(p, method = "holm"))

R kodu hesap tekrarına yöneliktir; bu kurgusal aileyi sizin çalışmanızın doğru analiz planı olarak önermez.

Kurgusal raporlama örneği: “Önceden belirlenen dört sonuç tek bir test ailesi olarak ele alındı. Aile düzeyinde yanlış ret olasılığını 0,05’te kontrol etmek için Holm yöntemi kullanıldı. Ham ve düzeltilmiş p değerleri birlikte sunuldu; sonradan eklenen alt grup analizleri keşfedici olarak raporlandı.” Bu paragrafı yalnız gerçekten yaptığınız işlemleri yansıtacak şekilde uyarlayın.