樣本量為A / B Fisher測試的意義

Question

鑒於簡單A / B測試的結果......

        A   B
clicked 8   60
ignored 192 1940

（即A 4％和B 3％的談話率）

... R中的一項費希爾測試表明，沒有顯着差異

> fisher.test(data.frame(A=c(8,192), B=c(60,1940)))
...
p-value = 0.3933
...

但是R中有哪些功能可以告訴我需要多少才能增加樣本量來達到0.05的p值？

我可以增加A值（按比例）直到我達到它但是必須有更好的方法嗎？ 也許pwr.2p2n.test [1]在某種程度上可用？

[1] http://rss.acs.unt.edu/Rdoc/library/pwr/html/pwr.2p2n.test.html

Answer 1

power.prop.test()應該為你做這個。 為了使數學運算起作用，我通過總結列將您的“已忽略”數據轉換為展示次數。

> power.prop.test(p1=8/200, p2=60/2000, power=0.8, sig.level=0.05)

     Two-sample comparison of proportions power calculation 

              n = 5300.739
             p1 = 0.04
             p2 = 0.03
      sig.level = 0.05
          power = 0.8
    alternative = two.sided

NOTE: n is number in *each* group

這給了每個組5301，所以你的樣本大小需要10600.減去已經運行的2200，你有8400個“測試”。

在這種情況下：

• sig.level與您的p值相同。
• power是尋找存在於您的樣品內的顯著結果的可能性。 這有點武斷，80％是常見的選擇。 請注意，選擇80％表示您應該在20％的時間內找不到重要性。 增加功率意味着您需要更大的樣本量才能達到所需的顯着性水平。

如果您想決定達到顯着性所需的時間，請將8400除以每天的展示次數。 這可以幫助確定它是否值得繼續測試。

您還可以在測試開始之前使用此功能確定所需的樣本大小。 在37 Signals博客上有一篇很好的文章描述了這一點。

這是本機R函數，因此您無需添加或加載任何包。 除此之外，我不能說這與pwr.p2pn.test()有多相似。