Google實驗是否勝過？

Question

今天，我在Google Analytics（分析）中遇到了一些奇怪的事情。 我的一項實驗以94.7％的原始數據勝過原始結果的概率和52％的原始數據勝過原始結果的概率結束，但狀態仍然為“未找到贏家”。

有人遇到過這種情況嗎？ 為什么會這樣呢？

Answer 1

這意味着，盡管您確實擁有比您的控件更好的版本，但它們的勝率不足以達到95％的置信區間 。 換句話說，您有一個獲勝者，但在統計上並不重要，或者該測試的結果很有可能是隨機的。

如果沒有看到展示次數和轉化次數，就很難具體說明。 我的猜測是，此測試的轉換率非常低，獲勝版本的改進量很小，或兩者兼而有之。

您可以選擇幾種方法進行操作。

1. 僅使用對照和最強變體重復測試。 通過僅使用兩個版本重復測試，您的測試將很有意義。
2. 實施最強的變體並找到其他要測試的東西。 這可能是我會選擇的。 理想情況下，您要確定對轉換率影響最大的頁面元素。

無論哪種方式，我都會結束當前的測試。 在這一點上，讓它運行更長的時間沒有任何收獲。