前段時間用博客的幾個測試頁面嘗試了下使用Google Website Optimizer做A/B測試，經(jīng)過這段時間收集了一些測試數(shù)據(jù)，感謝大家?guī)兔�點擊。其實之前一直想介紹Google的這個網(wǎng)站對比實驗優(yōu)化工具，完全免費而且操作簡單，并且在不久的將來獨立的Google Website Optimizer就會消失，這塊功能會被整合到Google Analytics里面，相信很多GA的用戶已經(jīng)在Content模塊中發(fā)現(xiàn)了新增的Experiments這個功能，這個就是從Google Website Optimizer衍生而來，功能和使用上面應(yīng)該會有些調(diào)整和變化。

　　對于Google Website Optimizer的使用其實并沒有那么復(fù)雜，使用實驗的創(chuàng)建向?qū)ЫY(jié)合網(wǎng)頁的提示和幫助，普通的用戶創(chuàng)建自己的實驗完全沒有問題，只是網(wǎng)站的千差萬別可能有很多的細節(jié)方面需要注意，或者需要想一些辦法讓實驗過程和監(jiān)控結(jié)果更加有效。所以這里不介紹GWO工具使用本身，我比較感興趣的其實是實驗輸出的結(jié)果報表，里面涉及對結(jié)果的區(qū)間預(yù)估，測試方案勝出的概率，提升幅度等，這些指標都用統(tǒng)計學的方法計算得到，相比直接比較兩組觀察值，比較結(jié)果更加科學，更具說服力。

　　首先看下GWO輸出的報告，這里用的是A/B測試，如果使用Multivariate Testing(MVT)報告會有細微的差異，但指標及統(tǒng)計邏輯應(yīng)該是相同的：

　　我用GWO實現(xiàn)了一個最簡單的A/B測試，一個原始版本和一個測試版本，輸出的報告主要是比較實驗過程中設(shè)定的轉(zhuǎn)化率。上方的折線圖顯示的是原始版本和實驗版本的轉(zhuǎn)化率趨勢，截至目前的轉(zhuǎn)化情況顯示在下方表格的最右側(cè)(Conv./Visitors)，從指標名稱看，GWO衡量轉(zhuǎn)化率用的是轉(zhuǎn)化的用戶數(shù)，應(yīng)該使用Cookie來唯一識別用戶(這里僅是在博客新建了幾個簡單測試頁面，所以數(shù)據(jù)量較小，而轉(zhuǎn)化率相比正常網(wǎng)站都明顯偏高)。

　　所以，這里重點研究了下圖中表格紅框內(nèi)的3個指標，看它們是如何計算得到的。

　　估算轉(zhuǎn)化率

　　從圖中紅框1中可以看到Est. conv. rate，GWO報表對目前得到的轉(zhuǎn)化率做了正負區(qū)間的預(yù)估，進而可以得到目前該版本轉(zhuǎn)化率可能的置信區(qū)間(詳見前一篇文章——參數(shù)估計與置信區(qū)間)，這里用當前的轉(zhuǎn)化率估計該版本的總體轉(zhuǎn)化率p，進而可以計算得到總體標準差σ= sqrt(p(1-p)/n)，比如這里原始版本的總體標準差約為0.0540，而測試版本的標準差約為0.0647，根據(jù)Zα/2×σ計算得到的上表中正負的7.6%和9.1%，所以我們就可以猜出GWO用的Zα/2大概為1.4，這個數(shù)值我在測試期間接連驗證過幾次，基本非常穩(wěn)定，根據(jù)Z值表，這個置信區(qū)間大概的置信度在84%，也不知道為什么GWO要選擇這么個置信度。

　　紅框1的上方我們可以看到GWO根據(jù)測試的效果將測試版本分成了三類，分別用綠色表示勝出的測試版本，黃色表示不確定的測試版本，紅色表示落敗的測試版本。Google僅給出了簡單的說明，建議我們可以選擇使用顯示為綠色的版本，因為它們有很大的可能性(也只是可能)優(yōu)于原始版本，而顯示紅色版本建議可以停止測試。具體到指標需要達到怎樣的水平才會顯示綠色或紅色，我沒有去驗證，有使用經(jīng)驗的或者感興趣的同學可以去觀察下試試。

　　勝過原始版本的幾率

　　之前在T檢驗和卡方檢驗這篇文章介紹過可以使用卡方檢驗的方法來比較二項分布數(shù)據(jù)間的概率是否存在顯著差異，但卡方檢驗只能檢驗差異的顯著性，沒法直接說明某組樣本的概率有多少的幾率超過另外一個樣本，所以在GWO的報告里面沒有使用卡方檢驗，而使用了單尾Z檢驗。當樣本數(shù)量超過30的時候，我們一般會使用Z檢驗來替代T檢驗比較兩組獨立或配對樣本間的均值差異，因為這里只是為了證明一組樣本概率明顯超過另外一組樣本的可能性，所以使用了單尾檢驗。計算Z統(tǒng)計量的公式如下：

　　根據(jù)表格的數(shù)據(jù)，原始方案和測試方案的轉(zhuǎn)化率均值p分別為78.9%和78.0%，根據(jù)公式S2=p(1-p)分別計算兩組樣本的方差為0.1665和0.1716，而兩組樣本數(shù)n分別為57和41，進而計算得到Z=0.1068，查Z值表可得Z=0.10的概率為46.02%，Z=0.11的概率為45.62%，表中顯示的Chance to Beat Orig.=45.9%，介于兩者之間，使用的應(yīng)該是類似的統(tǒng)計方法得到的值，偏差是因為中間精度處理引起的。

　　觀察到的改進

　　圖中紅框3的Observed improvement，這個指標需要結(jié)合紅框1的轉(zhuǎn)化率置信區(qū)間來看，結(jié)合條形圖可以比較清晰地得出結(jié)果，看下我用Excel畫的展現(xiàn)估算轉(zhuǎn)化率的類似條形圖：

　　這里我用了兩條輔助的虛線，如果第一個是原始版本，那么測試版本所有與原始版本轉(zhuǎn)化率預(yù)估區(qū)間的差異都會用顏色展現(xiàn)，而觀察到的改進就是著色區(qū)間的轉(zhuǎn)化率差異。比如圖中第二個條形的紅色區(qū)間展現(xiàn)的相應(yīng)值為-4.2%，而第三個應(yīng)該是-1.6%+0.6%=-1.0%，即左側(cè)的負值區(qū)間加上右側(cè)的正值區(qū)間，第四個為2.9%。這樣GWO報表中所有指標的計算都可以明確了。

　　其實，大部分時候我們使用工具來完成分析或測試的過程，也不一定非要了解所有指標最底層的計算邏輯，我們只要知道這些指標的含義及作用，在分析具體問題時合理地使用這些指標就可以。而有些時候我們只能統(tǒng)計得到一些基礎(chǔ)數(shù)據(jù)，所以如何使用這些基礎(chǔ)數(shù)據(jù)得到一些有價值有說服力的分析結(jié)論就需要用到一些合適的統(tǒng)計學方法，這也是這篇文章去解讀GWO輸出報表的原因。

　　» 本文采用 BY-NC-SA 協(xié)議，轉(zhuǎn)載請注明來源：網(wǎng)站數(shù)據(jù)分析 » 《Google Website Optimizer報告解讀》