A/B 測試（A/B Test）究竟在測什麼？很多人以為廣告投放中的 A/B Test，是把兩個版本丟出去，看哪個表現比較好就收工。但真正困難的不是「測出 A 贏還是 B 贏」，而是測試數據跑出來之後，你要怎麼判斷下一步。
是繼續加預算？換素材？重寫文案？換受眾？還是直接停掉這組廣告？
A/B Test 真正的價值，是幫你把模糊的廣告問題拆開，找到下一步該優化的方向。
什麼是A/B 測試?
A/B 測試最簡單的解釋，是把不同版本的產品、頁面或廣告，隨機分配給不同受眾，再根據結果決定下一步。數位產品的世界，AB測試幾乎無所不在。從目標市場、產品研發過程、流程設計和廣告設計，都會使用Ab測試的技巧來決定發展方向。
A/B 測試怎麼進行？AB測試要準備的三件事
產品經理、行銷經理、工程師、設計師、到業務經理，都可能透過AB測試優化決策過程。
產品經理需要AB測試，來幫團隊決定開發哪一種功能、設計師需要AB測試，決定產品的視覺定調、行銷經理需要AB測試，決定廣告策略或內容行銷的主題。
進行A/B 測試，需要準備三件事：A和B兩個版本、用戶痛點和驗證假說、選擇指標來決定成效。
用戶痛點和驗證假說：
所有的AB測試都是為了驗證某個假說，例如推出的新產品「熱感應相片列表機的主打客群為女性」，接下來的廣告視覺、情境，甚至未來要開發的新功能，都要符合女性市場的需求。
A和B兩個版本：
都叫AB測試了，你當然要準備版本A和版本B。就廣告投放來說，AB測試廣告，版本A是符合女性客群設計的廣告素材，例如圖案、配色、標題、訊息內文到訊息傳遞的口吻，版本B原本版的廣告內容（或不特定性別的廣告內容）
選擇指標來決定成效
在廣告投放裡，CTR 是最常用來判斷素材是否吸引人的指標之一，算是廣告表現的Early Signal（早期訊號），它不是唯一的成效指標。
你要看的是：這次測試真正想回答什麼問題？
點擊率高的廣告勝出，假若A組主打男性受眾、B組主打女性客群，只能說目前廣告內容讓女性客群願意點擊、卻不能斷定是否從此放棄男性市場。（試想男女通用的商品，例如葉黃素、維他命之類的保健食品，就能理解）
廣告名詞CTR,CPC,CPA到底是什麼？評估廣告成效會用到哪些廣告指標？我的這篇文章整理了15個常見的廣告名詞，可以搭配參考。
廣告中的A/B 測試，其實算「多變量測試」
AB測試的概念是提供兩種版本進行測試，依照實驗精神，版本A和版本B一次只應該有一個變因，才能以控制組和對照組來比對、分析結果。
但在實務的廣告投放操作中，所謂的AB測試其實算多變量測試，因為同時有3個以上的不同元素。測試的廣告素材同時會有很多組，而且好多地方都不同，文字標題不同、Call to Action按鈕不同，廣告格式有的用照片、有的用輪播圖、有的用影片。而且，連潛在的目標族群都不只有兩組，20~45歲女性上班族、25~50歲不分性別的居家工作者、30～55歲不分性別對智慧產品有興趣者。
以不同的廣告目標族群搭配不同的廣告呈現，找出廣告點擊率最高的組合。在這種不止兩個版本的測試情況下，在資料科學的領域裡稱為「多變量測試」。這篇我在Medium找到的文章 藏身在A/B測試身後的「多變量測試」，寫得非常好、值得參考。
A/B 測試數據有了，什麼時候該決定下一步？
決定好指標了，我該等多久才能進行下一步？一天、兩天，還是一週兩週？以上皆非。
從統計學和隨機抽樣的觀點來看， 無論你的母體為多少，在95%信心水準下，樣本數都會落在1000左右。這也是為什麼民調都會採樣1000人的回答。採樣人數的多少，會影響的是誤差值。
Facebook廣告投放的曝光次數，就屬於隨機抽樣。廣告曝光1000次，等於你進行了民調1000個樣本，你的受眾在「要點擊此廣告」和「不點擊此廣告」之間做選擇。
所以，什麼時候該決定下一步？
在實務上，每1000次曝光，通常是我決定下一步的「最小單位」時機點（不過這不是最終定案的統計結論）。 也就是，當兩則廣告都累積最少1000次曝光，此時，A廣告的點擊率大於B廣告，淘汰B廣告。
另外補充，如果廣告預算很小，1000 次曝光可以幫你避免太早下判斷；但如果你要做更嚴謹的決策，還是要搭配轉換數、CPA、CVR 和商業目標一起看。這裡有計算的抽樣樣本數比例的工具，https://www.surveymonkey.com/mp/sample-size-calculator/ 可以看看是否無論母體多少（也就是目標市場的人口，例如美國3.2億人、台灣2千3百萬人），你的樣本數都在1000左右。
AB測試的規模可大可小，小從廣告圖像按鈕的顏色，大到新品功能的開發，都算是AB測試的一環。廣告中的 A/B 測試，或者更準確地說，多變量測試，幾乎每分每秒都在進行。
A/B測試完，然後呢？
A/B Test 的重點不是找到贏家，而是做出下一步判斷
| 測試結果 | 可能代表什麼 | 下一步判斷 |
|---|---|---|
| CTR 高、CVR 低 | 素材吸引人，但 landing page 或 offer 沒接住 | 不急著停廣告，先檢查頁面與轉換流程 |
| CTR 低、CPM 高 | 受眾不精準，或素材無法讓人停下來 | 換受眾或重做 hook |
| CTR 高、CPA 高 | 點擊有興趣，但購買動機不足 | 測試賣點、價格、信任元素 |
| 兩組素材都差 | 可能不是素材問題，而是 offer / audience mismatch | 回頭檢查產品賣點與受眾假設 |
| 小樣本就判斷輸贏 | 資料不足，容易誤判 | 延長測試或降低變因數量 |
想搞懂廣告數據的全貌，這幾篇一起看： CPM 是什麼｜如何降低 CPM｜CTR 與廣告成效
想搞懂進一步解讀數據成效和品牌成長的關係，可以接著閱讀並思考：ROAS 越高，品牌就越成長嗎？或是，你想把廣告數據整理成更清楚的策略判斷，也可以延伸閱讀：從執行到策略的三種判斷力