什麼是AB測試
AB測試最簡單的解釋是把不同版本的產品,隨機分配給你給你的受眾,根據結果決定要繼續往A版本還是B版本發展。
數位產品的世界,AB測試幾乎無所不在。從目標市場、產品研發過程、流程設計和廣告設計,都會使用Ab測試的技巧來決定發展方向。
AB測試怎麼進行?AB測試要準備的三件事
產品經理、行銷經理、工程師、設計師、到業務經理,都可能透過AB測試優化決策過程。
產品經理需要AB測試,來幫團隊決定開發哪一種功能、設計師需要AB測試,決定產品的視覺定調、行銷經理需要AB測試,決定廣告策略或內容行銷的主題。
進行AB測試,需要準備三件事:A和B兩個版本、用戶痛點和驗證假說、選擇指標來決定成效。
用戶痛點和驗證假說:
所有的AB測試都是為了驗證某個假說,例如推出的新產品「熱感應相片列表機的主打客群為女性」,接下來的廣告視覺、情境,甚至未來要開發的新功能,都要符合女性市場的需求。
A和B兩個版本:
都叫AB測試了,你當然要準備版本A和版本B。就廣告投放來說,AB測試廣告,版本A是符合女性客群設計的廣告素材,例如圖案、配色、標題、訊息內文到訊息傳遞的口吻,版本B原本版的廣告內容(或不特定性別的廣告內容)
選擇指標來決定成效
在廣告投放裡,決定廣告成效的指標的就是「廣告點擊率CTR (Click-throu Rate)」。廣告點擊率依照高的哪組勝出,後續廣告的策略及方展方向就會根據,就會根據這個結果繼續發展。
廣告名詞CTR,CPC,CPA到底是什麼?評估廣告成效會用到哪些廣告指標?我的這篇文章整理了15個常見的廣告名詞,可以搭配參考。
廣告中的AB測試,其實算「多變量測試」
AB測試的概念是提供兩種版本進行測試,依照實驗精神,版本A和版本B一次只應該有一個變因,才能以控制組和對照組來比對、分析結果。
但在實務的廣告投放操作中,所謂的AB測試其實算多變量測試,因為同時有3個以上的不同元素。測試的廣告素材同時會有很多組,而且好多地方都不同,文字標題不同、Call to Action按鈕不同,廣告格式有的用照片、有的用輪播圖、有的用影片。而且,連潛在的目標族群都不只有兩組,20~45歲女性上班族、25~50歲不分性別的居家工作者、30~55歲不分性別對智慧產品有興趣者。

以不同的廣告目標族群搭配不同的廣告呈現,找出廣告點擊率最高的組合。在這種不止兩個版本的測試情況下,在資料科學的領域裡稱為「多變量測試」。這篇我在Medium找到的文章 藏身在A/B測試身後的「多變量測試」,寫得非常好、值得參考。
數據跑出來了,什麼時候該決定下一步?
決定好指標了,我該等多久才能進行下一步?一天、兩天,還是一週兩週?以上皆非。
從統計學和隨機抽樣的觀點來看, 無論你的母體為多少,在95%信心水準下,樣本數都會落在1000左右。這也是為什麼民調都會採樣1000人的回答。採樣人數的多少,會影響的是誤差值。
Facebook廣告投放的曝光次數,就屬於隨機抽樣。廣告曝光1000次,等於你進行了民調1000個樣本,你的受眾在「要點擊此廣告」和「不點擊此廣告」之間做選擇。
所以,什麼時候該決定下一步?
每1000次曝光,就是你決定下一步的「最小單位」時機點。 也就是,當兩則廣告都累積最少1000次曝光,此時,A廣告的點擊率大於B廣告,淘汰B廣告。
這裡有計算的抽樣樣本數比例的工具,https://www.surveymonkey.com/mp/sample-size-calculator/ 可以看看是否無論母體多少(也就是目標市場的人口,例如美國3.2億人、台灣2千3百萬人),你的樣本數都在1000左右。

結語
AB測試的規模可大可小,小從廣告圖像按鈕的顏色,大到新品功能的開發,都算是AB測試的一環。廣告中的AB測試(或多變量測次)更次每分每秒都在進行。
開始投放廣告、不確定目標客戶在哪裡嗎?我有超過七年、一千三百萬台幣的海外廣告投放經驗,用Facebook、Instagram廣告,大量A/B測試,快速找出你的高轉換客戶,讓你的品牌開始獲利。