什麼是AB測試
AB測試最簡單的解釋是把不同版本的產品，隨機分配給你給你的受眾，根據結果決定要繼續往A版本還是B版本發展。
數位產品的世界，AB測試幾乎無所不在。從目標市場、產品研發過程、流程設計和廣告設計，都會使用Ab測試的技巧來決定發展方向。
AB測試怎麼進行？AB測試要準備的三件事
產品經理、行銷經理、工程師、設計師、到業務經理，都可能透過AB測試優化決策過程。
產品經理需要AB測試，來幫團隊決定開發哪一種功能、設計師需要AB測試，決定產品的視覺定調、行銷經理需要AB測試，決定廣告策略或內容行銷的主題。
進行AB測試，需要準備三件事：A和B兩個版本、用戶痛點和驗證假說、選擇指標來決定成效。
用戶痛點和驗證假說：
所有的AB測試都是為了驗證某個假說，例如推出的新產品「熱感應相片列表機的主打客群為女性」，接下來的廣告視覺、情境，甚至未來要開發的新功能，都要符合女性市場的需求。
A和B兩個版本：
都叫AB測試了，你當然要準備版本A和版本B。就廣告投放來說，AB測試廣告，版本A是符合女性客群設計的廣告素材，例如圖案、配色、標題、訊息內文到訊息傳遞的口吻，版本B原本版的廣告內容（或不特定性別的廣告內容）
選擇指標來決定成效
在廣告投放裡，決定廣告成效的指標的就是「廣告點擊率CTR (Click-throu Rate)」。廣告點擊率依照高的哪組勝出，後續廣告的策略及方展方向就會根據，就會根據這個結果繼續發展。
廣告名詞CTR,CPC,CPA到底是什麼？評估廣告成效會用到哪些廣告指標？我的這篇文章整理了15個常見的廣告名詞，可以搭配參考。
廣告中的AB測試，其實算「多變量測試」
AB測試的概念是提供兩種版本進行測試，依照實驗精神，版本A和版本B一次只應該有一個變因，才能以控制組和對照組來比對、分析結果。
但在實務的廣告投放操作中，所謂的AB測試其實算多變量測試，因為同時有3個以上的不同元素。測試的廣告素材同時會有很多組，而且好多地方都不同，文字標題不同、Call to Action按鈕不同，廣告格式有的用照片、有的用輪播圖、有的用影片。而且，連潛在的目標族群都不只有兩組，20~45歲女性上班族、25~50歲不分性別的居家工作者、30～55歲不分性別對智慧產品有興趣者。
以不同的廣告目標族群搭配不同的廣告呈現，找出廣告點擊率最高的組合。在這種不止兩個版本的測試情況下，在資料科學的領域裡稱為「多變量測試」。這篇我在Medium找到的文章 藏身在A/B測試身後的「多變量測試」，寫得非常好、值得參考。
數據跑出來了，什麼時候該決定下一步？
決定好指標了，我該等多久才能進行下一步？一天、兩天，還是一週兩週？以上皆非。
從統計學和隨機抽樣的觀點來看， 無論你的母體為多少，在95%信心水準下，樣本數都會落在1000左右。這也是為什麼民調都會採樣1000人的回答。採樣人數的多少，會影響的是誤差值。
Facebook廣告投放的曝光次數，就屬於隨機抽樣。廣告曝光1000次，等於你進行了民調1000個樣本，你的受眾在「要點擊此廣告」和「不點擊此廣告」之間做選擇。
所以，什麼時候該決定下一步？
每1000次曝光，就是你決定下一步的「最小單位」時機點。 也就是，當兩則廣告都累積最少1000次曝光，此時，A廣告的點擊率大於B廣告，淘汰B廣告。
這裡有計算的抽樣樣本數比例的工具，https://www.surveymonkey.com/mp/sample-size-calculator/ 可以看看是否無論母體多少（也就是目標市場的人口，例如美國3.2億人、台灣2千3百萬人），你的樣本數都在1000左右。
結語
AB測試的規模可大可小，小從廣告圖像按鈕的顏色，大到新品功能的開發，都算是AB測試的一環。廣告中的AB測試（或多變量測次）更次每分每秒都在進行。
開始投放廣告、不確定目標客戶在哪裡嗎？我有超過七年、一千三百萬台幣的海外廣告投放經驗，用Facebook、Instagram廣告，大量A/B測試，快速找出你的高轉換客戶，讓你的品牌開始獲利。
