奧茲測試是什麼?Wizard of Oz Testing
奧茲測試(The Wizard of Oz method )在產品開發前,以精實創業(Lean startup)和最小可行性商品(MVP)為核心,快速推出產品原型並測試市場的一種方式。奧茲測試讓用戶和科技產品互動並完成指定任務。在過程中,科技產品的背後躲著一個真實的人類,幫你完成任務,但用戶並不知情。
The Wizard of Oz method is a process that allows a user to interact with an interface without knowing that the responses are being generated by a human rather than a computer by having someone behind-the-scenes who is pulling the levers and flipping the switches.
奧茲測試為什麼叫奧茲測試?
奧茲測試,中文也有人稱奧茲巫師測試、奧茲大帝測試,英文寫法 Wizard of Oz Testing。奧茲這兩個是起源於綠野仙蹤的故事,在綠野仙蹤的故事中,有一個神秘的魔法師奧茲大帝(Wizard of Oz),他可以用法術替任何人完成心願。
桃樂絲一行人去請求奧茲大帝完成他們的心願,奧茲大帝告訴桃樂絲:你必須先打敗邪惡的女巫,我才能幫你完成心願。在故事的結局,主角一行人發現奧茲大帝只是一個沒有法術的普通魔術師,儘管如此,奧茲還是努力達成他們的心願。
奧茲測試的命名,就來自於這樣的故事:作為主角的桃樂絲, 相信奧茲大帝可以透過法術完成他們的願望,原來只是一個普通平凡人、絞盡腦汁幫你達成目標。
就像在產品開發前期,作為用戶的你,相信某個科技產品可以透過電腦人工智慧完成你指定的任務,原來背後是一群真實的人類用工人智慧、 幫你完成目標。
爲什麼要用奧茲測試?
奧茲測試最好的使用時機是用於「AI驅動的產品原型」。由於 AI需要大量資料和長時間的訓練,才能達到穩定的有效的結果,那在具備「大量的資料」、「長時間的訓練」之前,該怎麼開發 AI驅動的科技產品呢?
傳統的方式,當然可以先收集大量的資料並經過長時間訓練,再推出產品到市場,看有沒有人買單。但這並不符合Lean startup和MVP的精神。
科技產品的迭代速度非常快,等你的團隊把AI演算法訓練好之後,市場需求可能不存在了,或你的競爭對手已經吃下市場;或更慘的是,你根本開發出了一個沒人需要的AI產品,那這一切又有什麼意義呢?
所以要用奧茲測試,透過推出產品原型(prototype) 來驗證假說、驗證市場是否存在。(該怎麼知道產品可不可行?參考文章,矽谷科技公司常見的驗證假說的六種方式)
經典的奧茲測試案例1:1984年的IBM語音輸入法
IBM的語音辨識軟體,就是個知名的奧茲測試案例,使用者透過語音輸入在電腦上打字,但終端其實有一個真實的人類聽著使用者的錄音,用鍵盤幫他打字。但用戶並不知道人類的存在,以為是電腦科技進步神速,用語音就能輸入。
1984時空背景補充:
1984年是電腦進化史的重要里程碑,當年的1月24號,蘋果電腦推出了世界上第一台採用圖形用戶介面的個人電腦,與當時採用DOS命令行純文本用户界面的IBM PC形成了鮮明的對照
當年蘋果公司在超級杯推出的廣告內容《1984》,還有IBM與蘋果電腦在1980年代的廣告與市場的抗爭,也是每個商學院學生在行銷管理課程會介紹到的經典案例。
經典的奧茲測試2: 跳舞的魁西機器人Quasi the Robot
成千上萬個曾經和動畫角色魁西機器人(Quasi the Robot)互動過的民眾,都不知道原來是有一名真人演員,在互動現場後面,透過「引導表現介面」(Guided Performance Interface,GPI)軟體控制機器人的動作。
這個介面可以讓非技術人員引導魁西做出動作,吸引並延長民眾(特別是小孩)的注意力。機器人魁西是一個精采範例,把人工智慧和人類遙控技術結合到出神入化的程度,創造出可以讓人愉快投入的體驗。
奧茲測試的優點
1、開發時間短、成本低:不需要數據、程式碼、和真實的AI產品,只需要產品原型(例如一個網站),就能推出MVP來測試市場反應,並驗證假說可不可行。畢竟AI工程師很貴、時間更貴!
2、在開發流程前就先有流程:在UX設計師還沒設計出流程前,就能透過奧茲測試,建立用戶使用產品的流程,對於後續設計流程時,有第一手的經驗可參考及優化。
3、面對機器,更容易暴露真實人性需求:因為用戶面對的是機器,相較於和人類互動,可以更真實地反應出使用需求、狀況、盲點和慾望(?)。
例如,前幾年被Google 收購的社交收尋引擎公司 Aardvark,他的服務主張:「你提問,我們的系統會找到有經驗的專家幫你解答」,在Aardvark創立的初期,是透過真實的人類去找到專家來回答用戶問題,並非網站說明的“透過系統”找到專家。如果你有很難以啟齒的問題,相較於問一個真實的人類,你可能會更輕像去問機器。
4、察覺用戶痛點:在奧茲測試的過程中,團隊會更容易察覺到用戶痛點,由於產品尚未進入開發階段,因此可以大幅度的修改UX或UI,且不需要擔心已投入的開發成本(因為幾乎沒有開發成本)。
奧茲測試的缺點
1、延遲性高:由於是人類提供結果,在接受到指令和完成指令的過程中,人類的回應速度一定比機器慢很多
2、一致性低:人類並非機器,每次的回應都存在著不同程度的差異,容易讓用戶的滿意度或完成度不一致。
3、較難獲得精確的判讀資料:真實人類幾乎可以回應各種問題與需求,但電腦、機器需要特定的句構、關鍵字、或模組,才能判讀資料、產出回應。
因此必須確保在幕後負責回應的,是訓練有素的領域專家,只能在特定情況下完成用戶指令,而不能什麼都提供回應或解決方法。
書籍推薦:設計的方法:100個分析難題,跟成功商品取經,讓設計更棒、更好的有效方法
延伸閱讀:
該怎麼知道你的產品可行?驗證假說的六種方式,每個步驟都和行銷習習相關
廣告投放中的AB Test到底在AB測試什麼?繼續投放、或停止廣告,什麼時候該決定下一步?
2022年美國電商廣告的10個重要節日,跨境電商品牌不可不知的活動檔期(附2022全年度美國電商重要節日表)
「虛榮指標」是什麼?Facebook廣告、社群行銷的幻覺和興奮劑。
資料來源:
Concierge Testing versus Wizard of Oz Prototyping. What to Choose?
what in the ux is “wizard of oz testing”?Wizard of Oz testing – a method of testing a system that does not yet exist.