奧茲測試是什麼?來自矽谷驗證假說的方式,沒有數據、沒有程式碼,也能用AI產品原型測試市場

奧茲測試Wizard of Oz testing在產品開發前,以Lean startup和MVP為核心精神,快速推出產品原型並測試市場的一種方式。奧茲測試讓用戶和科技產品互動並完成指定任務。在過程中,科技產品的背後躲著一個真實的人類,幫你完成任務,但用戶並不知情。
wizard of Oz test

奧茲測試是什麼?Wizard of Oz Testing

奧茲測試(The Wizard of Oz method )在產品開發前,以精實創業(Lean startup)和最小可行性商品(MVP)為核心,快速推出產品原型並測試市場的一種方式。奧茲測試讓用戶和科技產品互動並完成指定任務。在過程中,科技產品的背後躲著一個真實的人類,幫你完成任務,但用戶並不知情。

The Wizard of Oz method is a process that allows a user to interact with an interface without knowing that the responses are being generated by a human rather than a computer by having someone behind-the-scenes who is pulling the levers and flipping the switches.

奧茲測試為什麼叫奧茲測試?

奧茲測試,中文也有人稱奧茲巫師測試、奧茲大帝測試,英文寫法 Wizard of Oz Testing。奧茲這兩個是起源於綠野仙蹤的故事,在綠野仙蹤的故事中,有一個神秘的魔法師奧茲大帝(Wizard of Oz),他可以用法術替任何人完成心願。

桃樂絲一行人去請求奧茲大帝完成他們的心願,奧茲大帝告訴桃樂絲:你必須先打敗邪惡的女巫,我才能幫你完成心願。在故事的結局,主角一行人發現奧茲大帝只是一個沒有法術的普通魔術師,儘管如此,奧茲還是努力達成他們的心願。

奧茲測試的命名,就來自於這樣的故事:作為主角的桃樂絲, 相信奧茲大帝可以透過法術完成他們的願望,原來只是一個普通平凡人、絞盡腦汁幫你達成目標。

就像在產品開發前期,作為用戶的你,相信某個科技產品可以透過電腦人工智慧完成你指定的任務,原來背後是一群真實的人類用工人智慧、 幫你完成目標。

爲什麼要用奧茲測試?

奧茲測試最好的使用時機是用於「AI驅動的產品原型」。由於 AI需要大量資料和長時間的訓練,才能達到穩定的有效的結果,那在具備「大量的資料」、「長時間的訓練」之前,該怎麼開發 AI驅動的科技產品呢?

傳統的方式,當然可以先收集大量的資料並經過長時間訓練,再推出產品到市場,看有沒有人買單。但這並不符合Lean startup和MVP的精神。

科技產品的迭代速度非常快,等你的團隊把AI演算法訓練好之後,市場需求可能不存在了,或你的競爭對手已經吃下市場;或更慘的是,你根本開發出了一個沒人需要的AI產品,那這一切又有什麼意義呢?

所以要用奧茲測試,透過推出產品原型(prototype) 來驗證假說、驗證市場是否存在。(該怎麼知道產品可不可行?參考文章,矽谷科技公司常見的驗證假說的六種方式

經典的奧茲測試案例1:1984年的IBM語音輸入法

圖說:經典的奧茲測試, IBM語音輸入法

IBM的語音辨識軟體,就是個知名的奧茲測試案例,使用者透過語音輸入在電腦上打字,但終端其實有一個真實的人類聽著使用者的錄音,用鍵盤幫他打字。但用戶並不知道人類的存在,以為是電腦科技進步神速,用語音就能輸入。

1984時空背景補充:

1984年是電腦進化史的重要里程碑,當年的1月24號,蘋果電腦推出了世界上第一台採用圖形用戶介面的個人電腦,與當時採用DOS命令行純文本用户界面的IBM PC形成了鮮明的對照

當年蘋果公司在超級杯推出的廣告內容《1984》,還有IBM與蘋果電腦在1980年代的廣告與市場的抗爭,也是每個商學院學生在行銷管理課程會介紹到的經典案例。

經典的奧茲測試2: 跳舞的魁西機器人Quasi the Robot

機器人的背後,是真實的人類在操控,並非機器本身
展場上,使用者和機器人互動的片段

成千上萬個曾經和動畫角色魁西機器人(Quasi the Robot)互動過的民眾,都不知道原來是有一名真人演員,在互動現場後面,透過「引導表現介面」(Guided Performance Interface,GPI)軟體控制機器人的動作。

這個介面可以讓非技術人員引導魁西做出動作,吸引並延長民眾(特別是小孩)的注意力。機器人魁西是一個精采範例,把人工智慧和人類遙控技術結合到出神入化的程度,創造出可以讓人愉快投入的體驗。

奧茲測試的優點

1、開發時間短、成本低:不需要數據、程式碼、和真實的AI產品,只需要產品原型(例如一個網站),就能推出MVP來測試市場反應,並驗證假說可不可行。畢竟AI工程師很貴、時間更貴!

2、在開發流程前就先有流程:在UX設計師還沒設計出流程前,就能透過奧茲測試,建立用戶使用產品的流程,對於後續設計流程時,有第一手的經驗可參考及優化。

3、面對機器,更容易暴露真實人性需求:因為用戶面對的是機器,相較於和人類互動,可以更真實地反應出使用需求、狀況、盲點和慾望(?)。

例如,前幾年被Google 收購的社交收尋引擎公司 Aardvark,他的服務主張:「你提問,我們的系統會找到有經驗的專家幫你解答」,在Aardvark創立的初期,是透過真實的人類去找到專家來回答用戶問題,並非網站說明的“透過系統”找到專家。如果你有很難以啟齒的問題,相較於問一個真實的人類,你可能會更輕像去問機器。

4、察覺用戶痛點:在奧茲測試的過程中,團隊會更容易察覺到用戶痛點,由於產品尚未進入開發階段,因此可以大幅度的修改UX或UI,且不需要擔心已投入的開發成本(因為幾乎沒有開發成本)。

奧茲測試的缺點

1、延遲性高:由於是人類提供結果,在接受到指令和完成指令的過程中,人類的回應速度一定比機器慢很多

2、一致性低:人類並非機器,每次的回應都存在著不同程度的差異,容易讓用戶的滿意度或完成度不一致。

3、較難獲得精確的判讀資料:真實人類幾乎可以回應各種問題與需求,但電腦、機器需要特定的句構、關鍵字、或模組,才能判讀資料、產出回應。

因此必須確保在幕後負責回應的,是訓練有素的領域專家,只能在特定情況下完成用戶指令,而不能什麼都提供回應或解決方法。

書籍推薦:設計的方法:100個分析難題,跟成功商品取經,讓設計更棒、更好的有效方法

博客來連結:設計的方法

延伸閱讀:

該怎麼知道你的產品可行?驗證假說的六種方式,每個步驟都和行銷習習相關

廣告投放中的AB Test到底在AB測試什麼?繼續投放、或停止廣告,什麼時候該決定下一步?

2022年美國電商廣告的10個重要節日,跨境電商品牌不可不知的活動檔期(附2022全年度美國電商重要節日表)

「虛榮指標」是什麼?Facebook廣告、社群行銷的幻覺和興奮劑。

資料來源:

Concierge Testing versus Wizard of Oz Prototyping. What to Choose?

what in the ux is “wizard of oz testing”?Wizard of Oz testing – a method of testing a system that does not yet exist.

相關文章:

Buy me a coffee  用行動支持內容創作

文章對你有幫助嗎?用行動支持內容創作,小額贊助請我喝我一杯星巴克!

Buy me a coffee 是一個針對內容創作者的小額捐贈服務,以5美金為一單位,支援的付款方式包括信用卡、PayPal 和 Stripe,用小額捐款支持你喜歡的創作者,讓創作者可以更無後顧之後的產出更多優質內容。(Buy me a coffee不需要年費或合約,但平台會抽取5%當作服務費)

我預計把收到的打賞,用來支付網站營運和升級,例如虛擬主機、網址費用、網站版型,及購買和我的文章相關的好書,你的支持可以讓我有更長遠的動力寫出優質好內容。謝謝:)

Share:

Farry

Farry

Hi 我是Farry,你的廣告行銷顧問。我專攻跨國市場的廣告行銷策略,同時也是一名數位遊牧工作者。 進軍歐美市場、投放廣告、不確定你目標客戶在哪裡嗎?我有超過七年、一千三百萬台幣的海外廣告投放經驗,用Facebook、Instagram廣告,大量A/B測試,快速找出你的高轉換客戶,讓你的品牌開始獲利。

來信邀稿