Článek
Můžete mít nápad. Můžete svému nápadu věřit a podpořit svůj instinkt příklady z minulosti. Ale pokud chcete mít jistotu, že váš nápad funguje, nejlepší je ověřit jej v praxi. To je samotná podstata vědecké metody, jsou na ní založené třeba klinické testy ověřující bezpečnost a funkčnost nových léků.
Zatímco ověřit funkčnost nového léčebného prostředku je nesmírně drahé, v prostření internetových stránek se experimentuje mnohem snáze. Zkrátka návštěvníky webu rozdělíte náhodně do dvou skupin. Může to být půl na půl, ale také třeba 99:1. A těch skupin může být více, klidně sto. Všem ukážete stejnou stránku, jen nějaká maličkost bude odlišná. Pak posbíráte data o tom, jak se tyto dvě skupiny uživatelů chovaly, a máte výsledek.
A když jste firma o velikosti Googlu, může být i procento návštěvníků opravdu významné číslo. Takový experiment má tedy velkou vypovídající hodnotu.
Modrá je dobrá, ale která?
Této praxi se obvykle přezdívá A/B testování nebo „split test“. Tedy od slova rozdělit, protože rozdělíte uživatele na skupiny. Typickým příkladem je něco tak jednoduchého, jako odlišná barva tlačítka. Zajímá vás, zda by mělo být tlačítko „Koupit“ na vašem webu modré, nebo zelené? Můžete mít spoustu teorií o tom, proč zrovna ta či ona možnost naláká více lidí ke koupi. Ale není nad tvrdá data. Prostě to vyzkoušejte a uvidíte.
Některé firmy na A/B testování nedají dopustit. Třeba Netflix se přímo označuje za firmu, která je na A/B testech založená: „Netflix funguje na základě kultury A/B testů. Téměř každé rozhodnutí, které v souvislosti s naším produktem a podnikáním učiníme, se řídí chováním uživatelů, které pozorujeme skrze testování,“ píše firma na svém blogu.
Mezi první průkopníky A/B testů ale patřila firma Google, která s nimi začala už před více než dvaceti lety. Dokonce se u nich tomuto „datovému umění“ údajně učil svého času i prezidentský kandidát Barack Obama. Nejslavnějším A/B testem vyhledávače Google je zřejmě jeho hledání nejlepší modré barvy.
Google pod vedením Marissy Mayerové otestoval 41 odstínů modré barvy, aby zjistil, která vede k nejvyšší míře prokliků. Přestože rozdíly mezi jednotlivými modrými barvami byly malé, v celkovém součtu to mohou být velká čísla. Firma na tomto zdálnivě nepatrném experimentu podle některých propočtů vydělala přibližně 200 milionů dolarů.
Ruší reklamy uživatele?
Na jiném experimentu – možná nejdéle běžícím A/B testu firmy – naopak Google peníze prodělal. Shodou okolností byla v hlavní roli opět Marissa Mayerová, která jej popsala pro nedávnou epizodu podcastu Freakonomics.
Mayerová, která do Googlu nastoupila jako jeho dvacátý zaměstnanec, pracovala ve vyhledávači až do roku 2012. Pak pokračovala jako šéfka konkurenčního Yahoo a nyní vede málo známou firmu Sunshine. V podcastu vzpomínala na to, jak se v samotných počátcích vyhledávání Google rozhodovali, jakým způsobem službu zpoplatnit.
Očekáváme, že vyhledávače financované reklamou budou ze své podstaty zaujaté pro inzerenty a odkloněné od potřeb spotřebitelů.
Jako nejlepší a nejjednodušší se v tomto směru jevily reklamy, které by se uživatelům zobrazovaly nad výsledky vyhledávání. Ale někteří členové týmu je považovali za příliš rušivé. Vždyť i samotní zakladatelé – Larry Page a Sergey Brinn – ve své prvotní analýze psali o reklamách s jistým opovržením: „Cíle reklamního obchodního modelu ne vždy odpovídají poskytování kvalitního vyhledávání uživatelům,“ napsali v roce 1998. „Očekáváme, že vyhledávače financované reklamou budou ze své podstaty zaujaté pro inzerenty a odkloněné od potřeb spotřebitelů.“
Proč ale podléhat dojmům, když si můžeme snadno obstarat tvrdá data? Mayerová přišla s nápadem na A/B experiment. Jedno procento uživatelů přesměrovala na verzi vyhledávače Google bez jakýchkoli reklam. Za měsíc se pak chtěla podívat, zda se tito uživatelé nějak liší od zbývajících 99 procent, kterým se reklamy zobrazovaly.
Nejdražší test v historii?
Jenže rok 2000 byl nejen pro Google plný zajímavých událostí a experiment se Mayerové vytratil ze zorného pole. Vzpomněla si na něj až v roce 2008, když za ní přišel jeden z kolegů: „Máme problém s inzerenty, volají na naši linku a jsou velmi naštvaní, protože platí za zobrazování reklamy a pak své reklamy nevidí a nemohou si ověřit, zda jsou spuštěny.“
Když zjišťoval, proč tomu tak je, všiml si, že jsou tito klienti zařazeni do jakési testovací skupiny „Vůbec žádné reklamy“.
Mayerová se zhrozila: „Chceš mi říct, že ten experiment, který jsem naprogramovala v roce 2000, pořád běží?“
Experiment běžel osm let a jedná se možná o nejdelší takový test v historii. A jestli ne nejdelší, tak skoro určitě nejdražší. Reklamy jsou hlavním zdrojem příjmů firmy Google. Pokud se náhodně vybranému jednomu procentu uživatelů reklamy nezobrazovaly, je to v podstatě, jako kdyby firma přišla o procento svého příjmu. Takže jde přibližně o stovky milionů dolarů. S tím, jak stoupaly příjmy Googlu, stoupaly i ušlé zisky z lidí, kteří žádné reklamy neviděli.
Často totiž získáte kvalitnější výsledek od někoho, kdo je ochoten za zobrazení odkazu zaplatit.
Když už ale experiment proběhl, bylo by škoda nezjistit, jak dopadl. Co tento megadrahý A/B test zjistil?
„Zaznamenali jsme o tři procenta více vyhledávání od lidí, kteří měli reklamy, než od těch, kteří je neměli,“ shrnula Mayerová. „V podstatě existoval znatelný rozdíl v dlouhém časovém období, že se lidem skutečně více líbily výsledky vyhledávání Google a více vyhledávali, když měli reklamy, než když je neměli, což mi přišlo opravdu přínosné.“
Čtete správně. Lidé, kteří viděli reklamy, si vyhledávač oblíbili měřitelně více. Jedno z možných vysvětlení spočívá třeba v tom, že reklamy mohou v některých případech nabídnout doplňující odkazy, které lidem v testovací skupině chyběly: „Často totiž získáte kvalitnější výsledek od někoho, kdo je ochoten za zobrazení odkazu zaplatit,“ spekuluje Mayerová. Když třeba vytváříte aplikaci a řeknete si, že jste ochotni zaplatit za reklamu, říkáte tím vlastně, že už jste s aplikací spokojení. Další možností jsou reklamy vedoucí k nákupu: pokud hledáte nějaký produkt, je velká šance, že reklamy zobrazující se vysoko nahoře jsou ty, které vás snadno dovedou k nákupu.
Řazení reklam je nezávislé na řazení výsledků vyhledávání. Reklamy se lidem zobrazují na základě klíčových slov a následné „dražby“. Inzerenti si předem určují, kolik jsou ochotni za proklik zaplatit.
Stejně tak by se ale dalo říci, že minimálně v některých případech dají za reklamu více peněz firmy, které nemají příliš dobrou pověst, a musejí si tak „připlatit“, aby se dostaly na výsluní pozornosti. Nebo ty firmy, které nabídnou produkt s vyšší marží, a mohou si tedy dovolit vyšší cenu za reklamu.
Výsledek nejdražšího experimentu je také potřeba brát v kontextu toho, že jej prezentuje (byť bývalá) zaměstnankyně firmy. Tento experiment ukázal, že „lidé na vyhledávači Google chtějí reklamy“. Což se hodí, protože to je způsob, kterým Google – a nejen Google, ale velká část internetových firem – vydělává většinu svých peněz. Kdyby experiment dopadl opačně, dost možná o něm nikdy neuslyšíme.
