Proč nepoužívat A/B testování

Výrazy jako A/B testování, optimalizace konverzního poměru, optimalizace vstupní stránky… vidím tak často, až bych řekl, že postupně nahrazují tak oblíbené SEO. Nespekuluji o důvodech, ani o tom, jestli to je, nebo není pravda, jedná se o naprosto odlišné činnosti, které spolu ale úzce souvisí.

 

Pravda je, že uvedené služby klienti častěji poptávají, jak to ale může vypadat ilustruje zkrácená ukázka jedné takové konverzace:

– můžete mi připravit nabídku na A/B testování?

– mohu vědět, jaký důvod k tomu máte?

– náš ajťák říkal, že nám to zvýší konverzní poměr

– jaký máte přibližně konverzní poměr?

– myslím asi půl procenta…

 

Babička mi kdysi říkala, že myslet znamená h… vědět. Bez urážky. Konverzní poměr byl ve skutečnosti vyšší, návštěvnost webu nízká, problémů k odstranění hodně, rozpočet tak akorát… a ve výsledku to dobře dopadlo. I bez A/B testování, protože při zmíněné návštěvnosti by experiment běžel ještě na konci letošního léta.

Ale právě nízká návštěvnost byla hlavním důvodem, proč jsme klientovi testování nedoporučili, přesto se nám ze stávajících zákazníků webu podařilo vytěžit více peněz.

 

Cílem ukázky konverzace ale bylo ukázat, s jakou představou mohou klienti přicházet. I kdyby bylo možné testování nasadit, stále se nejedná o izolovaný proces, před jeho spuštěním bychom potřebovali scénář a hypotézu, abychom věděli do čeho se pustit, jak postupovat a jaké jsou cíle a očekávání. K tomu slouží celá řada postupů, které mohou pomoci i v případě, že k testování nakonec z jakýchkoliv důvodů nedojde.

 

1. Data z webové analytiky

Údaje z webové analytiky, např. Google Analytics, jsou výborný způsob, jak najít problém. Najít, ale ne vyřešit. Zároveň je nutné data rozsekat – typicky při hledání problému na vstupní stránce kampaně oddělit návštěvníky z PPC od, v podstatě náhodných, návštěvníků z přirozeného vyhledávání.

2. Uživatelské testování

Nejsem velkým fanouškem uživatelského testování pro získání statisticky významných dat při hledání chyb na běžícím webu. Vzorek uživatelů je obvykle příliš malý, může se lišit od cílové skupiny, chování lze snadno ovlivnit nevhodným vedením a špatným scénářem a navíc zde vždy existuje pravděpodobnost, že účastníci mají vyšší motivaci k dokončení úkolu, minimálně z důvodu, aby se neztrapnili.

 

Uživatelské testování je skvělé a prakticky nezastupitelné při tvorbě webu, kde si ověřujeme, že uživatel chápe záměr, logiku ovládání, kliká tam, kde to očekáváme a reaguje na podněty tak, jak předpokládáme.

 

3. Heatmapy

Výhodou heatmap je fakt, že pracují s interakcí reálných uživatelů, a na rozdíl od uživatelského testování pracují se všemi uživateli. Z heatmap je dobře vidět, kam uživatelé klikají, nebo naopak neklikají, jak pohybují myší, které části stránky vidí a kam se vůbec nedostanou. Nevýhodou je absence zpětné vazby – vidíme co dělají, ale nevíme proč.

 

4. Dotazníky, on-line chaty

Dobrý způsob, jak doplnit údaje z předchozích dvou bodů a při dobrém použití i způsob, jak získat údaje přímo od zákazníka – a to především od toho, který s nákupem, resp. konverzí obecně, váhá, nebo je z nějakého důvodu nespokojen. Prakticky žádným jiným způsoben nelze dostat informace o tom, že např. cena je příliš vysoká, dostupnost zboží nejasná, doprava drahá, výdejní místo má nevhodnou otevírací dobu…

 

5. „Best practices“

Při nevhodném použití jedna z nejhorších možností, protože často zahrnují i různé mýty a polopravdy. Opravdu je červené tlačítko nejlepší? Možná ano, na některém webu fungovat bude, ale na jiném ne.

 

Jak školí třeba Honza Kvasnička – je potřeba rozlišovat mezi tím, co se traduje a mezi zvyklostmi. Že by nákupní košík měl být umístěn vpravo nahoře je zavedený zvyk, že tlačítko musí být červené (zelené, modré…) je polopravda, která může být založena na case study konkrétního webu.

 

6. Analýza použitelnosti

Analýza webu bývá poměrně rychlý a levný způsob, jak najít a částečně vyřešit hlavní problémy. Obvykle kombinuje data z analytiky se znalostmi a zkušenosti. Přínos analýzy je výrazně ovlivněn osobou hodnotitele, srovnejme například s právníky. Při kauze mají k dispozici stejná fakta, stejné vzdělání, ale výsledek procesu významně záleží na interpretaci dat (faktů), znalostech a zkušenostech.

 


To je tedy šest postupů, které pomohou při ladění webu. A v ideálním případě pro stanovení hypotéz pro A/B testování. Konečně se tedy dostávám k poněkud kontroverznímu titulku – proč A/B testování nepoužívat.

 

Samozřejmě že ho máte používat – pokud můžete. Kalkulátor AB testování od Optimizely spočítá, jaká je velikost vzorku (návštěvnosti) pro odpovídající výsledek. Jako příklad použijeme vstupní stránku, která má míru konverze 1%, cílem je 30% zlepšení a chceme, aby byl výsledek na 95% statisticky signifikantní. Pro testování připravíme a budeme měřit dvě varianty.

 

Podle kalkulačky vidíme, že velikost vzorku je 19000 pro každou variantu, budeme tedy potřebovat cca 40000 návštěvníků na testované stránce. Na stránce – ne na celém webu!

 

Problém, se kterým se ale setkáváme, je, že testování poptávají i klienti, pro které uvedený vzorek představuje návštěvnost na dané stránce za několik měsíců. Druhým problémem bývá, že klient má o testování zkreslenou představu, očekává, že na stránce vyměníme oranžové tlačítko za zelené a za týden budeme znát výsledek.

 

Co ale dělat, pokud je návštěvnost malá?

Obvykle používám řešení, které je systémově nesprávné, přesto s ním dosahujeme velmi dobré výsledky. Zahrnuje zpracování analýzy použitelnosti s použitím dat z analytiky, následně jsou buď odstraněny hlavní zjištěné chyby, nebo jsou pro ověření implementovány heatmapy a další sledovací nástroje. Tato fáze má často významný pozitivní dopad, případně nám nástroje ukáží další, dříve nezjištěné překážky.

 

Výhodou je, že většinou nepracuji s jednou konkrétní stránkou, ale s celým webem, a výsledkem je často zlepšení konverzního poměru o desítky procent.

 

Nevýhodou, resp. hlavním důvodem, proč se jedná o nesystémové řešení je, že pracujeme s ostrou produkční verzí a prováděné změny tak mohou mít i negativní dopad, kdy by bylo nutné se vrátit k původní verzi. Z tohoto pohledu je postup potencionálně rizikový.

 

Závěr

A/B testování rozhodně nezavrhuji, naopak.

Pokud máte dostatečnou návštěvnost, rozpočet a víte, čeho chcete dosáhnout, není o čem přemýšlet.

Pokud ne, pak už znáte postupy, které ho částečně dokáží nahradit.