Kas iš tikrųjų yra A/B testavimas ir kodėl jis nėra tik „techninis dalykas”
Daugelis e-komercijos verslininkų girdi frazę „A/B testavimas” ir iškart galvoja, kad tai kažkas skirta programuotojams ar duomenų analitikams su doktorantūros laipsniais. Realybė yra kur kas paprastesnė ir kartu įdomesnė. A/B testavimas – tai tiesiog metodas, kuriuo tu parodysi vienai lankytojų grupei vieną versijos variantą (A), o kitai – kitą (B), ir žiūri, kuris veikia geriau.
Tačiau čia ir prasideda įdomumas. Nes „geriau” gali reikšti labai skirtingus dalykus. Daugiau paspaudimų? Daugiau pardavimų? Mažiau atsisakymų krepšelyje? Ilgesnis laikas puslapyje? Kiekvienas iš šių rodiklių gali pasakoti visiškai skirtingą istoriją apie tai, kaip tavo klientai elgiasi ir ko jie iš tikrųjų nori.
Ir čia yra esminis dalykas, kurį dažnai praleidžia žmonės, tik pradedantys eksperimentuoti su A/B testavimu: tai nėra tik techninis įrankis. Tai mąstymo būdas. Tai kultūra, kurioje sprendimai priimami remiantis duomenimis, o ne „man atrodo” arba „mano draugas sakė”. Didžiausios e-komercijos kompanijos pasaulyje – Amazon, Booking.com, Zalando – vykdo šimtus testų vienu metu. Booking.com, pavyzdžiui, yra viešai kalbėjusi apie tai, kad jų komandos vykdo tūkstančius eksperimentų per metus. Tai nėra atsitiktinumas.
Ką galima testuoti e-parduotuvėje – ir ką tikrai verta
Teoriškai galima testuoti viską. Praktiškai – reikia būti strategiškam, nes kiekvienas testas reikalauja laiko, srauto ir resursų. Pradėkime nuo to, kas duoda didžiausią grąžą.
Produkto puslapiai yra vienas iš geriausių vietų pradėti. Čia klientas priima sprendimą – pirkti ar ne. Galima testuoti:
- Pagrindinio produkto nuotraukos formatą (viena didelė vs. galerija su miniatiūromis)
- „Į krepšelį” mygtuko spalvą, tekstą ir vietą
- Kainos pateikimo būdą (pvz., „Sutaupyk 30%” vs. konkretus eurų skaičius)
- Atsiliepimų rodymo vietą ir formatą
- Produkto aprašymo ilgį ir struktūrą
- Susijusių produktų bloko vietą
Pagrindinis puslapis – čia dažnai daug srauto, bet konversijų tiesiogiai mažiau. Vis tiek verta testuoti herojaus bannerį, navigacijos struktūrą, akcijų pateikimą.
Krepšelio ir atsiskaitymo srautas – tai yra aukso kasykla. Statistiškai, vidutinis krepšelio atsisakymo rodiklis e-komercijoje siekia apie 70%. Tai reiškia, kad 7 iš 10 žmonių, kurie pridėjo prekę į krepšelį, nebaigė pirkimo. Net nedideli pakeitimai šiame etape gali turėti milžinišką įtaką pajamoms.
El. pašto kampanijos – A/B testavimas čia yra beveik privalomas. Temos eilutė, siuntimo laikas, CTA mygtukas, personalizavimo lygis – visa tai gali dramatiškai keisti atidarymo ir paspaudimo rodiklius.
Kas tikrai neverta testuoti? Smulkmenos, kurios neturės jokio matomo poveikio konversijai. Pavyzdžiui, šrifto dydžio keitimas nuo 14px iki 15px footer’yje. Arba spalvos pakeitimas elemento, kurį mato 2% lankytojų. Testuok ten, kur yra pinigai.
Kaip teisingai sukonstruoti testą – ir kodėl dauguma klaidų įvyksta čia
Čia yra vieta, kur dauguma e-komercijos verslininkų padaro klaidas. Ne dėl to, kad jie kvaili – tiesiog niekas jiems nepaaiškino kelių pagrindinių principų.
Pirma ir svarbiausia: vienas kintamasis vienu metu. Jei tu keiti ir mygtuko spalvą, ir jo tekstą, ir jo vietą vienu metu – tu nežinosi, kas iš tikrųjų padarė skirtumą. Tai skamba akivaizdžiai, bet praktikoje žmonės nuolat tai daro, nes nori „sutaupyti laiko”. Rezultatas – duomenys, kuriais negali pasitikėti.
Antra: statistinis reikšmingumas. Tai gali skambėti baugiai, bet konceptas paprastas. Jei tu turi 50 lankytojų teste ir vienas variantas „laimi” – tai nieko nereiškia. Gali būti paprastas atsitiktinumas. Paprastai rekomenduojama pasiekti bent 95% statistinį reikšmingumą prieš priimant sprendimą. Yra nemokamų skaičiuoklių internete (pvz., Optimizely Sample Size Calculator), kurios padės apskaičiuoti, kiek srauto reikia.
Trečia: testo trukmė. Minimaliai rekomenduojama vykdyti testą 2 savaites, net jei statistinis reikšmingumas pasiekiamas anksčiau. Kodėl? Nes žmonių elgesys skiriasi priklausomai nuo savaitės dienos. Pirmadienio pirkėjas elgiasi kitaip nei šeštadienio pirkėjas. Jei tu sustabdysi testą po 3 dienų, gali gauti iškreiptus rezultatus.
Ketvirta: segmentacija. Kartais bendras rezultatas slepia labai įdomius skirtumus. Gali būti, kad variantas B veikia geriau mobiliems vartotojams, bet blogiau desktop vartotojams. Arba geriau naujiems lankytojams, bet blogiau grįžtantiems. Visada žiūrėk į segmentus.
Įrankiai, kuriuos naudoja realūs e-komercijos verslai
Rinka pilna įrankių, ir ne visi jie vienodai tinkami skirtingo dydžio verslams. Pabandykime tai suskirstyti praktiškai.
Mažam ir vidutiniam e-komercijos verslui:
Google Optimize – deja, Google jį uždarė 2023 metais. Bet jei esi Google Analytics 4 ekosistemoje, verta žiūrėti į VWO (Visual Website Optimizer) arba AB Tasty. Abu turi vizualinius redaktorius, kurie leidžia keisti puslapio elementus be programavimo žinių.
Optimizely – vienas iš rinkos lyderių, bet jo kaina gali būti per didelė mažam verslui. Jei esi Shopify platformoje, Shoplift arba Convert yra geros alternatyvos su specifinėmis e-komercijos funkcijomis.
Klaviyo – jei kalbi apie el. pašto A/B testavimą, šis įrankis yra beveik standartas e-komercijoje. Jis leidžia testuoti ne tik temos eilutes, bet ir siuntimo laiką, turinį, segmentus.
Dideliam e-komercijos verslui:
Čia jau kalbame apie Optimizely pilną versiją, Adobe Target arba net vidaus sprendimus. Taip pat svarbu turėti duomenų platformą (CDP), kuri leidžia tiksliai segmentuoti auditoriją testams.
Vienas praktinis patarimas: prieš investuodamas į brangų įrankį, pirmiausia išbandyk paprastesnius sprendimus. Dažnai 80% to, ko reikia, galima pasiekti su 20% kainos. Ir svarbiausia – įrankis nepadės, jei neturėsi proceso ir kultūros, kuri palaiko eksperimentavimą.
Hipotezės kūrimas – dalis, kurią visi praleidžia
Daugelis žmonių pradeda A/B testavimą nuo klausimo „ką pakeisti?”. Teisingas klausimas yra „kodėl tai pakeisti?”. Ir čia atsiranda hipotezė.
Gera hipotezė atrodo taip: „Manome, kad [pakeitimas] padidins [metriką], nes [priežastis, pagrįsta duomenimis arba vartotojo elgesio stebėjimu].”
Pavyzdys: „Manome, kad pakeitus ‘Pirkti’ mygtuką į ‘Pridėti į krepšelį’ padidės krepšelio papildymo rodiklis, nes heatmap duomenys rodo, kad vartotojai dažnai spaudžia mygtuką, bet nebaigė pirkimo – tai gali reikšti, kad jie nori tęsti naršymą, o ne iš karto pirkti.”
Kur rasti idėjas hipotezėms?
- Heatmap ir session recording įrankiai (Hotjar, Microsoft Clarity) – pamatai, kur žmonės spaudžia, kur sustoja, kur palieka puslapį
- Vartotojų apklausos – tiesiogiai klausk, kas trukdo pirkti
- Klientų aptarnavimo pokalbiai – dažnai čia yra aukso kasykla. Jei 10 žmonių per savaitę klausia to paties klausimo, tai yra signalas
- Analitikos duomenys – kur yra didžiausias „drop-off” rate? Kur žmonės palieka puslapį?
- Konkurentų analizė – ne kopijuoti, bet suprasti, ką kiti bando
Gera hipotezė taip pat padeda prioritizuoti testus. Jei turi 20 idėjų, bet resursų tik 5 testams – kaip pasirinkti? Naudok PIE framework: Potential (koks potencialus poveikis?), Importance (kiek svarbus šis puslapis/elementas?), Ease (kaip lengva įgyvendinti?). Kiekviena idėja gauna balus nuo 1 iki 10 pagal kiekvieną kriterijų, ir rikiuoji pagal bendrą sumą.
Rezultatų interpretavimas – kai duomenys meluoja (arba mes juos klaidingai skaitome)
Testo pabaiga nėra pabaiga. Tai tik pradžia kito, gal net sunkesnio etapo – rezultatų interpretavimo. Ir čia yra daugybė spąstų.
Spąstas #1: Per ankstyvas testo sustabdymas. Tai vadinama „peeking problem”. Tu žiūri į rezultatus kiekvieną dieną, ir kai pamatai, kad vienas variantas „laimi”, sustabdai testą. Problema ta, kad ankstyvieji duomenys yra labai nepastovūs. Statistinis reikšmingumas, pasiektas per pirmas 3 dienas, dažnai išnyksta per sekančias 2 savaites.
Spąstas #2: Novice mistake – „laimi” reiškia „visada geriau”. Gali būti, kad variantas B padidino konversiją 15%, bet sumažino vidutinę užsakymo vertę 20%. Bendra pajamų įtaka – neigiama. Visada žiūrėk į kelis rodiklius ir į bendrą poveikį pajamoms.
Spąstas #3: Sezoniniai efektai. Jei vykdai testą per Kalėdas arba per didelę akcijos savaitę – rezultatai gali būti visiškai nereprezentaciniai normaliam laikotarpiui. Pirkėjų elgesys per Black Friday yra kitoks nei vasario mėnesį.
Spąstas #4: Novelty effect. Kartais naujas dizainas ar elementas veikia geriau tiesiog todėl, kad yra naujas ir kelia smalsumą. Šis efektas išnyksta po kelių savaičių. Todėl ilgesnė testo trukmė padeda filtruoti šį triukšmą.
Ką daryti su neigiamais rezultatais? Tai yra labai svarbus klausimas. Jei tavo hipotezė buvo neteisinga – tai nėra nesėkmė. Tai yra informacija. Galbūt sužinojai, kad tavo klientai iš tikrųjų nori paprastesnio dizaino, o ne sudėtingesnio. Arba kad jie labiau reaguoja į socialinį įrodymą nei į nuolaidą. Kiekvienas testas, net „pralaimėtas”, prideda žinių apie tavo auditoriją.
A/B testavimas ir personalizavimas – kur viskas juda
Tradicinis A/B testavimas rodo vieną variantą vienai grupei, kitą – kitai. Bet e-komercija juda link kažko sudėtingesnio ir įdomesnio: personalizavimo. Ir čia A/B testavimas tampa tik pirmu žingsniu.
Įsivaizduok tokį scenarijų: tu sužinojai iš testų, kad nauji lankytojai geriau reaguoja į „Nemokamas pristatymas pirmam užsakymui” banerio variantą, o grįžtantys klientai geriau reaguoja į „Jūsų mėgstamos prekės vėl sandėlyje” tipo žinutę. Tradicinis A/B testavimas tau pasakė, kuris variantas geriau veikia bendroje imtyje. Personalizavimas leidžia rodyti kiekvienam segmentui jo „nugalėjusį” variantą automatiškai.
Tai vadinama multivariate testing arba personalization at scale. Įrankiai kaip Dynamic Yield, Nosto (populiarus Shopify ekosistemoje) arba Salesforce Personalization leidžia tai daryti. Bet svarbu suprasti: personalizavimas be A/B testavimo pagrindo yra kaip namas be pamatų. Pirmiausia suprask, kas veikia ir kodėl – tada automatizuok.
Kitas svarbus trendas – AI-driven optimization. Kai kurie įrankiai jau siūlo „multi-armed bandit” algoritmą, kuris automatiškai perstato srautą į geriau veikiančius variantus realiu laiku, nereikalaujant laukti testo pabaigos. Tai ypač naudinga, kai turi daug variantų arba kai srautas yra sezoniški nepastovus. Tačiau tai turi ir trūkumų – mažiau kontrolės ir sunkiau interpretuoti rezultatus.
Kai eksperimentavimas tampa verslo kultūra, o ne tik projektu
Pats didžiausias pokytis, kurį A/B testavimas gali atnešti į e-komercijos verslą, nėra konversijų padidėjimas procentais. Tai yra mąstymo pokytis. Kai komanda pradeda klausti „kaip mes galime tai išmatuoti?” prieš priimant bet kokį dizaino ar marketingo sprendimą – tai yra tikras lūžio taškas.
Praktiškai tai reiškia kelis dalykus. Pirma, reikia sukurti testų registrą – dokumentą ar sistemą, kurioje saugomi visi vykdyti testai, jų hipotezės, rezultatai ir išvados. Po metų ar dvejų šis registras tampa neįkainojamu žinių šaltiniu. Antra, reikia reguliarių „eksperimentų peržiūros” susitikimų, kuriuose komanda aptaria, ko išmoko ir ką testuos toliau. Trečia – ir tai gal svarbiausia – reikia kultūros, kurioje „pralaimėtas” testas nėra nesėkmė, o mokymosi galimybė.
Vienas praktinis patarimas mažesniam e-komercijos verslui: nepradėk nuo didelių, sudėtingų testų. Pradėk nuo el. pašto temos eilučių. Tai greita, pigu, ir rezultatai matomi per kelias dienas. Kai pamatysi, kaip tai veikia, natūraliai norėsi testuoti daugiau. Tai yra geriausias būdas įdiegti eksperimentavimo kultūrą – ne per didelį projektą, o per mažus, pastebimus laimėjimus.
Galiausiai, A/B testavimas yra ne apie tai, kad tu esi teisus ar neteisus. Jis yra apie tai, kad tavo klientai visada turi paskutinį žodį. Ir tai, tiesą sakant, yra pats gražiausias dalykas šiame metode – jis verčia tave klausytis, o ne tik kalbėti.
