Kiedy Google Optymize Cię oszukuje?

Kiedy Google Optimize Cię oszukuje?

Google Optimize to potężne narzędzie do testów A/B, z którego mamy możliwość korzystać bez opłat. Niestety – jego twórcy nie uniknęli wad i błędów, które czasem mogą doprowadzić testera do nieprawidłowych wniosków. W tym artykule omawiamy dwa częste komunikaty, które mogą nas zmylić, a także – ku przestrodze – jedną sytuację anegdotyczną.

Fix Analytics

 

Nie znajdziemy zwycięskiej odmiany… nie przerywaj eksperymentu!

 

Kiedy wdrożymy na stronę eksperyment, zdarzyć się może, że już następnego dnia w Optimize naszym oczom ukaże się następujący komunikat:

Komunikat z narzędzia Google Optymize

W pierwszej chwili możemy odczytać go jako porażkę – symbol przypominający zakaz wjazdu lub impas, a także główny komunikat w formie stwierdzenia zdają się mówić o tym dobitnie. Jednak dalej informacja mówi „tylko” o małym prawdopodobieństwie znalezienia zwycięskiej odmiany, co nie brzmi już tak stanowczo.

 

Na taki komunikat trafić możemy w przypadku, gdy liczba sesji w eksperymencie jest niewielka. Jeżeli utrzyma się ona na takim poziomie, znalezienie zwycięskiej odmiany istotnie może nie być możliwe. Zdarzyć się może jednak, że – na przykład – eksperyment został włączony przed weekendem, a specyfika strony sprawia, że znaczna większość ruchu na niej ma miejsce w dni robocze. W takim wypadku następnego dnia komunikat może się zmienić.

Komunikat z narzędzia Google Optymize na temat trwającego eksperymentu

Okazuje się więc, że Optimize już dzień po zaleceniu zakończenia eksperymentu może nakazywać Ci nieprzerywanie go. Warto więc zachować zasadę ograniczonego zaufania wobec komunikatów Google Optimize.

Antykryzysowy raport GDS

 

Gdy się tester śpieszy, to się Google nie cieszy

 

Podobno Albert Einstain w swojej pierwszej pracy w urzędzie patentowym nie wzbudzał zbyt wielkiej sympatii wśród koleżanek, ponieważ tak zarządzał swoim czasem, że wyrabiał dzień pracy już po 2-3 godzinach (źródło: Historia Bez Cenzury)

Zdarzyć się może, że jako podobny brak życzliwości ze strony Google Optimize odebrać możemy poniższy komunikat.

Komunikat z narzędzia Google Optymize na temat zakończenia eksperymentu

Szare tło, symbol zakazu lub skreślenia, wczesne zakończenie i zdawać by się mogło, krótka i chłodna informacja. Taki komunikat z pewnością odebrać można jako niepowodzenie lub przynajmniej powód do uzasadnionych wątpliwości w rzetelność testu. Co jednak w sytuacji, gdy test trwa 12 z oczekiwanych przez Google 14 dni?

Wyniki z narzędzia Google Optymize

Na powyższym screenie zobaczyć można wyniki testu, który polegał na przeniesieniu przycisku z desktopowej wersji strony na wersję mobilną, gdzie wcześniej był nieobecny. Test miał sprawdzić, czy użytkownicy będą chętnie korzystać z nowego przycisku. Dał on miażdżący wynik ~100% prawdopodobieństwa najlepszej kombinacji. Jednak nawet w tak oczywistej sytuacji nie otrzymamy upragnionej informacji o zwycięskiej wersji, jeżeli test nie trwał przynajmniej 2 tygodnie.

Semahead CSS

 

Kod przeciw miganiu – czyli tam i z powrotem

 

Dwie powyższe sytuacje mogą zdarzać Ci się często lub przynajmniej od czasu do czasu, w zależności od tego, jakie testy wykonujesz i na jakiej stronie. Na koniec zostawiliśmy jeszcze jedną bardziej nietypową sytuację.

 

Każdy użytkownik Google Optimize, który ma już za sobą przynajmniej parę testów, zna dobrze jedną z niewielu rzeczy, które na stronę musi wdrożyć developer – kod zapobiegający migotaniu. Jego zadaniem jest przeciwdziałanie sytuacji, w której w przeglądarce użytkownika załadowana jest najpierw oryginalna wersja strony, a dopiero potem nałożony na nią test.

Błąd z instalacją fragmentu kodu Optymalizacji na stronie

Na powyższym screenie przeczytać można ostrzeżenie, pojawiające się w sytuacji, kiedy Optimize wdrożone zostało za pomocą Tag Managera, a w kodzie antymigawkowym podano id kontenera GO. Zgodnie z instrukcją od Google w takim przypadku powinniśmy wykorzystać id kontenera GTM.

 

Podczas przygotowania do prowadzenia testów na pewnej stronie zdarzyło nam się zobaczyć taki właśnie komunikat. Przekazaliśmy więc klientowi, aby podmienił we fragmencie kodu id kontenera Optimize, na id Tag Managera.

Komunikat o prawidłowej instalacji kodu optymalizacji

Okazało się jednak, że po tym wdrożeniu kod, który dotychczas dobrze spełniał swoją funkcję, przestał właściwie działać, a miganie zaczęło występować. Trzeba więc było powrócić do poprzedniego, skutecznego wdrożenia i pogodzić się z kolejnym mylącym komunikatem.

 

Warto więc korzystać z Google Optimize. Nie zapominajmy jednak, że – jak w przypadku większości narzędzi – trzeba pamiętać o sprawdzaniu otrzymanych wyników. Wówczas zdecydowanie zwiększamy szansę uniknięcia wpadek.

Kontakt z agencją Semahead