AB Testing, quelques points de reflexion…

weboptimeez

J’ai toujours considéré le testing comme un moyen idéal pour piloter l’amélioration continue d’un site ecommerce pour plusieurs raisons :

Le testing c’est :

  • la fin de l’intuition, “Ideas should come from gut and decision from data”
  • la fin de la toute puissance de l’HiPPO (Highest Paid Person’s Opinion)
  • la fin de la guerre d’opinion : ergo vs webdesign | marketing vs developers… parce que les goûts et les couleurs, c’est subjectif !
  • le début de la rationalisation des projets d’optimisation
  • prendre des décisions “data-driven”
  • prendre des décisions en fonction de l’utilisateur, et je crois que c’est une des raisons les plus importantes !

Depuis que je travaille dans l’e-commerce, je n’ai jamais rencontré aucune résistance a l’implémentation du process de testing avant de prendre une décision par contre je me suis souvent retrouvé face a des problématiques récurrentes et dans un sens c’est rassurant ! Voici les 3 questions les plus fréquentes :

  1. “Alex, tu crois pas qu’on devrait tester la couleur du bouton en AB testing, attends je suis sure qu’en orange ca cartonne !”
  2. “Alex, je comprends rien les résultats sur Google Website Optimizer ils changent tout les jours”
  3. “Alex, je crois que le test AB ne marche pas, les résultats vont a l’encontre de toute logique”

Ce sont 3 vrais problèmes qui, selon moi, devraient s’adresser ainsi :

  1. Oui, si tu veux. Mais je ne pense pas qu’il soit nécessaire d’utiliser des ressources pour un mini test de ce genre, si tu veux qu’on le change en orange va pour orange et utilise Google Analytics pour suivre l’évolution du click-to-action. Le compteur d’événement sur Google Analytics est un bout de javascript très très rapide a installer (2 secondes, environ) et en divisant très simplement le nombre obtenu par le nombre de visites, nous obtenu “grosse maille” le click-to-action de ce bouton, ce qui selon moi est le meilleur KPI pour ce type d’optimisation.
  2. Oui, en effet ils changent tout les jours, du moins les premiers jours et ensuite d’expérience les chiffres se stabilisent et nous donnent une tendance qui se vérifient en général a la fin du test.
  3. Traduction “C’est n’importe quoi ton truc, les résultats sont a l’inverse de MA logique, de toute façon j’ai raison” Bon, la tout dépend de la personne en face de vous, mais en général, il vaut mieux prouver que techniquement tout va bien puis essayer de raisonner cette personne en lui expliquant que finalement l’utilisateur a sa logique a laquelle il est sain, d’un point de vue business, de se plier même si ça nous parait illogique mais que si il le désire on peut refaire le test plus tard OU plus rare allez a l’encontre du test AB car on a pas le choix.

Conclusion : le test AB est un outil génial mais il ne faut pas en abuser il n’est pas le seul outil qui permet de faire de l’optimisation ! même si les gens sont en général très enthousiastes a l’idée, il faut savoir convaincre de l’efficacité du test et bien sur savoir se remettre en question ! Enfin, c’est une très bonne façon de savoir rester user-oriented.