AB Testing, quelques points de reflexion…

J’ai toujours considéré le testing comme un moyen idéal pour piloter l’amélioration continue d’un site ecommerce pour plusieurs raisons :

Le testing c’est :

  • la fin de l’intuition, “Ideas should come from gut and decision from data”
  • la fin de la toute puissance de l’HiPPO (Highest Paid Person’s Opinion)
  • la fin de la guerre d’opinion : ergo vs webdesign | marketing vs developers… parce que les goûts et les couleurs, c’est subjectif !
  • le début de la rationalisation des projets d’optimisation
  • prendre des décisions “data-driven”
  • prendre des décisions en fonction de l’utilisateur, et je crois que c’est une des raisons les plus importantes !

Depuis que je travaille dans l’e-commerce, je n’ai jamais rencontré aucune résistance a l’implémentation du process de testing avant de prendre une décision par contre je me suis souvent retrouvé face a des problématiques récurrentes et dans un sens c’est rassurant ! Voici les 3 questions les plus fréquentes :

  1. “Alex, tu crois pas qu’on devrait tester la couleur du bouton en AB testing, attends je suis sure qu’en orange ca cartonne !”
  2. “Alex, je comprends rien les résultats sur Google Website Optimizer ils changent tout les jours”
  3. “Alex, je crois que le test AB ne marche pas, les résultats vont a l’encontre de toute logique”

Ce sont 3 vrais problèmes qui, selon moi, devraient s’adresser ainsi :

  1. Oui, si tu veux. Mais je ne pense pas qu’il soit nécessaire d’utiliser des ressources pour un mini test de ce genre, si tu veux qu’on le change en orange va pour orange et utilise Google Analytics pour suivre l’évolution du click-to-action. Le compteur d’événement sur Google Analytics est un bout de javascript très très rapide a installer (2 secondes, environ) et en divisant très simplement le nombre obtenu par le nombre de visites, nous obtenu “grosse maille” le click-to-action de ce bouton, ce qui selon moi est le meilleur KPI pour ce type d’optimisation.
  2. Oui, en effet ils changent tout les jours, du moins les premiers jours et ensuite d’expérience les chiffres se stabilisent et nous donnent une tendance qui se vérifient en général a la fin du test.
  3. Traduction “C’est n’importe quoi ton truc, les résultats sont a l’inverse de MA logique, de toute façon j’ai raison” Bon, la tout dépend de la personne en face de vous, mais en général, il vaut mieux prouver que techniquement tout va bien puis essayer de raisonner cette personne en lui expliquant que finalement l’utilisateur a sa logique a laquelle il est sain, d’un point de vue business, de se plier même si ça nous parait illogique mais que si il le désire on peut refaire le test plus tard OU plus rare allez a l’encontre du test AB car on a pas le choix.

Conclusion : le test AB est un outil génial mais il ne faut pas en abuser il n’est pas le seul outil qui permet de faire de l’optimisation ! même si les gens sont en général très enthousiastes a l’idée, il faut savoir convaincre de l’efficacité du test et bien sur savoir se remettre en question ! Enfin, c’est une très bonne façon de savoir rester user-oriented.

Multi-Channel Funnels, en savoir plus !

A défaut d’avoir assisté au webinar de Google Analytics sur le multi-channel funnel, je me suis rattrape sur la chaîne youtube de GA. La vidéo dure une grosse 1/2 heure, vous pouvez donc la visualiser ci-dessous ou voici en quelques bullet point l’essentiel a retenir selon mon point de vue :

  • Pourquoi le multi-channel funnel ? pour voir au-delà du dernier clic ayant généré le revenu et comprendre comment vos différentes sources interagissent ensemble et bien sur la finalité est de mieux gérer et dispatche vos investissements marketing.
  • Assisted conversion: cette dimension d’analyse est très intéressante car elle vous permet de connaître le rôle même indirecte de chaque source dans vos conversions en calculant les conversions indirectes car au delà de connaître le chemin qu’utilise vos prospects avec de transformer, certaines sources sont récurrentes et peuvent avoir un rôle prédominant dans le choix de vos prospects même si elles ne sont pas au dernier clic (comme les réseaux sociaux, par ex.)
  • Path length: cette dimension vous permettra de connaître le nombre moyen d’interactions qu’a le prospect avec votre marque avant de devenir client. Dans l’exemple cite pendant le webinar, l’analyse de cette dimension a mis en lumière la différence entre certaines sources (ex: un visiteur venant de CPC est plus rapide a transformer qu’un visiteur venant du display, ce type de constat a mené a une refonte des landing page)
  • Time Lag: comme son nom l’indique, cette dimension vient en sus du “path length” afin de savoir combien de temps s’est écoulé entre la 1ere interaction et la dernière ayant conduit a l’achat, le téléchargement, l’inscription… (quelque soit l’objectif que vous avez défini au préalable dans google analytics)
  • Top path: les chemins de conversion les plus fréquents, le titre vaut toutes les explications.

Le metric “Conversions associées à des interactions indirectes/Conversions associées à la dernière interaction” est aussi un metric très intéressant afin d’evaluer l’apport d’une source de le process. A retenir: plus le chiffre est eleve est plus cette source a un apport indirect et vice versa.

Pour plus de détails, je vous laisse regarder la vidéo: