Dossier metrics part3: AB testing, analyse de cohortes, funnel
Posted on October 27, 2011 by clement
Tweet
Nous avons vu dans la première partie une introduction aux metrics, dans la seconde partie comment bien choisir ses indicateurs clefs, dans ce troisième article dédié aux metrics nous allons voir ensemble trois “méthodes” qui permettent de récupérer intelligemment ces données et d’en faire bon usage. Ces méthodes étant: l’A/B testing, l’analyse en cohortes et le funnel.
A/B testing
Définition: l’A/B testing est un test qui permet de comparer l’efficacité de plusieurs versions d’une page qui doit mener le visiteur à réaliser une action précise. Par exemple pour tester l’efficacité de sa homepage à attirer et faire s’inscrire les visiteurs vous créez deux versions de votre homepage (la version A celle dite de “contrôle” et la version B dite de “test”) et ensuite les affichez de façon aléatoire à certains de vos visiteurs. Après un certain temps (suffisamment de visiteurs ayant vu ces deux versions) vous regardez quelle version de votre page a généré le plus d’inscriptions et en déduisez laquelle adopter.
Lorsque l’on veut tester une page ou des éléments de sa page avec ce type de test il faut vraiment adopter une méthode “scientifique”.
- Que cherchez-vous à tester (un meilleur taux d’inscriptions, plus de téléchargements de son eBook, moins d’abandons de panier… )?
- Quels sont les éléments clefs à tester (une image, un call to action, la couleur d’un bouton, la présence de témoignages clients…)? C’est votre hypothèse.
- Sur quel pourcentage de visiteurs tester ces variations (50%-50% ou sur un échantillon plus petit)? Combien de temps laisser tourner l’expérience?
- Comment bien interpréter les résultats et choisir la meilleure solution?
Sur le format de l’A/B testing il existe plusieur modèle:
- “l’A/B experiment”: on teste deux versions d’une page, ces deux pages étant différentes
- le “multivariate experiment”: sur une même page on teste la combinaison de plusieurs sections de cette page. Ex: j’ai un header composé d’une image et d’un headline. Je veux tester deux headlines différents et deux images différentes. Cela fait 4 combinaisons possibles (Headline A + Image A, Headline A + Image B, Headline B + Image A, Headline B + Image B). Gràce au multivariate experiment vous pouvez tester ces 4 combinaisons sur une même page et voir laquelle est la plus efficace.
Metrics: l’avantage de l’A/B testing est de pouvoir obtenir des données “brutes” sur l’efficacité de ses pages et de ses hypothèses. Les focus group ou la demande d’avis direct à des utilisateurs ne donne pas forcément des résultats “fiables”, un être humain ne sais pas forcément décrire rationnellement ses besoins. En utilisant l’A/B testing vous savez vraiment, chiffres à l’appuie, si tel version du bouton ou tel argumentaire sur la proposition de valeur convertissent vos visiteurs. Comme dit Dave McClure dans la vidéo de l’article précédent “”A/B test a shit lot”.
Exemple: Pour voir un exemple concrêt d’expérimentation d’A/B testing je vous conseille l’article de 37 Signals qui a testé différents headlines pour savoir lequel était le plus attractif pour les visiteurs et convertissait le mieux en termes d’inscriptions.
Pour plus d’études de cas je vous conseille vivement la lecture de “The Ultimate Guide To A/B Testing”.
L’accroche de base: (c’est elle qui a le moins converti durant cette expérience):
La version la plus efficace qui a mené à +30% de sign up:
une autre version qui a amélioré la conversion de base mais de 7% seulement.
Remarques:
La question se pose sur la taille de l’échantillon. Logiquement plus vous avez de visiteurs plus la durée de l’expérience sera courte (si vous avez 4000 visiteurs uniques/jours sur la page testée vos résultats seront plus significatifs rapidement que si vous en avez 10/jour). Malgré tout, même si au début vous n’avez pas un trafic monstre l’A/B testing reste une option intéressante. Comme toute expérience scientifique l’important et de bien rédiger son hypothèse et bien choisir les éléments testés, même avec de petits échantillon les résultats peuvent être validés.
Comment mettre cela en place concrêtement?
Voici une liste d’outils permettant de réaliser des A/B test:
- Google Website Optimizer (gratuit)
- Optimizely (payant)
- Visual Website optimizer (payant)
- une liste complète d’outils d’A/testing.
Personnellement je n’ai testé que Google Website Optimizer. Si vous avez quelques bases en html/javascript il n’y aura aucun problème pour vous lancer rapidement dans l’A/B testing. En gros il faut soit créer deux versions d’une même page puis y ajouter un code javascript qui va automatiquement distribuer vos pages à vos visiteurs et récupérer les résultats ou soit implémenter des balises spécifiques dans le contenu de ses pages pour du “multivariate experiment.” La documentation fournie par Google est très complète et suffisante pour non seulement se lancer mais également apprendre à interpréter les résultats.
Analyse en cohortes
Definition: L’analyse de cohortes est une méthode qui permet de suivre de façon fine l’évolution du comportement de ses utilisateurs/inscrits au long du temps.Tout d’abord qu’est-ce qu’une cohorte? Une cohorte (dans notre cas) est un groupe d’utilisateurs qui partagent une (ou des) caractéristique commune. Communément on regroupe les utilisateurs en cohortes par date d’inscription: la cohorte 1 correspondant à tous les utilisateurs s’étant inscrits sur votre service au mois de mars, la cohorte 2 sera composée des inscrits d’avril, la 3 de mai etc…
Il est possible d’affiner les cohortes en prenant en compte plus de facteurs comme leur sexe (tous les inscrits de mars et qui sont de sexe masculin), leur canal d’acquisition (tous les inscrits venus via Facebook, ceux par seo, les autres par affiliation etc…).
Une fois que vous avez choisi vos types de cohortes il faut surveiller l’évolution dans le temps des metrics d’engagement et de rétention que vous avez défini pour votre service (voir article précédent) pour chacune de ses cohortes.
Par exemple, j’ai défini mon indicateur de rétention “utilisateur actif” comme: l’utilisateur s’est connecté au moins 2 fois durant le mois écoulé. Pour ma cohorte 1 (utilisateurs inscrits en Mars) ce taux d’activité est de 90% (90% des membres de cette cohorte se sont connectés au moins 2 fois en Mars), le mois suivant (avril) je remarque que pour cette cohorte 1 le taux d’activité tombe à 30% et au mois de juin à 20%, chiffre qui se stabilise ensuite pour les mois suivant à 20%.
Je peux ensuite conduire le même suivi pour la cohorte 2 (inscrits du mois d’avril) et constater qu’en avril j’ai toujours un taux d’activité de 90% pour cette cohorte mais qu’en mai il est de 50% (supérieur à la cohorte 1) et le taux se stabilise à 30% (contre 20% pour la cohorte 1).
Vous le voyez l’intérêt de l’analyse en cohortes est de pouvoir comparer les metrics entre groupes d’utilisateurs et de mesurer votre progression non seulement dans le temps mais aussi basé sur des facteurs plus “fins” comme leur canal d’acquisition, leur sexe, leur age etc… On ne tombe pas dans le piège de l’analyse des chiffres “bruts”: total inscrits etc…
Imaginons que je sois le propriétaire d’un site d’e-commerce. Je segmente alors mes acheteurs en cohortes prenant en compte leur canal d’acquisition: les acheteurs venu via Facebook, ceux par Twitter, ceux par seo, ceux par sem et enfin ceux acquis par affiliation. En analysant pour chacune de ces cohortes leur taux de répétition d’achats dans le temps je me rends compte que les utilisateurs acquis via Facebook et sem achètent ensuite beaucoup plus régulièrement que les acheteurs acquis par seo ou affiliation. Je peux donc analyser mes canaux d’acquisition et leurs performances respectives et savoir lesquels privilégier.
Je vous conseille également la lecture de l’excellent article de l’ami Guilhem sur son blog à propos des cohortes.
Metrics: l’important dans cette méthode d’analyse est non seulement de regrouper vos utilisateurs en cohortes suivant les facteurs pertinents pour vous (par date d’inscription, par canal d’acquisition, par sexe etc…) mais surtout ensuite de choisir les bons indicateurs à appliquer à ces cohortes.
Pour cela définissez vos indicateurs de rétention (utilisateur actif = connexion une fois par semaine ou une fois par mois etc…) et vos indicateurs d’engagement.
Les indicateurs d’engagement dépendent du type de votre service: s’il s’agit d’une application de partage de photos il s’agira par exemple du nombre de photos partagées par mois et par utilisateur. Faîtes tourner la moulinette sur vos cohortes pour voir si vos utilisateurs partagent de plus en plus de photos (par cohorte et non pas globalement). Si vous avez un site d’e-commerce la répétition d’achats, s’il s’agit d’un réseau social du nombre d’interactions/mois sur la plateforme (commentaires, partages etc…). Bref il n’y a pas de rêgle générale il faut vous pencher sur vos indicateurs d’engagement perso.
Exemple:
Pour illustrer tout cela prenons un exemple concret. Le scénario est fictif mais le voici: je lance mon site (disons un site permettant de suivre ses finances personnelles) qui est gratuit pour le moment. Le lancement se déroule durant la 2ème semaine de mars et pour l’instant je veux suivre le taux de rétention de mes utilisateurs.
Je définis le taux de rétention comme étant: l’utilisateur s’est au moins connecté une fois pendant la semaine écoulée.
Voici ce que donne le tableau d’analyse en cohorte lorsque je le produit à la date de la 1ère semaine d’avril (soit 4 semaines après le lancement):
Comment le lire?
- chaque ligne correspondant à une cohorte (que je définis comme les inscrits d’une semaine précise)
- chaque colonne correspond au nombre de semaine passé pour chaque cohorte. Par exemple la première semaine correspond pour chaque cohorte à sa semaine d’inscription. La colonne 2 à la semaine d’après leur semaine d’inscription, la 3ème colonne à semaine + 3 etc…
- pour chaque cohorte et chaque semaine je donne le % d’utilisateurs actifs.
Quel analyse à faire de ce tableau?
- en semaine 1 pour chaque cohorte il y a 100% d’actifs, normal vu que je définis l’activité comme au minimum une connexion par semaine et que lors de l’inscription ils sont automatiquement connectés.
- pour la cohorte 1, je vois que dés la semaine 2 ce taux chute à 40% et se stabilise ensuite à 20%. C’est ma première version du site, à voir donc.
- pour la cohorte 2: je vois qu’en semaine 2 et 3 mes taux d’activations sont meilleurs, entre temps j’avais apporté quelques améliorations qui ont apparemment porté leurs fruits.
- cohorte 3: je vois qu’en semaine 2 j’ai à peine 30% d’activation! grosse chute même par rapport à ma première cohorte, alors que j’avais amélioré mon produit en semaine 2… Mais quand je creuse les chiffres je remarque qu’en cohorte 1 et 2 j’ai 50 inscrits/semaine et pour la cohorte 3 ça monte à 200! En réalité la promotion de mon site sur un gros blog a augmenté mes stats d’inscriptions mais ces lecteurs n’étant pas dans mon coeur de cible la rétention est faible.
Comment mettre en place son analyse en cohortes ?
Je n’ai pas encore testé ces deux solutions, sur mes projets personnels j’utilise une solution “maison”.
Funnel analysis
Définition : un funnel est une succession d’étapes qui doivent guider le visiteur à réaliser une action. Par exemple l’inscription d’un membre : homepage -> bouton signup -> formulaire d’inscription -> inscription.
L’analyse de funnel consiste à mesurer vos taux de conversion sur chaque étape. Si on reprend le funnel précédent vous aurez 100% de visiteurs sur votre homepage, 30% cliqueront sur signup et 15% rempliront jusqu’au bout le formulaire pour s’inscrire.
L’intérêt de décomposer tous vos funnel et de mesurer les taux de conversion successifs est bien sur d’analyser ou sont les goulets d’étranglement (vous voyez que sur une page un taux anormalement élevé d’abandons se produit) et d’optimiser vos parcours.
Les raisons d’abandon sont nombreuses : mauvais design, trop d’éléments qui viennent distraire le visiteur, call to action pas assez visibles, formulaires trop longs/compliqués etc… mais ce n’est pas le but de cet article, je n’approfondirai pas le sujet.
Metrics : la première chose à faire est de recenser et décomposer tous vos parcours qui mènent à ce que le visiteur accomplisse une action (un enregistrement, un achat, le partage de ses contacts etc..). Puis sur chaque étape de vos parcours de mesurer et analyser vos taux de conversion.
Exemple :
Reprenons l’exemple du parcours homepage vers inscription. Pour ce parcours j’ai trois étapes et deux pages : tout d’abord le visiteur arrive sur la homepage, ensuite il clique sur le bouton « Sign Up » et arrive sur le formulaire d’inscription qu’il doit remplir et valider pour s’inscrire.
De ce funnel de conversion on peut dire :
- Il y a un taux d’abandon énorme sur le formulaire d’inscription, peut être est-il trop long, que les informations demandées inquiètent les visiteurs etc… bref il faut tester quelques variations.
- Il est peut être intéressant de tester des homepages différentes pour voir si on peut améliorer le taux de visiteurs cliquant sur « sign up ».
Comment mettre en place des analyses de funnel?
Tous les articles du dossier indicateurs et metrics:
- part 1: introduction
- part 2: choisir ses indicateurs
- part 3: AB testing, analyse de cohortes, funnel
- part 4: pour aller plus loin: sources et ouvrages
Pingback: Dossier metrics et indicateurs clefs: introduction | Clement vouillon