Comment mettre en place une démarche d’optimisation continue (CRO – AB testing)

Tout d’abord je tiens à préciser que je ne me considère pas (encore) comme expert de l’optimisation de la conversion, mais j’ai eu la chance d’être plusieurs fois responsable de la partie optimisation de site e-commerce à plusieurs millions de visiteurs et de revenu par mois, avec des résultats probants.

Dans cet article j’ai envie de vous partager quelques conseils et astuces qui ont fait le succès de mes expériences en CRO (et je suis très friand de vos retours également ! Partage de connaissance tout ça tout ça).

Sommaire

Définition de l’optimisation continue

Les 10 conseils pour mettre en place une culture de l’optimisation :

1. Ne pas chercher le test qui va faire +50% de conversion
2. Avoir des tests qui tournent en permanence
3. Avoir un backlog simple et accessible
4. Prioriser ses tests avec méthodologie
5. Analyser ses tests par segment d’utilisateurs
6. Suivre les bons KPIs
7. Commencer petit
8. Toujours communiquer au lancement et à la fin du test
9. Avoir de bonnes relations avec vos amis développeurs
10. Avoir un bon mécanisme pour trouver des idées d’optimisation

Conclusion

Définition de l’optimisation continue (CRO)

Pour les non initiés, le CRO (Conversion Rate Optimisation) est la discipline qui consiste à chercher à améliorer votre site web ou application via la mise en place de tests. Une partie de vos utilisateurs va voir s’afficher une page avec un bouton bleu, l’autre partie une page avec un bouton rouge, on regarde ensuite quel segment a généré plus de conversion et on pousse la version gagnante pour tous les utilisateurs. Et voila le site a été optimisé ! Bien sûr vos utilisateurs ont été répartis aléatoirement pour que les résultats soient fiables. 

Il y a plusieurs types de tests comme l’AB test que je viens de décrire et qui est le plus courant mais il y a aussi les tests multivariés, les tests de redirection et d’autres. La logique reste la même : on fait des modifications, on soumet ces modifications à des vrais utilisateurs de votre site et on observe les résultats. Pour les plus curieux je vous laisse avec cet article détaillé sur les différents types de test A/B.

Avant de se lancer dans le vif du sujet, je voulais préciser que je ne vais pas aborder les conseils évidents comme ne pas avoir plusieurs tests sur la même page, ne pas couper le test trop vite, laisser passer au moins deux cycles de ventes, attendre la fiabilité statistique, un test négatif n’est pas un échec mais un apprentissage etc. Non, je vais plutôt partager mes observations sur ce qui m’a permis de mettre en place une démarche d’optimisation continue et une culture du test au sein de l’entreprise.

Aperçu des différents conseils :

• Ne pas chercher le test qui va faire +50% de conversion
• Avoir des tests qui tournent en permanence
• Avoir un backlog simple et accessible
• Prioriser ses tests avec méthodologie
• Analyser ses tests par segments d’utilisateur
• Suivre les bons KPIs
• Commencer petit
• Toujours communiquer au lancement du test et à la fin du test
• Avoir de bonnes relations avec vos amis développeurs
• Avoir un bon mécanisme pour trouver des idées

#1 Ne pas chercher le test qui va faire +50% de conversion

Au démarrage on peut avoir tendance à essayer de trouver le test qui va faire décoller notre business, la pépite cachée. Mais en pratique les tests générant des uplifts à deux chiffres sont très rares. Et c’est rassurant car un test avec un résultat à +20% de conversion témoigne surtout du fait que votre site est vraiment sous optimisé et loin des standards actuels. Ne passez donc pas trop de temps à chercher le test pour les gouverner tous, mais voyez plutôt chaque test comme une brique dans une longue démarche d’optimisation continue. Une accumulation de ‘petit’ pourcentage d’amélioration va impacter fortement et durablement votre taux de conversion.

#2 Avoir des tests qui tournent en permanence

Qui dit optimisation continue dit tests au pluriel. En effet le succès de votre démarche d’optimisation va dépendre du nombre de tests que vous allez effectuer sur une période donnée. Essayez de lancer un nouveau test sitôt un test terminé, au moins sur vos pages clés comme les formulaires d’inscription, le funnel, votre page produit, page panier etc. Dites vous qu’une période sans test sur ces pages, c’est une période perdue pour apprendre sur vos utilisateurs et leurs comportements.

#3 Avoir un backlog simple et accessible

L’intérêt du backlog est de centraliser dans un même document les différentes idées de tests à venir, les tests en cours et l’historique des tests passés avec leurs résultats principaux. Un simple Google Sheet avec trois onglets : test à venir, test en cours, test passés; suffit largement. Personnellement j’aime décrire les tests en fonction de plusieurs attributs comme le nom, le périmètre (page & device), l’hypothèse à tester, les variations à tester, les KPIs pour définir la version gagnante, les dates de lancements et de fin, les résultats. 

L’idée est que ce document soit suffisamment détaillé pour que chacun puisse comprendre les enjeux de chaque test, mais sans être trop complexe pour que ce document puisse être partagé et approprié par chacun au sein de l’entreprise.

Vous pouvez télécharger des backlogs types sur ces deux plateformes : optimizely & abtasty.

#4 Prioriser ses tests avec méthodologie

Avec seulement un test en cours par type de page et des idées de futurs tests qui affluent, la partie ‘à venir’ de votre backlog va s’agrandir. Chaque service va vouloir faire passer son test en premier et vous pouvez vite être pris à parti dans des conflits politiques d’entreprise. Pas très efficace tout ça. Pour prévenir cette situation, il est bon d’adopter une méthodologie pour prioriser le déploiement de ses tests. L’idée est d’attribuer un score à chaque test en fonction de critères définis à l’avance. Il existe plusieurs framework pour prioriser dont les plus connus répondent aux acronymes suivants:  PIE, ICE & PXL. Dans le PIE qui est le framework le plus répandu, on classe les tests en leur attribuant une note sur ces critères :

• Potential : est-ce que la page a un fort potentiel d’optimisation ?
• Importance : est-ce que cette page est importante (en termes de trafic, de parcours utilisateurs etc.)
• Easy : est-ce que le test est facile à déployer ?

Je rajouterais qu’il est bon d’appuyer son classement des tests avec des analyses de données, de comportements d’utilisateurs et de manière générale tout ce qui est ‘tangible’ pour éviter de tomber dans le piège des croyances, ‘je pense qu’il faut faire ça’, ‘il est évident que nos utilisateurs sont comme ça’.

Pour conclure, peu importe les subtilités entre méthodologies l’important est d’en adopter une avec des critères qui vous paraissent cohérents et de l’appliquer pour prioriser vos tests. Pour aller plus loin sur les différents framework de priorisation de test je vous conseille cet article détaillé.

#5 Analyser ses tests par segment d’utilisateurs

Au premier regard, votre outil d’AB test va vous donner les résultats de votre test pour l’ensemble des utilisateurs ciblés : 1,5% de taux de clic en plus, 2,3% de hausse du panier moyen etc. Très bien, à ceci près que vos utilisateurs ne sont pas un bloc homogène, ils sont composés de personnes différentes avec des usages différents de votre site et de vos produits. 

Par exemple, un site de e-commerce peut vendre des chaussures à une étudiante de 19 ans et un retraité de 75 ans, pas sûr que les deux utilisent leur smartphone de la même manière. Pour bien comprendre les comportements de vos utilisateurs, il faut regarder les résultats de vos tests par segment d’utilisateur. Les segments les plus courants sont : les nouveaux visiteurs vs les anciens, les acheteurs vs les prospects, les visites mobile vs desktop, les différentes sources de trafic : SEO vs Paid vs Mailing, votre segmentation CRM, etc. Plus on segmente, plus on est à même de comprendre ses utilisateurs.

Si vous utilisez Google Analytics, une bonne méthode est de suivre les visiteurs ayant vu le test via une dimension personnalisée. Cela va vous permettre de regarder en détail dans votre outil d’analytics le comportement des gens ayant vu telle version du test, vs ceux qui ont vu une autre version.  

Le seul bémol de l’analyse des tests par segment est le volume de données nécessaire. En segmentant on se concentre sur un plus petit échantillon d’utilisateur, il faut donc garder en tête que notre analyse n’est valable que si elle a atteint un certain seuil de fiabilité. Il y a un juste milieu à trouver entre l’analyse de tests par segment et la durée de votre test. Si chaque test a besoin de tourner 6 mois, on ne va pas faire beaucoup d’optimisation sur le site.  

#6 Suivre les bons KPIs

Cela peut paraître facile mais il y a deux types de KPI pour suivre les tests : les évidents et les cachés.

Commençons par les KPIs évidents. Ils sont spécifiques au périmètre du test. Généralement une page d’un site internet a un objectif principal : le but d’une fiche produit est de déclencher un ajout au panier, celui de la page panier est d’entrer dans le funnel, l’objectif d’un formulaire est qu’il soit rempli et validé etc. L’objectif de la page est votre indicateur évident. A cet indicateur principal vous pouvez ajouter des indicateurs secondaires comme le temps moyen par page, le taux de rebond ou de sortie, le nombre de clics sur un élément, le scroll etc. Ces indicateurs secondaires peuvent vous permettre d’expliquer les performances de votre indicateur principal.

Il est également conseillé de rajouter un indicateur de transactions à vos tests, même si ceux-ci ne concernent pas le funnel de conversions. Cela vous donne une information supplémentaire sur l’impact de votre test sur l’objectif final de votre site : la conversion des visiteurs.

Les KPIs cachés : je les appelle “cachés” car à l’inverse des “évidents”, ils ne sont pas visibles sur le site. Ils témoignent de l’impact de votre test sur l’organisation de l’entreprise et les tâches essentielles mais non visibles directement sur le site. 

Par exemple, en testant l’emplacement d’un lien vers la page contact du service client, on peut réduire le nombre de contacts et donc dégager du temps pour le service client. De la même manière, un test sur les modes de livraison va avoir un impact sur l’organisation de l’entrepôt et des transporteurs. Un test sur différents types de photo de produit va allonger ou réduire la charge de travail du studio photo. Si on démontre que les bannières créées et mises en ligne par l’équipe graphisme ne génèrent pas un gain de conversion, alors on retire cette tâche et on libère du temps pour d’autres tâches, c’est un gain non négligeable. 

Qu’ils soient cachés ou évidents, il faut définir ses KPIs avant le lancement du test. Cela peut paraître simplet, mais en les énonçant avant le lancement on s’assure qu’on a bien la data et le bon tracking en place pour définir la version gagnante du test. Si on modifie une étape dans un formulaire mais qu’on ne peut pas suivre les taux de passage par étape du formulaire, on n’est pas fier de réaliser ça après 2 mois de test et d’avoir à communiquer sur son erreur. 

#7 Commencer petit

Au démarrage d’un processus d’optimisation continue on peut être tenté de lancer des gros chantiers comme tester la refonte du checkout ou revoir entièrement notre formulaire d’inscription. Je suis plutôt d’avis qu’il faut commencer par des petits tests, huiler la mécanique et accélérer par la suite. Il est important de garder en tête qu’un test ‘facile’ ne veut pas dire que le gain potentiel sera faible et inversement. Parfois un changement de wording a plus d’impact qu’un test de pricing en server side. Commencez par tester le wording de votre bouton de la page panier par exemple, vous verrez qu’entre ‘Acheter’, ‘Payer,’ ou ‘Commander’ il peut y avoir des écarts intéressants. Vos tests faciles constituent un socle solide pour aller vers des tests plus complexes, une fois la démarche bien ancrée au sein de votre entreprise.

#8 Toujours communiquer au lancement et à la fin du test 

Au démarrage du test, il est bon d’envoyer un mail aux différentes équipes et interlocuteurs concernés par le test en leur indiquant : le périmètre du site testé, l’hypothèse qu’on cherche à confirmer ou infirmer, les versions qu’on teste, les KPI qu’on suit pour définir le succès du test et si possible un lien de simulation ou une screenshot montrant les versions du test.

A la fin du test, il est également bon de communiquer sur la durée totale du test, de rappeler l’hypothèse et les variations testées puis d’analyser les résultats et leur fiabilité. Cela permet aussi de mettre en avant les apprentissages découlant du test et d’aborder les prochaines étapes d’optimisation : rédaction d’un ticket pour l’IT, date de passage en production, les questions toujours en suspens à la fin du test, les nouvelles hypothèses à tester, etc. 

En communiquant de manière pro active on contribue à l’installation d’une culture d’optimisation continue au sein de l’entreprise. Une communication claire, rigoureuse et régulière permet d’impliquer les collaborateurs dans la démarche d’optimisation, de partager l’information et de donner confiance dans cette démarche en montrant que vous tenez la barre avec sérieux et méthodologie.

#9 Avoir de bonnes relations avec vos amis développeurs

Si vous êtes web analyst ou évoluez dans le CRO vous avez sûrement quelques bases en HTML, CSS, Javascript. Avec ces bases et les interfaces graphiques des outils d’AB testing vous êtes à l’aise pour déployer en autonomie des tests faciles d’implémentation comme le changement d’un wording, le déclenchement d’une pop-in, changer l’emplacement d’un bloc etc. Mais dès que vous allez vouloir déployer des tests plus complexes vous allez être bloqué sans l’aide d’un développeur. Je pense notamment à des tests type : rendre un élément sticky sur mobile, rendre des éléments dynamiques sur une page et tous les tests server side. 

Pour ne pas que votre demande de développement tombe comme un cheveux dans la soupe, ou plutôt dans la roadmap IT, il est important de bien communiquer en amont avec l’IT ou encore mieux d’avoir des ressources spécialement dédiées à l’optimisation continue. Les développeurs vont également vous aider à estimer la difficulté technique des tests de votre backlog qui sont au-delà de vos compétences techniques. Si vos ressources IT en interne sont limitées, les solutions d’AB testing proposent généralement des jours d’accompagnement pour développer le test chez eux. Cela peut vous permettre de gagner du temps, moyennant un coût supplémentaire, c’est une option à garder en tête. 

Enfin une fois votre test terminé, il est préférable que votre équipe IT soit réactive pour le déploiement de la version gagnante. Si vous avez trouvé un moyen de générer +2% de conversions en plus, chaque jour qui passe sans avoir sorti la modification est un manque à gagner. A noter qu’il est possible sur la plupart des outils d’AB testing de pousser 100% de votre trafic sur la version gagnante, mais cela doit rester de l’ordre de l’exceptionnel et non devenir la norme. 

Pour toutes ces raisons, il est bon de travailler vos relations avec l’IT. Essayer de les impliquer dans le processus de test, demandez leur s’ils ont des idées de tests, des suggestions pour résoudre un problème technique etc. D’expérience cela fonctionne mieux que simplement rajouter une ligne dans leur backlog sans contexte ou explication.

#10 Avoir un bon mécanisme pour trouver des idées d’optimisation

Simple évidence : pas d’idées, pas de tests. Donc, comment générer des idées pour alimenter notre backlog et avoir des tests qui tournent en permanence ? Et bien les idées peuvent être générées en interne au sein de l’entreprise ou en externe. 

En interne toutes les équipes peuvent participer si la culture d’optimisation est bien en place. Chaque équipe est experte sur son périmètre : le service client connaît parfaitement les articles de la FAQ, le commercial connaît tous les champs du formulaire de lead, l’acquisition a bien sa landing page en tête etc. Chacun de ces experts connaît donc également les frustrations des utilisateurs et a déjà pensé à des solutions à mettre en place. Vous voyez la logique : certaines de ces solutions sont des idées qui ont parfaitement leur place dans votre backlog. 

Seul hic, tout le monde dans l’entreprise ne sait pas ce qu’est l’AB testing ni que vous êtes responsable de l’optimisation continue. C’est pourquoi il faut toujours communiquer sur vos tests au plus grand nombre de personnes. 

Une autre piste pour générer des idées sont les analyses de votre département data, BI, ou Web analyse. Ces professionnels de la donnée peuvent vous fournir différents reportings sur le comportement de vos utilisateurs, les taux de passage dans le funnel, les points de frictions etc. 

De même, les départements UX, UI, Design ont beaucoup d’hypothèses sur le parcours utilisateurs avant de finaliser leur projets de refonte de pages ou implémentation de fonctionnalités. Il est bon de se rapprocher d’eux pour récupérer des hypothèses non déployées et de les AB tester avant de les passer ou développement (ou non). Les tests utilisateurs ou le visionnage de session de vos utilisateurs peuvent également vous aider à repérer des points d’amélioration sur votre site.   

Enfin, les analyses de vos tests passés sont aussi un bon moyen de générer des idées : suite à notre apprentissage du test écoulé, nous voulons maintenant tester cette nouvelle hypothèse.

Parce qu’il nous arrive d’avoir un peu trop la tête dans le guidon, il est important de regarder ce qu’il se fait en externe. 

Le benchmark de la concurrence est une source primordiale pour trouver des bonnes idées d’AB test. Oui entre deux marques les clients ne sont pas exactement les mêmes et l’offre commerciale non plus. Mais si tous vos concurrents ont adopté le même format de page panier, peut-être que ça vaut le coup de tester ce format. En plus, en regardant chez les autres vous bénéficiez du résultat de leur démarche d’optimisation.

Enfin si vous avez un contact chez votre solution d’AB testing, essayez de maintenir une bonne relation et d’avoir des échanges réguliers. Ces personnes qui vous accompagnent ont pour objectif de vous faire réussir dans votre démarche d’optimisation (et de renouveler votre contrat). Elles voient beaucoup de tests pour différents types d’activités. Elles sont généralement de bonnes sources d’idées de tests et très contentes de vous aider.

Conclusion

Tout d’abord si vous avez lu cet article en intégralité : toutes mes félicitations ! 

J’espère que ces conseils vous aideront dans votre rôle de CRO et à instaurer une culture de l’optimisation au sein de votre entreprise. Car au-delà du poste de CRO qui est responsable de la tenue du backlog, du paramétrage et du suivi des tests, je suis convaincu que le succès d’une démarche d’optimisation continue réside dans l’adhésion de tous à cette culture de test. Il ne faut pas forcer les parties prenantes à vous aider mais réussir à les impliquer dans le processus du test. Tout le monde à des idées, tout le monde aime participer, à vous de canaliser ce beau monde.

Enfin, dernier conseil si vous démarrez vos premiers tests : soyez patient ! Lancer un test peut être rapide, créer une culture du test prend du temps. Mais une fois la culture en place et en gardant une certaine rigueur dans la gestion quotidienne, votre démarche d’optimisation va assurément porter ses fruits dans le temps. 

Si vous avez d’autres conseils qui ont fonctionné pour vous, n’hésitez pas à me contacter. Je suis preneur de tout feedback 🙂

Bon test !