Tests AB et multivariés

Les tests AB font partie intégrante de ma démarche en tant que consultant en optimisation des taux de conversion.

Qu’est-ce qu’un test AB ?

Le concept de base est assez simple. Vous avez une population A et une population B. Vous allez modifier un élément de votre site ou application pour la population B pendant que la population A ne verra pas cette modification. La population servira de « version de contrôle » pour vous permettre de comparer les différences de comportement chez vos visiteurs que votre modification a induit.

Cette étude quantitative vous permettra de valider des changements d’interface tout en vous permettant d’apprendre sur le comportement de navigation de vos visiteurs.

Quelles sont les différences entre tests AB, tests multivariés, split testing ?

On utilise communément la désignation « test AB » pour désigner toutes les catégories de tests. Il en existe plusieurs dont la première est le test AB. Comme expliqué précédemment, vous avez deux versions (la A et la B) et vous mesurez des indicateurs pour savoir si votre version B est plus performante que votre version initiale (la A).

Tests AB.
Alors ? Vous allez à gauche (A) ou à droite (B) ? Photo de Pablo García Saldaña

Le « split testing » utilise le même principe mais la manière diffère. Dans un test AB classique vous faîtes une modification sur une même page (ou même parcours) : la modification se fait au chargement de la page par votre visiteur. Dans un split testing vous créez deux pages avec deux urls différentes et vous utilisez un système de redirection pour envoyer vos visiteurs de la population B sur la deuxième page. Ce type de test est généralement utilisé pour des tests de landing page ou pour des tunnels de commande. Attention cependant au paramétrage, il peut entraîner des problèmes SEO.

Le test multivarié vous permet de tester des combinaisons de modifications. Il faut le voir comme un cumul de différents test AB au sein d’un même test. Imaginons que vous voulez testez une bannière sur une landing page. Cette bannière est composée d’une image, d’un texte et d’un bouton d’action. Vous allez désigner chacun de ces éléments comme une section de votre test et vous allez créer des variantes de ces sections comme par exemple de cette manière :

  • Section image avec test de trois images : Image 1, Image 2, Image 3. L’image 1 est l’image initiale, celle qui est déjà présente sur votre site : votre version A en somme.
  • Section texte avec test de deux accroches : Texte 1, Texte 2. Le texte 1 est votre texte actuel et le texte 2 est la nouvelle accroche que vous voulez tester
  • Section bouton d’action avec test de deux libellés : Libellé 1, Libellé 2. Le libellé 1 est votre version actuelle.

Le test multivarié va créer toutes les combinaisons possibles de ces modifications. Vous aurez par exemple la deuxième image avec l’accroche initiale et le nouveau libellé de bouton. Vous testerez ici 3 images x 2 textes x 2 libellés soit 12 combinaisons. Votre version de contrôle sera la version initiale : Image 1, Texte 1, Libellé 1.

Les tests AB côté serveur

La plupart des outils de tests AB du marché vous proposeront de réaliser vos modifications et donc de déclencher vos tests côté « client ». C’est-à-dire que c’est le matériel de votre visiteur qui va charger les modifications au chargement de la page. Cela a pour avantage de déployer très rapidement un test. Le principal inconvénient consiste en l’effet de flickering ou de scintillement que cela peut générer. En fonction de l’implémentation de l’outil, de l’importance de vos modifications, de la performance du matériel de votre visiteur ou encore de sa vitesse de connexion, votre visiteur peut apercevoir votre version initiale avant que les modifications se chargent.

Il existe bien sûr des astuces pour minimiser cet effet mais il serait illusoire de croire qu’il disparaîtra complètement. Il faut le prendre en compte dans vos analyse. La micro-seconde de chargement supplémentaire nécessaire ou le scintillement lors du chargement de la page peut avoir un effet sur la fluidité de votre site et votre rassurance. Un test peut être de ce fait négatif même si votre modification était bonne pour vos visiteurs et objectifs. Prenez y donc garde.

Des grandes sociétés telles qu’Amazon ou AirBnB ont développé leur propre outil d’ABtesting pour faire face à cette problématique. Ils exécutent les variantes de test directement côté serveur pour afficher les variations de la page initiale. Depuis quelques années les principaux outils du marché proposent également d’exécuter leur solution côté serveur comme par exemple ABtasty.

Mais l’intérêt des tests côté serveur réside surtout dans le fait d’étendre le champ des possibles pour vos tests. Il devient possible de tester des variations de tarifs, de remises, la réorganisation de votre tunnel de commande, le ranking de vos produit, etc. Ils vous seront particulièrement utiles pour tester des variations sur des parcours omnicanaux dans une logique de parcours client unifiés.

Outils pour réaliser des tests AB

Le marché des outils de tests AB

Le marché des outils de test est très changeant. Il y a 5 ans le marché mondial était largement dominé par Optimizely et VWO. Des challengers ont réussi à faire leur place comme ABTasty qui est désormais parti conquérir le marché américain. Mais ce qu’on observe le plus ces dernières années c’est l’intégration d’outil d’abtesting dans des solutions plus globales dans les domaines d’analyse, de merchandising et de personnalisation. Il devient rare pour une solution de ne pas proposer un outil de test AB intégré ou un partenariat fort avec une solution existante.

J’en maîtrise la plupart et j’ai notamment quelques certifications qui l’attestent. Un consultant en conversion s’adapte généralement à l’outil déjà en place mais peut aussi vous en recommander un en fonction de votre ecosystème déjà en place et les fonctionnalités qui vous seront utiles dans votre stratégie d’optimisation.

Les outils pour une bonne stratégie d’optimisation

Je pars toujours du principe que pour une stratégie d’optimisation il vous faut un outil ou un cumul d’outils vous permettant :

  • d’analyser le comportement de navigation de vos visiteurs,
  • de mettre en place un test AB,
  • d’analyser de manière fiable votre test,
  • et de pouvoir lancer une personnalisation issue d’un enseignement d’un test

Les combos d’outils qui fonctionnent

En partant de là, voici des combos qui fonctionnent :

  • Un outil d’analyse simple de type Lucky Orange ou Hotjar permettant du recording de sessions, d’analyse de formulaire et du déclenchement de questionnaires + un outil d’abtesting focalisé sur la partie test et permettant de switcher sur des personnalisations comme Optimizely, AB Tasty, Convert ou Kameleoon + Google spreadsheet avec le plugin Google Analytics ou Supermetrics pour créer votre reporting de test.
  • Un outil cumulant l’analyse et la réalisation de test comme VWO, Contentsquare ou Beampulse + Google spreadsheet avec les plugins analytics pour les reporting et le suivi + un outil e-merchandising permettant de lancer des personnalisations
  • Un outil d’analyse simple de type Hotjar ou Lucky Orange + une solution complète de personnalisation de type Qubit avec des fonctionnalités avancées + Google spreadsheet avec les plugins analytics pour les reporting et suivi.

Ces approches peuvent avoir des coûts différents et vous faciliter plus ou moins la vie en fonction de leur ouverture. L’erreur classique est de prendre des outils dont les périmètres se chevauchent. Ce qu’on a tendance à faire à terme car la volonté de tous ces outils et de tendre vers une solution complète ou un écosystème fort avec des partenaires. Surveillez donc les roadmaps de vos outils préférés et faîtes vos choix en fonction.

Un outil à intégrer dans une démarche globale d’optimisation des conversions

Les tests AB doivent être maîtrisés pour assurer leur fiabilité et ainsi être support de décision. Mais ce n’est que dans une démarche structurée d’optimisation qu’ils relèvent tout leur potentiel. Sans cela vous vous retrouverez beaucoup dans cette statistique : 80% des tests AB génèrent un résultat neutre (source ABTasty).

La méthodologie CRO

CRO est l’acronyme de Conversion Rate Optimization c’est-à-dire l’optimisation des taux de conversion. Le taux de conversion est la différence entre le nombre de visiteurs venant sur votre site et le nombre de conversions enregistré. Ces conversions peuvent être de plusieurs types selon votre business : commande, inscription newsletter, lead, etc.

Pour augmenter vos taux de conversion, il existe de nombreux leviers et ce sont les tests AB qui vont vous permettre de les identifier et surtout de les mesurer. Mais attention le lancement d’un test n’est qu’une partie du processus CRO. Il convient de passer par plusieurs étapes dont la recherche utilisateur, la conception du test et la communication des résultats.

Définir ses objectifs et ses kpis

Vos taux de conversion peuvent être multiples. Il faut donc déjà que vous soyez au clair sur les objectifs de votre business et les indicateurs clés de performances (kpi) que vous souhaitez améliorer. J’aime particulièrement la méthode des arbres d’objectifs pour clarifier cette partie.

Raisonner en hypothèses

Partez du principe pour vos tests que vous ne savez rien. Vous n’allez pas tester une modification, vous allez tester une hypothèse qui pourra être infirmée ou confirmée. La clef du succès de vos tests réside en la qualification de cette hypothèse par votre recherche utilisateur. Plus vous aurez d’arguments pour réaliser une modification sur votre site, plus votre test a de chance d’être gagnant.

Prioriser et créer sa roadmap de tests AB

Chacune de vos hypothèses peut avoir un impact sur votre site ou application. Savoir les prioriser en fonction de critères de potentiel, d’impact, et/ou de faisabilité vous permettra de tester les hypothèses avec le plus de valeur en premier. L’organisation de ces hypothèse pourra donner lieu à une roadmap de test vous permettant de lancer vos tests dans l’ordre et sans biais.

Communiquer les résultats et créer une culture de l’optimisation

Je passe volontairement l’étape de lancement, de suivi et d’analyse des tests car cela mérite un article dédié. Il y a plusieurs pièges à éviter qui ne peuvent être résumés ici.

Je préfère évoquer une étape souvent oubliée mais primordiale de vos tests : la communication de vos résultats. En France où le CRO n’est pas encore très structuré dans les entreprises, les tests AB sont encore bien souvent réalisé par une personne seule, souvent un responsable marketing, qui garde les enseignements des tests pour elle. Pas par égoïsme mais plutôt par manque d’écoute ou de compréhension de la démarche. Or c’est l’étape cruciale pour créer une culture de l’optimisation en interne et faire bénéficier l’ensemble de l’entreprise de la démarche CRO : limiter les risques, garantir le business et le maximiser.

Les questions fréquentes sur l’ab testing

En formation professionnelle, en cours à mes étudiants, ce sont souvent les mêmes questions qui reviennent. Je vous en liste les principales ci-après. Je créerai des articles dédiés pour y répondre en ajoutant progressivement les liens ici.

  • Comment trouver des hypothèses de tests ?
  • Comment définir le niveau de facilité pour prioriser mes tests ?
  • Comment estimer la durée d’un test avant lancement ?
  • Quand arrêter un test ?
  • Puis-je faire un test sur un site avec peu de trafic ?
  • Comment passer d’un test AB à une personnalisation ?
  • Comment être sûr de la fiabilité de mes résultats de test ?
  • J’obtiens un résultat neutre, que faire ?
  • J’obtiens plusieurs versions gagnante, que faire ?
  • J’obtiens des résultats différents sur plusieurs segments de population, que faire ?
  • Peut-on faire un test omnicanal ? C’est à dire un test qui dépasse un site web et dont une partie de l’effet se passe dans à un autre endroit : un lieu physique par exemple ?
  • Comment obtenir un budget pour faire de l’optimisation ?

N’hésitez pas à me contacter directement pour avoir ces réponses si mon temps de rédaction est lent 🙂