Trouver la combinaison parfaite. Voilà tout l’objectif du Multivariate testing. Un Multivariate testing consiste à tester simultanément plusieurs combinaisons de plusieurs variables.
L’idée est de modifier plusieurs éléments en même temps sur une même page, puis de déterminer laquelle, parmi toutes les combinaisons possibles, a le plus d’impact sur les indicateurs suivis.
Le Multivariate testing (MVT) permet de tester les associations de variables, ce qui n’est pas le cas avec des tests A/B (ou A/B/C, etc.) successifs. Contrairement aux tests A/B classiques, le Multivariate testing vous aide à comprendre quelle combinaison d’éléments fonctionne le mieux pour vos visiteurs et leurs besoins spécifiques. Intéressant, n’est-ce pas ? Découvrez tout ce que vous devez savoir dans ce guide sur le Multivariate testing et essayez toutes les combinaisons de vos idées.
Qu’est-ce qu’un Multivariate testing ?
Lors d’un test A/B, vous ne pouvez modifier qu’un seul élément à la fois (par exemple, le texte d’un bouton) afin de pouvoir mesurer son impact. Si vous modifiez à la fois le texte et la couleur du bouton (par exemple, un bouton bleu “Acheter” contre un bouton rouge “Profitez-en”), et que vous constatez une amélioration, comment saurez-vous si c’est le texte ou la couleur qui a contribué à cette performance ? L’impact d’une des modifications pourrait être négligeable ou les deux pourraient avoir un effet équivalent.
Le Multivariate testing apporte une solution. Vous pouvez modifier un titre et une image en même temps. Avec le Multivariate testing, vous testez une hypothèse en modifiant plusieurs variables et vous déterminez quelle combinaison parmi toutes les solutions possibles a donné les meilleurs résultats. Si vous créez trois versions différentes pour deux variables spécifiques, vous obtenez alors neuf combinaisons au total (nombre de variantes de la première variable X nombre de variantes de la seconde).
Plus d’articles sur le Multivariate testing :
L’histoire du Multivariate testing
Les méthodes de test comme le Multivariate testing remontent au XVIIIe siècle. À cette époque, le scorbut était un problème majeur. Sans le savoir, un chirurgien de la Royal Navy britannique a créé le tout premier Multivariate testing de l’histoire. Il a administré différentes solutions aux membres d’équipage malades, tout en les traitant dans des conditions variées, en manipulant un grand nombre de variables qu’il pouvait ensuite comparer pour observer leurs interactions.
Ce Multivariate testing lui a permis de mesurer l’efficacité de chaque combinaison et de découvrir le traitement parfait contre le scorbut : les agrumes, l’air frais et beaucoup de sommeil.
Quels types de sites sont pertinents pour le Multivariate testing ?
Le Multivariate testing peut bénéficier à tout site web qui a un objectif derrière lui. Parce que techniquement, la façon d’atteindre un objectif peut toujours être améliorée. Et tout site web peut l’être aussi. Certains sites visent la génération de leads, les sites e-commerce visent la vente. Les sites médias, par exemple, pourraient bénéficier des Multivariate Tests en améliorant les fonctionnalités éditoriales, pas le nombre de transactions.
La plupart des sites font des Multivariate Tests comme :
- Tester les différentes combinaisons de texte et de couleur d’un bouton d’appel à l’action.
- Tester comment le texte et les éléments visuels d’une page web fonctionnent ensemble de la façon la plus efficace.
Quels types de Multivariate testing existe-t-il ?
Il existe deux principales méthodes pour effectuer des Multivariate Tests :
- « Full Factorial » : C’est la méthode généralement évoquée lorsqu’on parle de Multivariate testing. Avec cette méthode, toutes les combinaisons possibles de variables sont conçues et testées sur des parts égales du trafic. Par exemple, si vous testez 2 variantes d’un élément et 3 d’un autre, chacune des 6 combinaisons recevra donc 16,66 % de votre trafic.
- « Fractional Factorial » : Comme son nom l’indique, seule une fraction des combinaisons possibles est effectivement testée sur votre trafic. Le taux de conversion des combinaisons non testées est statistiquement déduit à partir de celles qui ont été testées. Cette méthode a l’inconvénient d’être moins précise, mais elle nécessite moins de trafic.
Pourquoi effectuer des Multivariate tests ?
Le Multivariate testing offre trois avantages principaux :
- Éviter d’effectuer des tests A/B successifs et gagner du temps : Le Multivariate testing peut être considéré comme la réalisation de plusieurs tests A/B sur une même page en même temps.
- Déterminer l’impact de chaque variable sur les gains mesurés : Il permet de comprendre précisément comment chaque élément contribue aux résultats obtenus.
- Mesurer l’impact des interactions entre différents éléments supposés indépendants : Par exemple, analyser comment le titre de la page et l’image d’illustration interagissent pour influencer les performances.
Les limites du Multivariate testing
- Nombre de visiteurs nécessaires :
La première limite concerne le nombre de visiteurs requis pour que les résultats de votre Multivariate testing soient significatifs. En multipliant le nombre de variables et de versions testées, vous augmentez rapidement le nombre de combinaisons possibles. Le trafic assigné à chaque combinaison est alors réduit proportionnellement.
Pour un test A/B classique, 50 % du trafic est souvent attribué à la version originale et 50 % à la variante. En Multivariate testing, seulement 5 %, 10 % ou 15 % du trafic sont affectés à chaque combinaison. Cela se traduit souvent par des tests plus longs et une incapacité à atteindre la significativité statistique nécessaire pour prendre une décision. Ce problème est particulièrement fréquent lorsqu’on teste des pages situées en profondeur dans un site, comme les tunnels de commande ou les pages d’atterrissage des campagnes d’acquisition de trafic, qui ont souvent un trafic limité.
- Problème dans la définition des tests :
La deuxième limite est liée à la manière dont le Multivariate testing est défini. Dans certains cas, il résulte d’un aveu de faiblesse : les utilisateurs ne savent pas exactement quoi tester et pensent qu’en testant plusieurs éléments à la fois, ils finiront par trouver une solution exploitable. Ces Multivariate Tests incluent souvent des changements mineurs.
Les tests A/B, en revanche, exigent plus de rigueur et aident à mieux définir les hypothèses de test. Cela conduit généralement à des tests plus créatifs, soutenus par des données, et offrant de meilleurs résultats.
- Complexité :
La troisième limite est liée à la complexité. Réaliser un test A/B est souvent plus simple qu’un Multivariate testing, surtout lors de l’analyse des résultats. Avec un test A/B, il n’est pas nécessaire de faire des analyses complexes pour comprendre pourquoi un élément interagit positivement avec un autre dans un cas, mais pas dans un autre.
Simplifier le processus et le rendre rapide à exécuter permet de maintenir la confiance et d’itérer rapidement sur les idées d’optimisation.
Idées et hypothèses pour le Multivariate testing
La clé d’une approche MVT réussie repose sur de solides hypothèses pour chaque élément testé. Ces hypothèses doivent ensuite être intégrées dans les différents modules et combinaisons de votre MVT.
Pour créer des hypothèses solides pour le Multivariate testing, vous devez :
- Identifier clairement la question que vous souhaitez résoudre avec votre MVT.
Mais attention : une hypothèse est une affirmation, pas une question. Il s’agit d’une prédiction très claire et testable sur ce qui se passera si certaines modifications sont apportées à un site web.
- Formuler une hypothèse claire et la lier à un problème ayant des causes identifiables.
Votre hypothèse doit établir un lien direct entre les changements apportés et un problème spécifique identifié sur le site.
- Mentionner une solution possible.
Proposez une idée ou une action concrète qui pourrait résoudre le problème identifié et que votre test vérifiera.
Articles complémentaires sur la création d’hypothèses de test MVT :
- Comment trouver une hypothèse gagnante pour les tests A/B
- Quel type de test d’hypothèse pour le Multivariate testing
Taille de l’échantillon pour le test
Pour tester une hypothèse de Multivariate testing, vous avez besoin d’un échantillon plus large. Considérez votre Multivariate Test comme plusieurs tests A/B menés en parallèle, et augmentez le nombre de visiteurs testés en conséquence.
En résumé : Un bon Multivariate Testing nécessite un trafic web suffisant pour tester plusieurs variantes simultanément. Par conséquent, la taille de l’échantillon requise ne doit jamais dépasser votre niveau de trafic, à moins que vous ne souhaitiez attendre indéfiniment pour obtenir des résultats valides.
Quelle est la durée idéale pour mon Multivariate testing ?
Il n’y a pas de réponse universelle à cette question, mais voici un calcul simple pour vous donner une idée. Imaginons que votre site web accueille 30 000 visiteurs par jour, avec un taux de conversion d’environ 5 %, et que vous souhaitez tester trois variantes. Votre test devrait durer 11 jours. En revanche, si votre site ne reçoit que 5 000 visiteurs par jour avec un taux de conversion moyen de 2 %, le nombre requis de visiteurs testés par variante est de 78 039, ce qui nécessiterait que votre test dure 468 jours.
Si votre nombre moyen de visiteurs est très faible, le Multivariate testing peut ne pas être adapté à votre situation. Dans ce cas, pensez plutôt à réaliser des tests A/B ! Par ailleurs, voici six techniques pour débuter les tests avec un faible trafic.
Curieux de savoir d’où viennent ces chiffres ? Consultez notre calculateur gratuit de taille d’échantillon !
Notre calculateur en ligne vous aide à déterminer la taille minimale de l’échantillon ainsi que la durée nécessaire pour vos tests, en fonction de votre audience, de vos conversions et d’autres informations telles que l’effet minimum détectable (Minimum Detectable Effect). Cela vous permet d’augmenter votre niveau de confiance avant de prendre des décisions pour améliorer votre taux de conversion.
Conseils et meilleures pratiques
Voici quelques conseils qui vous aideront à configurer vos premiers Multivariate Tests et à éviter les erreurs courantes.
1. Choisissez un outil de test performant
Le Multivariate testing est souvent considéré comme très technique, donc nous vous suggérons de choisir un outil de test qui reste simple à utiliser. AB Tasty, par exemple, permet à tout marketeur de se lancer facilement dans le Multivariate testing et vous aide à obtenir des insights précieux sur vos clients pour prendre les bonnes décisions.
2. Formez une bonne équipe de test
Dans une équipe CRO solide, les différentes tâches doivent être clairement définies et réparties. Par exemple : un « conversion manager » pourrait diriger l’équipe et être en charge de la QA. Un autre membre de l’équipe pourrait être responsable d’une première analyse du comportement de vos visiteurs et du statut quo. Un designer pourrait s’occuper des modifications esthétiques sur votre site web et un profil technique (développeur JS et CSS) devrait être responsable de la mise en œuvre des tests avancés. Un data scientist pourrait se charger d’évaluer vos résultats à la fin. Une personne peut être responsable de plusieurs tâches à la fois si elle possède toutes les compétences nécessaires et suffisamment de temps pour accomplir toutes les tâches.
3. Ayez un plan et clarifiez un calendrier
Tout repose sur une bonne structure. Avant de commencer à créer vos tests, définissez clairement quels éléments doivent être testés, pourquoi ils sont testés et définissez une période de temps. Savoir quand les résultats des MVT sont nécessaires vous aidera à travailler plus efficacement.
4. Fixez des objectifs et définissez le succès et l’échec
Fixez des objectifs annuels qui peuvent être ajustés chaque année, par exemple le nombre de campagnes lancées. La mesure quantitative est facile et précise. Pour vos campagnes de Multivariate Test, définissez clairement ce qui rend un test réussi. Notez qu’un test échoué a également de la valeur, car il vous aide à comprendre ce qui ne fonctionne pas et doit être changé à l’avenir.
5. Créez une base de connaissances
Gardez une trace des éléments les plus importants que vous avez appris, sauvegardez les connaissances des tests dans une base de données et évitez les échecs récurrents à l’avenir. Une fois que les connaissances sont acquises, elles doivent être mises à disposition de toute votre équipe. Cela rendra également le processus d’intégration des nouveaux membres de l’équipe plus efficace.
6. Incluez toutes les parties nécessaires
La solitude au travail est un vrai problème. Votre équipe CRO ne devrait pas travailler de manière isolée. Faites savoir aux autres sur quoi travaille votre département CRO et diffusez les résultats des tests. Soyez également ouvert aux nouvelles idées et contributions des personnes extérieures à votre équipe CRO.
7. Identifiez et testez différents segments d’audience
Dans vos campagnes de Multivariate testing, vous pourriez déterminer que les visiteurs récurrents préfèrent un design de site différent des nouveaux visiteurs. Des outils innovants comme AB Tasty reconnaîtront et suggéreront automatiquement une segmentation des visiteurs.
Articles sur les meilleures pratiques à lire :
- Principes et meilleures pratiques dans le Multivariate testing de sites web
- Multivariate Testing – Meilleures pratiques et outils pour MVT
- A/B, Split ou Multivariate Testing : comment choisir le bon
Exemples
Vous cherchez des idées pour vos propres Multivariate Tests ? Vous trouverez ci-dessous des liens vers quelques exemples et des sources d’inspiration pour vos tests :
Logiciels de Multivariate Testing
Assurez-vous d’utiliser un outil qui traite réellement les problèmes que vous devez résoudre. Lorsqu’il s’agit d’améliorer les taux de conversion de votre site web, dans un processus d’optimisation large, il faut bien plus que des tests. Par conséquent, choisissez un outil qui vous aide à comprendre pleinement le comportement des utilisateurs. Nous vous recommandons d’utiliser AB Tasty, car il vous offre de nombreuses sources d’information pour avoir une vision plus complète :
- Heatmaps
- Enregistrement de sessions
- Feedback client
- Critères de ciblage nombreux et segmentation d’audience
Autres formes de tests
Il existe bien plus que des Multivariate Testing ! Voici une liste d’autres scénarios de test :
- A/B/n Testing : Construisez et comparez deux ou plusieurs variations du même élément
- Split Testing : Redirigez le trafic vers une ou plusieurs URL. Idéal pour les nouvelles pages hébergées sur vos serveurs
- Multi-Page Testing : Affichez des changements de manière cohérente sur plusieurs pages (Funnel Testing)
L’optimisation des sites web ne se limite pas aux tests
Vous pouvez utiliser une segmentation avancée de l’audience et la personnalisation pour offrir des expériences adaptées à chaque point de contact client, et bien plus encore.
