A partir de quand, la perfection ?
5 avril 2009
Le 20 Mars dernier, j’écrivais un article sur l’A/B Testing sur Platine.
Je disais que j’avais testé 2 pubs-bannières différentes sur la Home de Platine, et que, après plusieurs mois, j’avais décidé de désactiver la bannière la moins efficace (ce qui était le but du test).
Quelques commentaires écrits suite à ce post méritent des éclaircissements :
1. « Meilleur taux de transfo était-il égal à meilleur CA ? » (Mathieu)
La réponse, dans ce cas, est oui. Dans les même proportions, d’ailleurs. Mais, effectivement, je ne l’avais pas précisé.
2. « … présentées en même temps à 50% chacune des visiteurs et pouvoir analyser en temps réel les différences de performances » (Ikom).
Les bannières ont été affichées un même nombre de fois chacune, mais je n’ai pas fait d’analyse en temps réel.
3. « il ne reste plus qu’à créer une bannière C, et la comparer avec la bannière B, et ainsi de suite » (un email reçu d’un lecteur).
C’est cette dernière remarque qui m’a le plus interpelée.
Si on passe son temps à tester, on obtiendra tout le temps un résultat « moyen », une « moyenne ». Et le jour où vous testez une bannière, disons F, et que cette bannière a un taux de transfo catastrophique, vous vous retrouvez pendant plusieurs semaines ou mois (suivant la durée de l’A/B Testing) avec un taux de transfo moyen anormalement bas.
Toujours tester, rajouter des tests, analyser, comparer c’est bien, mais quid des résultats ? Si tester c’est amener des résultats qui ne sont jamais mis en place, parce que le test continue, alors à partir de combien de tests a-t-on testé ?
Perso, j’ai pris le parti d’arrêter le test pour ces bannières après seulement le premier test. Ce n’est sûrement pas la meilleure bannière que j’aurais pu trouver, je suis peut-être passé à 2 doigts de la bannière qui m’aurait fait exploser mon taux de transfo, mais je sais aussi, pour la raison énumérée précédemment, que ajouter sans arrêt des couches de test encore et encore, se dire que si on rajouterait un test de plus, peut-être, on arrivera enfin à la bannière ultime, ne me fera jamais atteindre la perfection, mais plutôt m’en éloigner plus ou moins au grès des différents tests.
« La perfection, ce n’est pas quand il n’y a plus rien à ajouter mais plus rien à supprimer. » Antoine DE SAINT-EXUPERY.
_________________________________________
UPDATE 7/4/09 : suite à qques commentaires intéressants, je les remonte dans ce post.
François Cuenat :
« Je vais expliquer un peu plus le pourquoi du comment des tests.
Mais tout d’abord un petit récapitulatif.
Les sites e-commerces ne font qu’une seule chose de la VPC (Vente Par Correspondance)
Bien entendu le métier à beaucoup évoluer mais la base est identique.
Les plus Grands Vendeurs Par Correspondance ont toujours fait des tests.
Non ils ont fait autre choses ils ont tester, tester et re-tester… ;-)
Quand tu dis « Toujours tester, rajouter des tests, analyser, comparer c’est bien, mais quid des résultats ?
Si tester c’est amener des résultats qui ne sont jamais mis en place, parce que le test continue, alors à partir de combien de tests a-t-on testé ? »
Qui a dit de ne pas mettre les résultats en place ? Pas moi !
De toutes façons rien ne t’empêche de le mettre en place et de le tester…
Prenons un exemple :
Tu test une offre A contre une offre B
Si l’offre B donne un résultat supérieur de 50 % tu l’as mets en place.
Qu’est ce qui t’empêche de mettre cette offre B en concurrence d’une offre C
Qui elle même sera peut être meilleure de 50 % a cette offre B !
Si tu ne le fais pas tu perds de l’argent.
Mais pire encore… Si tu penses parce que tu crois avoir compris (je ne le dis pas pour toi mais pour l’exemple) et que tu ne teste pas une nouvelle offre que tu souhaite mettre en place par rapport à celle qui existe déjà et que cette nouvelle offre est 2 fois moins bonne…. Tu vas au casse pipe !
Donc les tests ne sont pas la pour nous amener à la perfection.
(La perfection on s’en fout elle ne fait pas vendre)
Mais les tests sont la pour nous faire gagner plus d’argent !
Ce qui est quand même bien sympa !
Un point TRÈS IMPORTANT :
Pour qu’un test soit valable il ne faut tester qu’un seul éléments à la fois.
Tu veux faire un test sur le prix, tu ne teste que la différence de prix.
Le reste de l’offre doit être identique sinon ce n’est pas un test.
Mais le prix n’est pas la seule chose à tester…. Loin de la ! »
—————–
Dauran, du site du Forex :
« Maintenant il faut afficher 80% à 90% du temps ta bannière qui fonctionne bien et sur les 20% à 10% restant il faut tester de nouvelles bannières.
Ca limitera fortement l’effet néfaste d’une éventuelle mauvaise bannière et ça te permet de continuer à chercher la perfection… »
———————-
RUFO :
« Y’a aussi un outil intéressant qui peut faire gagner du temps dans certains cas : Le eye-tracking. Quand on n’a pas le matos et des cobayes, on peut utiliser ce site qui simule le eye-tracking : http://www.feng-gui.com/default.aspx
Je me suis permis de faire un test sur ton site platine et il en ressort que c’est la bannière a qui attire le plus l’oeil. Maintenant, ça ne tient pas compte du texte (mots employés, tournures de phrases) qui, lui aussi, à tout autant d’importance que les couleurs/contraste. La bannière ultime est peut-être un combiné des 2 : les couleurs/contraste de la bannière A avec le texte de la bannière B… »
(Fin de l’article)
____________________________________________________
Plus d’infos:
1. Voici les prestations de l’agence Blog-Ecommerce.
2. Voici aussi notre logiciel de gestion de flux Shopping Flux.
3. Et voici enfin les sociétés partenaires de notre agence.
Publiez sur twitter
5 avril 2009 à 17:13
Maintenant il faut afficher 80% à 90% du temps ta bannière qui fonctionne bien et sur les 20% à 10% restant il faut tester de nouvelles bannières.
Ca limitera fortement l’effet néfaste d’une éventuelle mauvaise bannière et ça te permet de continuer à chercher la perfection…
6 avril 2009 à 9:34
A quand le test multi-varié ?
Tu n’as découvert que la face découverte de l’iceberg des protocoles de tests et le sujet nécessite beaucoup de temps. Bon courage !
:-)
6 avril 2009 à 9:59
C’est comme l’être humain, la bannière ultime/parfaite n’existe pas… ;-)
6 avril 2009 à 10:02
Y’a aussi un outil intéressant qui peut faire gagner du temps dans certains cas : Le eye-tracking. Quand on n’a pas le matos et des cobayes, on peut utiliser ce site qui simule le eye-tracking : http://www.feng-gui.com/default.aspx
Je me suis permis de faire un test sur ton site platine-center et il en ressort que c’est la bannière a qui attire le plus l’oeil. Maintenant, ça ne tient pas compte du texte (mots employés, tournures de phrases) qui, lui aussi, à tout autant d’importance que les couleurs/contraste. La bannière ultime est peut-être un combiné des 2 : les couleurs/contraste de la bannière A avec le texte de la bannière B…
6 avril 2009 à 19:33
eh oui
la perfection joli mais est ce qu’il est possible de l’atteindre car il faut plus et encore plus à chaque fois et toujours optimiser pour plus
en tout cas merci à blog ecommerce pour les articles intéréssants j’y passe assez souvent
pour ma part j’ai placé deux bannières génériques à l’accueil et je verrais ce que cela donne fin avril
sinon pour le moment avec synthèse données site d’analytics j’ai pas mal de clics sur les bannières
je viens bientot en placer par rayons et une en bas de page sympa la gestion pub d’abiotik
a bientot et bonne journée
6 avril 2009 à 20:49
je suis curieux de savoir à partir de combien de visiteurs/jour ce type de test est valable ? Sur combien de temps doivent-ils durer ? C’est comme les sondages, il y a un minimum de pré-requis pour qu’ils soient à peu près représentatifs…Peut être que la hausse des ventes n’a rien à voir avec les bannières en question.
6 avril 2009 à 22:11
Rufo, Dauran, je remonte vos intervention dans le post. Merci
Dauran, à quand on tuto sur le Forex sur Blog-ecommerce.com ? ;-) Je me suis passionné pour ce sujet il y 2 ans.
Sylvan, mes lignes te sont ouvertes si tu souhaites présenter le test multi-varié.
7 avril 2009 à 7:06
Bonjour Olivier,
en fait, ne pas faire de tests revient à faire l’autruche. « Je ne sais pas si je peux faire mieux et je risque de faire pire, donc je ne fais rien ».
Comme le dit Forex, tu peux prendre un échantillon plus petit pour limiter le risque. Tout dépend en fait du volume de visites et de transfo. Tu peux te référer à la table de Gauss (http://www.market-audit.com/pttmarket/pgnew/t/testsign.html) pour valider que tes résultats sont représentatifs.
Ce qui est sur également, c’est que dans un environnement figé, si tu ne cherches qu’à optimiser une bannière en home page par exemple, à un moment donné, chaque point de gagner va te couter de plus en plus cher : tu arrives en effet à un optimum (ce n’est pas la perfection) mais le temps passé et les ressources employés te couteront plus cher que le gain réel.
Pourquoi la VPC teste encore et encore ? simplement parce qu’ils renouvèlent leurs offres très fréquemment (contrairement à ce que l’on croit ;).
Pour prendre l’exemple de ton site Platine center : admettons que tu sois en phase d’acquisition de nouveaux clients : ta bannière est sans aucun doute pertinente pour ceux-ci (c’est un beau produit d’appel). Mais qu’en est il pour tes clients fidèles? Plus leur poids va progresser dans ton fichier, plus les résultats de ta bannière vont se contracter : non pas parce que l’offre est mauvaise, mais simplement parce qu’elle devient inadaptée.
Enfin tout ça pour dire : vire les tests :)
au plaisir de te lire encore et encore
Michael
27 avril 2009 à 15:38
Est-ce que ton histore de test ça ne serait pas aussi une manière de chercher la bonne direction… Dans ce cas mon conseil est le suivant. Quel est le bon sens ? Celui des aiguilles d’une montre appelé aussi dextrorsum ou son contraire : senestrorsum ?
Observons que dextrorsum a une connotation positive, par conséquent senestrorsum une note négative.
Etonnant quand on sait que la terre, la lune et les autres planètes tournent senestrorsum et nous aussi par la force des choses… C’est peut être là l’origine de notre malaise, considérez positivement le mouvement inverse qui règle celui de l’univers. Sacrés testeurs, on n’a pas fini d’en baver avec un tel entêtement naturel. Moi je dis qu’on tourne en rond ! Un point c’est tout ! Que ça plaise ou non !
Solution soyez PAPED !
Louis Philippe