Le 20 Mars dernier, j’écrivais un article sur l’A/B Testing sur Platine.

Je disais que j’avais testé 2 pubs-bannières différentes sur la Home de Platine, et que, après plusieurs mois, j’avais décidé de désactiver la bannière la moins efficace (ce qui était le but du test).

Quelques commentaires écrits suite à ce post méritent des éclaircissements :

1. “Meilleur taux de transfo était-il égal à meilleur CA ?” (Mathieu)

La réponse, dans ce cas, est oui. Dans les même proportions, d’ailleurs. Mais, effectivement, je ne l’avais pas précisé.

2. “… présentées en même temps à 50% chacune des visiteurs et pouvoir analyser en temps réel les différences de performances” (Ikom).

Les bannières ont été affichées un même nombre de fois chacune, mais je n’ai pas fait d’analyse en temps réel.

3. “il ne reste plus qu’à créer une bannière C, et la comparer avec la bannière B, et ainsi de suite” (un email reçu d’un lecteur).

C’est cette dernière remarque qui m’a le plus interpelée.

Si on passe son temps à tester, on obtiendra tout le temps un résultat “moyen”, une “moyenne”. Et le jour où vous testez une bannière, disons F, et que cette  bannière a un taux de transfo catastrophique, vous vous retrouvez pendant plusieurs semaines ou mois (suivant la durée de l’A/B Testing) avec un taux de transfo moyen anormalement bas.

Toujours tester, rajouter des tests, analyser, comparer c’est bien, mais quid des résultats ? Si tester c’est amener des résultats qui ne sont jamais mis en place, parce que le test continue, alors à partir de combien de tests a-t-on testé ?

Perso, j’ai pris le parti d’arrêter le test pour ces bannières après seulement le premier test. Ce n’est sûrement pas la meilleure bannière que j’aurais pu trouver, je suis peut-être passé à 2 doigts de la bannière qui m’aurait fait exploser mon taux de transfo, mais je sais aussi, pour la raison énumérée précédemment, que ajouter sans arrêt des couches de test encore et encore, se dire que si on rajouterait un test de plus, peut-être, on arrivera enfin à la bannière ultime, ne me fera jamais atteindre la perfection, mais plutôt m’en éloigner plus ou moins au grès des différents tests.

“La perfection, ce n’est pas quand il n’y a plus rien à ajouter mais plus rien à  supprimer.” Antoine DE SAINT-EXUPERY.

_________________________________________

UPDATE 7/4/09 : suite à qques commentaires intéressants, je les remonte dans ce post.

François Cuenat :

“ Je vais expliquer un peu plus le pourquoi du comment des tests.
Mais tout d’abord un petit récapitulatif.

Les sites e-commerces ne font qu’une seule chose de la VPC (Vente Par Correspondance)
Bien entendu le métier à beaucoup évoluer mais la base est identique.

Les plus Grands Vendeurs Par Correspondance ont toujours fait des tests.
Non ils ont fait autre choses ils ont tester, tester et re-tester… ;-)

Quand tu dis “Toujours tester, rajouter des tests, analyser, comparer c’est bien, mais quid des résultats ?
Si tester c’est amener des résultats qui ne sont jamais mis en place, parce que le test continue, alors à partir de combien de tests a-t-on testé ?”

Qui a dit de ne pas mettre les résultats en place ? Pas moi !
De toutes façons rien ne t’empêche de le mettre en place et de le tester…

Prenons un exemple :
Tu test une offre A contre une offre B
Si l’offre B donne un résultat supérieur de 50 % tu l’as mets en place.
Qu’est ce qui t’empêche de mettre cette offre B en concurrence d’une offre C
Qui elle même sera peut être meilleure de 50 % a cette offre B !

Si tu ne le fais pas tu perds de l’argent.
Mais pire encore… Si tu penses parce que tu crois avoir compris (je ne le dis pas pour toi mais pour l’exemple) et que tu ne teste pas une nouvelle offre que tu souhaite mettre en place par rapport à celle qui existe déjà et que cette nouvelle offre est 2 fois moins bonne…. Tu vas au casse pipe !

Donc les tests ne sont pas la pour nous amener à la perfection.
(La perfection on s’en fout elle ne fait pas vendre)
Mais les tests sont la pour nous faire gagner plus d’argent !
Ce qui est quand même bien sympa !

Un point TRÈS IMPORTANT :
Pour qu’un test soit valable il ne faut tester qu’un seul éléments à la fois.
Tu veux faire un test sur le prix, tu ne teste que la différence de prix.
Le reste de l’offre doit être identique sinon ce n’est pas un test.
Mais le prix n’est pas la seule chose à tester…. Loin de la !”

—————–

Dauran, du site du Forex :

“Maintenant il faut afficher 80% à 90% du temps ta bannière qui fonctionne bien et sur les 20% à 10% restant il faut tester de nouvelles bannières.

Ca limitera fortement l’effet néfaste d’une éventuelle mauvaise bannière et ça te permet de continuer à chercher la perfection…”

———————-

RUFO :

“Y’a aussi un outil intéressant qui peut faire gagner du temps dans certains cas : Le eye-tracking. Quand on n’a pas le matos et des cobayes, on peut utiliser ce site qui simule le eye-tracking : http://www.feng-gui.com/default.aspx

Je me suis permis de faire un test sur ton site platine et il en ressort que c’est la bannière a qui attire le plus l’oeil. Maintenant, ça ne tient pas compte du texte (mots employés, tournures de phrases) qui, lui aussi, à tout autant d’importance que les couleurs/contraste. La bannière ultime est peut-être un combiné des 2 : les couleurs/contraste de la bannière A avec le texte de la bannière B…”