Aller au contenu

Des ressources CRO pour optimiser votre e-commerce Abonnez-vous gratuitement

Comment faire un test A/B sur Shopify, avec ou sans app ?

Réponse courte

Sans app, vous créez une expérimentation dans Shopify Rollouts, incluse à partir du forfait Grow : la moitié du trafic voit votre thème modifié, l'autre moitié le thème actuel. Avec une app, vous payez surtout ce que Shopify ne fournit pas, le calcul qui dit si l'écart est réel.

La réponse en détail

Sans app, vous créez une expérimentation dans Shopify Rollouts, incluse à partir du forfait Grow : la moitié du trafic voit votre thème modifié, l'autre moitié le thème actuel. Avec une app, vous payez surtout ce que Shopify ne fournit pas, le calcul qui dit si l'écart est réel.


Le repère

Un tutoriel qui recommande encore Google Optimize a plus de trois ans, puisque l'outil n'est plus disponible depuis le 30 septembre 2023.

Les options actuelles figurent ci-dessous, aux prix publics de début octobre 2026, en paiement mensuel.

OptionPrixCe qu'elle testeLimite principale
Shopify Rolloutsinclus, forfait Grow requis (105 €/mois)thème, paiement et comptes, catalogues (prix et disponibilité), réductionsdes taux affichés, aucun calcul de significativité documenté
Shopliftde 99 à 999 $/moisthèmes, templates, URL, prix (plan Advanced)facturation sur tout le trafic du site, testé ou non
Intelligemsà partir de 69 $/mois, selon les commandes et les modules choisiscontenus et thèmes, puis prix, remises et livraison par modulesmodule de prix sans essai gratuit, engagement de trois mois
Visuallyde 15 à 80 $/mois selon les commandespages, panier, checkout, upsells600 commandes par mois au plus pour 80 $
Convert399 $/moistout le siteprix d'entrée élevé
GrowthBookgratuit jusqu'à 3 personnes, puis 40 $ par siègetout le siteintégration à confier à un·e développeur·euse

La règle

Choisissez d'après ce que vous voulez tester, puis comptez les heures avant de comparer les abonnements.

D'après l'aide de Shopify, un thème, une page de paiement, un catalogue et ses prix ou une réduction se testent sans app, alors que les tarifs de livraison en demandent une.

Ces heures, nous les avons découvertes en chemin. Nos tests de thème passent par une app et par une copie complète du thème. À l'été 2025, sur l'un des premiers, notre développeur résumait la contrainte :

« Si tu fais une modif pour une correction de bug, tu es obligé de le pousser sur les deux trucs en même temps. C'est là que ça devient un peu chiant à gérer. »

Nous estimons la préparation d'un test entre deux et huit heures selon le composant. Quant à la copie perdante, elle reste en place après le dernier jour, puisque Intelligems, que nous utilisons, recommande de la conserver au moins deux mois : sans elle, une personne déjà affectée à cette version tomberait sur une erreur.

À notre avis, l'intérêt de l'outil de Shopify se joue là plus que sur le prix.

Avec l'option « Modifier le thème » de Rollouts, les zones non modifiées restent synchronisées avec le thème publié, selon Shopify, si bien qu'un correctif hors de la zone testée n'aurait à être appliqué qu'une fois.


Les étapes

Nous n'avons encore mené aucun test avec Rollouts, alors ces étapes suivent sa documentation (création et gestion d'un déploiement), libellés français compris.

  1. Le déploiement. Dans l'admin, ouvrez Marchés > Déploiements (ou Marchés > Rollouts, selon les pages), cliquez sur « Créer un déploiement » et choisissez le type « Expérimentation ». Le type « Lancement » applique les changements de façon permanente, sans groupe de contrôle.
  2. La modification. Limitez-vous à une seule. « Modifier le thème » convient à ce qui se règle dans l'éditeur, tandis que « Remplacer le thème actuel » oppose un second thème complet, à réserver aux chantiers plus larges comme la navigation.
  3. Les dates. Shopify propose par défaut un partage à 50/50 et une fin 90 jours après le début. Remplacez cette échéance par celle que donne votre taille d'échantillon, comme l'explique la fiche sur la durée d'un test.
  4. L'arrêt. Ce même été 2025, le jour où un problème est survenu, personne chez nous ne savait où se trouvait le bouton pause de notre outil. Avant de lancer, repérez « Mettre en pause » et « Terminer ».
  5. Le calcul. À la date de fin, relevez les sessions et les commandes de chaque groupe, puis calculez l'intervalle de confiance.
  6. La décision. « Terminer » vous fait choisir entre « Annuler les changements » et « Appliquer les changements », et un changement appliqué ne peut plus être annulé.

Le piège

Le piège consiste à lire les chiffres affichés par Rollouts et à déclarer un gagnant. Pour une expérimentation de thème, la page d'aide sur les analyses liste quatre taux : conversion, rebond, accès au paiement et ajout au panier.

Elle ne mentionne ni calcul de significativité, ni revenu par visite, ni export, ni effectifs par groupe.

Vérifiez donc dès le premier jour que vous pouvez relever sessions et commandes des deux côtés, car aucun intervalle ne se calcule sans ces nombres. Pour lire cet intervalle, voyez la fiche sur le sens de « significatif à 95 % ».

Reste le consentement, absent des cinq pages d'aide de Rollouts que nous avons lues. Dans son outil d'auto-évaluation de juillet 2025, la CNIL écarte de l'exemption prévue pour la mesure d'audience « toute création de cohorte d'utilisateurs pour leur présenter des contenus différenciés », que la cohorte soit tirée au sort ou non.

Notre lecture, à faire valider par votre DPO, est qu'un test A/B entre dans ce cas. Si le vôtre attend le consentement, votre taux d'acceptation entre dans le calcul de durée, comme le détaille la fiche sur les tests et le consentement.


La phrase à présenter

Le jour du lancement, envoyez cette phrase à votre direction. Elle est à copier, puis à compléter avec votre date de fin :

« Shopify répartit le trafic et affiche des taux, sans dire quel groupe gagne. Le verdict, nous le calculerons nous-mêmes le [date de fin], fixée avant le lancement. »