Simplifier la configuration des expériences : Utiliser l'agent de révision d'expériences dans Optimizely

Le nouvel agent de révision d'expériences d'Optimizely, qui fait partie de leur écosystème Opal AI lancé en bêta cette année, agit comme une vérification de qualité automatisée pour vos expériences. Voyez-le comme avoir un scientifique de données expérimenté qui révise votre configuration avant le lancement, mais disponible instantanément et de façon constante pour chaque test.

Ce guide vous accompagne dans l'implémentation de l'agent de révision dans votre flux de travail d'expérimentation, incluant les étapes pratiques de configuration, les problèmes de configuration courants qu'il détecte, et comment intégrer ses recommandations dans votre processus de test.

Prérequis

Avant d'utiliser l'agent de révision d'expériences, vous aurez besoin de :

• Un compte Optimizely Web Experimentation ou Feature Experimentation avec accès aux fonctionnalités bêta (contactez votre gestionnaire de compte si vous ne voyez pas l'option de l'agent de révision)
• Au moins un brouillon d'expérience créé dans votre projet
• Une compréhension de base de la structure d'expérience d'Optimizely (variations, audiences, métriques)
• Un alignement d'équipe sur les objectifs d'expérimentation - Notre expérience avec les équipes nous a appris que l'agent de révision fonctionne mieux quand votre équipe a déjà des objectifs de test et des métriques de succès clairement définis

L'agent de révision prend actuellement en charge :

• Les tests A/B
• Les tests multivariés
• Les expériences de drapeaux de fonctionnalités
• Les implémentations côté client et côté serveur

Notez que les campagnes de personnalisation et certains types de métriques personnalisées ne sont pas entièrement pris en charge dans la version bêta.

Implémentation étape par étape

Étape 1 : Créer votre brouillon d'expérience

Commencez par configurer votre expérience dans Optimizely comme vous le feriez normalement :

1. Naviguez vers votre projet et cliquez sur « Créer une nouvelle expérience »
2. Choisissez votre type d'expérience (test A/B, multivarié ou test de fonctionnalité)
3. Configurez vos variations avec des noms clairs et descriptifs
4. Définissez vos règles de ciblage d'audience
5. Configurez votre métrique principale (c'est critique - l'agent de révision signalera les expériences sans métriques principales)

À ce stade, ne vous préoccupez pas de la perfection. L'agent de révision vous aidera à identifier ce qui doit être ajusté.

Étape 2 : Accéder à l'agent de révision

Une fois votre brouillon d'expérience prêt :

1. Naviguez vers la page Résumé de votre expérience
2. Recherchez le bouton « Réviser l'expérience » (généralement dans le coin supérieur droit)
3. Vous pouvez aussi y accéder via : Démarrer l'expérience → Révision pré-lancement

Si vous ne voyez pas ces options, votre compte n'a peut-être pas encore l'accès bêta activé.

Étape 3 : Exécuter l'analyse automatisée

Cliquez sur « Réviser l'expérience » pour démarrer l'analyse. L'agent de révision examine :

• La configuration des métriques et l'alignement avec les objectifs
• Les règles de ciblage d'audience et les conflits potentiels
• Les paramètres d'allocation du trafic
• La configuration des variations et les conventions de nommage
• Les exigences de taille d'échantillon pour la signification statistique
• Le chevauchement avec d'autres expériences en cours

L'analyse prend généralement de 5 à 10 secondes pour se terminer.

Étape 4 : Interpréter le rapport de rétroaction

L'agent de révision présente la rétroaction en trois catégories :

Problèmes critiques (Rouge) : À corriger avant le lancement

• Métrique principale manquante
• Conflits d'audience avec des expériences en cours
• Pourcentages d'allocation de trafic invalides
• Violations de conformité à la confidentialité

Améliorations suggérées (Jaune) : Meilleures pratiques à considérer

• Ajouter des métriques secondaires pour des insights plus profonds
• Affiner le ciblage d'audience pour des résultats plus clairs
• Ajuster l'allocation du trafic pour une signification plus rapide

Points forts (Vert) : Ce que vous faites bien

• Nommage clair des variations
• Sélection appropriée des métriques
• Bonne documentation de l'expérience

Étape 5 : Appliquer les recommandations

Pour chaque élément de rétroaction, l'agent de révision fournit des actions spécifiques :

{
  "problème": "Chevauchement d'audience détecté",
  "gravité": "critique",
  "détails": "Cette expérience cible des utilisateurs aussi inclus dans 'Test promo des Fêtes' (ID: 12345)",
  "action": "Ajouter une règle d'exclusion : NOT in_experiment('12345') à votre configuration d'audience"
}

Effectuez les changements recommandés directement dans votre configuration d'expérience. Concentrez-vous d'abord sur les problèmes critiques, puis considérez les améliorations suggérées selon vos objectifs de test.

Étape 6 : Relancer la révision

Après avoir effectué des changements :

1. Cliquez sur « Réviser à nouveau » pour vérifier vos corrections
2. Continuez à itérer jusqu'à ce que tous les problèmes critiques soient résolus
3. Documentez toute amélioration suggérée que vous sautez intentionnellement (avec justification)

Étape 7 : Lancer en toute confiance

Une fois que l'agent de révision ne montre aucun problème critique :

1. Procédez à votre processus normal d'approbation de lancement
2. Partagez le rapport de l'agent de révision avec les parties prenantes
3. Lancez votre expérience en sachant qu'elle est configurée pour le succès

Exemples de code et configuration

Bien que l'agent de révision fonctionne via l'interface utilisateur, vous pouvez aussi intégrer ses vérifications de manière programmatique en utilisant l'API REST d'Optimizely :

// Exemple : Déclencher la révision via l'API
const reviewExperiment = async (experimentId) => {
  const response = await fetch(`https://api.optimizely.com/v2/experiments/${experimentId}/review`, {
    method: 'POST',
    headers: {
      'Authorization': `Bearer ${YOUR_API_TOKEN}`,
      'Content-Type': 'application/json'
    }
  });
  
  const reviewResults = await response.json();
  return reviewResults;
};

// Traiter la rétroaction de révision
const processReview = (reviewResults) => {
  const criticalIssues = reviewResults.issues.filter(i => i.severity === 'critical');
  
  if (criticalIssues.length > 0) {
    console.log('Problèmes critiques trouvés :');
    criticalIssues.forEach(issue => {
      console.log(`- ${issue.description}`);
      console.log(`  Action : ${issue.recommendedAction}`);
    });
    return false; // Bloquer le lancement
  }
  
  return true; // Prêt à lancer
};

Pour les équipes utilisant des pipelines de déploiement automatisés, vous pouvez intégrer ces vérifications dans votre processus CI/CD :

# Exemple de flux de travail GitHub Actions
name: Révision d'expérience
on:
  pull_request:
    paths:
      - 'experiments/*.json'

jobs:
  review:
    runs-on: ubuntu-latest
    steps:
      - name: Réviser la configuration de l'expérience
        run: |
          REVIEW_RESULT=$(curl -X POST \
            -H "Authorization: Bearer ${{ secrets.OPTIMIZELY_TOKEN }}" \
            https://api.optimizely.com/v2/experiments/${{ env.EXPERIMENT_ID }}/review)
          
          # Vérifier les problèmes critiques
          CRITICAL_COUNT=$(echo $REVIEW_RESULT | jq '.issues | map(select(.severity == "critical")) | length')
          
          if [ $CRITICAL_COUNT -gt 0 ]; then
            echo "Problèmes critiques trouvés dans la configuration de l'expérience"
            exit 1
          fi

Erreurs courantes à éviter

Notre expérience montre que les équipes rencontrent souvent ces problèmes lors de leur première utilisation de l'agent de révision :

1. Ignorer les avertissements jaunes

Bien que les avertissements jaunes ne soient pas des blocages, ils indiquent souvent des problèmes qui nuiront à vos résultats. Un avertissement concernant une « audience trop large » peut sembler mineur, mais cela pourrait signifier que votre test prendra des mois pour atteindre la signification au lieu de semaines.

2. Ne pas réviser à nouveau après des changements

Les recommandations de l'agent de révision interagissent parfois entre elles. Corriger un problème pourrait en créer un autre, donc relancez toujours la révision après avoir effectué des changements.

3. Sauter la documentation

Quand vous sautez intentionnellement une recommandation, documentez pourquoi. Les futurs membres de l'équipe (ou vous-même dans le futur) doivent comprendre le raisonnement. Ajoutez des notes directement dans la description de l'expérience :

Note : L'agent de révision a suggéré de restreindre l'audience aux utilisateurs mobiles seulement, 
mais nous avons besoin des données ordinateur pour les exigences de rapport du T4.

4. Trop se fier à l'automatisation

L'agent de révision détecte les problèmes techniques mais ne peut pas comprendre votre contexte d'affaires. Il pourrait suggérer de retirer un segment d'audience qui semble petit mais représente vos clients les plus précieux.

5. Lancer sans révision humaine

Même avec des feux verts de l'agent de révision, demandez à quelqu'un de familier avec votre programme de test de faire une vérification finale. L'agent pourrait manquer des problèmes spécifiques à votre implémentation ou à vos règles d'affaires.

Étapes de test et de vérification

Après avoir implémenté l'agent de révision dans votre flux de travail, vérifiez qu'il fonctionne correctement :

1. Tester avec une configuration connue comme mauvaise

Créez une expérience avec des problèmes évidents :

• Aucune métrique principale définie
• Allocation de trafic à 110 %
• Audience qui chevauche avec un autre test

Exécutez l'agent de révision et confirmez qu'il détecte tous ces problèmes.

2. Comparer les données historiques

Nous avons constaté que les équipes bénéficient de la révision des expériences échouées passées :

1. Prenez 5 à 10 expériences qui n'ont pas atteint la signification
2. Recréez-les comme brouillons
3. Exécutez l'agent de révision sur chacune
4. Documentez quels problèmes il aurait détectés

Cela aide à bâtir la confiance dans l'outil et identifie des modèles dans votre approche de test.

3. Mesurer l'impact au fil du temps

Suivez ces métriques avant et après l'implémentation de l'agent de révision :

• Pourcentage d'expériences atteignant la signification statistique
• Temps moyen pour atteindre la signification
• Nombre d'expériences annulées à cause d'erreurs de configuration
• Temps d'équipe consacré aux révisions pré-lancement

La plupart des équipes voient des améliorations dans leurs 10 à 15 premières expériences utilisant l'agent.

4. Recueillir les commentaires de l'équipe

Après que votre équipe a utilisé l'agent de révision pendant un mois :

• Sondez les expérimentateurs sur le temps économisé
• Documentez tout faux positif ou problème manqué
• Partagez la rétroaction avec Optimizely pour améliorer la bêta

5. Valider les points d'intégration

Si vous avez intégré l'agent de révision avec votre pipeline de déploiement :

• Testez avec diverses configurations d'expérience
• Vérifiez la gestion des erreurs pour les échecs d'API
• Confirmez que les notifications atteignent les bons membres de l'équipe

Conclusion

L'agent de révision d'expériences élimine une grande partie des suppositions de la configuration des expériences, détectant les erreurs de configuration qui gaspilleraient autrement des semaines de temps de test. En automatisant le processus de révision technique, il libère votre équipe pour se concentrer sur le développement d'hypothèses et l'analyse des résultats plutôt que de chercher des erreurs de configuration.

La vraie valeur devient claire après avoir exécuté plusieurs expériences avec les conseils de l'agent de révision. Les équipes rapportent non seulement moins de tests échoués, mais aussi des cycles d'apprentissage plus rapides et plus de confiance dans leur programme d'expérimentation. L'agent codifie essentiellement les meilleures pratiques de milliers d'expériences réussies, rendant ces connaissances disponibles instantanément pour chaque test que vous exécutez.

Si vous configurez l'agent de révision d'expériences d'Optimizely et avez besoin d'aide pour l'intégrer avec votre flux de travail de test existant ou pour créer des règles de validation personnalisées pour vos exigences spécifiques, nous pouvons vous accompagner dans le processus d'implémentation et partager des modèles qui ont bien fonctionné pour des entreprises similaires dans votre industrie.