wind-alice/backtest-expert

Expert en Backtesting

Approche systématique du backtesting de stratégies de trading basée sur une méthodologie professionnelle qui privilégie la robustesse aux résultats optimistes.

Philosophie Centrale

Objectif : Trouver des stratégies qui « se cassent le moins », pas des stratégies qui « rapportent le plus » sur le papier.

Principe : Ajoutez de la friction, testez les hypothèses sous stress, et voyez ce qui survit. Si une stratégie tient sous des conditions pessimistes, elle a plus de chances de fonctionner en trading réel.

Quand Utiliser Cette Compétence

Utilisez cette compétence quand vous :

• Développez ou validez des stratégies de trading systématique
• Évaluez si une idée de trading est suffisamment robuste pour une mise en œuvre réelle
• Diagnostiquez pourquoi un backtest pourrait être trompeur
• Apprenez la méthodologie correcte de backtesting
• Évitez les pièges courants (surapprentissage, biais de look-ahead, biais de survivant)
• Évaluez la sensibilité aux paramètres et la dépendance au régime de marché
• Fixez des attentes réalistes pour le slippage et les coûts d'exécution

Prérequis

• Python 3.9+ (pour le script d'évaluation)
• Aucune clé API requise
• Aucune dépendance de données externe — les métriques sont fournies par l'utilisateur

Flux de Travail

1. Énoncez l'Hypothèse

Définissez l'avantage en une phrase.

Exemple : « Les actions qui gapent >3% sur les résultats et reviennent au cours de clôture de la veille dans l'heure suivante offrent une opportunité de mean-reversion. »

Si vous ne pouvez pas formuler clairement l'avantage, ne passez pas aux tests.

2. Codifiez les Règles sans Aucune Discrétion

Définissez avec une spécificité totale :

• Entrée : Conditions exactes, timing, type de prix
• Sortie : Stop loss, objectif de profit, sortie basée sur le temps
• Taille de position : $$ fixe, % du portefeuille, ajusté à la volatilité
• Filtres : Capitalisation boursière, volume, secteur, conditions de volatilité
• Univers : Quels instruments sont éligibles

Critique : Aucun jugement subjectif autorisé. Chaque décision doit être basée sur des règles et sans ambiguïté.

3. Lancez le Backtest Initial

Testez sur :

• Minimum 5 ans (de préférence 10+)
• Plusieurs régimes de marché (hausse, baisse, volatilité haute/basse)
• Coûts réalistes : Commissions + slippage conservateur

Examinez les résultats initiaux pour une viabilité de base. Si fondamentalement cassé, itérez sur l'hypothèse.

4. Testez la Stratégie sous Stress

C'est ici que 80% du temps de test devrait être passé.

Sensibilité aux paramètres :

• Testez le stop loss à 50%, 75%, 100%, 125%, 150% de la valeur de base
• Testez l'objectif de profit à 80%, 90%, 100%, 110%, 120% de la valeur de base
• Variez le timing d'entrée/sortie de ±15-30 minutes
• Cherchez des « plateaux » de performance stable, pas des pics étroits

Friction d'exécution :

• Augmentez le slippage à 1,5-2x les estimations typiques
• Modélisez les pires cas de remplissage (achetez au ask+1 tick, vendez au bid-1 tick)
• Ajoutez des scénarios réalistes de rejet d'ordre
• Testez avec des structures de commissions pessimistes

Robustesse temporelle :

• Analysez la performance année par année
• Exigez une espérance positive dans la majorité des années
• Assurez-vous que la stratégie ne dépend pas de 1-2 périodes exceptionnelles
• Testez dans différents régimes de marché séparément

Taille d'échantillon :

• Minimum absolu : 30 trades
• Préféré : 100+ trades
• Haute confiance : 200+ trades

5. Validation Hors Échantillon

Analyse walk-forward :

1. Optimisez sur la période d'entraînement (ex. Année 1-3)
2. Testez sur la période de validation (Année 4)
3. Avancez et répétez
4. Comparez la performance in-sample vs out-of-sample

Signaux d'alarme :

• Performance out-of-sample <50% de la performance in-sample
• Nécessité de ré-optimisation fréquente des paramètres
• Les paramètres changent dramatiquement entre les périodes

6. Évaluez les Résultats

Questions à répondre :

• L'avantage survit-il aux hypothèses pessimistes ?
• La performance est-elle stable à travers les variations de paramètres ?
• La stratégie fonctionne-t-elle dans plusieurs régimes de marché ?
• La taille d'échantillon est-elle suffisante pour une confiance statistique ?
• Les résultats sont-ils réalistes, pas « trop beaux pour être vrais » ?

Critères de décision :

• ✅ Déployer : Survit à tous les tests de stress avec une performance acceptable
• 🔄 Affiner : Logique centrale solide mais nécessite un ajustement des paramètres
• ❌ Abandonner : Échoue aux tests de stress ou repose sur des hypothèses fragiles

Utilisez le script d'évaluation pour une évaluation structurée et quantitative :

python3 skills/backtest-expert/scripts/evaluate_backtest.py \
  --total-trades 150 \
  --win-rate 62 \
  --avg-win-pct 1.8 \
  --avg-loss-pct 1.2 \
  --max-drawdown-pct 15 \
  --years-tested 8 \
  --num-parameters 3 \
  --slippage-tested \
  --output-dir reports/

Le script score sur 5 dimensions (Taille d'échantillon, Espérance, Gestion du risque, Robustesse, Réalisme d'exécution), détecte les signaux d'alarme, et produit un verdict Déployer/Affiner/Abandonner.

Principes Clés de Test

Punissez la Stratégie

Ajoutez de la friction partout :

• Commissions plus élevées que dans la réalité
• Slippage 1,5-2x typique
• Pires cas de remplissage
• Rejets d'ordre
• Remplissages partiels

Justification : Les stratégies qui survivent aux hypothèses pessimistes surpassent souvent en trading réel.

Cherchez des Plateaux, Pas des Pics

Cherchez des plages de paramètres où la performance est stable, pas des valeurs optimales qui créent des pics de performance.

Bon : Stratégie rentable avec un stop loss entre 1,5% et 3,0% Mauvais : Stratégie fonctionne seulement avec un stop loss exactement à 2,13%

Une performance stable indique un avantage réel ; des optimums étroits suggèrent du surajustement.

Testez Tous les Cas, Pas des Exemples Triés sur le Volet

Mauvaise approche : Étudier des « leaders du marché » choisis à la main qui ont fonctionné Bonne approche : Tester chaque action qui répondait aux critères, y compris celles qui ont échoué

Les exemples sélectifs créent un biais de survivant et surestiment la qualité de la stratégie.

Séparez la Génération d'Idées de la Validation

Intuition : Utile pour générer des hypothèses Validation : Doit être purement basée sur les données

Ne laissez jamais l'attachement à une idée influencer l'interprétation des résultats de test.

Schémas d'Échec Courants

Reconnaissez ces schémas tôt pour gagner du temps :

1. Sensibilité aux paramètres : Ne fonctionne qu'avec des valeurs de paramètres exactes
2. Spécifique au régime : Excellent certaines années, terrible d'autres
3. Sensibilité au slippage : Non rentable lorsque des coûts réalistes sont ajoutés
4. Petit échantillon : Trop peu de trades pour une confiance statistique
5. Biais de look-ahead : Résultats « trop beaux pour être vrais »
6. Sur-optimisation : Beaucoup de paramètres, mauvais résultats hors échantillon

Voir references/failed_tests.md pour des exemples détaillés et un cadre de diagnostic.

Sortie

• reports/backtest_eval_<timestamp>.json — évaluation structurée avec scores par dimension, signaux d'alarme, et verdict
• reports/backtest_eval_<timestamp>.md — rapport lisible par l'humain avec tableau des dimensions, métriques clés, et détails des signaux d'alarme

Ressources

Référence Méthodologique

Fichier : references/methodology.md

Quand lire : Pour des conseils détaillés sur des techniques de test spécifiques.

Contenu :

• Méthodes de test de stress
• Analyse de sensibilité des paramètres
• Modélisation du slippage et de la friction
• Exigences de taille d'échantillon
• Classification des régimes de marché
• Biais et pièges courants (survivant, look-ahead, surajustement, etc.)

Référence des Tests Échoués

Fichier : references/failed_tests.md

Quand lire : Quand la stratégie échoue aux tests, ou pour apprendre des erreurs passées.

Contenu :

• Pourquoi les échecs sont précieux
• Schémas d'échec courants avec exemples
• Cadre de documentation d'étude de cas
• Liste de contrôle des signaux d'alarme pour évaluer les backtests

Rappels Critiques

Allocation de temps : Passez 20% à générer des idées, 80% à essayer de les casser.

Exigence sans contexte : Si la stratégie nécessite un « contexte parfait » pour fonctionner, elle n'est pas assez robuste pour le trading systématique.

Signal d'alarme : Si les résultats de backtest semblent trop bons (>90% de taux de gain, drawdowns minimaux, timing parfait), auditez soigneusement pour un biais de look-ahead ou des problèmes de données.

Limitations des outils : Comprenez votre plateforme de backtesting.