Communitygithub.com

austin-starks/Public-Portfolio-Challenge

Exécuter et lire une étude walk-forward hors échantillon de NexusTrade — le moteur de certification derrière le Public Portfolio Challenge. À utiliser lors de la certification d'un portefeuille fixe (backtest_only) ou de sa réoptimisation (sweep), lors du paramétrage de fold_count / anchored / validation / embargo, lors de la surveillance d'une run_walk_forward_study jusqu'à son achèvement, lors de la lecture des rendements OOS par fold / Sortino / drawdown, ou lorsque le calendrier des folds d'une variante nécessite un alignement calendaire par rapport à un contrôle de base. Invoquer avec le MCP NexusTrade connecté.

Qu'est-ce que Public-Portfolio-Challenge ?

Cette compétence fournit le moteur de certification walk-forward hors échantillon (OOS) déterministe pour les études de portefeuille NexusTrade, utilisé par le Public Portfolio Challenge. Elle guide l'utilisateur à travers l'exécution et l'interprétation d'études walk-forward validées, ancrées, avec 5 folds couvrant de 2022 à aujourd'hui — garantissant que les folds OOS incluent à la fois le marché baissier de 2022 et la vente d'avril 2025. La compétence distingue la certification d'un livre fixe (backtest_only) de la réoptimisation via sweep, et détaille les vérifications obligatoires par fold : rendement OOS, Sortino, drawdown maximum, re-backtest indépendant, dégradation train vs OOS, audit de reproductibilité des champs, et conformité des spreads d'options. Elle traite également l'alignement calendaire entre une variante et une base de contrôle, la gestion des modes d'échec connus (échec silencieux, fenêtre erronée, contamination du backtest, folds sans trade), et les vérifications préalables comme le retrait du LaunchAgent et le plafonnement de convexité. Supportée par le MCP NexusTrade, elle est utilisée via les outils run_walk_forward_study, list_walk_forward_studies et get_walk_forward_study_results. Idéale pour les développeurs et analystes certifiant des stratégies de trading algorithmique sur NexusTrade.

Compatible avec~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/austin-starks/Public-Portfolio-Challenge/tree/HEAD/skills/walk-forward-oos

Demander à votre IA préférée

Ouvre une nouvelle conversation avec cette compétence d'agent déjà préchargée.

Documentation

Certification Walk-Forward OOS

Le moteur déterministe hors échantillon. Walk-forward, mode validation, ancré, 5 folds, 2022→aujourd'hui — les folds OOS sont le verdict, pas un seul backtest.

L'appel d'étude

mcp__nexustrade__run_walk_forward_study (les outils sont différés — charger via ToolSearch). Toujours exécuter preview_only: true D'ABORD pour voir le calendrier des folds + le coût, confirmer qu'il couvre 2022→aujourd'hui (doit inclure à la fois le marché baissier de 2022 et la vente d'avril 2025 — le drawdown le plus profond de ce livre est un événement d'avril 2025, donc les folds doivent le couvrir), puis basculer à false et enregistrer le study_id.

{
  "portfolio_id": "<SUJET ou un clone propre>",
  "global_start_date": "2022-01-01",
  "global_end_date":   "<AUJOURD'HUI>",
  "fold_count": 5,
  "walk_forward_mode": "anchored",
  "mode": "validation",              // OOS indépendant par fold
  "oos_width_days": 252,
  "embargo_days": 14,
  "interval": "Day",
  "inner_mode": "backtest_only",     // certifier le livre FIXE — pas d'optimiseur par fold
  "preview_only": true               // basculer à false pour réellement exécuter
}
  • Certifier un livre fixe : inner_mode: "backtest_only" (engine_kind ga/default — un sweep est rejeté pour une certification de configuration fixe).
  • Réoptimiser (uniquement sur ÉCHEC ou un changement structurel) : engine_kind: "sweep", inner_mode: "optimize", certification: true, plus gene_intents. GA surajuste et est rejeté pour la certification de déploiement — sweep est le chemin certifié. Voir réoptimisation-sweep.
  • certification: true applique la politique de plancher d'activité + percentChange ≥ 0 + sortino ≥ 0.5 et définit validation_percent par défaut à 50.

Pré-vol avant de certifier un livre en direct

  1. get_portfolio — capturer l'ensemble des stratégies, le conditionFieldAudit et l'échelle de sortie.
  2. Retirer le LaunchAgent. Une stratégie LaunchAgent ne peut pas s'exécuter historiquement — elle se déclenche une fois et enregistre des milliers d'événements cooldownSkip, contaminant les folds. Certifier un clone sans LaunchAgent (règles de rééquilibrage + de clôture uniquement) et mentionner l'avoir fait.
  3. Vérification de la forme des spreads des structures en direct (voir règles-de-structure-options). Un spread vertical à longue échéance est une violation stricte → le livre ne peut pas être certifié en l'état ; aller directement à la réopt.
  4. Piège du plafond de convexité : si plusieurs prises de bénéfices "toujours" existent (par ex. P/L ≥ 20 % / 50 % / 200 %), la plus basse s'applique en premier et plafonne chaque gagnant à environ +20 %, annulant la logique d'achat pur. Le signaler — c'est la raison la plus probable pour laquelle les rendements sont inférieurs à un livre laissant courir les gagnants.

Surveiller l'étude

Interroger list_walk_forward_studies / get_walk_forward_study_results <study_id> jusqu'à l'état terminal (COMPLETE / ERROR / CANCELLED). Analyser avec jq — les charges utiles sont volumineuses, ne pas les décharger. Surveiller les modes d'échec connus et les signaler (ne pas les masquer — c'est un déclencheur protocole-bogue) :

  • Échec silencieux / ERROR — aucune statistique de fold / validationAggregate vide. Le signaler ; ne pas inventer un verdict.
  • Fenêtre erronée — le calendrier des folds ne commence pas le 2022-01-01 / saute le marché baissier.
  • Contamination du backtest — LaunchAgent se déclenchant dans les folds (aurait dû être retiré lors du pré-vol).
  • Folds sans trade / NaN — corruption du marquage de position en amont ; signaler quels folds, ne jamais moyenner sur des NaN.
  • Une étude réellement bloquée au-delà de son coût/temps estimé → arrêter, résumer, attendre l'humain (le moteur peut être en réparation dans un autre onglet).

Les vérifications obligatoires par fold (ce SONT le verdict)

  1. Tableau OOS par fold — pour chaque fold : fenêtre d'entraînement, fenêtre OOS, rendement OOS, maxDD OOS, Sortino OOS, déploiement médian, sous-jacents distincts, participation. Plus le validationAggregate.
  2. Vérification ponctuelle par re-backtest indépendant — backtest_portfolio (25 000 $) sur le cycle complet (2022-01-01→aujourd'hui), le marché baissier de 2022 (2022-01-01→2023-01-01) et les 12 derniers mois ; audit_backtest_posture l'exécution du cycle complet. Les folds d'étude doivent concorder avec un nouveau backtest autonome. La référence ≠ SPY pour un livre d'options — utiliser un sous-jacent matériel ou un univers B&H équipondéré, et le noter.
  3. Dégradation — entraînement vs OOS par fold. Un effondrement important entraînement→OOS = surajustement, même si le backtest du cycle complet semble excellent.
  4. Honneteté du drawdown — maxDD OOS à côté du rendement OOS par fold ; commencer par le risque. À ce levier, un fold peut afficher un rendement énorme et un drawdown de 50 à 77 %.
  5. Porte de largeur à 25 000 $ FIXE (audit-largeur).
  6. Reproductibilité / audit des champs — conditionFieldAudit correspond aux réglages prévus ; compare_backtests {tolerance_bps: 0} sur une réexécution. Vérifier par champ, jamais par nom d'affichage.
  7. Conformité de la forme des spreads (règles-de-structure-options) — rejet strict en cas de violation.

Alignement calendaire (variante vs base)

Le moteur walk-forward ajuste le calendrier des folds à la couverture de l'indicateur/des données, donc l'étude d'une variante peut obtenir silencieusement des folds différents de ceux de la base. Toujours exécuter un CONTROLE de base avec la même global_end_date que le calendrier ajusté de la variante et comparer fold par fold. Signaler la couverture du signal par fold à côté du OOS par fold. Une variante qui ne gagne que là où le signal existe est une observation, pas une triche — mais le dire.

Individual skills in this repo

This repo contains 11 individual skills — each has its own dedicated page.

austin-starks/Public-Portfolio-Challenge

Build alternative-data custom indicators on NexusTrade (Reddit/WSB mentions, congressional disclosures, insider filings, news-flow) and wire them into a certified book as a rank/tilt/filter signal. Use when adding alt-data to a strategy, building a CustomIndicator via compute sessions, auditing lookahead safety or per-ticker coverage, or deciding whether a data series is dense enough to drive a rank. Covers the compute-session workflow, the sparse-series rule, and source recipes (see references/). Invoke with the NexusTrade MCP connected.

austin-starks/Public-Portfolio-Challenge

Measure a NexusTrade options book's TRUE participation at a fixed cold-start capital base, defeating the compounded-NAV breadth illusion. Use whenever a book's headline \"holds N/21 names\" needs validating, when a live book collapses to a single name (the OSCR trap), when checking whether a SelectTop / per-name-allocation / total-budget change degraded simultaneous participation, or when a certification needs a breadth gate. Uses audit_backtest_breadth at held-fixed $25k.

austin-starks/Public-Portfolio-Challenge

The \"loudly declare\" protocol for platform, engine, or data bugs during a NexusTrade certification campaign — bugs are a first-class deliverable, not something to route around. Use whenever a NexusTrade tool errors, hangs, or returns numbers that contradict the config; whenever you're tempted to write \"probably an engine quirk\"; or when a discovered bug invalidates prior backtests and results must be quarantined. Includes the bug hand-off doc template (see references/BUG_TEMPLATE.md).

austin-starks/Public-Portfolio-Challenge

The GATED deploy + cleanup flow for a NexusTrade live book — clone the finalist, preview a delta reconcile, stage UNAPPROVED orders, verify fills. Use ONLY after the human explicitly says \"deploy + clean up\" and names a finalist. Covers the clone-before-reconcile ordering, the single-tick reconcile expectation, stale-pending-order hygiene, the signal-freshness gate, and why you can never approve orders yourself. Nothing here runs during certification.

austin-starks/Public-Portfolio-Challenge

The mandatory pre-flight contract checks (Stage S0) that must pass before trusting NexusTrade's certification engine for any strategy work. Use at the start of a bakeoff or certification campaign to prove the walk-forward engine runs end-to-end, windows don't leak, fold winners persist, and the engine doesn't fabricate values for dead/not-yet-listed names. Each check has a STOP-and-report failure mode; these runs do NOT count toward any certification minimum.

austin-starks/Public-Portfolio-Challenge

The single-touch lockbox — a final anti-overfitting holdout run once, after design freeze, on a window held out from every fold, sweep, and search. Use when finalizing a bakeoff winner before deploy, setting up the A/B/C baselines as OOS bars, or running the S1.5 gate-coherence auto-relax. Covers why looking at the lockbox twice burns it, the lockbox pass conditions, and the three baselines. The lockbox is distinct from the walk-forward OOS folds.

austin-starks/Public-Portfolio-Challenge

The hard structural constraints for the Public Portfolio Challenge momentum-LEAP options book — the spread-shape rule, the take-profit convexity-cap footgun, the affordability ladder, and the known losers not to re-test. Use whenever building or auditing an options strategy structure, checking spread-shape compliance before a certification, choosing DTE/strike rungs, or deciding whether a proposed structure change is even allowed. A violation is an automatic certification FAIL.

austin-starks/Public-Portfolio-Challenge

Orchestrate an out-of-sample certification of a NexusTrade trading strategy or live book — the master discipline behind the Public Portfolio Challenge. Use whenever you must decide PASS/FAIL on whether a portfolio holds up out of sample before deploying real money, replaying the Episode 10 runbooks, or running a \"certify my book\" / \"prove it out of sample\" / \"re-certify the fix\" task with the NexusTrade MCP connected. Pulls in walk-forward-oos, breadth-audit, sweep-reoptimization, options-structure-rules, bug-protocol, and deploy-gate.

austin-starks/Public-Portfolio-Challenge

The single entry point that executes a Public Portfolio Challenge episode or addendum runbook end-to-end, delegating each stage to the functional skills. Use when asked to run/execute/replay Episode 10, its bakeoff, or its addendum with the NexusTrade MCP connected. Reads the target runbook, pins its real artifacts (IDs, the incumbent bar), sequences the stages, and stops at the gated deploy. It orchestrates; the functional skills do the work.

austin-starks/Public-Portfolio-Challenge

Run a multi-family strategy bakeoff — the SEARCH→CERTIFY funnel that screens many candidate mechanisms down to a certified deploy winner without letting the cheap search layer issue a verdict. Use when replaying the Episode 10 bakeoff, when exploring several distinct strategy families before certifying, when deciding whether \"no deployable winner\" is even a legal conclusion, or when building the per-family certification ledger. Enforces verdict-integrity: only certification can end a campaign.

austin-starks/Public-Portfolio-Challenge

Re-optimize a NexusTrade strategy with a walk-forward SWEEP and label parameter provenance — the discipline that prevents deploying inherited knobs. Use whenever a structural change (sizing, rung depth, universe membership, DTE family, adding a rank signal) forces a re-sweep, when authoring gene_intents from get_sweep_surface, when choosing sweep over GA for a deploy cert, or when selecting the cross-fold-robust winner instead of the per-fold argmax. Invoke with the NexusTrade MCP connected.

Skills associés