Communitygithub.com

Verrou à Usage Unique & Références de Base

Le coffre-fort à usage unique — une ultime évaluation hors-échantillon (OOS) exécutée une seule fois, après le gel de la conception, sur une fenêtre retenue de tous les plis, balayages et recherches. Utilisez-le lors de la finalisation du gagnant d'un bake-off avant déploiement, pour établir les références A/B/C comme barrières OOS, ou pour exécuter la relaxation automatique de cohérence de porte S1.5. Explique pourquoi regarder le coffre-fort deux fois le brûle, les conditions de passage du coffre-fort et les trois références. Le coffre-fort est distinct des plis OOS de marche en avant.

Qu'est-ce que Verrou à Usage Unique & Références de Base ?

Cette compétence définit le protocole de « verrou à usage unique » (single-touch lockbox) pour les backtests de stratégies de trading algorithmique, principalement sur des plateformes comme Claude Code ou Cursor. Elle établit une fenêtre finale OOS rigide de 126 jours avant la date d'exécution, qui n'est touchée qu'une seule fois après le gel complet de la conception (étape S2). Le verrou sert de dernier rempart contre le surajustement calendaire, garantissant que toute pression de sélection due à des optimisations répétées est détectée. La compétence est utile car elle formalise un processus de validation strict : si le verrou échoue, le déploiement est bloqué sauf dérogation explicite, empêchant des améliorations de performance illusoires. Les conditions de passage sont figées à l'étape S0, incluant un rendement OOS du verrou au moins égal au pire pli de marche en avant, un drawdown maximal ≤ 55 %, une posture de portefeuille propre et une largeur minimale de 9 noms. La compétence intègre également trois références OOS (A/B/C) — un indice d'actions, une stratégie naïve de LEAP ladder et une référence gelée du système précédent — ainsi qu'une relaxation automatique de la référence B (étape S1.5) pour assurer la comparabilité des déploiements. Ce protocole est essentiel pour tout développeur d'agents IA en finance quantitative souhaitant déployer en production avec une confiance statistique élevée.

Compatible avec~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/austin-starks/Public-Portfolio-Challenge/tree/HEAD/skills/lockbox-holdout

Demander à votre IA préférée

Ouvre une nouvelle conversation avec cette compétence d'agent déjà préchargée.

Documentation

Que fait Verrou à Usage Unique & Références de Base ?

Le verrou est une ultime fenêtre de rétention qu'aucun pli, balayage ou recherche ne touche jamais — la dernière ligne de défense contre la pression de sélection calendaire. Il est distinct des plis OOS de marche en avant (walk-forward-oos), qui sont utilisés de manière répétée pendant la recherche ; le verrou est touché exactement une fois.

Le verrou

  • Quoi : la fenêtre de marche en avant s'arrête lockbox_width_days = 126 (~6 mois) avant la date d'exécution. Cette fenêtre finale (date d'exécution − 126j) → date d'exécution est le verrou — retenue de TOUS les plis, TOUS les balayages, TOUTE la recherche.
  • Comment : seul le livre assemblé en forme de déploiement qui a déjà passé toutes les portes sur l'agrégat de marche en avant s'exécute sur le verrou, exactement une fois, après le gel de la conception (Étape S2).
  • Conditions de passage (figées à S0, ne pas les modifier après avoir vu les résultats) :
    • rendement OOS du verrou ≥ rendement OOS du pire pli unique de marche en avant ;
    • maxDD du verrou ≤ 55 % ;
    • posture propre (audit_backtest_posture, les quatre conditions) ;
    • largeur ≥ 9 noms éligibles (audit_backtest_breadth — voir audit-largeur).

L'usage unique est absolu

Si vous regardez le verrou puis itérez la conception, le verrou est brûlé — reculez la fenêtre de marche en avant et retenez une nouvelle queue avant tout déploiement. Un échec du verrou est traité comme une pression de sélection calendaire et signifie pas de déploiement, sauf par une dérogation explicite du propriétaire qui nomme le verrou.

Les trois références (A/B/C) comme barrières OOS (Étape S1)

Chargées depuis les snapshots/*.json validés via create_portfolio. Notez A et B sur le moteur actuel ; copiez les chiffres gelés publiés de C comme barrière à battre.

  • A — action achat&conservation (l'univers complet). Barrière de rendement uniquement, jamais une barrière de Sortino — son Sortino reflète une douceur de rallye boursier qu'un livre à prime longue à effet de levier ne peut égaler.
  • B — échelle LEAP naïve (spécification canonique : tous les noms, sans classement/filtre, cadence de 14 jours, 8 % du portefeuille par nom sous budget de 95 %, structure = premier échelon abordable de [Δ0.50 call → Δ0.55/0.25 → Δ0.55/0.40 → Δ0.50/0.42 vertical], tous 180–365 DTE, sortie unique à DTE ≤ 45). Barrière de Sortino uniquement dans les plis avec une largeur ≥ 9/20.
  • C — barrière gelée du système précédent avec des chiffres OOS par pli publiés, copiés textuellement (ne pas ré-exécuter pour les "améliorer").

S1.5 — Relaxation automatique de cohérence de porte (déterministe, sans aller-retour du propriétaire)

Avant la conception, vérifiez si "battre la référence B" et le plafond de posture ≤55 % sont conjointement satisfaisables — B est un livre déployé à ~95 %, donc un finaliste limité en posture ne peut pas le surpasser en déploiement. Si non satisfaisable, AUTO-RELAXATION de la référence B : réduisez le totalBudget de B jusqu'à ce que son déploiement médian quotidien ≤ 55 %, ré-exécutez son calcul de score S1 et enregistrez l'original vs B adaptée à la posture. Ce n'est pas une relaxation de porte ni une décision du propriétaire — seul le référentiel est rendu comparable ; les seuils restent figés.

Individual skills in this repo

This repo contains 11 individual skills — each has its own dedicated page.

austin-starks/Public-Portfolio-Challenge

Build alternative-data custom indicators on NexusTrade (Reddit/WSB mentions, congressional disclosures, insider filings, news-flow) and wire them into a certified book as a rank/tilt/filter signal. Use when adding alt-data to a strategy, building a CustomIndicator via compute sessions, auditing lookahead safety or per-ticker coverage, or deciding whether a data series is dense enough to drive a rank. Covers the compute-session workflow, the sparse-series rule, and source recipes (see references/). Invoke with the NexusTrade MCP connected.

austin-starks/Public-Portfolio-Challenge

Measure a NexusTrade options book's TRUE participation at a fixed cold-start capital base, defeating the compounded-NAV breadth illusion. Use whenever a book's headline \"holds N/21 names\" needs validating, when a live book collapses to a single name (the OSCR trap), when checking whether a SelectTop / per-name-allocation / total-budget change degraded simultaneous participation, or when a certification needs a breadth gate. Uses audit_backtest_breadth at held-fixed $25k.

austin-starks/Public-Portfolio-Challenge

The \"loudly declare\" protocol for platform, engine, or data bugs during a NexusTrade certification campaign — bugs are a first-class deliverable, not something to route around. Use whenever a NexusTrade tool errors, hangs, or returns numbers that contradict the config; whenever you're tempted to write \"probably an engine quirk\"; or when a discovered bug invalidates prior backtests and results must be quarantined. Includes the bug hand-off doc template (see references/BUG_TEMPLATE.md).

austin-starks/Public-Portfolio-Challenge

The GATED deploy + cleanup flow for a NexusTrade live book — clone the finalist, preview a delta reconcile, stage UNAPPROVED orders, verify fills. Use ONLY after the human explicitly says \"deploy + clean up\" and names a finalist. Covers the clone-before-reconcile ordering, the single-tick reconcile expectation, stale-pending-order hygiene, the signal-freshness gate, and why you can never approve orders yourself. Nothing here runs during certification.

austin-starks/Public-Portfolio-Challenge

The mandatory pre-flight contract checks (Stage S0) that must pass before trusting NexusTrade's certification engine for any strategy work. Use at the start of a bakeoff or certification campaign to prove the walk-forward engine runs end-to-end, windows don't leak, fold winners persist, and the engine doesn't fabricate values for dead/not-yet-listed names. Each check has a STOP-and-report failure mode; these runs do NOT count toward any certification minimum.

austin-starks/Public-Portfolio-Challenge

The hard structural constraints for the Public Portfolio Challenge momentum-LEAP options book — the spread-shape rule, the take-profit convexity-cap footgun, the affordability ladder, and the known losers not to re-test. Use whenever building or auditing an options strategy structure, checking spread-shape compliance before a certification, choosing DTE/strike rungs, or deciding whether a proposed structure change is even allowed. A violation is an automatic certification FAIL.

austin-starks/Public-Portfolio-Challenge

Orchestrate an out-of-sample certification of a NexusTrade trading strategy or live book — the master discipline behind the Public Portfolio Challenge. Use whenever you must decide PASS/FAIL on whether a portfolio holds up out of sample before deploying real money, replaying the Episode 10 runbooks, or running a \"certify my book\" / \"prove it out of sample\" / \"re-certify the fix\" task with the NexusTrade MCP connected. Pulls in walk-forward-oos, breadth-audit, sweep-reoptimization, options-structure-rules, bug-protocol, and deploy-gate.

austin-starks/Public-Portfolio-Challenge

The single entry point that executes a Public Portfolio Challenge episode or addendum runbook end-to-end, delegating each stage to the functional skills. Use when asked to run/execute/replay Episode 10, its bakeoff, or its addendum with the NexusTrade MCP connected. Reads the target runbook, pins its real artifacts (IDs, the incumbent bar), sequences the stages, and stops at the gated deploy. It orchestrates; the functional skills do the work.

austin-starks/Public-Portfolio-Challenge

Run a multi-family strategy bakeoff — the SEARCH→CERTIFY funnel that screens many candidate mechanisms down to a certified deploy winner without letting the cheap search layer issue a verdict. Use when replaying the Episode 10 bakeoff, when exploring several distinct strategy families before certifying, when deciding whether \"no deployable winner\" is even a legal conclusion, or when building the per-family certification ledger. Enforces verdict-integrity: only certification can end a campaign.

austin-starks/Public-Portfolio-Challenge

Re-optimize a NexusTrade strategy with a walk-forward SWEEP and label parameter provenance — the discipline that prevents deploying inherited knobs. Use whenever a structural change (sizing, rung depth, universe membership, DTE family, adding a rank signal) forces a re-sweep, when authoring gene_intents from get_sweep_surface, when choosing sweep over GA for a deploy cert, or when selecting the cross-fold-robust winner instead of the per-fold argmax. Invoke with the NexusTrade MCP connected.

austin-starks/Public-Portfolio-Challenge

Run and read a NexusTrade walk-forward out-of-sample study — the certification engine behind the Public Portfolio Challenge. Use when certifying a fixed portfolio (backtest_only) or re-optimizing one (sweep), when setting fold_count / anchored / validation / embargo params, when monitoring a run_walk_forward_study to completion, when reading per-fold OOS returns/Sortino/drawdown, or when a variant's fold calendar needs calendar-alignment against a base control. Invoke with the NexusTrade MCP connected.

Skills associés