Communitygithub.com

Certification de Portefeuille – Public Portfolio Challenge

Orchestrer la certification hors échantillon d'une stratégie de trading NexusTrade ou d'un carnet live — la discipline maîtresse du Public Portfolio Challenge. À utiliser pour décider PASS/ÉCHEC sur la robustesse d'un portefeuille avant d'y engager de l'argent réel, rejouer les runbooks de l'Épisode 10, ou exécuter une tâche de type « certifier mon carnet » / « prouver hors échantillon » / « re-certifier le correctif » avec le MCP NexusTrade connecté.

Qu'est-ce que Certification de Portefeuille – Public Portfolio Challenge ?

Cette compétence définit le processus rigoureux de certification hors échantillon (OOS) pour le Public Portfolio Challenge, servant de vérificateur indépendant et d'orchestrateur des outils NexusTrade. Elle repose sur un verdict PASS/ÉCHEC holistique, lu à partir des replis de validation walk-forward, et non sur un unique nombre agrégé. L'utilisateur (ou l'agent IA) agit comme réviseur impartial, exécutant directement les outils déterministes, sans déléguer à un autre agent. Le processus suit une structure en cinq étapes : inventaire et vérification de l'état initial (A), construction et certification (B/C), présentation avec verdict clair et preuves de provenance (D), et déploiement uniquement après autorisation explicite d'un humain (E). Les règles fondamentales incluent : ne jamais présenter des métriques d'entraînement/validation comme preuve de généralisation, vérifier au niveau des champs (conditionFieldAudit) plutôt que des noms d'affichage, documenter honnêtement les résultats nuls, et ne déployer qu'après activation de la porte de déploiement (deploy-gate). La compétence impose également des contrôles de cohérence (largeur de portefeuille, structure des options) et une re-optimisation par balayage (sweep-reoptimization) en cas de changement structurel. Elle intègre des mots déclencheurs d'auto-vérification et renvoie aux runbooks de l'Épisode 10 comme exemples concrets.

Compatible avec~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/austin-starks/Public-Portfolio-Challenge/tree/HEAD/skills/portfolio-certification

Demander à votre IA préférée

Ouvre une nouvelle conversation avec cette compétence d'agent déjà préchargée.

Documentation

Certification de Portefeuille

La compétence parapluie pour le Public Portfolio Challenge. Vous êtes l'orchestrateur + vérificateur indépendant : vous exécutez les outils déterministes NexusTrade directement et les chiffres sont les vôtres — il n'y a aucun agent dont vous remettez en cause les résultats. La certification est un verdict PASS/ÉCHEC holistique lu à partir des replis walk-forward hors échantillon, jamais un seul nombre agrégé.

Premiers principes (contraignants pour chaque exécution)

  1. L'OOS est le seul indicateur principal. Ne présentez jamais les chiffres d'entraînement/validation comme preuve de généralisation. Un excellent backtest complet avec un effondrement entraînement→OOS est un ÉCHEC.
  2. La valeur réside dans le DESIGN, pas dans l'optimiseur. Le balayage est un modeste régleur de boutons qui confirme le voisinage d'un design. Investissez du temps dans la conception de la stratégie ; ne demandez que peu au balayage.
  3. Déployez la configuration robuste inter-replis, jamais l'argmax par repli. Le score de validation est un proxy bruité ; le gagnant par repli est à variance élevée. Utilisez la sélection robuste (Sortino OOS maximin).
  4. Vérifiez au niveau du CHAMP, jamais par nom d'affichage. Utilisez conditionFieldAudit ; copiez exactement les identifiants d'indicateur depuis le catalogue. Confirmez le SUJET par champ/posture, jamais par son nom.
  5. Vérifiez, n'affirmez pas. Toute affirmation sur le comportement du moteur est vérifiée par rapport aux événements, champs ou une reproduction avant d'apparaître dans un livrable. « C'est probablement un caprice du moteur » → exécutez le bug-protocol, ne balayez pas la question.
  6. Un résultat nul rapporté honnêtement est un résultat valide. Ne torturez pas les variantes jusqu'à ce que l'une « gagne » — c'est le piège de l'argmax par repli sous un autre déguisement. Égalité ou écarts au niveau du bruit → conservez l'incumbent.
  7. Pas de déploiement, pas d'ordres tant que l'humain n'a pas explicitement dit « déployer + nettoyer » (la deploy-gate).

Structure d'exécution standard

Chaque campagne de certification suit la même structure par étapes. Adaptez le milieu ; les extrémités sont fixes.

  • Étape A — Base de référence + inventaire. Confirmez le SUJET par champ (get_portfolio), re-vérifiez la barre de l'incumbent, effectuez un contrôle ponctuel avec backtest_portfolio + audit_backtest_posture, et — si le carnet est live — vérifiez l'état des ordres en attente et automaticOrderApproval. Livrez un paragraphe d'état avant. Quand le comportement live est le problème, reproduisez-le d'abord avec des chiffres concrets (query_portfolio_events), puis corrigez.
  • Étape B/C — Construire + certifier. Réalisez la certification proprement dite. Voir walk-forward-oos pour les mécanismes d'étude et les vérifications obligatoires par repli, breadth-audit pour la participation fixe de 25 000 $, options-structure-rules pour la porte stricte de forme des spreads, et sweep-reoptimization si un changement structurel force un nouveau balayage.
  • Étape D — Présenter, puis s'arrêter. Livrez un package prêt à décider : verdict en haut, une ligne ; tableau OOS par repli + agrégé ; comparaison côte à côte avec l'incumbent avec le compromis explicite ; règles en anglais simple du finaliste + conditionFieldAudit + identifiant de build ; étiquettes de provenance sur chaque paramètre (swept-on-this-book / inherited-from <study-id> / hand-set — hérité est orange) ; mises en garde honnêtes (rétrospective dans l'univers gelé, réalisme du remplissage des options, levier/fragilité, pire drawdown = vente massive d'avril 2025, mises en garde de base). Incluez le registre des bugs. Pas de déploiement.
  • Étape E — Déployer (VERROUILLÉE). Uniquement après un « déployer + nettoyer » explicite. Voir deploy-gate.

Le test holistique PASS (pas de règle de vert par repli)

Certifiez PASS lorsque la majorité des replis OOS sont rentables, le Sortino OOS est positif et raisonnablement stable (seuil bas ~0,5), le drawdown est dans la tolérance que vous accepteriez réellement, le déploiement est stable à travers les replis, et la dégradation entraînement→OOS est modeste. Un repli faible ≠ ÉCHEC. Des pertes OOS persistantes, un drawdown explosif ou une force uniquement sur l'entraînement = ÉCHEC. Une violation de contrainte dure (forme des spreads, effondrement de largeur) = ÉCHEC automatique, quel que soit le rendement.

« Meilleur que l'incumbent » (campagnes variantes)

Lors du test d'une variante par rapport à une barre live/certifiée, « meilleur » = mesuré FIXE sur les mêmes replis, elle améliore le rendement OOS sans risque accru, OU améliore significativement le risque (Sortino/drawdown) avec un rendement similaire, OU améliore démontrablement le régime faible (repli baissier), sans dégradation de la largeur. Les comparaisons doivent être alignées sur le calendrier (exécutez un contrôle de base sur le calendrier tronqué de la variante — voir walk-forward-oos).

Mots déclencheurs d'auto-vérification

  • « le backtest le prouve » → replis OOS ou ça n'a pas eu lieu.
  • « réutiliser les boutons du gagnant » / « déjà certifié » → la structure a-t-elle changé ? Si oui → re-balayage (sweep-reoptimization) avant de certifier.
  • « 19/21 noms » / « grande largeur » → mesurez à 25 000 $ FIXE (breadth-audit) ; la largeur composée est une illusion.
  • « l'indicateur semble prédictif » → certifiez-le, ne l'estimez pas visuellement.
  • « c'est probablement un caprice du moteur » → bug-protocol : vérifiez, n'affirmez pas.

Runbooks sources (exemples concrets de cette discipline)

  • episode-10/BAKEOFF_RUNBOOK.md — vérifications de cohérence du moteur, confrontation de 16 variantes, certification walk-forward, coffre-fort.
  • episode-10/addendum/RUNBOOK.md — reconcevoir les entrées et sorties, puis prouver le comportement OOS.
  • episode-10/addendum/CAMPAIGN_LOG.md — leçons complètes et journal de déploiement de l'addendum.

Individual skills in this repo

This repo contains 11 individual skills — each has its own dedicated page.

austin-starks/Public-Portfolio-Challenge

Build alternative-data custom indicators on NexusTrade (Reddit/WSB mentions, congressional disclosures, insider filings, news-flow) and wire them into a certified book as a rank/tilt/filter signal. Use when adding alt-data to a strategy, building a CustomIndicator via compute sessions, auditing lookahead safety or per-ticker coverage, or deciding whether a data series is dense enough to drive a rank. Covers the compute-session workflow, the sparse-series rule, and source recipes (see references/). Invoke with the NexusTrade MCP connected.

austin-starks/Public-Portfolio-Challenge

Measure a NexusTrade options book's TRUE participation at a fixed cold-start capital base, defeating the compounded-NAV breadth illusion. Use whenever a book's headline \"holds N/21 names\" needs validating, when a live book collapses to a single name (the OSCR trap), when checking whether a SelectTop / per-name-allocation / total-budget change degraded simultaneous participation, or when a certification needs a breadth gate. Uses audit_backtest_breadth at held-fixed $25k.

austin-starks/Public-Portfolio-Challenge

The \"loudly declare\" protocol for platform, engine, or data bugs during a NexusTrade certification campaign — bugs are a first-class deliverable, not something to route around. Use whenever a NexusTrade tool errors, hangs, or returns numbers that contradict the config; whenever you're tempted to write \"probably an engine quirk\"; or when a discovered bug invalidates prior backtests and results must be quarantined. Includes the bug hand-off doc template (see references/BUG_TEMPLATE.md).

austin-starks/Public-Portfolio-Challenge

The GATED deploy + cleanup flow for a NexusTrade live book — clone the finalist, preview a delta reconcile, stage UNAPPROVED orders, verify fills. Use ONLY after the human explicitly says \"deploy + clean up\" and names a finalist. Covers the clone-before-reconcile ordering, the single-tick reconcile expectation, stale-pending-order hygiene, the signal-freshness gate, and why you can never approve orders yourself. Nothing here runs during certification.

austin-starks/Public-Portfolio-Challenge

The mandatory pre-flight contract checks (Stage S0) that must pass before trusting NexusTrade's certification engine for any strategy work. Use at the start of a bakeoff or certification campaign to prove the walk-forward engine runs end-to-end, windows don't leak, fold winners persist, and the engine doesn't fabricate values for dead/not-yet-listed names. Each check has a STOP-and-report failure mode; these runs do NOT count toward any certification minimum.

austin-starks/Public-Portfolio-Challenge

The single-touch lockbox — a final anti-overfitting holdout run once, after design freeze, on a window held out from every fold, sweep, and search. Use when finalizing a bakeoff winner before deploy, setting up the A/B/C baselines as OOS bars, or running the S1.5 gate-coherence auto-relax. Covers why looking at the lockbox twice burns it, the lockbox pass conditions, and the three baselines. The lockbox is distinct from the walk-forward OOS folds.

austin-starks/Public-Portfolio-Challenge

The hard structural constraints for the Public Portfolio Challenge momentum-LEAP options book — the spread-shape rule, the take-profit convexity-cap footgun, the affordability ladder, and the known losers not to re-test. Use whenever building or auditing an options strategy structure, checking spread-shape compliance before a certification, choosing DTE/strike rungs, or deciding whether a proposed structure change is even allowed. A violation is an automatic certification FAIL.

austin-starks/Public-Portfolio-Challenge

The single entry point that executes a Public Portfolio Challenge episode or addendum runbook end-to-end, delegating each stage to the functional skills. Use when asked to run/execute/replay Episode 10, its bakeoff, or its addendum with the NexusTrade MCP connected. Reads the target runbook, pins its real artifacts (IDs, the incumbent bar), sequences the stages, and stops at the gated deploy. It orchestrates; the functional skills do the work.

austin-starks/Public-Portfolio-Challenge

Run a multi-family strategy bakeoff — the SEARCH→CERTIFY funnel that screens many candidate mechanisms down to a certified deploy winner without letting the cheap search layer issue a verdict. Use when replaying the Episode 10 bakeoff, when exploring several distinct strategy families before certifying, when deciding whether \"no deployable winner\" is even a legal conclusion, or when building the per-family certification ledger. Enforces verdict-integrity: only certification can end a campaign.

austin-starks/Public-Portfolio-Challenge

Re-optimize a NexusTrade strategy with a walk-forward SWEEP and label parameter provenance — the discipline that prevents deploying inherited knobs. Use whenever a structural change (sizing, rung depth, universe membership, DTE family, adding a rank signal) forces a re-sweep, when authoring gene_intents from get_sweep_surface, when choosing sweep over GA for a deploy cert, or when selecting the cross-fold-robust winner instead of the per-fold argmax. Invoke with the NexusTrade MCP connected.

austin-starks/Public-Portfolio-Challenge

Run and read a NexusTrade walk-forward out-of-sample study — the certification engine behind the Public Portfolio Challenge. Use when certifying a fixed portfolio (backtest_only) or re-optimizing one (sweep), when setting fold_count / anchored / validation / embargo params, when monitoring a run_walk_forward_study to completion, when reading per-fold OOS returns/Sortino/drawdown, or when a variant's fold calendar needs calendar-alignment against a base control. Invoke with the NexusTrade MCP connected.

Skills associés