Communitygithub.com

Walk-Forward OOS-Zertifizierung

Führt eine deterministische Walk-Forward Out-of-Sample-Studie durch – die Zertifizierungs-Engine hinter der Public Portfolio Challenge. Verwenden Sie dies, um ein festes Portfolio zu zertifizieren oder es bei Bedarf neu zu optimieren, sowie zur Überwachung und Analyse der Ergebnisse.

Was ist Walk-Forward OOS-Zertifizierung?

Diese Fähigkeit implementiert einen deterministischen Walk-Forward Out-of-Sample (OOS)-Zertifizierungsprozess, der speziell für die NexusTrade Public Portfolio Challenge entwickelt wurde. Sie ermöglicht es, ein festes Portfolio ('backtest_only') zu zertifizieren oder es mittels eines 'Sweep'-Reoptimierungsprozesses neu zu optimieren. Standardmäßig werden 5 Folds im verankerten Modus (anchored) mit einem Zeitraum von 2022 bis heute verwendet, wobei die OOS-Fenster unabhängig vom Trainingsfenster validiert werden. Der Ablauf umfasst eine Vorschau der Fold-Kalender zur Kostenabschätzung, die Durchführung der Studie, die Überwachung auf Fehler oder Hänger, sowie sieben obligatorische Prüfungen pro Fold: Rendite, Drawdown, Sortino-Ratio, Handelsbreite, Reproduzierbarkeit, Spread-Struktur-Konformität und Degradation. Besonderes Augenmerk liegt auf der Erkennung von Überanpassung, der korrekten Kalenderausrichtung zwischen verschiedenen Portfolio-Varianten und der Verhinderung von Datenlecks. Die Fähigkeit unterstützt die Plattformen NexusTrade (über MCP) und ist für Entwickler und KI-Agenten gedacht, die eine zuverlässige, reproduzierbare und manipulationssichere Zertifizierung von Handelsstrategien benötigen.

Funktioniert mit~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/austin-starks/Public-Portfolio-Challenge/tree/HEAD/skills/walk-forward-oos

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

Was macht Walk-Forward OOS-Zertifizierung?

Die deterministische Out-of-Sample-Engine. Walk-Forward, Validierungsmodus, verankert, 5 Folds, 2022→heute – die OOS-Folds sind das Urteil, nicht ein einzelner Backtest.

Der Studienaufruf

mcp__nexustrade__run_walk_forward_study (Tools werden aufgeschoben – laden Sie sie über ToolSearch). Führen Sie immer zuerst preview_only: true aus, um den Fold-Kalender und die Kosten zu sehen, bestätigen Sie, dass er den Zeitraum 2022→heute abdeckt (er muss sowohl den Bärenmarkt 2022 als auch den Ausverkauf im April 2025 umfassen – der tiefste Drawdown dieses Buches ist ein Ereignis im April 2025, daher müssen die Folds ihn abdecken), setzen Sie ihn dann auf false und notieren Sie die study_id.

{
  "portfolio_id": "<SUBJEKT oder ein sauberer Klon>",
  "global_start_date": "2022-01-01",
  "global_end_date":   "<HEUTE>",
  "fold_count": 5,
  "walk_forward_mode": "anchored",
  "mode": "validation",              // Pro-Fold unabhängiger OOS
  "oos_width_days": 252,
  "embargo_days": 14,
  "interval": "Day",
  "inner_mode": "backtest_only",     // Zertifiziert das FESTE Buch – kein Pro-Fold-Optimierer
  "preview_only": true               // Auf false setzen, um es tatsächlich auszuführen
}
  • Ein festes Buch zertifizieren: inner_mode: "backtest_only" (engine_kind ga/default – ein Sweep wird für eine Festkonfigurations-Zertifizierung abgelehnt).
  • Neu optimieren (nur bei FEHLER oder struktureller Änderung): engine_kind: "sweep", inner_mode: "optimize", certification: true, plus gene_intents. GA overfittet und wird für die Bereitstellungszertifizierung abgelehnt – Sweep ist der zertifizierte Pfad. Siehe Sweep-Reoptimierung.
  • certification: true wendet die Aktivitätsuntergrenze + percentChange ≥ 0 + sortino ≥ 0.5-Richtlinie an und setzt validation_percent standardmäßig auf 50.

Pre-Flight-Check vor der Zertifizierung eines Live-Buches

  1. get_portfolio – Erfassen Sie das Strategieset, conditionFieldAudit und die Ausstiegsleiter.
  2. Entfernen Sie den LaunchAgent. Eine LaunchAgent-Strategie kann nicht historisch ausgeführt werden – sie feuert einmal und protokolliert Tausende von cooldownSkip-Ereignissen, was die Folds kontaminiert. Zertifizieren Sie einen LaunchAgent-freien Klon (nur Rebalance- und Close-Regeln) und teilen Sie dies mit.
  3. Spread-Shape-Prüfung der Live-Strukturen (siehe Optionsstruktur-Regeln). Ein langlaufender vertikaler Spread ist ein harter Verstoß → das Buch kann so nicht zertifiziert werden; gehen Sie direkt zur Neuoptimierung.
  4. Konkavitäts-Cap-Falle: Wenn mehrere „immer"-Take-Profit-Schlüsse existieren (z. B. P/L ≥ 20 % / 50 % / 200 %), greift der niedrigste zuerst und begrenzt jeden Gewinner auf ~+20 %, was die Begründung für uneingeschränkte Calls zunichtemacht. Melden Sie es – es ist der wahrscheinlichste Grund, warum Renditen hinter einem Buch zurückbleiben, das Gewinner laufen lässt.

Überwachen der Studie

Rufen Sie list_walk_forward_studies / get_walk_forward_study_results <study_id> ab, bis der Endzustand erreicht ist (COMPLETE / ERROR / CANCELLED). Parsen Sie mit jq – die Payloads sind groß, geben Sie sie nicht ungefiltert aus. Achten Sie auf bekannte Fehlermodi und zeigen Sie sie an (nicht darüber hinwegsehen – das ist ein Bug-Protokoll-Auslöser):

  • Stillen Fehler / ERROR – keine Fold-Statistiken / leeres validationAggregate. Melden Sie es; erfinden Sie kein Urteil.
  • Falsches Fenster – Fold-Kalender beginnt nicht am 2022-01-01 / überspringt den Bärenmarkt.
  • Backtest-Kontamination – LaunchAgent feuert in Folds (hätte im Pre-Flight entfernt werden sollen).
  • Null-Trade / NaN-Folds – vorgelagerte Positionskorruption; melden Sie, welche Folds, niemals über NaNs mitteln.
  • Eine Studie, die tatsächlich über ihre geschätzten Kosten/Zeit hängt → anhalten, zusammenfassen, auf den Menschen warten (die Engine wird möglicherweise in einem anderen Tab repariert).

Die obligatorischen Pro-Fold-Prüfungen (dies IST das Urteil)

  1. Pro-Fold OOS-Tabelle – für jeden Fold: Trainingsfenster, OOS-Fenster, OOS-Rendite, OOS-maxDD, OOS-Sortino, mediane Allokation, verschiedene Basiswerte, Partizipation. Plus das validationAggregate.
  2. Unabhängiger Re-Backtest-Stichprobencheck – backtest_portfolio (25.000 $) über den gesamten Zyklus (2022-01-01→heute), den Bärenmarkt 2022 (2022-01-01→2023-01-01) und die letzten 12 Monate; audit_backtest_posture des gesamten Zyklus-Laufs. Die Studien-Folds müssen mit einem frischen, eigenständigen Backtest übereinstimmen. Baseline ≠ SPY für ein Optionsbuch – verwenden Sie einen materiellen Basiswert oder ein gleichgewichtetes Universum (B&H) und notieren Sie dies.
  3. Degradation – Training vs. OOS pro Fold. Großer Trainings→OOS-Einbruch = Überanpassung, selbst wenn der gesamte Zyklus-Backtest großartig aussieht.
  4. Drawdown-Ehrlichkeit – OOS-maxDD neben OOS-Rendite pro Fold; führen Sie mit dem Risiko. Bei diesem Hebel kann ein Fold eine enorme Rendite und einen Drawdown von 50–77 % erzielen.
  5. Breitentor bei FESTEN 25.000 $ (Breitenprüfung).
  6. Reproduzierbarkeit / Feldprüfung – conditionFieldAudit stimmt mit den beabsichtigten Einstellungen überein; compare_backtests {tolerance_bps: 0} bei einem erneuten Lauf. Überprüfen Sie nach Feld, niemals nach Anzeigenamen.
  7. Spread-Shape-Konformität (Optionsstruktur-Regeln) – harte Ablehnung bei Verstoß.

Kalenderausrichtung (Variante vs. Basis)

Die Walk-Forward-Engine beschneidet den Fold-Kalender auf die Abdeckung des Indikators/der Daten, sodass eine Variantenstudie stillschweigend andere Folds erhalten kann als die Basisstudie. Führen Sie immer eine Basis-KONTROLLE mit demselben global_end_date wie dem beschnittenen Kalender der Variante durch und vergleichen Sie Fold für Fold. Melden Sie die Pro-Fold-Signalabdeckung neben der Pro-Fold-OOS. Eine Variante, die nur gewinnt, wo das Signal existiert, ist ein Befund, kein Betrug – aber sagen Sie es.

Individual skills in this repo

This repo contains 11 individual skills — each has its own dedicated page.

austin-starks/Public-Portfolio-Challenge

Build alternative-data custom indicators on NexusTrade (Reddit/WSB mentions, congressional disclosures, insider filings, news-flow) and wire them into a certified book as a rank/tilt/filter signal. Use when adding alt-data to a strategy, building a CustomIndicator via compute sessions, auditing lookahead safety or per-ticker coverage, or deciding whether a data series is dense enough to drive a rank. Covers the compute-session workflow, the sparse-series rule, and source recipes (see references/). Invoke with the NexusTrade MCP connected.

austin-starks/Public-Portfolio-Challenge

Measure a NexusTrade options book's TRUE participation at a fixed cold-start capital base, defeating the compounded-NAV breadth illusion. Use whenever a book's headline \"holds N/21 names\" needs validating, when a live book collapses to a single name (the OSCR trap), when checking whether a SelectTop / per-name-allocation / total-budget change degraded simultaneous participation, or when a certification needs a breadth gate. Uses audit_backtest_breadth at held-fixed $25k.

austin-starks/Public-Portfolio-Challenge

The \"loudly declare\" protocol for platform, engine, or data bugs during a NexusTrade certification campaign — bugs are a first-class deliverable, not something to route around. Use whenever a NexusTrade tool errors, hangs, or returns numbers that contradict the config; whenever you're tempted to write \"probably an engine quirk\"; or when a discovered bug invalidates prior backtests and results must be quarantined. Includes the bug hand-off doc template (see references/BUG_TEMPLATE.md).

austin-starks/Public-Portfolio-Challenge

The GATED deploy + cleanup flow for a NexusTrade live book — clone the finalist, preview a delta reconcile, stage UNAPPROVED orders, verify fills. Use ONLY after the human explicitly says \"deploy + clean up\" and names a finalist. Covers the clone-before-reconcile ordering, the single-tick reconcile expectation, stale-pending-order hygiene, the signal-freshness gate, and why you can never approve orders yourself. Nothing here runs during certification.

austin-starks/Public-Portfolio-Challenge

The mandatory pre-flight contract checks (Stage S0) that must pass before trusting NexusTrade's certification engine for any strategy work. Use at the start of a bakeoff or certification campaign to prove the walk-forward engine runs end-to-end, windows don't leak, fold winners persist, and the engine doesn't fabricate values for dead/not-yet-listed names. Each check has a STOP-and-report failure mode; these runs do NOT count toward any certification minimum.

austin-starks/Public-Portfolio-Challenge

The single-touch lockbox — a final anti-overfitting holdout run once, after design freeze, on a window held out from every fold, sweep, and search. Use when finalizing a bakeoff winner before deploy, setting up the A/B/C baselines as OOS bars, or running the S1.5 gate-coherence auto-relax. Covers why looking at the lockbox twice burns it, the lockbox pass conditions, and the three baselines. The lockbox is distinct from the walk-forward OOS folds.

austin-starks/Public-Portfolio-Challenge

The hard structural constraints for the Public Portfolio Challenge momentum-LEAP options book — the spread-shape rule, the take-profit convexity-cap footgun, the affordability ladder, and the known losers not to re-test. Use whenever building or auditing an options strategy structure, checking spread-shape compliance before a certification, choosing DTE/strike rungs, or deciding whether a proposed structure change is even allowed. A violation is an automatic certification FAIL.

austin-starks/Public-Portfolio-Challenge

Orchestrate an out-of-sample certification of a NexusTrade trading strategy or live book — the master discipline behind the Public Portfolio Challenge. Use whenever you must decide PASS/FAIL on whether a portfolio holds up out of sample before deploying real money, replaying the Episode 10 runbooks, or running a \"certify my book\" / \"prove it out of sample\" / \"re-certify the fix\" task with the NexusTrade MCP connected. Pulls in walk-forward-oos, breadth-audit, sweep-reoptimization, options-structure-rules, bug-protocol, and deploy-gate.

austin-starks/Public-Portfolio-Challenge

The single entry point that executes a Public Portfolio Challenge episode or addendum runbook end-to-end, delegating each stage to the functional skills. Use when asked to run/execute/replay Episode 10, its bakeoff, or its addendum with the NexusTrade MCP connected. Reads the target runbook, pins its real artifacts (IDs, the incumbent bar), sequences the stages, and stops at the gated deploy. It orchestrates; the functional skills do the work.

austin-starks/Public-Portfolio-Challenge

Run a multi-family strategy bakeoff — the SEARCH→CERTIFY funnel that screens many candidate mechanisms down to a certified deploy winner without letting the cheap search layer issue a verdict. Use when replaying the Episode 10 bakeoff, when exploring several distinct strategy families before certifying, when deciding whether \"no deployable winner\" is even a legal conclusion, or when building the per-family certification ledger. Enforces verdict-integrity: only certification can end a campaign.

austin-starks/Public-Portfolio-Challenge

Re-optimize a NexusTrade strategy with a walk-forward SWEEP and label parameter provenance — the discipline that prevents deploying inherited knobs. Use whenever a structural change (sizing, rung depth, universe membership, DTE family, adding a rank signal) forces a re-sweep, when authoring gene_intents from get_sweep_surface, when choosing sweep over GA for a deploy cert, or when selecting the cross-fold-robust winner instead of the per-fold argmax. Invoke with the NexusTrade MCP connected.

Verwandte Skills