Communitygithub.com

austin-starks/Public-Portfolio-Challenge

Orchestriere eine Out-of-Sample-Zertifizierung einer NexusTrade-Handelsstrategie oder eines Live-Buches – die Kernaufgabe hinter der Public Portfolio Challenge. Verwende dieses Skill immer dann, wenn du eine PASS/FAIL-Entscheidung treffen musst, ob ein Portfolio außerhalb der Stichprobe Bestand hat, bevor du echtes Geld einsetzt.

Was ist Public-Portfolio-Challenge?

Dieser Skill dient als Orchestrator und unabhängiger Verifizierer für die Public Portfolio Challenge und führt eine holistische PASS/FAIL-Zertifizierung von Handelsportfolios durch, die auf Out-of-Sample (OOS) Walk-Forward-Falten basiert – nie auf einer einzelnen Gesamtzahl. Er integriert Sub-Skills wie Walk-Forward-OOS, Breadth-Audit, Sweep-Reoptimierung, Optionsstruktur-Regeln, Bug-Protokoll und ein Deployment-Gate. Zu den Kernprinzipien gehören: OOS ist die einzige aussagekräftige Kennzahl; der Wert liegt im Design, nicht im Optimierer; die robuste Konfiguration über mehrere Falten hinweg wird deployt, nicht das Per-Fold-Argent; die Überprüfung erfolgt auf Feldebene, nicht nach Anzeigenamen; und jedes Claim muss verifiziert, nicht nur behauptet werden. Der Skill folgt einem standardisierten, fünfstufigen Ablauf (Baseline, Aufbau/Zertifizierung, Präsentation, Deployment mit Tor) und unterstützt Variantenkampagnen gegen einen bestehenden Benchmark mit kalendermäßig abgeglichenen Vergleichen – dabei wird der Einsatz von echtem Geld erst nach explizitem menschlichem Befehl freigegeben.

Funktioniert mit~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/austin-starks/Public-Portfolio-Challenge/tree/HEAD/skills/portfolio-certification

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

Portfolio-Zertifizierung

Die übergeordnete Skill für die Public Portfolio Challenge. Du bist der Orchestrator + unabhängiger Verifizierer: Du führst die deterministischen NexusTrade-Tools direkt aus, und die Zahlen sind deine eigenen – es gibt keinen Agenten, dessen Ergebnisse du überprüfst. Die Zertifizierung ist ein ganzheitliches BESTANDEN/NICHT BESTANDEN-Urteil, das aus Out-of-Sample-Walk-Forward-Folds abgelesen wird, niemals eine einzelne aggregierte Zahl.

Grundprinzipien (bindend für jeden Durchlauf)

  1. OOS ist die einzige Überschrift. Präsentiere niemals Trainings-/Validierungszahlen als Nachweis für Generalisierung. Ein großartiger Full-Cycle-Backtest mit einem Train→OOS-Einbruch ist ein NICHT BESTANDEN.
  2. Der Wert liegt im DESIGN, nicht im Optimierer. Der Sweep ist ein bescheidener Knöpfe-Einsteller, der die Nachbarschaft eines Designs bestätigt. Investiere Mühe in das Strategie-Design; bitte den Sweep um wenig.
  3. Setze die kreuzfalt-robuste Konfiguration ein, niemals das per-Fold-Argmax. Der Validierungsscore ist ein verrauschter Proxy; der per-Fold-Gewinner hat eine hohe Varianz. Verwende maximin OOS Sortino / robuste Selektion.
  4. Verifiziere auf FELD-Ebene, niemals nach Anzeigename. Verwende conditionFieldAudit; kopiere Indikator-IDs exakt aus dem Katalog. Bestätige das SUBJEKT nach Feld/Haltung, niemals nach seinem Namen.
  5. Verifiziere, behaupte nicht. Jede Behauptung über das Engine-Verhalten wird anhand von Events, Feldern oder einer Reproduktion überprüft, bevor sie in einem Deliverable erscheint. "Wahrscheinlich ein Engine-Quirk" → führe das Bug-Protokoll aus, keine vagen Aussagen.
  6. Ein ehrlich gemeldetes Null-Ergebnis ist ein gültiges Resultat. Quäle keine Varianten, bis eine "gewinnt" – das ist die per-Fold-Argmax-Falle im Kostüm. Unentschieden oder Rauschen-Level-Deltas → behalte den Amtsinhaber.
  7. Kein Deploy, keine Orders, bis der Mensch explizit "deploy + clean up" sagt (das Deploy-Gate).

Standard-Run-Struktur

Jede Zertifizierungskampagne folgt derselben gestaffelten Form. Passe die Mitte an; die Enden sind fix.

  • Stufe A – Baseline + Inventur. Bestätige das SUBJEKT per Feld (get_portfolio), überprüfe erneut den Amtsinhaber-Balken, führe einen Stichproben-Check eines frischen backtest_portfolio + audit_backtest_posture durch und – wenn das Buch live ist – überprüfe den Zustand ausstehender Orders und automaticOrderApproval. Liefere einen Ein-Absatz-Vorher-Zustand. Wenn Live-Verhalten das Problem ist, reproduziere es zuerst mit harten Zahlen (query_portfolio_events), dann behebe es.
  • Stufe B/C – Bauen + Zertifizieren. Führe die eigentliche Zertifizierung durch. Siehe walk-forward-oos für die Studienmechanik und die obligatorischen per-Fold-Checks, breadth-audit für die feste 25.000 $-Beteiligung, options-structure-rules für das harte Spread-Shape-Gate und sweep-reoptimization, falls eine strukturelle Änderung einen erneuten Sweep erzwingt.
  • Stufe D – Präsentieren, dann anhalten. Liefere ein entscheidungsreifes Paket: Urteil ganz oben, eine Zeile; per-Fold-OOS-Tabelle + Aggregat; Seite-an-Seite mit dem Amtsinhaber, wobei der Handel explizit gemacht wird; Endkandidaten-Regeln in einfachem Englisch + conditionFieldAudit + Build-ID; Herkunfts-Labels auf jedem Parameter (swept-on-this-book / inherited-from <study-id> / hand-set – geerbt ist gelb); ehrliche Einschränkungen (Rückschau im eingefrorenen Universum, Options-Fill-Realismus, Hebelwirkung/Anfälligkeit, schlechtester Drawdown war der April-2025-Ausverkauf, Baseline-Einschränkungen). Füge das Bug-Ledger bei. Kein Deploy.
  • Stufe E – Deploy (GESPERRT). Nur nach explizitem "deploy + clean up". Siehe deploy-gate.

Der ganzheitliche BESTANDEN-Test (keine per-Fold-grün-Regel)

Zertifiziere BESTANDEN, wenn die Mehrheit der OOS-Folds profitabel ist, der OOS-Sortino positiv und einigermaßen stabil ist (ungefähre Untergrenze ~0,5), der Drawdown innerhalb einer Toleranz liegt, die du tatsächlich halten würdest, die Bereitstellung über die Folds stabil ist und die Train→OOS-Verschlechterung gering ist. Ein schwacher Fold ≠ NICHT BESTANDEN. Anhaltende OOS-Verluste, explodierende Drawdowns oder reine Trainingsstärke = NICHT BESTANDEN. Eine Verletzung einer harten Einschränkung (Spread-Shape, Breadth-Kollaps) = automatisch NICHT BESTANDEN unabhängig von der Rendite.

"Besser als der Amtsinhaber" (Varianten-Kampagnen)

Wenn eine Variante gegen einen live/zertifizierten Balken getestet wird, bedeutet "besser" = festgehalten ÜBER DIESELBEN Folds hinweg, sie verbessert die OOS-Rendite bei keinem schlechteren Risiko ODER verbessert das Risiko (Sortino/DD) bei ähnlicher Rendite ODER verbessert nachweislich das schwache Regime (Bären-Fold), wobei die Breadth nicht beeinträchtigt wird. Vergleiche müssen kalenderausgerichtet sein (führe eine Basiskontrolle auf dem beschnittenen Kalender der Variante durch – siehe walk-forward-oos).

Trigger-Wörter für die Selbstkontrolle

  • "der Backtest beweist es" → OOS-Folds oder es ist nicht passiert.
  • "die Knöpfe des Gewinners wiederverwenden" / "bereits zertifiziert" → Hat sich die Struktur geändert? Wenn ja → erneuter Sweep (sweep-reoptimization) vor der Zertifizierung.
  • "19/21 Namen" / "tolle Breadth" → messe bei FESTEN 25.000 $ (breadth-audit); aufgezinste Breadth ist eine Illusion.
  • "der Indikator sieht prädiktiv aus" → zertifiziere ihn, beurteile ihn nicht nach Augenmaß.
  • "wahrscheinlich ein Engine-Quirk" → Bug-Protokoll: verifiziere, behaupte nicht.

Quell-Runbücher (ausgearbeitete Beispiele dieser Disziplin)

  • episode-10/BAKEOFF_RUNBOOK.md – Engine-Sanity-Checks, 16-Varianten-Bakeoff, Walk-Forward-Zertifizierung, Lockbox.
  • episode-10/addendum/RUNBOOK.md – Neugestaltung von Einstiegen und Ausstiegen, dann Verhalten OOS beweisen.
  • episode-10/addendum/CAMPAIGN_LOG.md – Die vollständigen Lektionen des Addendums und das Deployment-Ledger.

Individual skills in this repo

This repo contains 11 individual skills — each has its own dedicated page.

austin-starks/Public-Portfolio-Challenge

Build alternative-data custom indicators on NexusTrade (Reddit/WSB mentions, congressional disclosures, insider filings, news-flow) and wire them into a certified book as a rank/tilt/filter signal. Use when adding alt-data to a strategy, building a CustomIndicator via compute sessions, auditing lookahead safety or per-ticker coverage, or deciding whether a data series is dense enough to drive a rank. Covers the compute-session workflow, the sparse-series rule, and source recipes (see references/). Invoke with the NexusTrade MCP connected.

austin-starks/Public-Portfolio-Challenge

Measure a NexusTrade options book's TRUE participation at a fixed cold-start capital base, defeating the compounded-NAV breadth illusion. Use whenever a book's headline \"holds N/21 names\" needs validating, when a live book collapses to a single name (the OSCR trap), when checking whether a SelectTop / per-name-allocation / total-budget change degraded simultaneous participation, or when a certification needs a breadth gate. Uses audit_backtest_breadth at held-fixed $25k.

austin-starks/Public-Portfolio-Challenge

The \"loudly declare\" protocol for platform, engine, or data bugs during a NexusTrade certification campaign — bugs are a first-class deliverable, not something to route around. Use whenever a NexusTrade tool errors, hangs, or returns numbers that contradict the config; whenever you're tempted to write \"probably an engine quirk\"; or when a discovered bug invalidates prior backtests and results must be quarantined. Includes the bug hand-off doc template (see references/BUG_TEMPLATE.md).

austin-starks/Public-Portfolio-Challenge

The GATED deploy + cleanup flow for a NexusTrade live book — clone the finalist, preview a delta reconcile, stage UNAPPROVED orders, verify fills. Use ONLY after the human explicitly says \"deploy + clean up\" and names a finalist. Covers the clone-before-reconcile ordering, the single-tick reconcile expectation, stale-pending-order hygiene, the signal-freshness gate, and why you can never approve orders yourself. Nothing here runs during certification.

austin-starks/Public-Portfolio-Challenge

The mandatory pre-flight contract checks (Stage S0) that must pass before trusting NexusTrade's certification engine for any strategy work. Use at the start of a bakeoff or certification campaign to prove the walk-forward engine runs end-to-end, windows don't leak, fold winners persist, and the engine doesn't fabricate values for dead/not-yet-listed names. Each check has a STOP-and-report failure mode; these runs do NOT count toward any certification minimum.

austin-starks/Public-Portfolio-Challenge

The single-touch lockbox — a final anti-overfitting holdout run once, after design freeze, on a window held out from every fold, sweep, and search. Use when finalizing a bakeoff winner before deploy, setting up the A/B/C baselines as OOS bars, or running the S1.5 gate-coherence auto-relax. Covers why looking at the lockbox twice burns it, the lockbox pass conditions, and the three baselines. The lockbox is distinct from the walk-forward OOS folds.

austin-starks/Public-Portfolio-Challenge

The hard structural constraints for the Public Portfolio Challenge momentum-LEAP options book — the spread-shape rule, the take-profit convexity-cap footgun, the affordability ladder, and the known losers not to re-test. Use whenever building or auditing an options strategy structure, checking spread-shape compliance before a certification, choosing DTE/strike rungs, or deciding whether a proposed structure change is even allowed. A violation is an automatic certification FAIL.

austin-starks/Public-Portfolio-Challenge

The single entry point that executes a Public Portfolio Challenge episode or addendum runbook end-to-end, delegating each stage to the functional skills. Use when asked to run/execute/replay Episode 10, its bakeoff, or its addendum with the NexusTrade MCP connected. Reads the target runbook, pins its real artifacts (IDs, the incumbent bar), sequences the stages, and stops at the gated deploy. It orchestrates; the functional skills do the work.

austin-starks/Public-Portfolio-Challenge

Run a multi-family strategy bakeoff — the SEARCH→CERTIFY funnel that screens many candidate mechanisms down to a certified deploy winner without letting the cheap search layer issue a verdict. Use when replaying the Episode 10 bakeoff, when exploring several distinct strategy families before certifying, when deciding whether \"no deployable winner\" is even a legal conclusion, or when building the per-family certification ledger. Enforces verdict-integrity: only certification can end a campaign.

austin-starks/Public-Portfolio-Challenge

Re-optimize a NexusTrade strategy with a walk-forward SWEEP and label parameter provenance — the discipline that prevents deploying inherited knobs. Use whenever a structural change (sizing, rung depth, universe membership, DTE family, adding a rank signal) forces a re-sweep, when authoring gene_intents from get_sweep_surface, when choosing sweep over GA for a deploy cert, or when selecting the cross-fold-robust winner instead of the per-fold argmax. Invoke with the NexusTrade MCP connected.

austin-starks/Public-Portfolio-Challenge

Run and read a NexusTrade walk-forward out-of-sample study — the certification engine behind the Public Portfolio Challenge. Use when certifying a fixed portfolio (backtest_only) or re-optimizing one (sweep), when setting fold_count / anchored / validation / embargo params, when monitoring a run_walk_forward_study to completion, when reading per-fold OOS returns/Sortino/drawdown, or when a variant's fold calendar needs calendar-alignment against a base control. Invoke with the NexusTrade MCP connected.

Verwandte Skills