Communitygithub.com

austin-starks/Public-Portfolio-Challenge

Das „Laut verkünden“-Protokoll für Plattform-, Engine- oder Datenfehler während einer NexusTrade-Zertifizierungskampagne – Bugs sind erstklassige Liefergegenstände, nicht etwas, das umgangen werden sollte.

Was ist Public-Portfolio-Challenge?

Das „Loudly Declare“-Bug-Protokoll definiert einen standardisierten, fünfstufigen Prozess für den Umgang mit Fehlern in der NexusTrade-Plattform, Engine oder in Datenquellen während einer Zertifizierungskampagne. Es zwingt Entwickler und KI-Agenten, jeden Fehler sofort zu stoppen, zu charakterisieren, zu protokollieren und zu eskalieren, anstatt ihn zu verschleiern, um den Kampagnenfortschritt künstlich aufrechtzuerhalten. Das Protokoll hebt hervor, dass erfundene Erklärungen (Konfabulationen) für Engine-Verhalten die gefährlichste Fehlerart sind, und fordert eine Überprüfung durch konkrete Abfragen wie `query_backtest_events` oder `conditionFieldAudit`, bevor Behauptungen aufgestellt werden. Es wird für Claude Code, Cursor, Codex und ähnliche KI-gestützte Entwicklungstools empfohlen, die in Backtesting- und Portfolio-Management-Workflows integriert sind. Die Implementierung umfasst die Erstellung von Bug-Übergabedokumenten basierend auf einer Vorlage, die Quarantäne aller betroffenen Ergebnisse und die prominente Meldung an den Menschen. Das Protokoll unterscheidet klar zwischen echten Bugs und „ehrlichen Signalfehlern“ wie `NoEligibleCandidate` oder fehlenden, nicht gelisteten Werten, die nicht gemeldet werden sollen.

Funktioniert mit~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/austin-starks/Public-Portfolio-Challenge/tree/HEAD/skills/bug-protocol

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

Bug-Protokoll — „Laut verkünden“

Der Compute- und Engine-Stack ist neu und in Bewegung. Jeder Fehler erhält dieses Protokoll. Überdecke niemals einen Fehler, um eine Kampagne am Laufen zu halten – ein geschluckter Bug ist schlimmer als ein blockierter Schritt. Eine erfundene Erklärung (Konfabulation, warum die Engine etwas getan hat) ist die schlimmste Fehlerart: Die schlimmsten Momente der Kampagne waren konfabulierte Abgleicherereignisse, Preisverhalten und Budgetverhalten. Überprüfen, nicht behaupten.

Präzedenzfall: Ein totalBudget-Überdeployierungsfehler (ein Buch mit einem Budget von 40 % hatte beim Kaltstart etwa 96 % des NAV deployed) wurde genau auf diese Weise entdeckt und hat Wochen von Ergebnissen ungültig gemacht. Die allgemeine Lehre ist, jedes von einem Engine-Fehler betroffene Ergebnis unter Quarantäne zu stellen und erst nach Korrektur des Verhaltens erneut auszuführen.

Die fünf Schritte (bei jedem Fehler anwenden)

  1. Stoppen und charakterisieren – liegt es an der Konfiguration (mein Fehler), an den Daten (quellseitig) oder an der Engine (NexusTrade)? Minimal reproduzieren – der kleinste Job/Backtest, der das Problem noch zeigt.
  2. Sofort protokollieren im CAMPAIGN_LOG.md des Laufs unter einer Überschrift ⚠️ BUG/ISSUE: Symptom, Reproduktions-IDs, Erwartet vs. Beobachtet, aktuelle Hypothese (als Hypothese gekennzeichnet), was blockiert wird.
  3. Wenn es sich um einen echten Engine-/Datenfehler handelt, ein Übergabedokument schreiben <NAME>_BUG.md im Laufverzeichnis, basierend auf der Vorlage in references/BUG_TEMPLATE.md (Einzeiler-Zusammenfassung, Erwartet vs. Beobachtet, Reproduktion mit IDs, Haupthypothese, Alternativen zum Ausschluss, Suchhinweise, Auswirkungen auf Ergebnisse).
  4. Betroffene Ergebnisse unter Quarantäne stellen – jeden Backtest/Studie, der/die vor der Korrektur durchgeführt wurde, als verdächtig/ungültig markieren. Nach der Korrektur erneut ausführen. Wenn der Fehler den Hebel aufgebläht hat, sind sowohl Renditen als auch Drawdowns aufgebläht, und jedes davon betroffene Sweep-Gen kann nicht-differenzierend sein – alles davon erneut validieren.
  5. Dem Menschen deutlich im Chat mitteilen. Bugs sind ein gleichberechtigter Liefergegenstand der Episode wie das Handelsergebnis – keine Peinlichkeit, die man umgehen muss.

Was KEIN Bug ist (ehrliche Signalfehler – diese nicht melden)

  • Ein Fold, der NoEligibleCandidate zurückgibt = ein ehrliches Signal, kein Bug. Validierung erweitern; Zertifizierungsschwellen nicht senken.
  • Ein toter / noch nicht gelisteter Name (z. B. SNDK im Jahr 2022), der abwesend ist oder sich in einer Ablehnungsliste ohne erfundene Werte befindet = korrektes Verhalten. Die Engine, die einen Preis/Indikatorwert für einen nicht gehandelten Namen erfindet, IST ein Bug (siehe Engine-Sanity).
  • Ein Ein-Tick-Abgleichsziel = die Live-Strategie akkumuliert den Rest über tägliche Rebalancen – dies so sagen, nicht als Bug neu diagnostizieren (siehe Deploy-Gate).

Überprüfen-Statt-Behaupten-Checkliste

Bevor du eine Behauptung über das Engine-Verhalten in einen Liefergegenstand schreibst, untermauere sie mit einem der folgenden: query_backtest_events / query_portfolio_events, einer conditionFieldAudit oder einer minimalen Reproduktion. „Die Engine wahrscheinlich …“ ist kein Beweis.

Individual skills in this repo

This repo contains 11 individual skills — each has its own dedicated page.

austin-starks/Public-Portfolio-Challenge

Build alternative-data custom indicators on NexusTrade (Reddit/WSB mentions, congressional disclosures, insider filings, news-flow) and wire them into a certified book as a rank/tilt/filter signal. Use when adding alt-data to a strategy, building a CustomIndicator via compute sessions, auditing lookahead safety or per-ticker coverage, or deciding whether a data series is dense enough to drive a rank. Covers the compute-session workflow, the sparse-series rule, and source recipes (see references/). Invoke with the NexusTrade MCP connected.

austin-starks/Public-Portfolio-Challenge

Measure a NexusTrade options book's TRUE participation at a fixed cold-start capital base, defeating the compounded-NAV breadth illusion. Use whenever a book's headline \"holds N/21 names\" needs validating, when a live book collapses to a single name (the OSCR trap), when checking whether a SelectTop / per-name-allocation / total-budget change degraded simultaneous participation, or when a certification needs a breadth gate. Uses audit_backtest_breadth at held-fixed $25k.

austin-starks/Public-Portfolio-Challenge

The GATED deploy + cleanup flow for a NexusTrade live book — clone the finalist, preview a delta reconcile, stage UNAPPROVED orders, verify fills. Use ONLY after the human explicitly says \"deploy + clean up\" and names a finalist. Covers the clone-before-reconcile ordering, the single-tick reconcile expectation, stale-pending-order hygiene, the signal-freshness gate, and why you can never approve orders yourself. Nothing here runs during certification.

austin-starks/Public-Portfolio-Challenge

The mandatory pre-flight contract checks (Stage S0) that must pass before trusting NexusTrade's certification engine for any strategy work. Use at the start of a bakeoff or certification campaign to prove the walk-forward engine runs end-to-end, windows don't leak, fold winners persist, and the engine doesn't fabricate values for dead/not-yet-listed names. Each check has a STOP-and-report failure mode; these runs do NOT count toward any certification minimum.

austin-starks/Public-Portfolio-Challenge

The single-touch lockbox — a final anti-overfitting holdout run once, after design freeze, on a window held out from every fold, sweep, and search. Use when finalizing a bakeoff winner before deploy, setting up the A/B/C baselines as OOS bars, or running the S1.5 gate-coherence auto-relax. Covers why looking at the lockbox twice burns it, the lockbox pass conditions, and the three baselines. The lockbox is distinct from the walk-forward OOS folds.

austin-starks/Public-Portfolio-Challenge

The hard structural constraints for the Public Portfolio Challenge momentum-LEAP options book — the spread-shape rule, the take-profit convexity-cap footgun, the affordability ladder, and the known losers not to re-test. Use whenever building or auditing an options strategy structure, checking spread-shape compliance before a certification, choosing DTE/strike rungs, or deciding whether a proposed structure change is even allowed. A violation is an automatic certification FAIL.

austin-starks/Public-Portfolio-Challenge

Orchestrate an out-of-sample certification of a NexusTrade trading strategy or live book — the master discipline behind the Public Portfolio Challenge. Use whenever you must decide PASS/FAIL on whether a portfolio holds up out of sample before deploying real money, replaying the Episode 10 runbooks, or running a \"certify my book\" / \"prove it out of sample\" / \"re-certify the fix\" task with the NexusTrade MCP connected. Pulls in walk-forward-oos, breadth-audit, sweep-reoptimization, options-structure-rules, bug-protocol, and deploy-gate.

austin-starks/Public-Portfolio-Challenge

The single entry point that executes a Public Portfolio Challenge episode or addendum runbook end-to-end, delegating each stage to the functional skills. Use when asked to run/execute/replay Episode 10, its bakeoff, or its addendum with the NexusTrade MCP connected. Reads the target runbook, pins its real artifacts (IDs, the incumbent bar), sequences the stages, and stops at the gated deploy. It orchestrates; the functional skills do the work.

austin-starks/Public-Portfolio-Challenge

Run a multi-family strategy bakeoff — the SEARCH→CERTIFY funnel that screens many candidate mechanisms down to a certified deploy winner without letting the cheap search layer issue a verdict. Use when replaying the Episode 10 bakeoff, when exploring several distinct strategy families before certifying, when deciding whether \"no deployable winner\" is even a legal conclusion, or when building the per-family certification ledger. Enforces verdict-integrity: only certification can end a campaign.

austin-starks/Public-Portfolio-Challenge

Re-optimize a NexusTrade strategy with a walk-forward SWEEP and label parameter provenance — the discipline that prevents deploying inherited knobs. Use whenever a structural change (sizing, rung depth, universe membership, DTE family, adding a rank signal) forces a re-sweep, when authoring gene_intents from get_sweep_surface, when choosing sweep over GA for a deploy cert, or when selecting the cross-fold-robust winner instead of the per-fold argmax. Invoke with the NexusTrade MCP connected.

austin-starks/Public-Portfolio-Challenge

Run and read a NexusTrade walk-forward out-of-sample study — the certification engine behind the Public Portfolio Challenge. Use when certifying a fixed portfolio (backtest_only) or re-optimizing one (sweep), when setting fold_count / anchored / validation / embargo params, when monitoring a run_walk_forward_study to completion, when reading per-fold OOS returns/Sortino/drawdown, or when a variant's fold calendar needs calendar-alignment against a base control. Invoke with the NexusTrade MCP connected.

Verwandte Skills