Communitygithub.com

austin-starks/Public-Portfolio-Challenge

Execute e leia um estudo walk-forward out-of-sample do NexusTrade — o mecanismo de certificação por trás do Public Portfolio Challenge. Use ao certificar um portfólio fixo (backtest_only) ou reotimizar um (sweep), ao definir parâmetros de fold_count / anchored / validation / embargo, ao monitorar um run_walk_forward_study até a conclusão, ao ler retornos/Sortino/drawdown OOS por fold, ou quando o calendário de folds de uma variante precisa de alinhamento de calendário contra um controle base. Invoque com o MCP do NexusTrade conectado.

O que é Public-Portfolio-Challenge?

Este skill fornece um mecanismo determinístico e rigoroso de certificação out-of-sample (OOS) para portfólios usando walk-forward validation. Ele permite executar estudos walk-forward no NexusTrade, certificar livros fixos (backtest_only) ou reotimizar (sweep) com validação explícita de overfitting, degradação e honestidade de drawdown. Suporta modos anchored, validação independente por fold, e inclui verificações obrigatórias como comparação com backtest standalone, auditoria de campo e conformidade de estrutura de opções. É essencial para garantir que um portfólio passou pelo crivo do Public Portfolio Challenge, exigindo que o calendário de folds cubra tanto o bear market de 2022 quanto a queda de abril de 2025, e que o agente LaunchAgent seja removido antes da certificação. O skill também trata de alinhamento de calendário entre variantes e bases de controle, reportando diferenças de cobertura de sinal.

Funciona com~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/austin-starks/Public-Portfolio-Challenge/tree/HEAD/skills/walk-forward-oos

Perguntar na sua IA favorita

Abre um novo chat com esta habilidade de agente já pré-carregada.

Documentação

Certificação Walk-Forward OOS

O motor determinístico out-of-sample. Walk-forward, modo de validação, ancorado, 5 folds, 2022→hoje — os folds OOS são o veredito, não um único backtest.

A chamada do estudo

mcp__nexustrade__run_walk_forward_study (as ferramentas são diferidas — carregue via ToolSearch). Execute sempre preview_only: true PRIMEIRO para ver o calendário de folds + custo, confirme que ele abrange 2022→hoje (deve incluir tanto o bear market de 2022 quanto a queda de abril de 2025 — o maior drawdown deste livro é um evento de abril de 2025, então os folds precisam abrangê-lo), depois mude para false e registre o study_id.

{
  "portfolio_id": "<SUJEITO ou um clone limpo>",
  "global_start_date": "2022-01-01",
  "global_end_date":   "<HOJE>",
  "fold_count": 5,
  "walk_forward_mode": "anchored",
  "mode": "validation",              // OOS independente por fold
  "oos_width_days": 252,
  "embargo_days": 14,
  "interval": "Day",
  "inner_mode": "backtest_only",     // certifica o livro FIXO — sem otimizador por fold
  "preview_only": true               // mude para false para executar de fato
}
  • Certificar um livro fixo: inner_mode: "backtest_only" (engine_kind ga/default — um sweep é rejeitado para certificação de configuração fixa).
  • Reotimizar (apenas em FALHA ou mudança estrutural): engine_kind: "sweep", inner_mode: "optimize", certification: true, mais gene_intents. GA sobreajusta e é rejeitado para certificação de deploy — sweep é o caminho certificado. Veja sweep-reotimização.
  • certification: true aplica a política de piso de atividade + percentChange ≥ 0 + sortino ≥ 0.5 e define validation_percent como 50.

Pré-voo antes de certificar um livro ao vivo

  1. get_portfolio — capture o conjunto de estratégias, conditionFieldAudit e a escada de saída.
  2. Remova o LaunchAgent. Uma estratégia LaunchAgent não pode ser executada historicamente — ela dispara uma vez e registra milhares de eventos cooldownSkip, contaminando os folds. Certifique um clone sem LaunchAgent (apenas regras de rebalanceamento e fechamento) e diga que fez isso.
  3. Verificação de formato de spread das estruturas ao vivo (veja regras-de-estrutura-de-opções). Um spread vertical de longo prazo é uma violação grave → o livro não pode certificar como está; vá direto para reotimização.
  4. Armadilha de limite de convexidade: se múltiplos fechamentos de take-profit "sempre" existem (ex.: P/L ≥ 20% / 50% / 200%), o mais baixo vincula primeiro e limita todo vencedor a ~+20%, frustrando a lógica da compra de opção. Sinalize isso — é a razão mais provável para retornos ficarem atrás de um livro que deixa os vencedores correrem.

Monitorar o estudo

Consulte list_walk_forward_studies / get_walk_forward_study_results <study_id> até o estado terminal (COMPLETE / ERROR / CANCELLED). Analise com jq — os payloads são grandes, não os despeje. Fique atento a modos de falha conhecidos e os exiba (não os ignore — isso aciona um protocolo-de-bug):

  • Falha silenciosa / ERROR — sem estatísticas de fold / validationAggregate vazio. Reporte; não invente um veredito.
  • Janela errada — calendário de folds não começando em 2022-01-01 / pulando o bear market.
  • Contaminação do backtest — LaunchAgent disparando nos folds (deveria ter sido removido no pré-voo).
  • Folds com zero negócios / NaN — corrupção de marcação de posição upstream; reporte quais folds, nunca calcule média sobre NaNs.
  • Um estudo genuinamente travado além do custo/tempo estimado → pare, resuma, aguarde o humano (o motor pode estar sendo reparado em outra aba).

As verificações obrigatórias por fold (estas SÃO o veredito)

  1. Tabela OOS por fold — para cada fold: janela de treino, janela OOS, retorno OOS, maxDD OOS, Sortino OOS, implantação mediana, subjacentes distintos, participação. Mais o validationAggregate.
  2. Verificação pontual com re-backtest independente — backtest_portfolio ($25k) no ciclo completo (2022-01-01→hoje), no bear market de 2022 (2022-01-01→2023-01-01) e nos últimos 12 meses; audit_backtest_posture na execução do ciclo completo. Os folds do estudo devem concordar com um backtest standalone novo. Linha de base ≠ SPY para um livro de opções — use um subjacente material ou um universo de comprar e manter com pesos iguais, e anote isso.
  3. Degradação — treino vs OOS por fold. Grande colapso treino→OOS = sobreajuste, mesmo que o backtest do ciclo completo pareça ótimo.
  4. Honestidade do drawdown — maxDD OOS junto com retorno OOS por fold; lidere com risco. Nessa alavancagem, um fold pode exibir um retorno enorme e um drawdown de 50–77%.
  5. Portão de amplitude a FIXOS $25k (auditoria-de-amplitude).
  6. Reprodutibilidade / auditoria de campo — conditionFieldAudit corresponde aos controles pretendidos; compare_backtests {tolerance_bps: 0} em uma reexecução. Verifique por campo, nunca por nome de exibição.
  7. Conformidade de formato de spread (regras-de-estrutura-de-opções) — rejeição forte em violação.

Alinhamento de calendário (variante vs base)

O motor walk-forward corta o calendário de folds para a cobertura do indicador / dados, portanto o estudo de uma variante pode silenciosamente obter folds diferentes dos da base. Sempre execute um CONTROLE base com o mesmo global_end_date que o calendário cortado da variante e compare fold por fold. Reporte a cobertura de sinal por fold junto com o OOS por fold. Uma variante que só vence onde o sinal existe é uma constatação, não uma trapaça — mas diga isso.

Individual skills in this repo

This repo contains 11 individual skills — each has its own dedicated page.

austin-starks/Public-Portfolio-Challenge

Build alternative-data custom indicators on NexusTrade (Reddit/WSB mentions, congressional disclosures, insider filings, news-flow) and wire them into a certified book as a rank/tilt/filter signal. Use when adding alt-data to a strategy, building a CustomIndicator via compute sessions, auditing lookahead safety or per-ticker coverage, or deciding whether a data series is dense enough to drive a rank. Covers the compute-session workflow, the sparse-series rule, and source recipes (see references/). Invoke with the NexusTrade MCP connected.

austin-starks/Public-Portfolio-Challenge

Measure a NexusTrade options book's TRUE participation at a fixed cold-start capital base, defeating the compounded-NAV breadth illusion. Use whenever a book's headline \"holds N/21 names\" needs validating, when a live book collapses to a single name (the OSCR trap), when checking whether a SelectTop / per-name-allocation / total-budget change degraded simultaneous participation, or when a certification needs a breadth gate. Uses audit_backtest_breadth at held-fixed $25k.

austin-starks/Public-Portfolio-Challenge

The \"loudly declare\" protocol for platform, engine, or data bugs during a NexusTrade certification campaign — bugs are a first-class deliverable, not something to route around. Use whenever a NexusTrade tool errors, hangs, or returns numbers that contradict the config; whenever you're tempted to write \"probably an engine quirk\"; or when a discovered bug invalidates prior backtests and results must be quarantined. Includes the bug hand-off doc template (see references/BUG_TEMPLATE.md).

austin-starks/Public-Portfolio-Challenge

The GATED deploy + cleanup flow for a NexusTrade live book — clone the finalist, preview a delta reconcile, stage UNAPPROVED orders, verify fills. Use ONLY after the human explicitly says \"deploy + clean up\" and names a finalist. Covers the clone-before-reconcile ordering, the single-tick reconcile expectation, stale-pending-order hygiene, the signal-freshness gate, and why you can never approve orders yourself. Nothing here runs during certification.

austin-starks/Public-Portfolio-Challenge

The mandatory pre-flight contract checks (Stage S0) that must pass before trusting NexusTrade's certification engine for any strategy work. Use at the start of a bakeoff or certification campaign to prove the walk-forward engine runs end-to-end, windows don't leak, fold winners persist, and the engine doesn't fabricate values for dead/not-yet-listed names. Each check has a STOP-and-report failure mode; these runs do NOT count toward any certification minimum.

austin-starks/Public-Portfolio-Challenge

The single-touch lockbox — a final anti-overfitting holdout run once, after design freeze, on a window held out from every fold, sweep, and search. Use when finalizing a bakeoff winner before deploy, setting up the A/B/C baselines as OOS bars, or running the S1.5 gate-coherence auto-relax. Covers why looking at the lockbox twice burns it, the lockbox pass conditions, and the three baselines. The lockbox is distinct from the walk-forward OOS folds.

austin-starks/Public-Portfolio-Challenge

The hard structural constraints for the Public Portfolio Challenge momentum-LEAP options book — the spread-shape rule, the take-profit convexity-cap footgun, the affordability ladder, and the known losers not to re-test. Use whenever building or auditing an options strategy structure, checking spread-shape compliance before a certification, choosing DTE/strike rungs, or deciding whether a proposed structure change is even allowed. A violation is an automatic certification FAIL.

austin-starks/Public-Portfolio-Challenge

Orchestrate an out-of-sample certification of a NexusTrade trading strategy or live book — the master discipline behind the Public Portfolio Challenge. Use whenever you must decide PASS/FAIL on whether a portfolio holds up out of sample before deploying real money, replaying the Episode 10 runbooks, or running a \"certify my book\" / \"prove it out of sample\" / \"re-certify the fix\" task with the NexusTrade MCP connected. Pulls in walk-forward-oos, breadth-audit, sweep-reoptimization, options-structure-rules, bug-protocol, and deploy-gate.

austin-starks/Public-Portfolio-Challenge

The single entry point that executes a Public Portfolio Challenge episode or addendum runbook end-to-end, delegating each stage to the functional skills. Use when asked to run/execute/replay Episode 10, its bakeoff, or its addendum with the NexusTrade MCP connected. Reads the target runbook, pins its real artifacts (IDs, the incumbent bar), sequences the stages, and stops at the gated deploy. It orchestrates; the functional skills do the work.

austin-starks/Public-Portfolio-Challenge

Run a multi-family strategy bakeoff — the SEARCH→CERTIFY funnel that screens many candidate mechanisms down to a certified deploy winner without letting the cheap search layer issue a verdict. Use when replaying the Episode 10 bakeoff, when exploring several distinct strategy families before certifying, when deciding whether \"no deployable winner\" is even a legal conclusion, or when building the per-family certification ledger. Enforces verdict-integrity: only certification can end a campaign.

austin-starks/Public-Portfolio-Challenge

Re-optimize a NexusTrade strategy with a walk-forward SWEEP and label parameter provenance — the discipline that prevents deploying inherited knobs. Use whenever a structural change (sizing, rung depth, universe membership, DTE family, adding a rank signal) forces a re-sweep, when authoring gene_intents from get_sweep_surface, when choosing sweep over GA for a deploy cert, or when selecting the cross-fold-robust winner instead of the per-fold argmax. Invoke with the NexusTrade MCP connected.

Habilidades Relacionadas