Communitygithub.com

austin-starks/Public-Portfolio-Challenge

Ejecuta y lee un estudio fuera de muestra (walk-forward) de NexusTrade, el motor de certificación detrás del Public Portfolio Challenge. Úsalo al certificar un portafolio fijo (backtest_only) o al reoptimizarlo (sweep), al configurar parámetros como fold_count / anchored / validation / embargo, al monitorear un run_walk_forward_study hasta su finalización, al leer los retornos/Sortino/drawdown fuera de muestra por pliegue, o cuando el calendario de pliegues de una variante necesita alinearse con un control base. Invócalo con el MCP de NexusTrade conectado.

¿Qué es Public-Portfolio-Challenge?

Este skill implementa un motor determinista de certificación fuera de muestra (walk-forward) específicamente diseñado para el Public Portfolio Challenge de NexusTrade. Su objetivo principal es validar portafolios de opciones mediante pliegues (folds) secuenciales que cubren desde 2022 hasta la fecha actual, incluyendo periodos críticos como el bear market de 2022 y la venta de abril de 2025. El skill soporta dos modos principales: certificar un portafolio fijo sin reoptimización (backtest_only) o realizar una reoptimización controlada mediante sweep (certificación con barrido genético). Cada pliegue se evalúa de forma independiente, generando métricas clave como retorno OOS, Sortino, drawdown máximo y participación de subyacentes, proporcionando un veredicto por pliegue en lugar de un único backtest global. Además, incluye herramientas de pre-vuelo para verificar la integridad del portafolio antes de la certificación, como eliminar estrategias LaunchAgent que contaminan los resultados, validar la estructura de spreads de opciones y detectar footguns como límites de ganancia excesivos que limitan el rendimiento. El skill también monitorea el estado del estudio, parsea resultados con jq, y reporta fallos conocidos (pliegues sin operaciones, ventanas incorrectas, corrupción de datos) sin ocultarlos, siguiendo un protocolo de bug-reporting. Es compatible con los MCP de NexusTrade y se invoca mediante herramientas como run_walk_forward_study, get_walk_forward_study_results y backtest_portfolio. Su flujo típico comienza con una previsualización del calendario de pliegues, seguido de la ejecución y monitoreo hasta la finalización, aplicando luego las verificaciones obligatorias por pliegue y la alineación de calendarios entre variantes y controles base.

Compatible con~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/austin-starks/Public-Portfolio-Challenge/tree/HEAD/skills/walk-forward-oos

Preguntar en tu IA favorita

Abre un nuevo chat con esta habilidad de agente ya precargada.

Documentación

Certificación Walk-Forward Fuera de Muestra

El motor determinista fuera de muestra. Walk-forward, modo de validación, anclado, 5 pliegues, 2022→hoy — los pliegues OOS son el veredicto, no un único backtest.

La llamada al estudio

mcp__nexustrade__run_walk_forward_study (las herramientas se cargan de forma diferida — usa ToolSearch). Siempre ejecuta preview_only: true PRIMERO para ver el calendario de pliegues + el costo, confirma que abarca de 2022→hoy (debe incluir tanto el bear market de 2022 como la venta masiva de abril de 2025 — la mayor caída de este libro es un evento de abril de 2025, por lo que los pliegues deben cubrirlo), luego cambia a false y registra el study_id.

{
  "portfolio_id": "<SUJETO o un clon limpio>",
  "global_start_date": "2022-01-01",
  "global_end_date":   "<HOY>",
  "fold_count": 5,
  "walk_forward_mode": "anchored",
  "mode": "validation",              // OOS independiente por pliegue
  "oos_width_days": 252,
  "embargo_days": 14,
  "interval": "Day",
  "inner_mode": "backtest_only",     // certifica el libro FIJO — sin optimizador por pliegue
  "preview_only": true               // cambia a false para ejecutar realmente
}
  • Certificar un libro fijo: inner_mode: "backtest_only" (engine_kind ga/default — un sweep es rechazado para una certificación de configuración fija).
  • Reoptimizar (solo en caso de FALLO o un cambio estructural): engine_kind: "sweep", inner_mode: "optimize", certification: true, más gene_intents. GA sobreajusta y es rechazado para la certificación de despliegue — sweep es la ruta certificada. Ver sweep-reoptimization.
  • certification: true aplica la política de piso de actividad + percentChange ≥ 0 + sortino ≥ 0.5 y establece validation_percent en 50 de forma predeterminada.

Pre-vuelo antes de certificar un libro en vivo

  1. get_portfolio — captura el conjunto de estrategias, conditionFieldAudit y la escalera de salida.
  2. Elimina el LaunchAgent. Una estrategia LaunchAgent no puede ejecutarse históricamente — se dispara una vez y registra miles de eventos cooldownSkip, contaminando los pliegues. Certifica un clon sin LaunchAgent (solo reglas de rebalanceo y cierre) e indica que lo hiciste.
  3. Verificación de forma de spread de las estructuras en vivo (ver options-structure-rules). Un spread vertical de largo plazo es una violación grave → el libro no puede certificarse tal cual; ve directamente a reopt.
  4. Footgun del límite de convexidad: si existen múltiples cierres de toma de ganancias "siempre" (por ejemplo, P/L ≥ 20% / 50% / 200%), el más bajo se aplica primero y limita cada ganador a aproximadamente +20%, anulando la lógica de las opciones de compra directas. Señálalo: es la razón más probable por la que los rendimientos van por detrás de un libro que deja correr las ganancias.

Monitorear el estudio

Consulta list_walk_forward_studies / get_walk_forward_study_results <study_id> hasta que esté en estado terminal (COMPLETE / ERROR / CANCELLED). Analiza con jq — los payloads son grandes, no los vuelques. Presta atención a modos de fallo conocidos y muéstralos (no los ocultes; eso es un desencadenante del bug-protocol):

  • Fallo silencioso / ERROR — sin estadísticas de pliegues / validationAggregate vacío. Repórtalo; no inventes un veredicto.
  • Ventana incorrecta — el calendario de pliegues no comienza en 2022-01-01 / se salta el bear market.
  • Contaminación del backtest — LaunchAgent disparándose en los pliegues (debería haberse eliminado en el pre-vuelo).
  • Pliegues sin operaciones / NaN — corrupción en el marcado de posiciones upstream; reporta qué pliegues, nunca promedies sobre NaN.
  • Un estudio realmente atascado más allá de su costo/tiempo estimado → detente, resume, espera al humano (el motor puede estar en reparación en otra pestaña).

Las verificaciones obligatorias por pliegue (estas SON el veredicto)

  1. Tabla OOS por pliegue — para cada pliegue: ventana de entrenamiento, ventana OOS, retorno OOS, maxDD OOS, Sortino OOS, despliegue mediano, subyacentes distintos, participación. Además del validationAggregate.
  2. Verificación puntual con backtest independiente — backtest_portfolio ($25k) en el ciclo completo (2022-01-01→hoy), el bear market de 2022 (2022-01-01→2023-01-01), y los últimos 12 meses; audit_backtest_posture para la ejecución del ciclo completo. Los pliegues del estudio deben coincidir con un backtest independiente nuevo. La línea base no es SPY para un libro de opciones — usa un subyacente material o un universo B&H de igual ponderación, y menciónalo.
  3. Degradación — entrenamiento vs OOS por pliegue. Una gran caída de entrenamiento→OOS = sobreajuste, incluso si el backtest del ciclo completo se ve bien.
  4. Honestidad en el drawdown — maxDD OOS junto al retorno OOS por pliegue; lidera con el riesgo. Con este apalancamiento, un pliegue puede mostrar un retorno enorme y un drawdown del 50–77%.
  5. Puerta de amplitud a $25k FIJOS (breadth-audit).
  6. Reproducibilidad / auditoría de campo — conditionFieldAudit coincide con los controles previstos; compare_backtests {tolerance_bps: 0} en una re-ejecución. Verifica por campo, nunca por nombre mostrado.
  7. Cumplimiento de forma de spread (options-structure-rules) — rechazo absoluto ante violación.

Alineación de calendarios (variante vs base)

El motor walk-forward recorta el calendario de pliegues para que coincida con la cobertura del indicador/los datos, por lo que el estudio de una variante puede obtener pliegues diferentes silenciosamente a los de la base. Siempre ejecuta un CONTROL base con el mismo global_end_date que el calendario recortado de la variante y compara pliegue por pliegue. Reporta la cobertura de señal por pliegue junto al OOS por pliegue. Una variante que solo gana donde existe la señal es un hallazgo, no un truco, pero menciónalo.

Individual skills in this repo

This repo contains 11 individual skills — each has its own dedicated page.

austin-starks/Public-Portfolio-Challenge

Build alternative-data custom indicators on NexusTrade (Reddit/WSB mentions, congressional disclosures, insider filings, news-flow) and wire them into a certified book as a rank/tilt/filter signal. Use when adding alt-data to a strategy, building a CustomIndicator via compute sessions, auditing lookahead safety or per-ticker coverage, or deciding whether a data series is dense enough to drive a rank. Covers the compute-session workflow, the sparse-series rule, and source recipes (see references/). Invoke with the NexusTrade MCP connected.

austin-starks/Public-Portfolio-Challenge

Measure a NexusTrade options book's TRUE participation at a fixed cold-start capital base, defeating the compounded-NAV breadth illusion. Use whenever a book's headline \"holds N/21 names\" needs validating, when a live book collapses to a single name (the OSCR trap), when checking whether a SelectTop / per-name-allocation / total-budget change degraded simultaneous participation, or when a certification needs a breadth gate. Uses audit_backtest_breadth at held-fixed $25k.

austin-starks/Public-Portfolio-Challenge

The \"loudly declare\" protocol for platform, engine, or data bugs during a NexusTrade certification campaign — bugs are a first-class deliverable, not something to route around. Use whenever a NexusTrade tool errors, hangs, or returns numbers that contradict the config; whenever you're tempted to write \"probably an engine quirk\"; or when a discovered bug invalidates prior backtests and results must be quarantined. Includes the bug hand-off doc template (see references/BUG_TEMPLATE.md).

austin-starks/Public-Portfolio-Challenge

The GATED deploy + cleanup flow for a NexusTrade live book — clone the finalist, preview a delta reconcile, stage UNAPPROVED orders, verify fills. Use ONLY after the human explicitly says \"deploy + clean up\" and names a finalist. Covers the clone-before-reconcile ordering, the single-tick reconcile expectation, stale-pending-order hygiene, the signal-freshness gate, and why you can never approve orders yourself. Nothing here runs during certification.

austin-starks/Public-Portfolio-Challenge

The mandatory pre-flight contract checks (Stage S0) that must pass before trusting NexusTrade's certification engine for any strategy work. Use at the start of a bakeoff or certification campaign to prove the walk-forward engine runs end-to-end, windows don't leak, fold winners persist, and the engine doesn't fabricate values for dead/not-yet-listed names. Each check has a STOP-and-report failure mode; these runs do NOT count toward any certification minimum.

austin-starks/Public-Portfolio-Challenge

The single-touch lockbox — a final anti-overfitting holdout run once, after design freeze, on a window held out from every fold, sweep, and search. Use when finalizing a bakeoff winner before deploy, setting up the A/B/C baselines as OOS bars, or running the S1.5 gate-coherence auto-relax. Covers why looking at the lockbox twice burns it, the lockbox pass conditions, and the three baselines. The lockbox is distinct from the walk-forward OOS folds.

austin-starks/Public-Portfolio-Challenge

The hard structural constraints for the Public Portfolio Challenge momentum-LEAP options book — the spread-shape rule, the take-profit convexity-cap footgun, the affordability ladder, and the known losers not to re-test. Use whenever building or auditing an options strategy structure, checking spread-shape compliance before a certification, choosing DTE/strike rungs, or deciding whether a proposed structure change is even allowed. A violation is an automatic certification FAIL.

austin-starks/Public-Portfolio-Challenge

Orchestrate an out-of-sample certification of a NexusTrade trading strategy or live book — the master discipline behind the Public Portfolio Challenge. Use whenever you must decide PASS/FAIL on whether a portfolio holds up out of sample before deploying real money, replaying the Episode 10 runbooks, or running a \"certify my book\" / \"prove it out of sample\" / \"re-certify the fix\" task with the NexusTrade MCP connected. Pulls in walk-forward-oos, breadth-audit, sweep-reoptimization, options-structure-rules, bug-protocol, and deploy-gate.

austin-starks/Public-Portfolio-Challenge

The single entry point that executes a Public Portfolio Challenge episode or addendum runbook end-to-end, delegating each stage to the functional skills. Use when asked to run/execute/replay Episode 10, its bakeoff, or its addendum with the NexusTrade MCP connected. Reads the target runbook, pins its real artifacts (IDs, the incumbent bar), sequences the stages, and stops at the gated deploy. It orchestrates; the functional skills do the work.

austin-starks/Public-Portfolio-Challenge

Run a multi-family strategy bakeoff — the SEARCH→CERTIFY funnel that screens many candidate mechanisms down to a certified deploy winner without letting the cheap search layer issue a verdict. Use when replaying the Episode 10 bakeoff, when exploring several distinct strategy families before certifying, when deciding whether \"no deployable winner\" is even a legal conclusion, or when building the per-family certification ledger. Enforces verdict-integrity: only certification can end a campaign.

austin-starks/Public-Portfolio-Challenge

Re-optimize a NexusTrade strategy with a walk-forward SWEEP and label parameter provenance — the discipline that prevents deploying inherited knobs. Use whenever a structural change (sizing, rung depth, universe membership, DTE family, adding a rank signal) forces a re-sweep, when authoring gene_intents from get_sweep_surface, when choosing sweep over GA for a deploy cert, or when selecting the cross-fold-robust winner instead of the per-fold argmax. Invoke with the NexusTrade MCP connected.

Skills relacionados