Communitygithub.com

austin-starks/Public-Portfolio-Challenge

NexusTrade 전략 또는 실거래 포트폴리오에 대한 샘플 외 인증을 오케스트레이션합니다. Public Portfolio Challenge의 핵심 규율입니다. 실제 자금 투입 전 포트폴리오가 샘플 외에서 유효한지 PASS/FAIL을 결정해야 할 때 사용합니다.

Public-Portfolio-Challenge란 무엇인가요?

이 스킬은 NexusTrade MCP가 연결된 환경에서 트레이딩 전략이나 실거래 포트폴리오의 샘플 외(OOS) 인증을 수행하는 마스터 규율입니다. 단순한 백테스트 결과가 아닌, 워크포워드 OOS 폴드, 분산 감사, 스윕 재최적화, 옵션 구조 규칙, 버그 프로토콜, 배포 게이트 등을 종합적으로 활용하여 최종 PASS/FAIL 판정을 내립니다. 지원 플랫폼은 NexusTrade MCP이며, 사용자는 독립 검증자 역할로 모든 결정을 직접 확인합니다. 이 스킬의 핵심은 OOS 성능만을 유일한 지표로 삼고, 설계의 가치를 최적화 도구보다 우선시하며, 모든 엔진 동작에 대해 검증을 수행하고, 정직한 결과를 보고하는 것입니다. 또한 배포 게이트를 통해 사람의 명시적 승인 없이는 절대 실거래가 이루어지지 않도록 보장합니다.

지원 대상~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/austin-starks/Public-Portfolio-Challenge/tree/HEAD/skills/portfolio-certification

즐겨 사용하는 AI에게 물어보기

이 에이전트 스킬이 미리 로드된 새 채팅을 엽니다.

문서

포트폴리오 인증

Public Portfolio Challenge를 위한 포괄적 스킬입니다. 당신은 오케스트레이터이자 독립 검증자입니다: NexusTrade 도구를 직접 실행하며 숫자는 당신 자신의 것입니다 — 다른 에이전트의 결과를 추측하는 것이 아닙니다. 인증은 샘플 외 워크포워드 폴드에서 읽어낸 전체론적 PASS/FAIL 판정이며, 단일 집계 숫자가 아닙니다.

첫 번째 원칙 (모든 실행에 구속력)

  1. OOS가 유일한 헤드라인입니다. 일반화의 증거로 학습/검증 숫자를 제시하지 마십시오. 우수한 전체 주기 백테스트에 학습→OOS 붕괴가 있다면 FAIL입니다.
  2. 가치는 최적화 도구가 아닌 설계에 있습니다. 스윕은 설계의 이웃을 확인하는 적당한 노브 설정 도구일 뿐입니다. 전략 설계에 노력을 투자하고 스윕에는 거의 요구하지 마십시오.
  3. 교차 폴드에 강건한 구성을 배포하고, 폴드별 argmax는 사용하지 마십시오. 검증 점수는 잡음이 많은 대리 변수이며, 폴드별 승자는 분산이 높습니다. maximin OOS Sortino / 강건 선택을 사용하십시오.
  4. 표시 이름이 아닌 필드 수준에서 검증하십시오. conditionFieldAudit를 사용하고, 지표 ID를 카탈로그에서 정확히 복사하십시오. 이름이 아닌 필드/포지션으로 대상을 확인하십시오.
  5. 검증하고, 단언하지 마십시오. 엔진 동작에 대한 모든 주장은 결과물에 포함되기 전에 이벤트, 필드 또는 재현을 통해 확인되어야 합니다. "아마 엔진 결함일 것이다" → bug-protocol을 실행하고, 추측하지 마십시오.
  6. 정직하게 보고된 귀무 결과는 유효한 결과입니다. 하나가 "승리"할 때까지 변형을 고문하지 마십시오 — 그것은 변장한 폴드별 argmax 함정입니다. 동점 또는 잡음 수준 델타 → 현상 유지.
  7. 배포 및 정리라는 인간의 명시적 지시가 있을 때까지 배포나 주문이 없습니다 (deploy-gate).

표준 실행 구조

모든 인증 캠페인은 동일한 단계적 구조를 따릅니다. 중간을 적응시키고, 양 끝은 고정입니다.

  • 단계 A — 기준선 + 인벤토리. 필드로 대상을 확인하고(get_portfolio), 현행 기준 막대를 재검증하며, 하나의 신선한 backtest_portfolio + audit_backtest_posture를 무작위 점검하고, 실거래 중인 경우 미체결 주문 상태와 automaticOrderApproval을 확인하십시오. 이전 상태를 한 문단으로 전달하십시오. 실거래 동작이 문제인 경우, 먼저 하드 숫자로 재현하고(query_portfolio_events), 그런 다음 수정하십시오.
  • 단계 B/C — 구축 + 인증. 본 인증을 실행하십시오. 연구 메커니즘과 필수 폴드별 확인은 walk-forward-oos를 참조하고, 고정 $25,000 참여는 breadth-audit을, 하드 스프레드 형태 게이트는 options-structure-rules를, 구조적 변경으로 인한 재스윕이 필요하면 sweep-reoptimization을 참조하십시오.
  • 단계 D — 제시 후 중단. 결정 준비된 패키지를 전달하십시오: 판정을 최상단에 한 줄로; 폴드별 OOS 표 + 집계; 현행 기준과의 병렬 비교(명시적 거래 포함); 최종안의 평이한 영어 규칙 + conditionFieldAudit + 빌드 ID; 모든 매개변수에 출처 레이블(swept-on-this-book / inherited-from <study-id> / hand-set — 상속은 황색); 정직한 주의사항(고정된 우주의 사후적 판단, 옵션 체결 현실성, 레버리지/취약성, 최대 손실은 2025년 4월 매도세, 기준선 주의사항). 버그 원장을 포함하십시오. 배포 금지.
  • 단계 E — 배포 (게이트됨). 명시적인 "deploy + clean up" 이후에만 가능합니다. deploy-gate를 참조하십시오.

전체론적 PASS 테스트 (폴드별 녹색 규칙 없음)

OOS 폴드의 다수가 수익성 있고, OOS Sortino가 양수이며 합리적으로 안정적이고(대략 하한 ~0.5), 실제로 보유할 수 있는 범위 내의 최대 손실, 폴드 전체에서 안정적인 배포, 학습→OOS 성능 저하가 완만할 때 PASS로 인증하십시오. 하나의 약한 폴드 ≠ FAIL입니다. 지속적인 OOS 손실, 폭발적 최대 손실, 또는 학습 전용 강점 = FAIL입니다. 하드 제약 조건 위반(스프레드 형태, 분산 붕괴)은 수익률과 관계없이 자동 FAIL입니다.

"현행 기준보다 나은 경우" (변형 캠페인)

실거래/인증된 기준에 대해 변형을 테스트할 때, "더 나은 것" = 동일한 폴드에 대해 고정하여 유지하면서, OOS 수익을 개선하고 위험은 악화되지 않거나, 유사한 수익에서 위험(Sortino/DD)을 실질적으로 개선하거나, 약한 국면(약세 폴드)을 입증 가능하게 개선하며, 분산이 저하되지 않은 경우입니다. 비교는 달력 정렬되어야 합니다(변형의 잘린 달력에 대한 기본 제어 실행 — walk-forward-oos 참조).

자체 점검 트리거 단어

  • "백테스트가 증명한다" → OOS 폴드가 없으면 일어나지 않은 것입니다.
  • "승자의 노브 재사용" / "이미 인증됨" → 구조가 변경되었습니까? 그렇다면 인증 전에 재스윕(sweep-reoptimization)하십시오.
  • "19/21 종목" / "훌륭한 분산" → 고정 $25,000으로 측정하십시오(breadth-audit). 복리 분산은 환상입니다.
  • "지표가 예측적으로 보인다" → 눈으로 확인하지 말고 인증하십시오.
  • "아마 엔진 결함일 것이다" → bug-protocol: 검증하고, 단언하지 마십시오.

소스 런북 (이 규율의 실제 예)

  • episode-10/BAKEOFF_RUNBOOK.md — 엔진 정합성 검사, 16개 변형 베이크오프, 워크포워드 인증, 락박스.
  • episode-10/addendum/RUNBOOK.md — 진입 및 청산 재설계 후 OOS 동작 증명.
  • episode-10/addendum/CAMPAIGN_LOG.md — 부록의 전체 교훈 및 배포 원장.

Individual skills in this repo

This repo contains 11 individual skills — each has its own dedicated page.

austin-starks/Public-Portfolio-Challenge

Build alternative-data custom indicators on NexusTrade (Reddit/WSB mentions, congressional disclosures, insider filings, news-flow) and wire them into a certified book as a rank/tilt/filter signal. Use when adding alt-data to a strategy, building a CustomIndicator via compute sessions, auditing lookahead safety or per-ticker coverage, or deciding whether a data series is dense enough to drive a rank. Covers the compute-session workflow, the sparse-series rule, and source recipes (see references/). Invoke with the NexusTrade MCP connected.

austin-starks/Public-Portfolio-Challenge

Measure a NexusTrade options book's TRUE participation at a fixed cold-start capital base, defeating the compounded-NAV breadth illusion. Use whenever a book's headline \"holds N/21 names\" needs validating, when a live book collapses to a single name (the OSCR trap), when checking whether a SelectTop / per-name-allocation / total-budget change degraded simultaneous participation, or when a certification needs a breadth gate. Uses audit_backtest_breadth at held-fixed $25k.

austin-starks/Public-Portfolio-Challenge

The \"loudly declare\" protocol for platform, engine, or data bugs during a NexusTrade certification campaign — bugs are a first-class deliverable, not something to route around. Use whenever a NexusTrade tool errors, hangs, or returns numbers that contradict the config; whenever you're tempted to write \"probably an engine quirk\"; or when a discovered bug invalidates prior backtests and results must be quarantined. Includes the bug hand-off doc template (see references/BUG_TEMPLATE.md).

austin-starks/Public-Portfolio-Challenge

The GATED deploy + cleanup flow for a NexusTrade live book — clone the finalist, preview a delta reconcile, stage UNAPPROVED orders, verify fills. Use ONLY after the human explicitly says \"deploy + clean up\" and names a finalist. Covers the clone-before-reconcile ordering, the single-tick reconcile expectation, stale-pending-order hygiene, the signal-freshness gate, and why you can never approve orders yourself. Nothing here runs during certification.

austin-starks/Public-Portfolio-Challenge

The mandatory pre-flight contract checks (Stage S0) that must pass before trusting NexusTrade's certification engine for any strategy work. Use at the start of a bakeoff or certification campaign to prove the walk-forward engine runs end-to-end, windows don't leak, fold winners persist, and the engine doesn't fabricate values for dead/not-yet-listed names. Each check has a STOP-and-report failure mode; these runs do NOT count toward any certification minimum.

austin-starks/Public-Portfolio-Challenge

The single-touch lockbox — a final anti-overfitting holdout run once, after design freeze, on a window held out from every fold, sweep, and search. Use when finalizing a bakeoff winner before deploy, setting up the A/B/C baselines as OOS bars, or running the S1.5 gate-coherence auto-relax. Covers why looking at the lockbox twice burns it, the lockbox pass conditions, and the three baselines. The lockbox is distinct from the walk-forward OOS folds.

austin-starks/Public-Portfolio-Challenge

The hard structural constraints for the Public Portfolio Challenge momentum-LEAP options book — the spread-shape rule, the take-profit convexity-cap footgun, the affordability ladder, and the known losers not to re-test. Use whenever building or auditing an options strategy structure, checking spread-shape compliance before a certification, choosing DTE/strike rungs, or deciding whether a proposed structure change is even allowed. A violation is an automatic certification FAIL.

austin-starks/Public-Portfolio-Challenge

The single entry point that executes a Public Portfolio Challenge episode or addendum runbook end-to-end, delegating each stage to the functional skills. Use when asked to run/execute/replay Episode 10, its bakeoff, or its addendum with the NexusTrade MCP connected. Reads the target runbook, pins its real artifacts (IDs, the incumbent bar), sequences the stages, and stops at the gated deploy. It orchestrates; the functional skills do the work.

austin-starks/Public-Portfolio-Challenge

Run a multi-family strategy bakeoff — the SEARCH→CERTIFY funnel that screens many candidate mechanisms down to a certified deploy winner without letting the cheap search layer issue a verdict. Use when replaying the Episode 10 bakeoff, when exploring several distinct strategy families before certifying, when deciding whether \"no deployable winner\" is even a legal conclusion, or when building the per-family certification ledger. Enforces verdict-integrity: only certification can end a campaign.

austin-starks/Public-Portfolio-Challenge

Re-optimize a NexusTrade strategy with a walk-forward SWEEP and label parameter provenance — the discipline that prevents deploying inherited knobs. Use whenever a structural change (sizing, rung depth, universe membership, DTE family, adding a rank signal) forces a re-sweep, when authoring gene_intents from get_sweep_surface, when choosing sweep over GA for a deploy cert, or when selecting the cross-fold-robust winner instead of the per-fold argmax. Invoke with the NexusTrade MCP connected.

austin-starks/Public-Portfolio-Challenge

Run and read a NexusTrade walk-forward out-of-sample study — the certification engine behind the Public Portfolio Challenge. Use when certifying a fixed portfolio (backtest_only) or re-optimizing one (sweep), when setting fold_count / anchored / validation / embargo params, when monitoring a run_walk_forward_study to completion, when reading per-fold OOS returns/Sortino/drawdown, or when a variant's fold calendar needs calendar-alignment against a base control. Invoke with the NexusTrade MCP connected.

관련 스킬