Communitygithub.com

OneWave-AI/claude-skills - 型付き判定コンフィグ評価スキル

System Oneモデル(Jev、Von、または任意の型付き判定コンフィグ)向けのラベル付き評価セットを構築・実行し、基準ワーディングとしきい値をスイープします。Jev/Vonの分類が間違っている・信頼できない場合、ホスト型APIとローカルオープンモデルの選択時、noulしきい値の調整時、または型付き判定機能をリリースする前に使用します。精度×ワーディングのマトリックスと調整済みしきい値を生成します。

claude-skills - 型付き判定コンフィグ評価スキル とは?

このスキルは、System One型の判定モデル(Jev、Von、Layaなど)の評価セットを構築し、複数の基準ワーディングとしきい値を体系的にスイープするためのツールです。評価セットは最低50レコード(推奨200以上)で構成され、実際のプロダクションストリームから取得したデータを使用します。主なユースケースは、Jev/Vonの分類が不正確または信頼できない場合、ホスト型APIとローカルオープンモデルの選択時、noulしきい値の調整時、または型付き判定機能をリリース前の検証です。スキルは4つのステップで構成されます: (1) ラベル付き評価セットの構築(真のラベルを手動で付与)、(2) 異なるワーディング(簡潔、豊富、排他的、意図的に簡素)での基準スイープ、(3) noulしきい値のスイープ(デフォルトの0.5を決してそのまま使わない)、(4) 信頼度ゲートの正直な評価(捕捉したエラー数とエスカレーションされたボリューム率の両方を報告)。このスキルはClaude Codeおよび同様のCLIベースのAIエージェントで動作し、`sweep.py`スクリプトを使用してonelinerで実行できます。出力はコンフィグごとの精度、ROBUST/FRAGILEの評価、調整済みしきい値、信頼度ゲートのメトリクスを含み、最終的にはプロダクション判断を支援するレポートを生成します。

対応✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/OneWave-AI/claude-skills/tree/HEAD/jev-eval

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

型付き判定コンフィグの評価

評価セットが成果物です。 System Oneモデルの精度は、質問の書き方に大きく左右され、その障害モードは沈黙です。つまり、自信満々で型としては有効だが誤った回答を返します。ラベルがなければ、悪い質問と悪いモデルを区別できません。

実測値:基準の書き換えにより、オープンモデルが15レコード中4/15から14/15に向上しました。モデルの変更はありません。その後、同じ比較を150レコードで実施したところ、そのモデルはJevの97% に対して全体で61% でした。15レコードの読み取りは、小さくて簡単なセットによるアーティファクトでした。どちらの事実も重要です。ワーディングが結果を左右し、小さなセットはどちらの方向が正しいかについて嘘をつく、ということです。

実行方法

python ~/.claude/skills/jev-eval/scripts/sweep.py labelled.json configs.json \
    --backend jev|von --question <name>

labelled.json は [{"id","state","truth"}] です。configs.json はコンフィグ名を {"instructions", "criteria"} にマッピングします。オプションの辞書は選択肢、レベルのリストはスコア、省略はnoulになります。スクリプトはKeychainからJevキー(typesafe-api-key)を読み取り、コンフィグごとの精度を表示し、ばらつきをROBUSTまたはFRAGILEとラベル付けし、noulのしきい値をスイープし、信頼度ゲートをスコアリングします。

実際の出力(50レコードのエージェントシェルコマンドリスク評価、バックエンドのみ変更):

config                         精度   ms/rec
A 簡潔なワンライナー            45/50       410      <- Jev
B 豊富な基準                    49/50       415
C 豊富 + 除外                  46/50       418
D 意図的に簡素                  44/50       411
ばらつき: 44/50 ~ 49/50   (ROBUST - ワーディングは重要ではない)

A 簡潔なワンライナー             9/50        66      <- Von, 同じコンフィグ
B 豊富な基準                    23/50       121
C 豊富 + 除外                  15/50       129
D 意図的に簡素                  22/50        53
ばらつき: 9/50 ~ 23/50    (FRAGILE - しかも天井はまだ使い物にならない)

天井をばらつきより先に読んでください。FRAGILEモデルで最良のコンフィグが23/50の場合、それはワーディングの問題ではありません。その質問にはモデル自体が間違っているのです。

1. セットを構築する

最低50レコード、リリース前は200以上。 合成データではなく、実際のストリームから取得してください。

  • 退屈な真ん中を含めます。きれいな例や劇的なエッジケースだけでなく
  • 壊れた/欠落したメタデータを持つレコードを含めます。そこで分類子は失敗します
  • レコードを読み、モデルを実行する前にラベルを付けます。モデルの出力からラベルを決して付けないでください
  • 生のレコードに truth フィールドを加えてJSONとして保存します
[{"id":"D-1994","state":"...全文テキスト...","truth":"inbound_prospect"}]

自分で自信を持ってレコードにラベルを付けられないなら、モデルにも付けられません。そのレコードを削除するか、答えが決定論的になるように質問を修正してください。

2. モデルだけでなくワーディングをスイープする

核心の動きです。3~4の真に異なる基準コンフィグを書き、すべて実行します。

  • A — オプションごとに1行の簡潔な記述(誰もが最初に書くもの)
  • B — オプションごとに3~4文で具体的な例を含む
  • C — Bに明示的なデフォルトと明示的な除外("ONLY when…")を追加
  • D — 意図的に簡素、4~5単語、フロアテストとして

モデルごと・コンフィグごとの精度を報告します。

コンフィグ                    JEV       VON      LAYA     (一次トリアージ, n=50)
A 簡潔なワンライナー        47/50     34/50     21/50
B 豊富な基準                49/50     28/50     15/50
C 豊富 + 除外              48/50     24/50     19/50
D 意図的に簡素              48/50     22/50     24/50

フロアを最初に読み、次にばらつきを読んでください。 フロアとは「もし私が悪い言い回しをしても、このモデルはそもそもその仕事を果たせるのか」であり、ばらつきとは「それを維持するのにどれだけのコストがかかるか」です。コマンドタスクで実測したところ、すべてのホスト型モデルはフロアが82-92%(Haiku 46-48、GPT-4.1-mini 45-50、Jev 44-49、GPT-5-mini 41-49)である一方、Vonは9/50、Layaは18/50でした。Jevは小さなLLMよりもワーディングに対してロバストではありません。 同じ10ポイント程度変動します。購入するのはフロアであり、免疫ではありません。

リード列が示していないことに注意してください。きれいな「豊富な方が良い」という勾配はありません。ここでVonの最良コンフィグは簡潔なものです。オープンモデルの数値を動かすものは、理解ではなく表面形式への感度です。そのため、次の基準の書き換えが必ず改善するとは想定せず、セットを再実行してください。

3. すべてのnoulのしきい値をスイープする

決して0.5をそのままリリースしないでください。スイープして曲線を読みましょう。

for t in [0.5,0.6,0.7,0.75,0.8,0.85,0.9,0.95]:
    tp = sum(p>=t and y     for p,y in z); fp = sum(p>=t and not y for p,y in z)
    fn = sum(p< t and y     for p,y in z); tn = sum(p< t and not y for p,y in z)
    print(f"{t}  P={tp/max(tp+fp,1):.2f}  R={tp/max(tp+fn,1):.2f}  acc={(tp+tn)/len(z):.2f}")

モデルごとにフロアが異なります。Jevのnoulは、明らかにクリーンなレコードで0.2~0.5に留まり、Claudeは0.0になりました。そのため、実際のカットは約0.85でした。あるモデルで調整されたしきい値は別のモデルには転用できません。切り替えたら再スイープしてください。

4. 信頼度ゲートを正直にスコアリングする

常に2つの数字を一緒に報告します。

errs   = [r for r in rows if r.pred != r.truth]
rights = [r for r in rows if r.pred == r.truth]
for g in [0.5,0.7,0.9]:
    caught    = sum(r.conf <  g for r in errs)      # ゲートがエスカレーションするエラー
    escalated = sum(r.conf <  g for r in rows)      # エスカレーションされた総ボリューム
    print(f"gate {g}: catches {caught}/{len(errs)} errors, escalates {escalated/len(rows):.0%} of volume")

11件中10件のエラーを捕捉しながら、ボリュームの93%をエスカレーションするゲートは、機能しているゲートではありません。それは余計なステップがついた低速パスです。精度が良くなければ、キャリブレーションが良くても何も得られません。

5. 報告

  • モデルごと・コンフィグごとの精度と、ばらつきの明示
  • noulごとに選択したしきい値と、それを正当化するスイープ結果
  • ゲート:捕捉したエラー数 と エスカレーションされたボリューム率
  • プロダクションボリューム1kあたりの推定レイテンシとコスト
  • 評価セットのサイズと、それがカバーしていないものの明示的な記述

小さなセットは嘘をつきます。15レコードで2つのモデルが両方とも100%を獲得しても、何も区別できません。同点に意味があるかのように暗示するのではなく、そう言い切ってください。

関連

jev-integrate はこれが供給する配線ワークフローです。jev-audit は評価に値する候補を見つけます。

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

OneWave-AI/claude-skills

Deploy a 2-layer parallel agent hierarchy for large, parallelizable work — big refactors, multi-file migrations, codebase-wide audits, bulk generation. A top-tier commander (Fable or Opus) orchestrates the swarms; the user picks a power level (Max Power / Heavy / Balanced / Economy) that sets the Opus/Sonnet/Haiku model mix per layer. Layer 1 is 3-50+ specialist agents, each with its own full context window; Layer 2 is 2+ sub-agents per member. Includes git safety, tiered sizing, a pre-deploy gate, phantom-completion checks, and multi-wave follow-up.

OneWave-AI/claude-skills

Generate animated videos and motion graphics from natural language descriptions. Creates a standalone Vite + React project with Framer Motion scenes that auto-play in the browser. Use when the user wants to create animations, motion graphics, video intros, animated presentations, or product demos.

OneWave-AI/claude-skills

Use before starting a product, feature, MVP, agent, automation, or integration build to identify the main pre-build risk and choose the smallest validation step. Trigger when the user asks whether to build, scope, validate, prioritize, or sanity-check an idea before implementation.

OneWave-AI/claude-skills

Post-mortem analysis when a client churns. Takes client history, engagement data, support tickets, usage logs, and exit feedback to produce a comprehensive churn autopsy with root cause classification, timeline of decline, and preventive measures.

OneWave-AI/claude-skills

Compose a premium, animated landing page section by section in Next.js + Tailwind + Motion (Framer Motion) — built on a real design system, with editorial copy and motion that feels human-crafted, not template-generated. Use when building or rebuilding a landing page, marketing site, or hero/feature/pricing/CTA sections that need to look production-ready and bespoke from day one.

OneWave-AI/claude-skills

Assemble 2-3 complementary experts to collaboratively analyze anything. Experts work together to explore topics from multiple expert angles.

OneWave-AI/claude-skills

Convert any topic into playable browser games. Types: trivia, matching, word puzzles, adventure games. Uses Phaser.js or Kaboom.js.

OneWave-AI/claude-skills

Turn a marketing brief or product offer into a finished short-form video ad built in HyperFrames — hook, script, shot-by-shot storyboard, scene-by-scene HTML composition, captions, and voiceover. Outputs platform cuts (vertical 9:16, square, 16:9). Use when you need a launch ad, product promo, social video, or paid-creative concept ready to render.

OneWave-AI/claude-skills

Turn a website URL, product docs, or a founder's rambling description into a tight 60-90 second explainer video built in HyperFrames -- problem/solution narrative, animated product walkthrough scenes, captions, and voiceover, ready for the homepage hero, sales emails, and onboarding.

OneWave-AI/claude-skills

Build promo videos for local businesses in HyperFrames -- the new-menu drop, the seasonal offer, the event announcement, the "we're hiring" post, the Google Business Profile clip. Restaurant, salon, gym, trades: 15-30 seconds, brand-clean, captioned, sized for Instagram, Facebook, and the profile.

OneWave-AI/claude-skills

Build a personalized product-demo or sales-walkthrough video in HyperFrames for a specific prospect or account — narrated screen-by-screen, branded to them, ending in a clear next step. Turns a generic demo into a "this was made for me" asset for outbound, follow-up, or deal acceleration. Use when you want to send a tailored video instead of booking another live call.

OneWave-AI/claude-skills

Turn real customer reviews, quotes, and case-study results into polished social-proof videos built in HyperFrames -- single-testimonial spotlights, review-wall montages, and stat-driven proof reels with captions and voiceover, cut for vertical, square, and wide. The highest-converting content most businesses never make.

OneWave-AI/claude-skills

Audit a codebase for LLM calls that are really classifications in disguise, then produce a costed swap plan for a System One model. Use when asked to cut AI inference cost or latency, when scoping a performance engagement for a client, when reviewing an agent loop that feels slow, or when asked "where could we use Jev here". Produces a ranked table of candidates with measured latency and dollar deltas.

OneWave-AI/claude-skills

Wire a System One model (Jev, or an open reproduction like Von) into a product feature — routing, guardrails, scoring, classification. Use when replacing an LLM call that returns a label rather than prose, when adding a typed decision to an agent loop, or when deciding between the hosted Jev API and a local open model. Covers question design, the eval-set-first workflow, threshold calibration, confidence gates, and the traps measured on real data.

OneWave-AI/claude-skills

Optimize landing pages for conversions, performance, and SEO. Use when improving landing pages, increasing conversions, or optimizing page performance.

OneWave-AI/claude-skills

TAM/SAM/SOM calculator with deep market research. Produces comprehensive market-sizing.md with top-down and bottom-up estimates, methodology, data sources, assumptions, sensitivity ranges, growth projections, competitive landscape, and Mermaid visualizations. Use when user needs market size estimates, addressable market analysis, go-to-market sizing, investor-ready market analysis, or business plan market validation.

OneWave-AI/claude-skills

Generate unique personalized first lines for hundreds of prospects using company news, LinkedIn activity, and mutual connections. Saves 10+ hours of manual research per campaign. Use when you need personalized outreach at volume.

OneWave-AI/claude-skills

Review investment portfolios for risk, diversification, fees. Asset allocation recommendations, tax-loss harvesting, rebalancing.

OneWave-AI/claude-skills

Create multiple choice, true/false, fill-in-blank, matching quizzes. Auto-generate plausible distractors. Instant grading with explanations.

OneWave-AI/claude-skills

Enhanced skill navigator that maps conversation history, recommends multi-skill chains, identifies patterns from past usage, and learns from session outcomes. Goes beyond basic scout with deep context analysis and workflow orchestration.

関連スキル