Communitygithub.com

OneWave-AI/claude-skills

Construire et exécuter un jeu d'évaluation étiqueté pour un modèle System One (Jev, Von ou toute configuration à décision typée), puis balayer les formulations de critères et les seuils correspondants. À utiliser lorsqu'une classification Jev/Von est erronée ou peu fiable, pour choisir entre l'API hébergée et un modèle local ouvert, pour ajuster les seuils noul, ou avant de déployer toute fonctionnalité à décision typée. Produit une matrice précision-par-formulation et un seuil calibré.

Qu'est-ce que claude-skills ?

Cette compétence permet d'évaluer de manière rigoureuse les performances d'un modèle System One (comme Jev ou Von) en construisant un jeu de données étiqueté, puis en balayant différentes formulations de critères et seuils pour optimiser la précision. Elle est particulièrement utile lorsque les classifications sont imprécises ou peu fiables, pour décider entre une API hébergée et un modèle local, ou avant de déployer une fonctionnalité à décision typée. La compétence prend en charge les workflows CLI et s'intègre avec des outils comme `jev-integrate` et `jev-audit`. Son fonctionnement repose sur la génération d'une matrice de précision par formulation et le calibrage des seuils, en mettant en garde contre les jeux de données trop petits qui peuvent induire en erreur.

Compatible avec✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/OneWave-AI/claude-skills/tree/HEAD/jev-eval

Demander à votre IA préférée

Ouvre une nouvelle conversation avec cette compétence d'agent déjà préchargée.

Documentation

Évaluation d'une configuration à décision typée

Le jeu d'évaluation est le produit. La précision d'un modèle System One est dominée par la façon dont la question a été rédigée, et le mode de défaillance est silencieux : il renvoie une réponse fausse, mais de type valide et confiante. Sans étiquettes, vous ne pouvez pas distinguer une mauvaise question d'un mauvais modèle.

Mesuré : la réécriture des critères a fait passer un modèle ouvert de 4/15 à 14/15 sur 15 enregistrements. Aucun changement de modèle. Ensuite, la même comparaison sur 150 enregistrements a placé ce modèle à 61% global contre 97% pour Jev — la lecture sur 15 enregistrements était un artefact d'un petit ensemble facile. Les deux faits sont le point : la formulation fait varier les résultats, et les petits ensembles mentent sur la direction.

Exécution

python ~/.claude/skills/jev-eval/scripts/sweep.py labelled.json configs.json \
    --backend jev|von --question <name>

labelled.json est [{"id","state","truth"}]. configs.json associe un nom de configuration à {"instructions", "criteria"} — un dictionnaire d'options en fait un choix, une liste de niveaux en fait un score, son omission en fait un noul. Le script lit la clé Jev depuis le trousseau (typesafe-api-key), affiche la précision par configuration, étiquette la dispersion ROBUSTE ou FRAGILE, balaye les seuils pour les nouls et évalue la porte de confiance.

Sortie réelle, 50 enregistrements de risque de commande shell d'agent, seul le backend a changé :

config                         accuracy   ms/rec
A terse one-liners               45/50       410      <- Jev
B rich criteria                  49/50       415
C rich + exclusions              46/50       418
D deliberately lazy              44/50       411
spread: 44/50 to 49/50   (ROBUST - wording is not load-bearing)

A terse one-liners                9/50        66      <- Von, same configs
B rich criteria                  23/50       121
C rich + exclusions              15/50       129
D deliberately lazy              22/50        53
spread: 9/50 to 23/50    (FRAGILE - and the ceiling is still not usable)

Lisez le plafond avant la dispersion. Un modèle FRAGILE dont la meilleure configuration est 23/50 n'est pas un problème de formulation que vous pouvez résoudre par l'écriture — c'est le mauvais modèle pour cette question.

1. Construire l'ensemble

50 enregistrements minimum, 200+ avant de déployer. Prélevez du flux réel, pas de données synthétiques.

  • Incluez le milieu banal, pas seulement des exemples propres et des cas limites spectaculaires
  • Incluez des enregistrements avec des métadonnées cassées/manquantes — c'est là que les classifieurs échouent
  • Étiquetez en lisant l'enregistrement, avant toute exécution du modèle. N'étiquetez jamais à partir de la sortie du modèle
  • Stockez en JSON avec l'enregistrement brut plus un champ truth
[{"id":"D-1994","state":"...full record text...","truth":"inbound_prospect"}]

Si vous ne pouvez pas étiqueter un enregistrement avec confiance vous-même, le modèle non plus — soit supprimez-le, soit corrigez la question pour que la réponse soit déterminée.

2. Balayer les formulations, pas seulement les modèles

Le mouvement central. Écrivez 3 à 4 configurations de critères vraiment différentes et exécutez-les toutes :

  • A — une ligne concise par option (ce que tout le monde écrit en premier)
  • B — 3–4 phrases par option avec des exemples concrets
  • C — B plus un défaut explicite et des exclusions explicites ("UNIQUEMENT quand…")
  • D — délibérément paresseux, quatre ou cinq mots, comme test de plancher

Rapportez la précision par configuration par modèle :

config                    JEV       VON      LAYA     (lead triage, n=50)
A terse one-liners      47/50     34/50     21/50
B rich criteria         49/50     28/50     15/50
C rich + exclusions     48/50     24/50     19/50
D deliberately lazy     48/50     22/50     24/50

Lisez le plancher d'abord, puis la dispersion. Le plancher est "ce modèle peut-il faire le travail du tout si je le formule mal" ; la dispersion est "combien cela me coûtera-t-il à maintenir." Mesuré sur la tâche de commande, chaque modèle hébergé plafonne à 82-92 % (Haiku 46-48, GPT-4.1-mini 45-50, Jev 44-49, GPT-5-mini 41-49) tandis que Von plafonne à 9/50 et Laya à 18/50. Notez que Jev n'est pas plus robuste à la formulation qu'un petit LLM — il varie des mêmes dix points. Ce que vous achetez, c'est le plancher, pas l'immunité.

Notez ce que la colonne des leads ne montre PAS : un gradient propre "plus c'est riche, mieux c'est". La meilleure configuration de Von ici est la plus concise. Tout ce qui fait varier les chiffres d'un modèle ouvert est une sensibilité à la forme de surface, pas à la compréhension, alors ne supposez pas que votre prochaine réécriture de critères l'améliore — relancez l'ensemble.

3. Balayer les seuils pour chaque noul

Ne déployez jamais 0.5. Balayez et lisez la courbe :

for t in [0.5,0.6,0.7,0.75,0.8,0.85,0.9,0.95]:
    tp = sum(p>=t and y     for p,y in z); fp = sum(p>=t and not y for p,y in z)
    fn = sum(p< t and y     for p,y in z); tn = sum(p< t and not y for p,y in z)
    print(f"{t}  P={tp/max(tp+fp,1):.2f}  R={tp/max(tp+fn,1):.2f}  acc={(tp+tn)/len(z):.2f}")

Différents modèles ont différents planchers. Le noul de Jev se situait à 0,2–0,5 sur des enregistrements manifestement propres, là où Claude tombait à 0,0 — donc son vrai seuil était ~0,85. Un seuil ajusté sur un modèle ne se transfère pas à un autre. Re-balayez lorsque vous changez.

4. Évaluer honnêtement la porte de confiance

Deux nombres, toujours ensemble :

errs   = [r for r in rows if r.pred != r.truth]
rights = [r for r in rows if r.pred == r.truth]
for g in [0.5,0.7,0.9]:
    caught    = sum(r.conf <  g for r in errs)      # errors the gate escalates
    escalated = sum(r.conf <  g for r in rows)      # total volume escalated
    print(f"gate {g}: catches {caught}/{len(errs)} errors, escalates {escalated/len(rows):.0%} of volume")

Une porte qui attrape 10/11 erreurs tout en escaladant 93% du volume n'est pas une porte fonctionnelle — c'est un chemin lent avec des étapes supplémentaires. Une bonne calibration sans bonne précision n'achète rien.

5. Rapporter

  • précision par configuration par modèle, avec la dispersion signalée
  • seuil choisi pour chaque noul, avec le balayage qui l'a justifié
  • porte : erreurs attrapées et volume escaladé
  • latence et coût projetés pour 1 000 à volume de production
  • déclaration explicite de la taille du jeu d'évaluation et de ce qu'il ne couvre pas

Les petits ensembles mentent. 15 enregistrements où deux modèles obtiennent tous les deux 100% ne distinguent rien — dites-le plutôt que d'impliquer que l'égalité est significative.

Lié

jev-integrate est le workflow de câblage que cela alimente. jev-audit trouve des candidats dignes d'évaluation.

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

OneWave-AI/claude-skills

Deploy a 2-layer parallel agent hierarchy for large, parallelizable work — big refactors, multi-file migrations, codebase-wide audits, bulk generation. A top-tier commander (Fable or Opus) orchestrates the swarms; the user picks a power level (Max Power / Heavy / Balanced / Economy) that sets the Opus/Sonnet/Haiku model mix per layer. Layer 1 is 3-50+ specialist agents, each with its own full context window; Layer 2 is 2+ sub-agents per member. Includes git safety, tiered sizing, a pre-deploy gate, phantom-completion checks, and multi-wave follow-up.

OneWave-AI/claude-skills

Generate animated videos and motion graphics from natural language descriptions. Creates a standalone Vite + React project with Framer Motion scenes that auto-play in the browser. Use when the user wants to create animations, motion graphics, video intros, animated presentations, or product demos.

OneWave-AI/claude-skills

Use before starting a product, feature, MVP, agent, automation, or integration build to identify the main pre-build risk and choose the smallest validation step. Trigger when the user asks whether to build, scope, validate, prioritize, or sanity-check an idea before implementation.

OneWave-AI/claude-skills

Post-mortem analysis when a client churns. Takes client history, engagement data, support tickets, usage logs, and exit feedback to produce a comprehensive churn autopsy with root cause classification, timeline of decline, and preventive measures.

OneWave-AI/claude-skills

Compose a premium, animated landing page section by section in Next.js + Tailwind + Motion (Framer Motion) — built on a real design system, with editorial copy and motion that feels human-crafted, not template-generated. Use when building or rebuilding a landing page, marketing site, or hero/feature/pricing/CTA sections that need to look production-ready and bespoke from day one.

OneWave-AI/claude-skills

Assemble 2-3 complementary experts to collaboratively analyze anything. Experts work together to explore topics from multiple expert angles.

OneWave-AI/claude-skills

Convert any topic into playable browser games. Types: trivia, matching, word puzzles, adventure games. Uses Phaser.js or Kaboom.js.

OneWave-AI/claude-skills

Turn a marketing brief or product offer into a finished short-form video ad built in HyperFrames — hook, script, shot-by-shot storyboard, scene-by-scene HTML composition, captions, and voiceover. Outputs platform cuts (vertical 9:16, square, 16:9). Use when you need a launch ad, product promo, social video, or paid-creative concept ready to render.

OneWave-AI/claude-skills

Turn a website URL, product docs, or a founder's rambling description into a tight 60-90 second explainer video built in HyperFrames -- problem/solution narrative, animated product walkthrough scenes, captions, and voiceover, ready for the homepage hero, sales emails, and onboarding.

OneWave-AI/claude-skills

Build promo videos for local businesses in HyperFrames -- the new-menu drop, the seasonal offer, the event announcement, the "we're hiring" post, the Google Business Profile clip. Restaurant, salon, gym, trades: 15-30 seconds, brand-clean, captioned, sized for Instagram, Facebook, and the profile.

OneWave-AI/claude-skills

Build a personalized product-demo or sales-walkthrough video in HyperFrames for a specific prospect or account — narrated screen-by-screen, branded to them, ending in a clear next step. Turns a generic demo into a "this was made for me" asset for outbound, follow-up, or deal acceleration. Use when you want to send a tailored video instead of booking another live call.

OneWave-AI/claude-skills

Turn real customer reviews, quotes, and case-study results into polished social-proof videos built in HyperFrames -- single-testimonial spotlights, review-wall montages, and stat-driven proof reels with captions and voiceover, cut for vertical, square, and wide. The highest-converting content most businesses never make.

OneWave-AI/claude-skills

Audit a codebase for LLM calls that are really classifications in disguise, then produce a costed swap plan for a System One model. Use when asked to cut AI inference cost or latency, when scoping a performance engagement for a client, when reviewing an agent loop that feels slow, or when asked "where could we use Jev here". Produces a ranked table of candidates with measured latency and dollar deltas.

OneWave-AI/claude-skills

Wire a System One model (Jev, or an open reproduction like Von) into a product feature — routing, guardrails, scoring, classification. Use when replacing an LLM call that returns a label rather than prose, when adding a typed decision to an agent loop, or when deciding between the hosted Jev API and a local open model. Covers question design, the eval-set-first workflow, threshold calibration, confidence gates, and the traps measured on real data.

OneWave-AI/claude-skills

Optimize landing pages for conversions, performance, and SEO. Use when improving landing pages, increasing conversions, or optimizing page performance.

OneWave-AI/claude-skills

TAM/SAM/SOM calculator with deep market research. Produces comprehensive market-sizing.md with top-down and bottom-up estimates, methodology, data sources, assumptions, sensitivity ranges, growth projections, competitive landscape, and Mermaid visualizations. Use when user needs market size estimates, addressable market analysis, go-to-market sizing, investor-ready market analysis, or business plan market validation.

OneWave-AI/claude-skills

Generate unique personalized first lines for hundreds of prospects using company news, LinkedIn activity, and mutual connections. Saves 10+ hours of manual research per campaign. Use when you need personalized outreach at volume.

OneWave-AI/claude-skills

Review investment portfolios for risk, diversification, fees. Asset allocation recommendations, tax-loss harvesting, rebalancing.

OneWave-AI/claude-skills

Create multiple choice, true/false, fill-in-blank, matching quizzes. Auto-generate plausible distractors. Instant grading with explanations.

OneWave-AI/claude-skills

Enhanced skill navigator that maps conversation history, recommends multi-skill chains, identifies patterns from past usage, and learns from session outcomes. Goes beyond basic scout with deep context analysis and workflow orchestration.

Skills associés