Wandle eine natürlichsprachliche Beschreibung in ein coder-eval-Aufgaben-YAML um – mit minimalen Prompts, gewichteten Kriterien zur Überprüfung des Outputs, validiert mit `coder-eval plan`. Verwende dies, wenn der Benutzer eine Evaluierungsaufgabe schreiben, hinzufügen oder generieren möchte.
Dieses Skill, UiPath/task, ermöglicht es Entwicklern und Testern, schnell und effizient Evaluierungsaufgaben (Tasks) für das coder-eval-System aus einer einfachen, natürlichsprachlichen Beschreibung zu erstellen. Es generiert strukturierte YAML-Dateien, die minimale Prompts und gewichtete Kriterien enthalten, um die Qualität des Ausgabeinhalts (Outputs) zu prüfen. Der generierte Task wird mit dem Befehl `coder-eval plan` validiert, um sicherzustellen, dass er korrekt und ausführbar ist. Dieses Tool ist besonders nützlich für Workflows mit KI-Agenten wie Claude Code, Cursor oder Codex, bei denen automatisch Evaluierungsdaten erstellt werden müssen, um die Genauigkeit und Qualität von Code-Generierungen oder anderen KI-Ergebnissen zu messen. Es spart Zeit und reduziert manuelle Fehler, indem es eine konsistente und überprüfbare Struktur für Evaluierungen bereitstellt.
npx skills add https://github.com/UiPath/coder_eval/tree/main/plugins/coder-eval/skills/taskWandle eine natürlichsprachliche Beschreibung in ein coder-eval-Aufgaben-YAML um – mit minimalen Prompts, gewichteten Kriterien zur Überprüfung des Outputs, validiert mit coder-eval plan. Verwende dies, wenn der Benutzer eine Evaluierungsaufgabe schreiben, hinzufügen oder generieren möchte.
This repo contains 5 individual skills — each has its own dedicated page.
Analyze a finished coder-eval run and write analysis.md — cluster failures into systemic patterns and recommend fixes. Use when the user wants to know why a run failed, what regressed or got worse since a previous run, what to fix, or what a run says about their tasks.
Generate and run a coder-eval activation suite for a Claude Code skill. Use when the user asks whether a skill triggers, wants to test skill activation, or worries a skill has silently stopped firing.
Generate a GitHub Actions workflow that runs a coder-eval suite as a CI gate or on a schedule, using the published composite action — with the agent runtime, credentials, JUnit output and the run reports wired correctly.
Set up coder-eval in this repository — scan for what is worth evaluating (Claude Code skills, an MCP server, a CLI), then scaffold a task directory with one real task and the command to run it.
Review existing coder-eval task YAML — find criteria that cannot fail, prompts that leak the answer, and near-duplicate tasks, each with a fix. Read-only. Use when the user wants existing tasks reviewed, linted, audited, or checked for gaps.
ElevenLabs text-to-speech with mac-style say UX.
Oracle CLI second-model review/debug/refactor/design with selected files, dry-run token checks, API or browser engine.
Capture and automate macOS UI with the Peekaboo CLI.
Generate multiple radically different interface designs for a module using parallel sub-agents. Use when user wants to design an API, explore interface options, compare module shapes, or mentions "design it twice".
Build a throwaway prototype to flesh out a design — a runnable terminal app for state/business-logic questions, or several radically different UI variations toggleable from one route.
Interview the user relentlessly about a plan or design until reaching shared understanding, resolving each branch of the decision tree. Use when user wants to stress-test a plan, get grilled on their design, or mentions "grill me".