Erzeuge einen GitHub Actions-Workflow, der eine coder-eval-Suite als CI-Gate oder nach Zeitplan ausführt, unter Verwendung der veröffentlichten Composite-Aktion – mit korrekt verbundenem Agenten-Laufzeit, Anmeldedaten, JUnit-Ausgabe und den Ausführungsberichten.
Diese Fähigkeit (Skill) generiert einen GitHub Actions-Workflow zur Integration der coder-eval-Testsuite in CI/CD-Pipelines oder als geplante Ausführung. Sie nutzt eine vorgefertigte Composite-Aktion, die alle notwendigen Komponenten wie Agenten-Laufzeit, Authentifizierungsdaten, JUnit-Testausgabe und detaillierte Ausführungsberichte automatisch korrekt verdrahtet. Der Workflow kann als qualitätssicherndes Gate vor einem Merge oder regelmäßig (z. B. nächtlich) ausgeführt werden, um die Stabilität zu überwachen. Unterstützt wird primär GitHub Actions, und die Konfiguration erfolgt über YAML-Dateien, die direkt aus dieser Vorlage abgeleitet werden.
npx skills add https://github.com/UiPath/coder_eval/tree/main/plugins/coder-eval/skills/ciGeneriere einen GitHub Actions-Workflow, der eine coder-eval-Testsuite als CI-Gate oder nach Zeitplan ausführt, unter Verwendung der veröffentlichten Composite-Aktion – mit korrekt verbundenem Agenten-Laufzeit, Anmeldedaten, JUnit-Ausgabe und den Ausführungsberichten.
This repo contains 5 individual skills — each has its own dedicated page.
Analyze a finished coder-eval run and write analysis.md — cluster failures into systemic patterns and recommend fixes. Use when the user wants to know why a run failed, what regressed or got worse since a previous run, what to fix, or what a run says about their tasks.
Generate and run a coder-eval activation suite for a Claude Code skill. Use when the user asks whether a skill triggers, wants to test skill activation, or worries a skill has silently stopped firing.
Set up coder-eval in this repository — scan for what is worth evaluating (Claude Code skills, an MCP server, a CLI), then scaffold a task directory with one real task and the command to run it.
Review existing coder-eval task YAML — find criteria that cannot fail, prompts that leak the answer, and near-duplicate tasks, each with a fix. Read-only. Use when the user wants existing tasks reviewed, linted, audited, or checked for gaps.
Turn a natural-language description into coder-eval task YAML — minimal prompts, weighted criteria that check output content, validated with `coder-eval plan`. Use when the user wants to write, add, or generate an evaluation task.
ElevenLabs text-to-speech with mac-style say UX.
Oracle CLI second-model review/debug/refactor/design with selected files, dry-run token checks, API or browser engine.
Capture and automate macOS UI with the Peekaboo CLI.
Generate multiple radically different interface designs for a module using parallel sub-agents. Use when user wants to design an API, explore interface options, compare module shapes, or mentions "design it twice".
Build a throwaway prototype to flesh out a design — a runnable terminal app for state/business-logic questions, or several radically different UI variations toggleable from one route.
Interview the user relentlessly about a plan or design until reaching shared understanding, resolving each branch of the decision tree. Use when user wants to stress-test a plan, get grilled on their design, or mentions "grill me".