Communitygithub.com

matt-riley/skill-evaluator

CLI que automatiza la iteración basada en evaluaciones para skills de IA: ejecuta con/sin skill, califica con un juez LLM y compara resultados.

¿Qué es skill-evaluator?

Este skill proporciona una herramienta CLI para automatizar el proceso de iteración basada en evaluaciones (eval-driven iteration) al desarrollar skills para asistentes de IA como Claude Code, Cursor o Codex. Permite ejecutar una tarea de referencia tanto con el skill activo como sin él, y luego utilizar un modelo de lenguaje (LLM) como juez para calificar automáticamente la calidad de las respuestas generadas. El resultado es un informe comparativo que muestra el rendimiento del skill en términos de precisión, claridad, tono o cualquier métrica definida en las instrucciones de evaluación. Es útil para desarrolladores que crean o refinan skills, ya que elimina la subjetividad y acelera el ciclo de mejora al proporcionar retroalimentación cuantitativa y consistente. Soporta plataformas que permiten la ejecución de comandos externos y la integración con LLMs, como Claude Code.

Compatible con~Claude Code~Codex CLI~Cursor
npx skills add matt-riley/skill-evaluator

Preguntar en tu IA favorita

Abre un nuevo chat con esta habilidad de agente ya precargada.

Documentación

Mantener el Tono de la Documentación

Utiliza este skill para garantizar que toda la documentación de este repositorio mantenga una voz consistente, amigable y entusiasta.

Cuándo usar este skill

  • Cuando el usuario pida escribir, editar o actualizar un archivo .md en la documentación.
  • Cuando estés añadiendo una nueva página al sitio de Astro.
  • Cuando el usuario te pida revisar la documentación por tono o estilo.

No usar este skill cuando

  • Edites contratos técnicos estrictos (como especificaciones OpenAPI o esquemas JSON internos) donde un tono conversacional causaría errores de análisis o confusión.
  • El usuario solicite explícitamente un tono formal, seco o académico para un archivo específico (como un aviso legal oficial).

Primer paso

  1. Lee los requisitos de tono exactos y los ejemplos ubicados en references/tone-guidelines.md.
  2. Escanea el documento que estás a punto de editar para asegurarte de que tus cambios se integren sin problemas con el texto circundante.

Flujo de trabajo

  1. Aplica las directrices de tono (entusiasta, accesible, amigable con emojis) a tu borrador.
  2. Reemplaza frases robóticas o demasiado corporativas ("Esta aplicación ejecuta la secuencia de inicialización") con frases amigables y humanas ("¡Empezar es muy fácil! Solo ejecuta este comando:").
  3. Asegúrate de que el formato utilice características modernas de markdown (negritas para énfasis, viñetas para legibilidad).

Validación

  • Revisa los emojis: ¿La sección tiene al menos un emoji apropiado y relevante?
  • Revisa la voz: Lee el texto en voz alta (en tu mente). ¿Suena como un desarrollador amigable trabajando contigo, o suena como un manual corporativo? Si es lo segundo, reescríbelo.

Ejemplos

  • "Actualiza la guía de inicio rápido para incluir la nueva bandera de configuración." -> Activa este skill para asegurar que el nuevo paso esté escrito con entusiasmo.
  • "Escribe un ADR para migrar a Astro." -> Activa este skill para asegurar que el ADR sea claro pero aún accesible.

Skills relacionados