xiaopixuan/skill-design-review

Revisión de Diseño de Skill

Objetivo

Usar un bucle de evaluación para determinar si un skill objetivo aún merece existir, si realmente mejora la ejecución de tareas, y cuál es el cambio más pequeño que se debe hacer a continuación.

Prefiere pruebas concretas sobre críticas abstractas. El resultado esperado es una decisión de disposición, una tarjeta de puntuación completa y una acción específica: conservar, simplificar, unir, re-escribir, eliminar o parchear el skill según la evidencia y los permisos de edición del usuario.

Entradas

Recopila o infiere estas entradas antes de puntuar:

• Ruta del skill objetivo o nombre del skill.
• Dos casos de prueba realistas con diferentes estilos de usuario. Cada caso de prueba debe incluir la solicitud del usuario y cualquier artefacto de entrada, archivo o contexto necesario para ejecutarlo.
• Forma de salida esperada para cada caso de prueba.
• Superposición candidata: cualquier skill cercano, capacidad incorporada, herramienta, script, plantilla o instrucción de nivel superior que pueda hacer innecesario el skill objetivo.

Si el usuario no proporcionó casos de prueba, redacta dos casos realistas a partir del propósito del skill e indica que son inferidos.

Bucle de Evaluación

1. Inspeccionar el skill objetivo. Lee su SKILL.md completamente. Lee los archivos referenciados solo cuando sea necesario para entender el flujo de trabajo que se está probando.

2. Evaluar la necesidad antes de mejorar. Decide si el skill proporciona valor duradero más allá de un agente general fuerte. Vale la pena conservar un skill cuando proporciona al menos uno de los siguientes:

   • Conocimiento de dominio no obvio que un agente general a menudo pasaría por alto.
   • Un flujo de trabajo repetible que previene fallos comunes.
   • Conocimiento de herramientas, scripts, activos, plantillas o enrutamiento de archivos.
   • Estándares de salida que deben mantenerse estables entre ejecuciones.
   • Juicio, terminología o memoria de proceso específicos de la organización.
   • Evidencia de que usar el skill mejora la calidad en comparación con una línea base sin él.

   Un skill debe simplificarse, unirse, re-escribirse o eliminarse cuando:

   • Solo repite patrones de razonamiento generales.
   • Un agente base ya se desempeña igual de bien sin él.
   • Agrega instrucciones largas pero ninguna ganancia de calidad medible.
   • Entra en conflicto con instrucciones de sistema/desarrollador de nivel superior.
   • Principalmente preserva comportamiento de herramientas obsoletas o flujos de trabajo anticuados.
   • Se superpone en gran medida con otro skill más fuerte.

3. Preparar las pruebas. Usa dos casos de prueba que difieran en tono, especificidad o tipo de artefacto. Incluye al menos una solicitud ordinaria y una solicitud límite o ambigua.

4. Ejecutar una comparación con línea base. Para cada caso de prueba, compara cómo se manejaría la tarea sin el skill objetivo versus con el skill objetivo. Si una línea base limpia es imposible porque el skill ya ha sido leído, marca la línea base como "mejor esfuerzo / contaminada" en lugar de pretender que es independiente. Cuando haya subagentes independientes o tareas nuevas disponibles y sea seguro usarlos, ejecuta la pasada con-skill por separado de la pasada de línea base. Pasa solo el skill objetivo, la solicitud del usuario y los artefactos sin procesar; no pases el diagnóstico esperado ni la corrección planificada.

5. Puntuar con la rúbrica. Lee references/rubric.md antes de asignar puntuaciones. Puntúa necesidad del skill, comportamiento de activación, guía de flujo de trabajo, formato de salida y calidad de contenido. Agrega evidencia breve para cada puntuación que no sea perfecta.

6. Elegir una disposición. Selecciona exactamente una disposición:

   • Conservar: el skill claramente mejora los resultados y no es demasiado costoso.
   • Conservar pero simplificar: el skill es útil pero tiene instrucciones excesivas, ejemplos débiles o detalles obsoletos.
   • Unir: el skill es útil pero pertenece principalmente dentro de otro skill más fuerte.
   • Re-escribir: el skill es valioso en intención pero estructuralmente poco claro o engañoso.
   • Eliminar: el skill no agrega valor medible más allá de la línea base o está obsoleto.
   • Parchear: el skill vale la pena conservarlo y tiene una brecha estrecha y de alto impacto.

7. Revisar y volver a ejecutar. Si la disposición es Parchear, Conservar pero simplificar, Unir, Re-escribir o Eliminar, realiza el cambio de archivo más pequeño respaldado por evidencia que permita el usuario. Para Unir o Eliminar, no elimines contenido a menos que el usuario haya solicitado explícitamente una limpieza destructiva; de lo contrario, recomienda la acción exacta de unir/eliminar. Parchea el skill objetivo solo donde la evidencia muestre una brecha, luego vuelve a ejecutar la prueba afectada o la verificación de rúbrica. Registra si la puntuación cambió y por qué. Si el usuario prohíbe ediciones o solicita solo revisión, no parchees archivos. En su lugar, describe el parche más pequeño recomendado y vuelve a puntuar el criterio afectado como una proyección en seco, marcando claramente el archivo real como sin cambios.

Formato de Salida

Devuelve el resultado en este orden:

1. Veredicto Indica si el skill pasa, pasa condicionalmente o falla, y da la disposición: Conservar, Conservar pero simplificar, Unir, Re-escribir, Eliminar o Parchear.

2. Evaluación de Necesidad Indica el valor duradero que proporciona el skill, qué superposiciones tiene con la capacidad del agente base o skills cercanos, y por qué el skill debería o no seguir ocupando contexto.

3. Casos de Prueba Enumera los dos casos de prueba y las formas de salida esperadas.

4. Tarjeta de Puntuación Proporciona una tabla con criterio, puntuación, evidencia y corrección.

5. Comparación Resume la diferencia con-skill versus sin-skill.

6. Acción Específica Describe el cambio exacto realizado o recomienda la acción de conservar/simplificar/unir/re-escribir/eliminar/parchear más pequeña si el usuario solicitó solo revisión.

7. Resultado de Re-ejecución Indica qué cambió después de la revisión, incluido cualquier riesgo restante.

Reglas de Juicio

• Pasa cuando todos los criterios requeridos puntúan 2 y la puntuación total es al menos 9 de 10.
• Pasa condicionalmente cuando la puntuación total es 6-8 o un criterio requerido puntúa 1.
• Falla cuando cualquier criterio requerido puntúa 0 o la puntuación total es inferior a 6.
• Los criterios requeridos son necesidad del skill, comportamiento de activación, formato de salida y calidad de contenido.
• No optimices solo por la estética. Prefiere cambios que hagan que el próximo agente sepa qué hacer, cuándo hacerlo y qué producir.
• Mantén las revisiones estrechas, medibles y vinculadas a un fallo de prueba.
• Prefiere recomendaciones de eliminación o unión en lugar de pulir cuando el skill ya no produce una mejora medible sobre un agente base.