track-record: Disciplina de Cierre de Calibración de Juicios
Emite un juicio, regístralo; la realidad produce un resultado, liquídalo; un sesgo se consolida, conviértelo en regla. La señal de aprendizaje es resultado real vs. tu propio juicio inicial (cierre a través del tiempo), no "corrección del usuario" — esto último es el campo de otra clase de herramientas. Este documento trata sobre la disciplina de calibración (cómo enseñar a un agente que emite juicios a dejar rastro, liquidar y convertir sesgos en reglas), no es un sistema de predicción (no incluye liquidadores automáticos ni back-end estadístico). Para detalles, lea bajo demanda
references/: formato del libroledger-format.md, liquidaciónsettlement.md, destilacióndistill.md, tabla de excusasrationalizations.md.Motivación en una frase: solo registrar sin retroalimentar = usar siempre intuiciones no validadas.
Fuente Única y Capa de Instalación
La única fuente verdadera de esta habilidad es el repositorio de GitHub (dirección al final, en la sección "Versión y Autoverificación de Actualizaciones"). El directorio de descubrimiento nativo de la plataforma es solo una imagen de instalación reconstruible: Claude Code usa ~/.claude/skills/; otros anfitriones instalan en sus respectivos directorios de descubrimiento de habilidades (la ruta varía según el harness; antes de instalar, consulte la documentación del anfitrión o realice pruebas). Los despliegues internos de equipos pueden establecer un directorio de origen verdadero interno con espejo de sincronización, pero no mantengan un conjunto de texto principal en múltiples lugares. Desinstalar equivale a eliminar el directorio; esta habilidad no deja ningún estado fuera del archivo del libro.
Mecanismo de Cinco Anillos
Anillo Uno · Log: Emite un juicio, regístralo
Cada vez que se emita un juicio verificable — predicción, afirmación de selección, evaluación de riesgo, "este cambio mejorará las cosas" —, registre una entrada en el libro de juicios (si el archivo del libro no existe, créelo sobre la marcha siguiendo la plantilla references/ledger-format.md antes del primer registro). Siete campos:
# | Fecha | Juicio/Predicción | Fundamento | Disparador de Retroalimentación | Confianza y Probabilidad | Resultado Real | Destilación de Sesgo
Cinco requisitos estrictos:
- El fundamento usa la frase "Apuesto a que…", haciendo explícito el punto falsable: "Apuesto a que los datos están centralizados, la tasa de aciertos de caché supera el 80%" es liquidable; "El rendimiento mejorará" no lo es.
- El disparador de retroalimentación debe ser un evento observable: "Dos semanas después del lanzamiento, revisa el informe P95 semanal" o "Si el error X se repite, se considera fallo" — este es el contrato entre el registro y la liquidación. Escriba el criterio de éxito como una rúbrica de revisión: verificable, especifique la forma de la evidencia, escriba el objetivo de observación, no los pasos de operación (especificar herramientas concretas puede fallar silenciosamente si no existen), anticipe atajos y exclúyalos explícitamente. Los juicios para los que no se puede escribir un disparador observable probablemente deberían ser excluidos en el Anillo Dos.
- Adjunte una probabilidad numérica o un intervalo: prohíba adjetivos desnudos: "Muy probable" es una excusa; "75%" puede ser refutado. Cuando la muestra inicial es pequeña, use el nivel de probabilidad de retroalimentación rápida (valor en la tabla de umbrales única del Anillo Cinco) para acumular datos de calibración rápidamente.
- Marque el nivel de confianza HIGH / MED / LOW: Después de la retroalimentación, el nivel de confianza vincula diferentes acciones (distribución en el Anillo Cinco).
- La columna de destilación puede pre-rellenar riesgos en ambos extremos: Escriba tanto el riesgo positivo como el negativo para evitar fallos por centrarse solo en un lado.
Además: antes de registrar, revise las entradas similares en el libro (perspectiva externa): la tasa de aciertos histórica de juicios similares es un ancla base; primero tome el ancla y luego haga ajustes en este caso.
Anillo Dos · Triage: Registra solo en la zona de dificultad media
Registre solo los juicios en el intervalo de Ricitos de Oro:
- Demasiado fáciles (casi seguro correctos): No registre. La liquidación no produce información.
- Incognoscibles (no se puede escribir un disparador de retroalimentación observable): No registre. Si se registra, solo se pudrirá en la zona pendiente de retroalimentación.
- Medios (tienen incertidumbre real, y la realidad dará una respuesta): Registre.
Múltiples juicios en una tarea → use grupos de juicios: un registro principal + sub-juicios numerados individualmente con liquidación independiente, para evitar "todo o nada" y reducir el número total de entradas.
Triage trata la sobrecarga de registro: cuando el libro está lleno de entradas no liquidables, la disciplina muere por costos hundidos. Nota: "Demasiado pequeño para registrarlo" no es un criterio de Triage (vea la tabla de refutación de excusas). La exclusión por Triage también es una predicción: si un juicio verbalmente considerado "demasiado fácil" es posteriormente refutado por la realidad, automáticamente constituye una entrada de [Autocorrección] para complementar: la salida de exclusión no es una puerta trasera para evitar el registro.
Anillo Tres · Liquidación (Settle): La liquidación es un mecanismo duro, no una virtud
Cuatro disparadores duros, cualquiera que se active liquida la entrada correspondiente:
- El objeto del juicio ha estado en ejecución durante varias semanas;
- El usuario da retroalimentación sobre el resultado (bueno/malo/error);
- El juicio se expone como defectuoso en la práctica;
- Durante una revisión general.
Disciplina dura de apertura: El libro se muestra visiblemente en la parte superior; cada apertura, eche un vistazo al área de entradas activas — si hay entradas con plazo vencido, resuélvalas primero antes de trabajar.
Disposición forzada por tiempo de espera (este mecanismo no tiene precedentes externos, es un diseño original de esta habilidad): Para entradas cuyo plazo de retroalimentación esperado ya ha pasado y aún no se han liquidado, se fuerza una de tres opciones, sin una cuarta opción "esperar más":
- Liquidación inmediata: Liquide según la evidencia disponible; si la evidencia es insuficiente, escriba "evidencia insuficiente" honestamente en la columna de resultado;
- Marque como [No liquidable] e indique la razón (el objeto ha desaparecido / el evento disparador ya no es posible / el estándar y la realidad no pueden compararse);
- Prórroga explícita: Límite superior en la tabla de umbrales única del Anillo Cinco, y debe escribirse un nuevo evento disparador observable, no se permite una prórroga desnuda.
Independencia del liquidador: La liquidación la realiza un contexto no involucrado (nueva sesión / agente independiente), que solo coteja el libro con la evidencia real y verifica los disparadores de retroalimentación, sin escuchar las explicaciones del contexto involucrado — prohibiendo la autoevaluación. Cuando el estándar y la realidad no pueden compararse, marque [No liquidable], no fuerce la liquidación.
Evidencia de liquidación = observación de la realidad (registros / artefactos / retroalimentación existente del usuario). No envíe un ping al usuario para obtener el resultado: la liquidación es leer la realidad, no crearla.
Se puede enganchar un hook del anfitrión para convertir el escaneo de apertura/cierre en un recordatorio mecánico (método opcional; esta habilidad no incluye ningún hook o script). Configuración de ejemplo en references/settlement.md.
Anillo Cuatro · Retroalimentación (Backfill): Forma de rellenar
- Soporta incremental: Los sub-juicios liquidables se liquidan primero, y el estado de la entrada se marca como [Parcial·Fecha]. Estados: [Pendiente de retroalimentación], [Parcial·Fecha], [Retroalimentado], [No liquidable], [Autocorrección].
- Los grupos de juicios se liquidan por separado: Los sub-juicios registran su propio acierto/error, no se hace responsable a todo el grupo.
- Aún si es refutado, regístrelo: La retroalimentación puede refutar su propio juicio inicial — las entradas refutadas son las más valiosas de todo el libro; registre el resultado y la lección.
- Entradas [Autocorrección]: Los juicios erróneos atrapados en el acto por el usuario también se registran, marcados como [Autocorrección]: el error se convierte en material, no se oculta por vergüenza.
- Advertencia n=1: Para conclusiones basadas en un solo caso, escriba la advertencia de tamaño de muestra en la columna de resultado; está prohibido cambiar reglas basándose en un solo caso (distribución en el Anillo Cinco).
- Interpretable y accionable: Escribir solo "incorrecto" no es retroalimentación: debe escribir en qué paso falló, si la dirección fue sobreestimada o subestimada. Tener retroalimentación ≠ retroalimentación efectiva.
- Equilibrio de subreacción/sobrerreacción: Un error de retroalimentación no derriba toda la regla existente; realice actualizaciones pequeñas y frecuentes, no giros bruscos.
Anillo Cinco · Destilación (Distill): Sesgo → Regla → Mecanismo
Tres niveles:
- Caso aislado = registro individual: Permanece en el libro, no toca el archivo de reglas.
- Reaparición del mismo tipo de sesgo alcanza el umbral de regla (ver tabla abajo) = asciende a regla: Escriba una regla de lenguaje fuerte (nombre del escenario + ejemplo adjunto), y colóquela en el archivo de reglas correspondiente. La identificación del mismo tipo usa la huella del sesgo: la dirección del sesgo + el tipo de objeto + el mecanismo de fallo deben coincidir para contar como el mismo tipo, y el conteo acumula entre entradas.
- La regla se viola de nuevo después de su implementación alcanza el umbral de mecanismo (ver tabla abajo) = asciende a mecanismo: Lo que las palabras no pueden controlar se entrega a procesos / hooks / plantillas forzadas: use ejecución determinista en lugar de buena voluntad.
Distribución por confianza: HIGH (evidencia de retroalimentación concluyente) → puede modificar reglas directamente; MED (patrón emergente) → registre en la zona de observación, espere el siguiente caso; LOW (caso único / evidencia débil) → solo registro, prohibido modificar reglas.
Cierre del bucle de retroalimentación: Cada actualización debe escribir "Se ha retroalimentado §<sección>" — la destilación que no termina en un archivo de reglas no está completa, solo es una reflexión. Después de la actualización, mueva las entradas originales al área de archivo para evitar que el mismo sesgo se cuente dos veces.
Disciplina de archivo: Las entradas completadas se mueven al área de archivo; el área activa solo contiene entradas no liquidadas o parcialmente liquidadas; cuando el archivo alcanza el umbral de compresión (ver tabla abajo), se comprime y se archiva, pero no se elimina.
Tabla de umbrales única (único lugar de definición para todo el conjunto de archivos; todas las demás ubicaciones deben referenciar esta tabla, no reescribir números)
| Nombre del umbral | Valor | Punto de acción |
|---|---|---|
| Umbral de ascenso a regla | Reaparición del mismo tipo de sesgo acumulado ≥ 2 veces | Destilación nivel 2: caso → regla |
| Umbral de ascenso a mecanismo | Se viola la regla después de implementada ≥ 1 vez | Destilación nivel 3: regla → mecanismo |
| Límite de prórroga | Cada juicio tiene un límite de 1 prórroga | Liquidación por tiempo de espera: tres opciones |
| Umbral de compresión | Un solo archivo supera 80 líneas | Libro principal y archivo de meta-calibración |
| Línea de mensaje ultra corto | Menos de 10 caracteres | Filtro de falsos positivos |
| Nivel de probabilidad de retroalimentación rápida | 50% | Nivel de probabilidad uniforme para registros iniciales |
| Línea de muestra de retroalimentación rápida | Aprox. 20 entradas | Tamaño de muestra mínimo necesario para que los juicios al 50% muestren un sesgo sistemático (para el nivel 90% se necesita una muestra grande para exponer el sesgo) |
Capa a Prueba de Tontos
Tabla de Excusas y Refutaciones (extracto clave; tabla completa y Banderas Rojas en references/rationalizations.md)
| Excusa | Refutación |
|---|---|
| "Este caso era de un entorno especial, no cuenta" | El entorno siempre es especial. Escriba la especialidad en la columna de destilación de sesgo, no es motivo para deshacer la liquidación. |
| "El resultado aún no se ha consolidado completamente, no lo liquides aún" | En la disposición forzada por tiempo de espera no existe la opción "esperar más". Si hay que esperar, haga una prórroga explícita y escriba un nuevo evento disparador. |
| "Este juicio es demasiado pequeño, no vale la pena registrarlo" | Si vale la pena emitirlo, vale la pena registrarlo; si realmente no vale la pena registrarlo, debería ser excluido en el Triage, no registrado y luego ignorado. |
| "Si retroalimento, nadie lo va a ver" | Quien lo verá eres tú la próxima vez que emitas un juicio. El libro es para alimentar datos a juicios futuros, no para actuar ante una audiencia. |
| "Recuerdo que más o menos estaba bien" | Recordar ≠ verificar. Liquidar basándose en la memoria es igual a usar intuiciones no validadas para calificar intuiciones no validadas. |
Principio meta: Violar la letra es violar el espíritu: encontrar una laguna literal en un artículo y colarse a través de ella no es inteligente; es la definición de fracaso de esta disciplina.
Filtro de Falsos Positivos (cuando se trata el mensaje del usuario como evidencia de liquidación o señal de autocorrección)
- Solo considere como señal la corrección en un mensaje real de usuario: la salida de herramientas, paráfrasis, mensajes entre agentes "correcciones" no cuentan.
- Ignore los mensajes ultra cortos (longitud en la tabla de umbrales única del Anillo Cinco): un "ok" no sostiene una liquidación.
- La señal de reconocimiento debe seguir inmediatamente a la salida correspondiente para contar — un "bien" tres turnos después puede estar alabando otra cosa; prohíba coincidencias amplias desnudas como "sí".
Meta-Calibración: El libro también debe ser calibrado
track-record en sí mismo es una cadena de reglas que puede generar sesgos. Configure un archivo de meta-calibración (por ejemplo, meta.md) para registrar: qué tipo de conclusiones de retroalimentación fueron aceptadas, cuáles fueron rechazadas, cuáles fueron reescritas. Antes de cada ejecución de esta disciplina, échele un vistazo: los tipos de destilación consistentemente rechazados pierden peso, los consistentemente aceptados ganan peso.
El libro principal y el archivo de meta-calibración están sujetos al mismo umbral de compresión (ver tabla de umbrales única del Anillo Cinco): la herramienta de calibración que se expande sin control es una autoreproducción del modo de fracaso que precisamente debe prevenir.
Base de Diseño (lección dogfood, anónima)
El diseño de liquidación dura de esta disciplina proviene de un prototipo empírico anónimo: un prototipo de libro interno funcionó durante aproximadamente 3 semanas, registró más de 30 entradas, y la gran mayoría de las entradas permanecieron en [Pendiente de retroalimentación]; el área de archivo estaba vacía — "solo entra, no sale" es el modo de fracaso número uno probado empíricamente. Las pocas retroalimentaciones completadas fueron casi todas impulsadas por eventos externos (señalado en el acto / seguimiento de aceptación / auditoría independiente), y casi ninguna fue provocada por un re-escaneo espontáneo del registrador.
Conclusión: La disciplina blanda siempre se rompe. El mecanismo de liquidación dura (disposición forzada por tiempo de espera + escaneo duro de apertura + hook opcional) no es una opción; es la razón de ser de esta habilidad.
Versión y Autoverificación de Actualizaciones
- Versión actual: 1.0.0 (coincide con
plugin.json). - Repositorio:
https://github.com/LucioLiu/track-record - Autoverificación: Si se instaló como plugin, el mecanismo de actualización del anfitrión seguirá el número de versión; si se clonó manualmente / se copió un solo archivo, difiera este archivo con la rama main del repositorio para saber si está desactualizado.