CommunitySchreiben & Editierengithub.com

HaluCatch / 捕幻 — KI-Skill-Ausführungszuverläsigkeitsprüfung

Bewertet die Zuverlässigkeit eines KI-Skill-Pakets bei der Ausführung durch KI und erstellt einen Bewertungsbericht mit Reparaturempfehlungen.

Was ist 捕幻 — KI-Skill-Ausführungszuverläsigkeitsprüfung?

HaluCatch (kurz für Hallucination Catch) ist ein Spezialwerkzeug zur Überprüfung der Zuverlässigkeit von KI-Skill-Paketen. Es untersucht systematisch, ob ein Skill bei der Ausführung durch eine KI wie Claude Code, Cursor, Codex oder andere Agenten fehleranfällig ist. Das Tool bewertet vier Dimensionen: Fundament (z. B. Pfadparametrisierung, Validierungsmodi), Code-Risiko (z. B. anfällige Muster wie nackte `except:`-Anweisungen), Regel- und Methodenklarheit (z. B. eindeutige Definitionen von Geschäftsregeln) sowie Interpretationsabsicherung (z. B. Kausalitätsverbote, Self-Check-Mechanismen). Es unterstützt zwei Skill-Typen – codebasierte (mit Python-Skripten und Daten) und rein methodische (Dokumentationen/Anleitungen). HaluCatch verwendet ein dreistufiges Modell: `halucatch_core.py` führt den gesamten Workflow (L1-Scan, L2-Bewertung, L3-Berichterstellung) in einem Durchlauf aus; die KI liest nur die generierten Berichte, zeigt eine verständliche Standardversion an und ergänzt bei Bedarf semantische Analysen. Die Berichte werden in drei Versionen ausgegeben: Fachversion, Standardversion und Aktionsversion. Der gesamte Prozess läuft zu 100% offline, ohne Netzwerkzugriff, und modifiziert nicht das zu prüfende Skill-Verzeichnis.

Funktioniert mit✓Claude Code~Codex CLI✓Cursor
npx skills add CoderMoray/HaluCatch

Installed? Explore more Schreiben & Editieren skills: steipete/notion, langchain-ai/langchain, bytedance/podcast-generation · View all 6 →

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

HaluCatch / 捕幻 — KI-Skill-Ausführungszuverlässigkeitsprüfung

Bewertet die Zuverlässigkeit eines KI-Skill-Pakets bei der Ausführung und erstellt einen Bewertungsbericht mit Reparaturempfehlungen.


Fähigkeitsgrenzen

StärkenSchwächen
Bewertung, ob ein Skill bei KI-Ausführung fehleranfällig istSicherheitsüberprüfung (SQL-Injection, XSS usw.)
Überprüfung der Zuverlässigkeit von DatenpipelinesCompliance-Prüfung (DSGVO, Datenschutzbestimmungen usw.)
Erkennung von Mehrdeutigkeiten in natürlichsprachlichen GeschäftsregelnGeschäftliche Korrektheit des Skills selbst (versteht Geschäftslogik nicht)
Überprüfung, ob Interpretationsabsicherungen vorhanden sindCode-Performance-Optimierung
Ausgabe von Reparaturempfehlungen und Gerüst-SkriptenErsatz menschlicher Geschäftsentscheidungen

Rolle

Wenn der Benutzer HaluCatch aufruft, bist du der HaluCatch-Prüfer, kein Beobachter.

Verantwortlichkeiten

  • Lies alle Dateien des Ziel-Skill-Ordners
  • Führe die Bewertung nach dem vierdimensionalen Rahmen durch
  • Rufe halucatch_core.py einmalig für den gesamten Ablauf auf (L1-Scan + L2-Bewertung + L3-Berichtserstellung)
  • Lese die vom Skript erstellten Berichtsdateien, zeige die Standardversion im Dialog an und frage, ob repariert werden soll
  • Ergänze auf Basis des Skriptberichts semantische Analysen (Einträge der Stufe info)

Arbeitsteilung zwischen dir und halucatch_core.py

EbeneAufgabeAusführenderPrinzip
L1Dateiscanhalucatch_core.py --validateHohe Determiniertheit, Skript ist schneller und genauer
L2Fundament + Code + Regeln + AbsicherungsprüfungSkript holt JSON-Baseline → du ergänzt darauf aufbauend die AnalyseRegex-Abgleich per Skript, Kontextinterpretation durch dich
L3Drei Berichtsversionen erstellenhalucatch_core.py erstellt und speichert sie, du liest sie und zeigst sie dem Benutzerreporter.py ist hochdeterminiert, einheitlich im Format und null Halluzination – du führst nur semantische Ergänzungen durch

Kernprinzip: halucatch_core.py deckt den gesamten Ablauf ab – L1-Scan, L2-Bewertung, L3-Berichtserstellung in einem Durchlauf. Du liest nur die erstellten Berichte und zeigst sie dem Benutzer. Die KI schreibt den Berichtstext nicht mehr eigenständig.

Berechtigungen & Sicherheitsgrenzen

HaluCatch benötigt nur die folgenden Berechtigungen:

AktionErforderlichBeschreibung
Ziel-Skill-Verzeichnis lesenLesenRekursives Lesen aller Dateien
Berichtsdateien schreibenSchreibenNur in das reports/-Verzeichnis schreiben, das Ziel-Skill nicht verändern
Python-Skript ausführenBashNur halucatch_core.py ausführen, keine Netzwerkaufrufe

Sicherheitsbeschränkungen: HaluCatch greift auf keine Pfade außerhalb des Zielverzeichnisses zu, stellt keine Netzwerkverbindungen her und modifiziert keine geprüften Skill-Dateien. Vor der Prüfung muss der Benutzer explizit den Zielpfad angeben.


Eingabe

Der Benutzer gibt einen Skill-Ordnerpfad an. Dieser Ordner kann Folgendes enthalten:

DateitypErforderlichBeschreibung
SKILL.md✅Hauptanweisungsdatei des Skills
manifest.json oder config.yaml❌Skill-Konfigurationsdatei (mit Versionsnummer usw.)
*.py❌Ausgelagerte Skripte der Datenpipeline (falls vorhanden)
*.xlsx / *.csv usw.❌Datendateien (falls vorhanden, zur Validierung von Abstimmungen)

Datenanforderungen

  • Aktualität: Die Prüfung basiert auf einer Momentaufnahme des Ziel-Skill-Verzeichnisses, es werden keine historischen Versionen nachverfolgt.
  • Datenbereich: Es werden nur die im Zielverzeichnis sichtbaren Dateien bewertet. Es werden keine externen Abhängigkeiten oder Netzwerkressourcen abgerufen.

Annahmen

  • Das Zielverzeichnis existiert und ist lesbar.
  • Das Ziel-Skill sollte mindestens eine SKILL.md-Datei (standardisierter Name) enthalten. Bei anderen .md-Dateien versucht die KI, heuristisch zuzuordnen, meldet aber Konformitätsprobleme.
  • .py-Dateien im Verzeichnis werden als Kernskripte des Skills betrachtet, nicht als Abhängigkeiten von Drittanbietern.

Beispiele für Benutzerfragen

Benutzer sagtKI-Aktion
„Bitte überprüfe dieses Skill mit HaluCatch: /pfad/zum/skill“Standardablauf: Scannen → Klassifizieren → Vierdimensionale Bewertung → Drei Ausgabeversionen
„Überprüfe ./daten-skill, konzentriere dich auf die Datenpipeline“Klassifikation als codebasiert, Fokus auf Fundament und Code-Dimension
„Überprüfe ./leitfaden-skill, schau, ob die Anweisungen klar genug sind“Klassifikation als rein methodisch, Ausgabe der Methodikbewertung
„Scanne ./my-skill mit --validate-Modus“Nur Dateiliste und Typklassifizierung ausgeben, keine Bewertung
„Überprüfe dieses Skill und repariere, wenn Probleme gefunden werden“Bewertung → Benutzer bestätigt „reparieren“ → Automatische Reparaturvorschläge

KI-Ausführungsleitfaden

Automatische Spracherkennung

Beim Laden dieses Skills soll die KI die Sprache des Benutzers aus dem System-Prompt (<response_language>) oder dem Dialogkontext erkennen und automatisch den Parameter --lang hinzufügen:

BenutzerspracheParameterBeispiel
Chinesisch (Kurz-/Langzeichen)--lang zh-CNpython3 halucatch_core.py --skill-dir <pfad> --lang zh-CN
Englisch--lang enpython3 halucatch_core.py --skill-dir <pfad> --lang en
UnsicherKeine Angabe (Standard auto, erkennt Locale des Systems)python3 halucatch_core.py --skill-dir <pfad>

Prinzip: Die KI weiß mit Sicherheit, welche Sprache der Benutzer spricht. Keine manuelle Konfiguration durch den Benutzer erforderlich.

Grundlegende Verwendung

# Für chinesische Benutzer prüfen
python3 halucatch_core.py --skill-dir /pfad/zum/skill --lang zh-CN

# Für englische Benutzer prüfen
python3 halucatch_core.py --skill-dir /pfad/zum/skill --lang en

# Automatische Erkennung (Fallback)
python3 halucatch_core.py --skill-dir /pfad/zum/skill

Ausführungsablauf

Ausführungsparadigma: Die einzelnen Phasen verteilen die Verantwortlichkeiten nach dem dreischichtigen Aufrufmodell. halucatch_core.py führt L1/L2/L3 in einem Durchlauf aus, du liest die erstellten Berichtsdateien und zeigst sie dem Benutzer.

Phase 0: Skill-Klassifizierung

Bestimme zunächst den Typ dieses Skills:

Enthält dieses Skill Datenverarbeitung?
  ├─ ❌ Rein methodisch (Anweisungen/Vorlagen/Dokumente)
  │    Bewertungsschwerpunkte: Vollständigkeit der Anweisungen, logische Konsistenz, Reproduzierbarkeit
  │
  ├─ ✅ Codebasiert (enthält .py / Datendateien / Code in Markdown)
  │    Bewertungsschwerpunkte: Fundament + Code + Regeln + Absicherung
  │
  └─ ⚠️ Unsicher
        → Frage den Benutzer: „Hat dieses Skill Datenschritte?“

Wenn der Ordner Dateien wie .xlsx, .csv, .py (mit pd.read_, pd.DataFrame) enthält, wird standardmäßig „codebasiert“ angenommen.

Phase 1: Dateiscan

Lies alle Dateien im Ordner und erstelle eine Übersicht:

InformationAusgabeform
DateinamenlisteTabelle (Name/Größe/Typ)
Gesamtzeilen von SKILL.mdZahl
Zeilen von .py-Dateien (falls vorhanden)Zahl
Liste der DatendateienTabelle
Skill-Name und -BeschreibungAus dem Frontmatter extrahiert

Phase 2: Mehrdimensionale Bewertung

Führe die Bewertungsdimensionen basierend auf der Klassifizierung aus Phase 0 durch.


2a. Bewertung codebasierter Skills

🏗️ Fundamentbewertung

Prüfe die Stabilität der Datenpipeline des Skills. Je schwächer das Fundament, desto höher die Wahrscheinlichkeit von Fehlern durch KI-generierten Code.

PrüfpunktBestehenskriterium
Ausgelagerte .py-Skripte vorhandenSkript existiert im Ordner
PfadparametrisierungAnzahl der hartcodierten Pfade = 0
Spaltennamen-Prüfung/EingabevalidierungFunktion check_columns oder ähnlich vorhanden
Validate-Modus--validate oder ähnlicher Modus vorhanden
DateierkennungsmechanismusVerwendung von Glob/Wildcards statt fester Dateinamen
AbhängigkeitsdeklarationErforderliche Python-Pakete in SKILL.md deklariert
skiprows parametrisiertZeilenanzahl für Excel-Import konfigurierbar oder automatisch erkennbar

Bewertung: 🟢 Stabil / 🟡 Mit Risiken / 🔴 Kein Fundament


🤖 Code-Risikobewertung

Wenn in SKILL.md Python-Code eingebettet ist (den die KI wortwörtlich reproduzieren muss), prüfe auf folgende Risikopunkte:

PrüfkategorieHochrisikomusterMögliches KI-Fehlverhalten
Statistische FunktionenBenutzerdefinierte p-Wert-Formel, Z-Score-BerechnungErsetzung durch scipy.stats / Anpassung der Konstanten
Zeichenkettenabgleichclean_rate() mit ProzentparsingErsetzung von replace('%','') durch andere Schreibweise
Gleitkommavergleich== 0 / == 1Änderung zu math.isclose() (semantisch anders)
AusnahmebehandlungNacktes except: passÄnderung zu spezifischen Ausnahmetypen
Bedingungslogik(Bedingung).sum() > 0Änderung zu .any(axis=1) (anderes Verhalten)
Aggregationslogikunstack(fill_value=0)Entfernen von fill_value (NaN-Ausbreitung)
DatenbereinigungKeine Anweisung zur DatentypkonvertierungFehler bei sum() auf Zeichenketten-Spalte

Bewertung: 🟢 Niedriges Risiko / 🟠 Risikobehaftet / 🔴 Hohes Risiko


📝 Regel- und Methodenbewertung

Prüfe, ob Geschäftsregeln in SKILL.md klar und eindeutig beschrieben sind:

PrüfpunktRisiko
Klare Auflistung von Kanälen/KlassifikationenMehrdeutigkeit → KI rät selbst
Definition von Ausreißern/GrenzfällenFehlt → KI behandelt sie selbst
Auslagerung von Generationen-/Mapping-Beziehungen (statt KI-Wissen)Nicht ausgelagert → Unterschiedliche KI liefert unterschiedliche Ergebnisse
Definition von Vergleichszeiträumen (Same Store, Year-over-Year usw.)Nicht definiert → KI entscheidet selbst, nicht prüfbar
Dokumentation spezieller KorrekturregelnNicht dokumentiert → Kritische Geschäftslogik fehlt
Vereinbarung zu Dateinamen/Spaltennamen/DatenformatNicht vereinbart → Lauffähigkeit nicht gegeben

Bewertung: 🟢 Klar / 🟡 Mit Mehrdeutigkeiten / 🔴 Wesentliche Lücken


🛡️ Bewertung der Interpretationsabsicherung

Prüfe, ob SKILL.md die Interpretation der Ergebnisse durch die KI einschränkt:

PrüfpunktSchweregrad
Verbot von KausalaussagenFehlt → 🔴 Schwerwiegend
Vier-Quadranten-/Effektstärke-RahmenFehlt → 🟠 Hoch
Selbstprüfmechanismus (Self-Check)Fehlt → 🟠 Hoch
Hinweis auf multiples TestenFehlt → 🟠 Hoch
Vorlage für einschränkende ErklärungenFehlt → 🟠 Hoch
Phasenweise StatusausgabeFehlt → 🟡 Mittel
Ausgabe einer DatenzusammenfassungFehlt → 🟡 Mittel
Definition des AusgabeformatsFehlt → 🟡 Mittel

Bewertung: 🟢 Vollständig / 🟡 Lückenhaft / 🔴 Keine Absicherung


2b. Bewertung rein methodischer Skills

PrüfpunktBeschreibung
Vollständigkeit der AnweisungenJeder Schritt hat klare Ein-/Ausgabe und Entscheidungsbedingungen
GrenzfälleGibt es „Wenn… dann…“-Ausnahmeverzweigungen?
ReproduzierbarkeitWürden verschiedene KI-Instanzen zum gleichen Ergebnis kommen?
BeispielgetriebenEnthält konkrete Beispiele zur Veranschaulichung der erwarteten Ausgabe?
Definition des AusgabeformatsIst die Ausgabestruktur der KI festgelegt?
SelbstvalidierungKann das Ergebnis des Skills auf innere Konsistenz geprüft werden?

Bewertung: 🟢 Zuverlässig / 🟡 Verbesserungspotenzial / 🔴 Unzuverlässig


⚠️ Bestätigung vor Ausführung: Bevor du Dateien scannst, halucatch_core.py ausführst oder Berichte erstellst, musst du zuerst mit dem Benutzer den Zielpfad bestätigen und die geplanten Aktionen mitteilen (Lesen der Dateien im Zielverzeichnis, Ausführen des lokalen Skripts, Erstellen von Berichten im reports/-Verzeichnis). Führe erst nach expliziter Bestätigung Lese-/Schreiboperationen aus.

Phase 3: Drei Berichtsversionen

Kernänderung: Berichte werden automatisch von halucatch_core.py (reporter.py) erstellt. Du schreibst den Berichtstext nicht mehr selbstständig. Du bist nur verantwortlich für:

  1. Lesen der vom Skript erstellten Berichtsdateien
  2. Anzeigen der Standardversion im Dialog
  3. Ergänzende semantische Analysen auf Basis des erstellten Berichts (Einträge der Stufe info)

Ausgabe-Entscheidungsregel: Die drei Berichtsversionen werden immer vom Skript erstellt und gespeichert, im Dialog wird nur die Standardversion angezeigt.

  1. Führe halucatch_core.py --skill-dir <pfad> aus → Das Skript erledigt automatisch L1-Scan + L2-Bewertung + L3-Berichtserstellung
  2. Drei .md-Dateien werden in das HaluCatch/reports/-Verzeichnis geschrieben (oder in den mit --output-dir angegebenen Pfad)
  3. Im Dialog wird nur die Standardversion ausgegeben (allgemeinverständlich, keine Fachbegriffe)
  4. Am Ende der Standardversion steht der Hinweis: „Möchtest du die technischen Details (Fachversion) oder den Reparaturplan (Aktionsversion) sehen?“
  5. Wenn der Benutzer „Ja“ sagt → Zeige den entsprechenden Versionsinhalt im Dialog (die Dateien sind bereits auf der Festplatte, lese und zeige sie direkt an)
  6. Wenn der Benutzer nicht antwortet → Gib nichts weiter aus, vermeide Informationsüberflutung

1. Fachversion (für Datenanalysten/Ingenieure)

Wird automatisch von reporter.py erstellt und enthält: TL;DR-Zusammenfassung, vierdimensionale Bewertungsmatrix-Tabelle, detaillierte Liste der Feststellungen pro Dimension, Prüfhinweis.

2. Standardversion (für Geschäftsanwender/Nicht-Techniker)

Wird automatisch von reporter.py erstellt und enthält: Allgemeinverständliche Zusammenfassung, 21 kontextuelle Erklärungszuordnungen, Ausgabe ohne Fachbegriffe.

3. KI-Aktionsversion (für die Reparaturphase)

Wird automatisch von reporter.py erstellt und enthält: Reparaturliste, Validierungsprüfpunkte, Drei-Optionen-Aufforderung.

Prüfhinweis im Bericht

Alle drei Berichtsversionen müssen am Ende den folgenden Prüfhinweis enthalten:

> Dieser Bericht wurde von HaluCatch erstellt. Prüffortschritt: [✅ HaluCatch-vierdimensionale Bewertung vollständig abgeschlossen / ⚠️ Einige Bewertungsdimensionen nicht abgeschlossen].

Wenn während der Bewertung Dimensionen nicht abgedeckt wurden (z. B. codebasiertes Skill, aber der Benutzer hat keine .py-Datei bereitgestellt), wird die Bewertungsstufe auf ⚠️ herabgesetzt.

KI-semantische Ergänzung (auf Basis des Skriptberichts)

Nach dem Lesen des vom Skript erstellten Berichts überprüfe die Feststellungen einzeln und führe eine Kontextanalyse nach Schweregrad durch:

Ursprüngliche BewertungKI-Aufgabe
🔴 BlockierendWie schwerwiegend ist dieses Risiko im tatsächlichen Geschäftskontext? Führt es wirklich zu Ausführungsfehlern? Reparaturpriorität?
🟠 HochrisikoStellt der Kontext tatsächlich ein Risiko dar? Könnte es ein Fehlalarm des Skripts sein? Muss der Reparaturplan detaillierter sein?
🟡 HinweisIst der ausgelassene Punkt wirklich gerechtfertigt? Gibt es Risiken, die das Skript übersehen hat, aber eigentlich wichtig sind?
🟢 Bestanden✅ Skripteinschätzung korrekt, keine Ergänzung erforderlich

Ausgabeformat: Füge unter jedem Feststellungseintrag eine Zeile ein: > **KI-Analyse**: [Konkrete Einschätzung].


Phase 4: Reparaturentscheidung & Abschluss

Nach Abschluss der Bewertung zeige dem Benutzer den Standardbericht und frage:

Es wurden [N] Risiken erkannt. Sollen diese gemäß dem vorgeschlagenen Plan repariert werden?

  • Benutzer sagt „reparieren“ → Reparaturplan erstellen, dann drei Optionen anzeigen:

    Reparaturplan erstellt. Bitte wähle:

    1. Reparatur ausführen — Sende den Reparaturplan an deine KI, damit sie das Ziel-Skill gemäß dem Plan ändert
    2. Nicht ausführen — Keine Änderungen, beende diese Prüfung
    3. Ich habe eine bessere Idee — Beschreibe deine Gedanken, ich erstelle daraufhin einen neuen Reparaturplan
    • Benutzer wählt „ausführen“ → Hinweis an den Benutzer, die KI die Reparatur anwenden zu lassen → Hinweis, nach der Reparatur HaluCatch erneut zur Validierung auszuführen
    • Benutzer wählt „nicht ausführen“ → Ende
    • Benutzer wählt „Idee“ → Analyse der zusätzlichen Anforderungen → Zurück zu „Reparaturplan erstellen“
  • Benutzer sagt „nicht reparieren“ → Ende


Berichtsspeicherung

  • Standardmäßig Ausgabe in das Verzeichnis HaluCatch/reports/ (verschmutzt nicht das Ziel-Skill-Verzeichnis)
  • Mit --output-dir Ausgabe in einen benutzerdefinierten Pfad
  • Reparaturpakete (falls vorhanden) werden gespeichert unter: {Skill-Verzeichnis}/halucatch-fix/

Weitere Auslösebeispiele

Nach Prüftiefe

Benutzer sagtKI-Aktion
„Überprüfe bitte dieses Skill, ob es zuverlässig ist“Vollständiger Ablauf: Klassifizierung → Vierdimensionale Bewertung → Drei Berichtsversionen
„Schnell drüberschauen, ob es offensichtliche Fallstricke gibt“Nur Phase-1-Scan + Phase-2-L1/L2-Regelprüfung, Ausgabe einer kompakten Checkliste
„Dieses Mal nur auf harte Fehler wie Division durch Null oder nacktes except achten“Regeln und Absicherungsdimension überspringen, nur Fundament + Code-Prüfung durchführen
„Nach der letzten Prüfung habe ich SKILL.md geändert. Bitte noch einmal laufen lassen und vergleichen“Erneute Prüfung, Vergleich mit dem letzten Bericht, Markierung des Reparaturstatus‘

Nach Skill-Typ

Benutzer sagtKI-Aktion
„Mein Skill hat einen data/-Ordner und .py-Skripte. Bitte vollständig prüfen“Klassifikation als codebasiert, alle vier Dimensionen abdecken
„Das ist ein reines Leitfaden-Skill. Bitte prüfen, ob die Anweisungen klar sind“Klassifikation als rein methodisch, nur Methodik und Absicherung bewerten

Pfadangaben (Plattformunterschiede)

PlattformRichtige Schreibweise❌ Falsche Schreibweise
Claude Code / Allgemein/pfad/zum/skillC:\pfad\zum\skill
Kimi / WeChat Mini-Programmskills/projektname/~/skills/projektname/
Cursor / VS CodeOrdner in das Dialogfeld ziehenKomplexen Pfad manuell eingeben

Wenn es trotzdem nicht klappt

Sag einfach: „Überprüfe dieses Skill“ und ziehe den Skill-Ordner per Drag & Drop hinein, oder füge einen Ausschnitt aus SKILL.md ein. Die KI entscheidet selbst über die nächsten Schritte.


Fehlerbehandlung

Häufige Fehler & Reparatur

FehlerbildUrsacheReparaturmethode
❌ SKILL.md nicht gefundenZielverzeichnis existiert nicht oder enthält keine .md-DateiPfad überprüfen → Prüfen, ob Verzeichnis SKILL.md oder andere .md-Dateien enthält → Falls nicht, eine erstellen
⚠️ Standard-SKILL.md nicht gefundenDateiname ist nicht SKILL.md (z. B. skill.md, README.md)Datei in SKILL.md umbenennen oder der KI mit --file den Dateinamen mitteilen
🔧 Dateikodierungsfehler, XXX.py übersprungenDatei enthält Nicht-UTF-8-Zeichen (z. B. chinesische Kommentare in GBK-Kodierung)Datei mit Editor als UTF-8 speichern oder Kommentare auf Englisch umstellen
📦 Skill-Paket zu groß (> 2 MB)Verzeichnis enthält viele Datendateien oder AbhängigkeitspaketeNur Kerndateien behalten (SKILL.md + .py-Skripte), Datendateien und Abhängigkeiten in .halucatch-ignore aufnehmen
⏱️ Prüfung zeitüberschrittenZu viele Dateien oder Skriptausführung dauert zu langeDer KI sagen: „Überprüfe nur SKILL.md und die wichtigsten .py-Dateien“

Fehlerstufen

StufeVerhalten
Fatal (z. B. Verzeichnis existiert nicht)Sofort abbrechen, klare Reparaturanleitung geben
Warnung (z. B. nicht standardkonformer Dateiname)Prüfung fortsetzen, aber Selbstbewertung herabstufen, im Bericht kennzeichnen
Behebbar (z. B. Kodierungsproblem einer einzelnen Datei)Diese Datei überspringen und fortfahren, die übersprungene Datei und den Grund im Bericht kennzeichnen

Betriebsstabilität

Schutzmaßnahmen

SzenarioSchutzstrategie
Große Datei (einzeln > 1 MB)Nur die ersten 500 Zeilen analysieren, Kürzung im Bericht vermerken
Viele Dateien (Verzeichnis > 200 Dateien)Nach Typ filtern (.md → .py → andere), nicht-kernrelevante Dateien automatisch überspringen
Skriptausführungs-Timeout (> 30 s)Diesen Schritt abbrechen, die bereits validierten Teile in den Bericht aufnehmen, unvollständige Punkte kennzeichnen
NetzwerkaufrufHalucatch sendet keine Netzwerkanfragen, 100% offline
KodierungsproblemZuerst UTF-8 versuchen → Dann System-Locale versuchen → Bei Misserfolg überspringen und protokollieren
Verzeichnis nicht lesbarBerechtigungsfehler melden, dem Benutzer chmod oder einen anderen Pfad vorschlagen

Zuverlässigkeitserklärung

Halucatch läuft stabil in normalen Skill-Verzeichnissen (≤ 50 Dateien, Einzeldatei ≤ 1 MB). In Extremfällen wird automatisch herabgestuft (Kürzung/Überspringen/Abbruch), es gibt keinen stillen Fehlschlag.


Anti-Patterns & FAQ

Häufige Missverständnisse

MissverständnisRichtige Sichtweise
„Einmal prüfen reicht“Nach jeder Änderung des Skills, insbesondere von SKILL.md oder wichtigen .py-Dateien, sollte erneut geprüft werden
„Niedrige Punktzahl = unbrauchbar“Die Punktzahl ist ein relativer Anhaltspunkt. Ein „fundamentschwaches, aber regelklares“ rein methodisches Skill kann durchaus brauchbar sein
„Alle Probleme vor der Veröffentlichung beheben“Priorität auf hohe (🔴) und mittlere (🟠) Probleme legen, niedrige können schrittweise verbessert werden
„Die KI-Aktionsversion kann direkt ausgeführt werden“Die Aktionsversion enthält Reparaturanweisungen für die KI. Diese müssen vom Benutzer bestätigt werden, bevor die KI sie ausführt, um versehentliche Änderungen zu vermeiden
„Ein --validate-Lauf zählt als Prüfung“--validate führt nur einen Dateiscan und eine Typklassifizierung durch, keine vierdimensionale Bewertung. Eine vollständige Prüfung erfordert eine vollständige Ausführung

FAQ

F: Was muss ich vorbereiten? A: Einen Ordner, der SKILL.md enthält. Wenn du .py-Skripte oder Datendateien hast, lege sie ebenfalls bei – die Bewertung wird dann umfassender.

F: Das Prüfungsergebnis sagt „nicht bestanden“. Was jetzt? A: Sieh dir im Bericht die „KI-Aktionsversion“ an – dort sind Reparaturvorschläge für jeden Punkt aufgeführt. Repariere nach Priorität (hoch zu niedrig) und führe dann eine erneute Prüfung zur Validierung durch.

F: Mein Skill hat keinen Python-Code. Kann es trotzdem verwendet werden? A: Ja. HaluCatch klassifiziert es automatisch als „rein methodisch“, überspringt Fundament- und Code-Prüfung und konzentriert sich auf die Bewertung der Anweisungsvollständigkeit und der Absicherung.

F: Was mache ich bei einem Fehler? A: Sieh dir das Kapitel „Fehlerbehandlung“ weiter oben an. 90% der Fehler sind falsche Pfadangaben oder nicht standardkonforme Dateinamen. Wenn du es nicht lösen kannst, gib die Fehlermeldung an die KI weiter.

💡 Weitere Fragen? Schau in FAQ.md – dort findest du eine vollständige Anleitung, häufig gestellte Fragen und Fehlerbehebung.

Verwandte Skills