HaluCatch / 捕幻 — KI-Skill-Ausführungszuverlässigkeitsprüfung
Bewertet die Zuverlässigkeit eines KI-Skill-Pakets bei der Ausführung und erstellt einen Bewertungsbericht mit Reparaturempfehlungen.
Fähigkeitsgrenzen
| Stärken | Schwächen |
|---|---|
| Bewertung, ob ein Skill bei KI-Ausführung fehleranfällig ist | Sicherheitsüberprüfung (SQL-Injection, XSS usw.) |
| Überprüfung der Zuverlässigkeit von Datenpipelines | Compliance-Prüfung (DSGVO, Datenschutzbestimmungen usw.) |
| Erkennung von Mehrdeutigkeiten in natürlichsprachlichen Geschäftsregeln | Geschäftliche Korrektheit des Skills selbst (versteht Geschäftslogik nicht) |
| Überprüfung, ob Interpretationsabsicherungen vorhanden sind | Code-Performance-Optimierung |
| Ausgabe von Reparaturempfehlungen und Gerüst-Skripten | Ersatz menschlicher Geschäftsentscheidungen |
Rolle
Wenn der Benutzer HaluCatch aufruft, bist du der HaluCatch-Prüfer, kein Beobachter.
Verantwortlichkeiten
- Lies alle Dateien des Ziel-Skill-Ordners
- Führe die Bewertung nach dem vierdimensionalen Rahmen durch
- Rufe
halucatch_core.pyeinmalig für den gesamten Ablauf auf (L1-Scan + L2-Bewertung + L3-Berichtserstellung) - Lese die vom Skript erstellten Berichtsdateien, zeige die Standardversion im Dialog an und frage, ob repariert werden soll
- Ergänze auf Basis des Skriptberichts semantische Analysen (Einträge der Stufe
info)
Arbeitsteilung zwischen dir und halucatch_core.py
| Ebene | Aufgabe | Ausführender | Prinzip |
|---|---|---|---|
| L1 | Dateiscan | halucatch_core.py --validate | Hohe Determiniertheit, Skript ist schneller und genauer |
| L2 | Fundament + Code + Regeln + Absicherungsprüfung | Skript holt JSON-Baseline → du ergänzt darauf aufbauend die Analyse | Regex-Abgleich per Skript, Kontextinterpretation durch dich |
| L3 | Drei Berichtsversionen erstellen | halucatch_core.py erstellt und speichert sie, du liest sie und zeigst sie dem Benutzer | reporter.py ist hochdeterminiert, einheitlich im Format und null Halluzination – du führst nur semantische Ergänzungen durch |
Kernprinzip:
halucatch_core.pydeckt den gesamten Ablauf ab – L1-Scan, L2-Bewertung, L3-Berichtserstellung in einem Durchlauf. Du liest nur die erstellten Berichte und zeigst sie dem Benutzer. Die KI schreibt den Berichtstext nicht mehr eigenständig.
Berechtigungen & Sicherheitsgrenzen
HaluCatch benötigt nur die folgenden Berechtigungen:
| Aktion | Erforderlich | Beschreibung |
|---|---|---|
| Ziel-Skill-Verzeichnis lesen | Lesen | Rekursives Lesen aller Dateien |
| Berichtsdateien schreiben | Schreiben | Nur in das reports/-Verzeichnis schreiben, das Ziel-Skill nicht verändern |
| Python-Skript ausführen | Bash | Nur halucatch_core.py ausführen, keine Netzwerkaufrufe |
Sicherheitsbeschränkungen: HaluCatch greift auf keine Pfade außerhalb des Zielverzeichnisses zu, stellt keine Netzwerkverbindungen her und modifiziert keine geprüften Skill-Dateien. Vor der Prüfung muss der Benutzer explizit den Zielpfad angeben.
Eingabe
Der Benutzer gibt einen Skill-Ordnerpfad an. Dieser Ordner kann Folgendes enthalten:
| Dateityp | Erforderlich | Beschreibung |
|---|---|---|
SKILL.md | ✅ | Hauptanweisungsdatei des Skills |
manifest.json oder config.yaml | ❌ | Skill-Konfigurationsdatei (mit Versionsnummer usw.) |
*.py | ❌ | Ausgelagerte Skripte der Datenpipeline (falls vorhanden) |
*.xlsx / *.csv usw. | ❌ | Datendateien (falls vorhanden, zur Validierung von Abstimmungen) |
Datenanforderungen
- Aktualität: Die Prüfung basiert auf einer Momentaufnahme des Ziel-Skill-Verzeichnisses, es werden keine historischen Versionen nachverfolgt.
- Datenbereich: Es werden nur die im Zielverzeichnis sichtbaren Dateien bewertet. Es werden keine externen Abhängigkeiten oder Netzwerkressourcen abgerufen.
Annahmen
- Das Zielverzeichnis existiert und ist lesbar.
- Das Ziel-Skill sollte mindestens eine
SKILL.md-Datei (standardisierter Name) enthalten. Bei anderen.md-Dateien versucht die KI, heuristisch zuzuordnen, meldet aber Konformitätsprobleme. .py-Dateien im Verzeichnis werden als Kernskripte des Skills betrachtet, nicht als Abhängigkeiten von Drittanbietern.
Beispiele für Benutzerfragen
| Benutzer sagt | KI-Aktion |
|---|---|
| „Bitte überprüfe dieses Skill mit HaluCatch: /pfad/zum/skill“ | Standardablauf: Scannen → Klassifizieren → Vierdimensionale Bewertung → Drei Ausgabeversionen |
| „Überprüfe ./daten-skill, konzentriere dich auf die Datenpipeline“ | Klassifikation als codebasiert, Fokus auf Fundament und Code-Dimension |
| „Überprüfe ./leitfaden-skill, schau, ob die Anweisungen klar genug sind“ | Klassifikation als rein methodisch, Ausgabe der Methodikbewertung |
| „Scanne ./my-skill mit --validate-Modus“ | Nur Dateiliste und Typklassifizierung ausgeben, keine Bewertung |
| „Überprüfe dieses Skill und repariere, wenn Probleme gefunden werden“ | Bewertung → Benutzer bestätigt „reparieren“ → Automatische Reparaturvorschläge |
KI-Ausführungsleitfaden
Automatische Spracherkennung
Beim Laden dieses Skills soll die KI die Sprache des Benutzers aus dem System-Prompt (<response_language>) oder dem Dialogkontext erkennen und automatisch den Parameter --lang hinzufügen:
| Benutzersprache | Parameter | Beispiel |
|---|---|---|
| Chinesisch (Kurz-/Langzeichen) | --lang zh-CN | python3 halucatch_core.py --skill-dir <pfad> --lang zh-CN |
| Englisch | --lang en | python3 halucatch_core.py --skill-dir <pfad> --lang en |
| Unsicher | Keine Angabe (Standard auto, erkennt Locale des Systems) | python3 halucatch_core.py --skill-dir <pfad> |
Prinzip: Die KI weiß mit Sicherheit, welche Sprache der Benutzer spricht. Keine manuelle Konfiguration durch den Benutzer erforderlich.
Grundlegende Verwendung
# Für chinesische Benutzer prüfen
python3 halucatch_core.py --skill-dir /pfad/zum/skill --lang zh-CN
# Für englische Benutzer prüfen
python3 halucatch_core.py --skill-dir /pfad/zum/skill --lang en
# Automatische Erkennung (Fallback)
python3 halucatch_core.py --skill-dir /pfad/zum/skill
Ausführungsablauf
Ausführungsparadigma: Die einzelnen Phasen verteilen die Verantwortlichkeiten nach dem dreischichtigen Aufrufmodell.
halucatch_core.pyführt L1/L2/L3 in einem Durchlauf aus, du liest die erstellten Berichtsdateien und zeigst sie dem Benutzer.
Phase 0: Skill-Klassifizierung
Bestimme zunächst den Typ dieses Skills:
Enthält dieses Skill Datenverarbeitung?
├─ ❌ Rein methodisch (Anweisungen/Vorlagen/Dokumente)
│ Bewertungsschwerpunkte: Vollständigkeit der Anweisungen, logische Konsistenz, Reproduzierbarkeit
│
├─ ✅ Codebasiert (enthält .py / Datendateien / Code in Markdown)
│ Bewertungsschwerpunkte: Fundament + Code + Regeln + Absicherung
│
└─ ⚠️ Unsicher
→ Frage den Benutzer: „Hat dieses Skill Datenschritte?“
Wenn der Ordner Dateien wie .xlsx, .csv, .py (mit pd.read_, pd.DataFrame) enthält, wird standardmäßig „codebasiert“ angenommen.
Phase 1: Dateiscan
Lies alle Dateien im Ordner und erstelle eine Übersicht:
| Information | Ausgabeform |
|---|---|
| Dateinamenliste | Tabelle (Name/Größe/Typ) |
| Gesamtzeilen von SKILL.md | Zahl |
| Zeilen von .py-Dateien (falls vorhanden) | Zahl |
| Liste der Datendateien | Tabelle |
| Skill-Name und -Beschreibung | Aus dem Frontmatter extrahiert |
Phase 2: Mehrdimensionale Bewertung
Führe die Bewertungsdimensionen basierend auf der Klassifizierung aus Phase 0 durch.
2a. Bewertung codebasierter Skills
🏗️ Fundamentbewertung
Prüfe die Stabilität der Datenpipeline des Skills. Je schwächer das Fundament, desto höher die Wahrscheinlichkeit von Fehlern durch KI-generierten Code.
| Prüfpunkt | Bestehenskriterium |
|---|---|
| Ausgelagerte .py-Skripte vorhanden | Skript existiert im Ordner |
| Pfadparametrisierung | Anzahl der hartcodierten Pfade = 0 |
| Spaltennamen-Prüfung/Eingabevalidierung | Funktion check_columns oder ähnlich vorhanden |
| Validate-Modus | --validate oder ähnlicher Modus vorhanden |
| Dateierkennungsmechanismus | Verwendung von Glob/Wildcards statt fester Dateinamen |
| Abhängigkeitsdeklaration | Erforderliche Python-Pakete in SKILL.md deklariert |
skiprows parametrisiert | Zeilenanzahl für Excel-Import konfigurierbar oder automatisch erkennbar |
Bewertung: 🟢 Stabil / 🟡 Mit Risiken / 🔴 Kein Fundament
🤖 Code-Risikobewertung
Wenn in SKILL.md Python-Code eingebettet ist (den die KI wortwörtlich reproduzieren muss), prüfe auf folgende Risikopunkte:
| Prüfkategorie | Hochrisikomuster | Mögliches KI-Fehlverhalten |
|---|---|---|
| Statistische Funktionen | Benutzerdefinierte p-Wert-Formel, Z-Score-Berechnung | Ersetzung durch scipy.stats / Anpassung der Konstanten |
| Zeichenkettenabgleich | clean_rate() mit Prozentparsing | Ersetzung von replace('%','') durch andere Schreibweise |
| Gleitkommavergleich | == 0 / == 1 | Änderung zu math.isclose() (semantisch anders) |
| Ausnahmebehandlung | Nacktes except: pass | Änderung zu spezifischen Ausnahmetypen |
| Bedingungslogik | (Bedingung).sum() > 0 | Änderung zu .any(axis=1) (anderes Verhalten) |
| Aggregationslogik | unstack(fill_value=0) | Entfernen von fill_value (NaN-Ausbreitung) |
| Datenbereinigung | Keine Anweisung zur Datentypkonvertierung | Fehler bei sum() auf Zeichenketten-Spalte |
Bewertung: 🟢 Niedriges Risiko / 🟠 Risikobehaftet / 🔴 Hohes Risiko
📝 Regel- und Methodenbewertung
Prüfe, ob Geschäftsregeln in SKILL.md klar und eindeutig beschrieben sind:
| Prüfpunkt | Risiko |
|---|---|
| Klare Auflistung von Kanälen/Klassifikationen | Mehrdeutigkeit → KI rät selbst |
| Definition von Ausreißern/Grenzfällen | Fehlt → KI behandelt sie selbst |
| Auslagerung von Generationen-/Mapping-Beziehungen (statt KI-Wissen) | Nicht ausgelagert → Unterschiedliche KI liefert unterschiedliche Ergebnisse |
| Definition von Vergleichszeiträumen (Same Store, Year-over-Year usw.) | Nicht definiert → KI entscheidet selbst, nicht prüfbar |
| Dokumentation spezieller Korrekturregeln | Nicht dokumentiert → Kritische Geschäftslogik fehlt |
| Vereinbarung zu Dateinamen/Spaltennamen/Datenformat | Nicht vereinbart → Lauffähigkeit nicht gegeben |
Bewertung: 🟢 Klar / 🟡 Mit Mehrdeutigkeiten / 🔴 Wesentliche Lücken
🛡️ Bewertung der Interpretationsabsicherung
Prüfe, ob SKILL.md die Interpretation der Ergebnisse durch die KI einschränkt:
| Prüfpunkt | Schweregrad |
|---|---|
| Verbot von Kausalaussagen | Fehlt → 🔴 Schwerwiegend |
| Vier-Quadranten-/Effektstärke-Rahmen | Fehlt → 🟠 Hoch |
| Selbstprüfmechanismus (Self-Check) | Fehlt → 🟠 Hoch |
| Hinweis auf multiples Testen | Fehlt → 🟠 Hoch |
| Vorlage für einschränkende Erklärungen | Fehlt → 🟠 Hoch |
| Phasenweise Statusausgabe | Fehlt → 🟡 Mittel |
| Ausgabe einer Datenzusammenfassung | Fehlt → 🟡 Mittel |
| Definition des Ausgabeformats | Fehlt → 🟡 Mittel |
Bewertung: 🟢 Vollständig / 🟡 Lückenhaft / 🔴 Keine Absicherung
2b. Bewertung rein methodischer Skills
| Prüfpunkt | Beschreibung |
|---|---|
| Vollständigkeit der Anweisungen | Jeder Schritt hat klare Ein-/Ausgabe und Entscheidungsbedingungen |
| Grenzfälle | Gibt es „Wenn… dann…“-Ausnahmeverzweigungen? |
| Reproduzierbarkeit | Würden verschiedene KI-Instanzen zum gleichen Ergebnis kommen? |
| Beispielgetrieben | Enthält konkrete Beispiele zur Veranschaulichung der erwarteten Ausgabe? |
| Definition des Ausgabeformats | Ist die Ausgabestruktur der KI festgelegt? |
| Selbstvalidierung | Kann das Ergebnis des Skills auf innere Konsistenz geprüft werden? |
Bewertung: 🟢 Zuverlässig / 🟡 Verbesserungspotenzial / 🔴 Unzuverlässig
⚠️ Bestätigung vor Ausführung: Bevor du Dateien scannst,
halucatch_core.pyausführst oder Berichte erstellst, musst du zuerst mit dem Benutzer den Zielpfad bestätigen und die geplanten Aktionen mitteilen (Lesen der Dateien im Zielverzeichnis, Ausführen des lokalen Skripts, Erstellen von Berichten imreports/-Verzeichnis). Führe erst nach expliziter Bestätigung Lese-/Schreiboperationen aus.
Phase 3: Drei Berichtsversionen
Kernänderung: Berichte werden automatisch von halucatch_core.py (reporter.py) erstellt. Du schreibst den Berichtstext nicht mehr selbstständig. Du bist nur verantwortlich für:
- Lesen der vom Skript erstellten Berichtsdateien
- Anzeigen der Standardversion im Dialog
- Ergänzende semantische Analysen auf Basis des erstellten Berichts (Einträge der Stufe
info)
Ausgabe-Entscheidungsregel: Die drei Berichtsversionen werden immer vom Skript erstellt und gespeichert, im Dialog wird nur die Standardversion angezeigt.
- Führe
halucatch_core.py --skill-dir <pfad>aus → Das Skript erledigt automatisch L1-Scan + L2-Bewertung + L3-Berichtserstellung - Drei
.md-Dateien werden in dasHaluCatch/reports/-Verzeichnis geschrieben (oder in den mit--output-dirangegebenen Pfad) - Im Dialog wird nur die Standardversion ausgegeben (allgemeinverständlich, keine Fachbegriffe)
- Am Ende der Standardversion steht der Hinweis: „Möchtest du die technischen Details (Fachversion) oder den Reparaturplan (Aktionsversion) sehen?“
- Wenn der Benutzer „Ja“ sagt → Zeige den entsprechenden Versionsinhalt im Dialog (die Dateien sind bereits auf der Festplatte, lese und zeige sie direkt an)
- Wenn der Benutzer nicht antwortet → Gib nichts weiter aus, vermeide Informationsüberflutung
1. Fachversion (für Datenanalysten/Ingenieure)
Wird automatisch von reporter.py erstellt und enthält: TL;DR-Zusammenfassung, vierdimensionale Bewertungsmatrix-Tabelle, detaillierte Liste der Feststellungen pro Dimension, Prüfhinweis.
2. Standardversion (für Geschäftsanwender/Nicht-Techniker)
Wird automatisch von reporter.py erstellt und enthält: Allgemeinverständliche Zusammenfassung, 21 kontextuelle Erklärungszuordnungen, Ausgabe ohne Fachbegriffe.
3. KI-Aktionsversion (für die Reparaturphase)
Wird automatisch von reporter.py erstellt und enthält: Reparaturliste, Validierungsprüfpunkte, Drei-Optionen-Aufforderung.
Prüfhinweis im Bericht
Alle drei Berichtsversionen müssen am Ende den folgenden Prüfhinweis enthalten:
> Dieser Bericht wurde von HaluCatch erstellt. Prüffortschritt: [✅ HaluCatch-vierdimensionale Bewertung vollständig abgeschlossen / ⚠️ Einige Bewertungsdimensionen nicht abgeschlossen].
Wenn während der Bewertung Dimensionen nicht abgedeckt wurden (z. B. codebasiertes Skill, aber der Benutzer hat keine .py-Datei bereitgestellt), wird die Bewertungsstufe auf ⚠️ herabgesetzt.
KI-semantische Ergänzung (auf Basis des Skriptberichts)
Nach dem Lesen des vom Skript erstellten Berichts überprüfe die Feststellungen einzeln und führe eine Kontextanalyse nach Schweregrad durch:
| Ursprüngliche Bewertung | KI-Aufgabe |
|---|---|
| 🔴 Blockierend | Wie schwerwiegend ist dieses Risiko im tatsächlichen Geschäftskontext? Führt es wirklich zu Ausführungsfehlern? Reparaturpriorität? |
| 🟠 Hochrisiko | Stellt der Kontext tatsächlich ein Risiko dar? Könnte es ein Fehlalarm des Skripts sein? Muss der Reparaturplan detaillierter sein? |
| 🟡 Hinweis | Ist der ausgelassene Punkt wirklich gerechtfertigt? Gibt es Risiken, die das Skript übersehen hat, aber eigentlich wichtig sind? |
| 🟢 Bestanden | ✅ Skripteinschätzung korrekt, keine Ergänzung erforderlich |
Ausgabeformat: Füge unter jedem Feststellungseintrag eine Zeile ein: > **KI-Analyse**: [Konkrete Einschätzung].
Phase 4: Reparaturentscheidung & Abschluss
Nach Abschluss der Bewertung zeige dem Benutzer den Standardbericht und frage:
Es wurden [N] Risiken erkannt. Sollen diese gemäß dem vorgeschlagenen Plan repariert werden?
-
Benutzer sagt „reparieren“ → Reparaturplan erstellen, dann drei Optionen anzeigen:
Reparaturplan erstellt. Bitte wähle:
- Reparatur ausführen — Sende den Reparaturplan an deine KI, damit sie das Ziel-Skill gemäß dem Plan ändert
- Nicht ausführen — Keine Änderungen, beende diese Prüfung
- Ich habe eine bessere Idee — Beschreibe deine Gedanken, ich erstelle daraufhin einen neuen Reparaturplan
- Benutzer wählt „ausführen“ → Hinweis an den Benutzer, die KI die Reparatur anwenden zu lassen → Hinweis, nach der Reparatur HaluCatch erneut zur Validierung auszuführen
- Benutzer wählt „nicht ausführen“ → Ende
- Benutzer wählt „Idee“ → Analyse der zusätzlichen Anforderungen → Zurück zu „Reparaturplan erstellen“
-
Benutzer sagt „nicht reparieren“ → Ende
Berichtsspeicherung
- Standardmäßig Ausgabe in das Verzeichnis
HaluCatch/reports/(verschmutzt nicht das Ziel-Skill-Verzeichnis) - Mit
--output-dirAusgabe in einen benutzerdefinierten Pfad - Reparaturpakete (falls vorhanden) werden gespeichert unter:
{Skill-Verzeichnis}/halucatch-fix/
Weitere Auslösebeispiele
Nach Prüftiefe
| Benutzer sagt | KI-Aktion |
|---|---|
| „Überprüfe bitte dieses Skill, ob es zuverlässig ist“ | Vollständiger Ablauf: Klassifizierung → Vierdimensionale Bewertung → Drei Berichtsversionen |
| „Schnell drüberschauen, ob es offensichtliche Fallstricke gibt“ | Nur Phase-1-Scan + Phase-2-L1/L2-Regelprüfung, Ausgabe einer kompakten Checkliste |
„Dieses Mal nur auf harte Fehler wie Division durch Null oder nacktes except achten“ | Regeln und Absicherungsdimension überspringen, nur Fundament + Code-Prüfung durchführen |
| „Nach der letzten Prüfung habe ich SKILL.md geändert. Bitte noch einmal laufen lassen und vergleichen“ | Erneute Prüfung, Vergleich mit dem letzten Bericht, Markierung des Reparaturstatus‘ |
Nach Skill-Typ
| Benutzer sagt | KI-Aktion |
|---|---|
| „Mein Skill hat einen data/-Ordner und .py-Skripte. Bitte vollständig prüfen“ | Klassifikation als codebasiert, alle vier Dimensionen abdecken |
| „Das ist ein reines Leitfaden-Skill. Bitte prüfen, ob die Anweisungen klar sind“ | Klassifikation als rein methodisch, nur Methodik und Absicherung bewerten |
Pfadangaben (Plattformunterschiede)
| Plattform | Richtige Schreibweise | ❌ Falsche Schreibweise |
|---|---|---|
| Claude Code / Allgemein | /pfad/zum/skill | C:\pfad\zum\skill |
| Kimi / WeChat Mini-Programm | skills/projektname/ | ~/skills/projektname/ |
| Cursor / VS Code | Ordner in das Dialogfeld ziehen | Komplexen Pfad manuell eingeben |
Wenn es trotzdem nicht klappt
Sag einfach: „Überprüfe dieses Skill“ und ziehe den Skill-Ordner per Drag & Drop hinein, oder füge einen Ausschnitt aus
SKILL.mdein. Die KI entscheidet selbst über die nächsten Schritte.
Fehlerbehandlung
Häufige Fehler & Reparatur
| Fehlerbild | Ursache | Reparaturmethode |
|---|---|---|
❌ SKILL.md nicht gefunden | Zielverzeichnis existiert nicht oder enthält keine .md-Datei | Pfad überprüfen → Prüfen, ob Verzeichnis SKILL.md oder andere .md-Dateien enthält → Falls nicht, eine erstellen |
⚠️ Standard-SKILL.md nicht gefunden | Dateiname ist nicht SKILL.md (z. B. skill.md, README.md) | Datei in SKILL.md umbenennen oder der KI mit --file den Dateinamen mitteilen |
🔧 Dateikodierungsfehler, XXX.py übersprungen | Datei enthält Nicht-UTF-8-Zeichen (z. B. chinesische Kommentare in GBK-Kodierung) | Datei mit Editor als UTF-8 speichern oder Kommentare auf Englisch umstellen |
📦 Skill-Paket zu groß (> 2 MB) | Verzeichnis enthält viele Datendateien oder Abhängigkeitspakete | Nur Kerndateien behalten (SKILL.md + .py-Skripte), Datendateien und Abhängigkeiten in .halucatch-ignore aufnehmen |
⏱️ Prüfung zeitüberschritten | Zu viele Dateien oder Skriptausführung dauert zu lange | Der KI sagen: „Überprüfe nur SKILL.md und die wichtigsten .py-Dateien“ |
Fehlerstufen
| Stufe | Verhalten |
|---|---|
| Fatal (z. B. Verzeichnis existiert nicht) | Sofort abbrechen, klare Reparaturanleitung geben |
| Warnung (z. B. nicht standardkonformer Dateiname) | Prüfung fortsetzen, aber Selbstbewertung herabstufen, im Bericht kennzeichnen |
| Behebbar (z. B. Kodierungsproblem einer einzelnen Datei) | Diese Datei überspringen und fortfahren, die übersprungene Datei und den Grund im Bericht kennzeichnen |
Betriebsstabilität
Schutzmaßnahmen
| Szenario | Schutzstrategie |
|---|---|
| Große Datei (einzeln > 1 MB) | Nur die ersten 500 Zeilen analysieren, Kürzung im Bericht vermerken |
| Viele Dateien (Verzeichnis > 200 Dateien) | Nach Typ filtern (.md → .py → andere), nicht-kernrelevante Dateien automatisch überspringen |
| Skriptausführungs-Timeout (> 30 s) | Diesen Schritt abbrechen, die bereits validierten Teile in den Bericht aufnehmen, unvollständige Punkte kennzeichnen |
| Netzwerkaufruf | Halucatch sendet keine Netzwerkanfragen, 100% offline |
| Kodierungsproblem | Zuerst UTF-8 versuchen → Dann System-Locale versuchen → Bei Misserfolg überspringen und protokollieren |
| Verzeichnis nicht lesbar | Berechtigungsfehler melden, dem Benutzer chmod oder einen anderen Pfad vorschlagen |
Zuverlässigkeitserklärung
Halucatch läuft stabil in normalen Skill-Verzeichnissen (≤ 50 Dateien, Einzeldatei ≤ 1 MB). In Extremfällen wird automatisch herabgestuft (Kürzung/Überspringen/Abbruch), es gibt keinen stillen Fehlschlag.
Anti-Patterns & FAQ
Häufige Missverständnisse
| Missverständnis | Richtige Sichtweise |
|---|---|
| „Einmal prüfen reicht“ | Nach jeder Änderung des Skills, insbesondere von SKILL.md oder wichtigen .py-Dateien, sollte erneut geprüft werden |
| „Niedrige Punktzahl = unbrauchbar“ | Die Punktzahl ist ein relativer Anhaltspunkt. Ein „fundamentschwaches, aber regelklares“ rein methodisches Skill kann durchaus brauchbar sein |
| „Alle Probleme vor der Veröffentlichung beheben“ | Priorität auf hohe (🔴) und mittlere (🟠) Probleme legen, niedrige können schrittweise verbessert werden |
| „Die KI-Aktionsversion kann direkt ausgeführt werden“ | Die Aktionsversion enthält Reparaturanweisungen für die KI. Diese müssen vom Benutzer bestätigt werden, bevor die KI sie ausführt, um versehentliche Änderungen zu vermeiden |
„Ein --validate-Lauf zählt als Prüfung“ | --validate führt nur einen Dateiscan und eine Typklassifizierung durch, keine vierdimensionale Bewertung. Eine vollständige Prüfung erfordert eine vollständige Ausführung |
FAQ
F: Was muss ich vorbereiten?
A: Einen Ordner, der SKILL.md enthält. Wenn du .py-Skripte oder Datendateien hast, lege sie ebenfalls bei – die Bewertung wird dann umfassender.
F: Das Prüfungsergebnis sagt „nicht bestanden“. Was jetzt? A: Sieh dir im Bericht die „KI-Aktionsversion“ an – dort sind Reparaturvorschläge für jeden Punkt aufgeführt. Repariere nach Priorität (hoch zu niedrig) und führe dann eine erneute Prüfung zur Validierung durch.
F: Mein Skill hat keinen Python-Code. Kann es trotzdem verwendet werden? A: Ja. HaluCatch klassifiziert es automatisch als „rein methodisch“, überspringt Fundament- und Code-Prüfung und konzentriert sich auf die Bewertung der Anweisungsvollständigkeit und der Absicherung.
F: Was mache ich bei einem Fehler? A: Sieh dir das Kapitel „Fehlerbehandlung“ weiter oben an. 90% der Fehler sind falsche Pfadangaben oder nicht standardkonforme Dateinamen. Wenn du es nicht lösen kannst, gib die Fehlermeldung an die KI weiter.
💡 Weitere Fragen? Schau in
FAQ.md– dort findest du eine vollständige Anleitung, häufig gestellte Fragen und Fehlerbehebung.