shimo4228/claude-harness

hf-sync – Lokale HF-Datensatz-Mirror-Synchronisation

graph.jsonld research repo's HF dataset mirror mit einem Befehl von lokal synchronisieren. Operationale Schicht, um mit jsonld-knowledge-graph codierte Graphen auf den HF-Datasets-Mirror zu spiegeln.

Wann verwenden

• Am Ende von Phase 5 von release-doi, nach gh release create, um den HF-Mirror zu aktualisieren
• Ad-hoc-Resync nach manuellen Änderungen am Graphen (HF aktualisieren, ohne einen Release zu erstellen)
• Funktionstest nach einem HF-Token-Rotate

Wann NICHT verwenden

• Repos ohne graph.jsonld (kein HF-Mirror vorhanden)
• Projekte, deren HF-Dataset noch nicht erstellt wurde (zuerst hf repo create <Owner/dataset> --repo-type dataset ausführen)
• HF-Klonverzeichnis ($HF_CLONE_BASE/<dataset>/) existiert nicht (zuerst mkdir -p ~/MyAI_Lab/hf-datasets/<dataset> für das Staging-Verzeichnis erstellen. Die README.md und frühere Snapshots von HF werden dort abgelegt)
• Nicht mit hf login angemeldet oder Token ohne Schreibberechtigung (zuerst hf auth login ausführen, um Token zu erneuern)

Ausführung

bash ~/.claude/skills/hf-sync/sync.sh $ARGUMENTS

$ARGUMENTS ist die Repo-ID des HF-Datasets (z.B. Shimo4228/agent-knowledge-cycle).

cwd-Bedingung: Im Projektstammverzeichnis ausführen, in dem graph.jsonld vorhanden ist.

Was es tut

1. Strukturelle Plausibilitätsprüfung von graph.jsonld im cwd (@graph ist Array und nicht leer)
2. Kopieren von graph.jsonld aus dem Quellverzeichnis in das HF-Klonverzeichnis ($HF_CLONE_BASE/<dataset>/, standardmäßig ~/MyAI_Lab/hf-datasets/<dataset>/)
3. Im HF-Klon wird jq -c '.["@graph"][]' graph.jsonld > graph.jsonl ausgeführt (1 Knoten pro Zeile, flach für den HF Dataset Viewer)
4. hf upload <Owner/dataset> <hf-clone>/graph.jsonld graph.jsonld --repo-type dataset
5. hf upload <Owner/dataset> <hf-clone>/graph.jsonl graph.jsonl --repo-type dataset
6. Erfolgsmeldung und HF-URL anzeigen

Das Quell-Repo bleibt unberührt: graph.jsonl wird nur im HF-Klon erstellt und existiert, nicht im Git-Baum der Quelle.

Authentifizierung erfolgt über ~/.cache/huggingface/token (gespeichert durch hf login), das von der hf-CLI automatisch ausgelesen wird.

Repo-Zuordnung

Die Zuordnung zwischen GitHub-Repo und HF-Dataset ist pro Projekt unterschiedlich. Sie ist nicht in der Skill-Definition selbst eingebettet (Portabilität erhalten). Die Zuordnung wird in der CLAUDE.md des Projekts oder an ähnlicher Stelle dokumentiert und beim Start als Argument übergeben.

Die aktuelle Zuordnung für shimo4228-Projekte findet sich im Abschnitt "HF Datasets mirror" in ~/MyAI_Lab/shimo4228/CLAUDE.md.

Verwandte Skills

• jsonld-knowledge-graph – Die Entwurfs-Schicht für graph.jsonld. Dieser Skill entspricht dem operationalen Mirror
• release-doi – Zenodo-DOI-Release-Workflow. Ruft diesen Skill am Ende von Phase 5 auf

Fehlermodi

• graph.jsonld im cwd nicht gefunden → Zum Projektstamm wechseln und neu starten
• HF-Klonverzeichnis nicht gefunden → mkdir -p $HF_CLONE_BASE/<dataset>/ für das Staging-Verzeichnis ausführen (falls auf HF bereits Dateien existieren, diese manuell abrufen und ablegen oder hf download <Owner/dataset> --local-dir <hf-clone> für die initiale Synchronisation verwenden)
• @graph ist kein Array oder leer → Struktur von graph.jsonld überprüfen (siehe Skill jsonld-knowledge-graph)
• hf upload 401 / 403 → Mit hf auth whoami Token prüfen. Falls keine Schreibberechtigung vorhanden, in den HF-Einstellungen einen neuen Token ausstellen lassen und hf auth login ausführen
• HF-Dataset-Repo existiert nicht (404) → Zuerst hf repo create <Owner/dataset> --repo-type dataset ausführen