Was macht labloop?
Autonome Experimentierschleife für Claude Code. Gib ihm eine Codebasis und eine Metrik – es experimentiert endlos. Verallgemeinert aus Karpathys Autoresearch.
Funktionsweise
- Initialisierung: Du übergibst einen Ordner mit einer bestehenden Codebasis und definierst eine Metrik (z. B.
accuracyoderlatency). Labloop analysiert die Codebasis und erstellt einen Versuchsplan. - Schleife: Für jede Iteration:
- Es generiert eine oder mehrere Hypothesen zur Verbesserung der Metrik.
- Es implementiert die Änderungen im Code.
- Es führt die Metrik-Auswertung aus (z. B. ein Skript, das
print(metric_value)ausgibt). - Es protokolliert die Ergebnisse in einer Tabelle.
- Abbruchbedingung: Labloop stoppt entweder nach einer maximalen Anzahl von Iterationen, wenn kein Fortschritt mehr erzielt wird, oder auf Benutzeranfrage hin.
Konfiguration
- Metrik-Skript: Dein Skript muss einen numerischen Wert auf stdout ausgeben. Labloop extrahiert diesen automatisch.
- Max Iterationen: Setze
max_iterationsin der Konfiguration, um die Schleife zu begrenzen (Standard: 10). - Logging: Alle Ergebnisse werden in
labloop_results.jsongespeichert.
Beispiel
# Starte Labloop im aktuellen Ordner
labloop --metric-script evaluate.py
Das Skript evaluate.py gibt z. B. 0.95 aus. Labloop iteriert, ändert Code, und protokolliert die neue Metrik.
Installation
Füge labloop zu deinem Claude Code Skill-Verzeichnis hinzu. Abhängigkeiten: python >= 3.8, git, jq (optional für JSON-Logging).
Lizenz
MIT