openclaw-testing

OpenClaw Testing

Nachweisrichtlinie

• PR-CI = breiter Standardnachweis. Änderungen bauen + fokussierte Tests bestanden → PR öffnen und bereit machen. CI führt breite Suiten aus; PR nie für Pre-PR-Suiten-Läufe verzögern.

• Build nicht vor Veröffentlichung verfügbar: Wenn die Veröffentlichung bereits genehmigt ist, die Remote-Kapazität nicht verfügbar ist und die lokale Ausführung nicht qualifiziert ist, einen Entwurf-PR mit dem genauen fehlenden Build und Kapazitätsengpass öffnen. Diesen Build auf Exact-Head-CI verschieben. Seinen Erfolg vor dem Markieren als bereit oder dem Mergen verlangen. Dies ändert nur den Zeitpunkt des Nachweises, nicht die Veröffentlichungsberechtigung, Quellenvertrauen, Anmeldeinformationen, Eigentümergenehmigung oder Merge-Gates. Standardmäßig überspringt CI Entwürfe. Für einen vertrauenswürdigen kanonischen Branch den vorhandenen manuellen Dispatch von ci.yml mit target_ref auf den vollständigen gepushten Head-SHA verwenden (ghx workflow run ci.yml --repo openclaw/openclaw --ref main -f target_ref=<sha>). Den ausgewählten Checkout-SHA und den erfolgreichen build-artifacts-Job verifizieren, der den erforderlichen Build abdeckt. Das build:ci-artifacts von CI lässt die vollständige Deklarationsemission aus. Ungedeckte Nachweise ausstehend halten. Ein übersprungener Job oder Workflow-Ref-SHA ist kein Build-Nachweis. Den Lauf im PR verlinken, dann normale Ready-PR-CI und Landing-Gates verwenden. Nicht vertrauenswürdige Quelle behält ihre geheimnislose Route.

• Vor dem PR eng nachweisen: Betroffene Tests mit pnpm test <file> --maxWorkers=1, gezielter Typcheck, Lint, Format. Lokalen Nachweis bevorzugen für vertrauenswürdige, begrenzte Arbeit, wenn Abhängigkeiten und die aktuelle Host-Kapazität qualifiziert sind. Lokale Ausführung ist optional: Ein fokussierter Befehl kann dennoch einen großen Compiler-Graphen laden oder auf breite Bahnen erweitern.

• Remote-Nachweis bewusst wählen. PR-CI für breiten Nachweis verwenden; Crabbox/Testbox können teure Prüfungen, einen ausgelasteten oder nicht qualifizierten lokalen Host, ein anderes OS/Gerät, Live-Provider/Kanäle, lange E2E oder schwere Benchmarks abdecken. Nur dann erwerben, wenn der Befehl bereit ist und die Kapazität umgehend gewährt wird. Wenn in der Warteschlange, nur die aufgabenbesitzende Zuteilung stoppen; PR-CI oder einen sicheren lokalen Bereich verwenden. Plattformspezifische Nachweise ausstehend halten. Niemals schwere Arbeit auf eine ausgelastete Maschine erzwingen oder Anbieter verketten. Das kleinste Profil verwenden, das für die ausgewählte Arbeitslast nachgewiesen ist.

• Nie erneut ausführen oder erneut pushen nur für grün. Echte Fehler beheben; verfügbare CI-Fehlerklassifizierung lesen, bevor Rot attribuiert wird.

• Geänderten Vertrag nachweisen, erforderliche Gates abschließen, fertig. Nur erweitern/wiederholen bei geänderten Eingaben, Fehlern oder benanntem ungelöstem Risiko.

• Dem Gültigkeitsbereich der AGENTS.md folgen; Tests schreiben/überprüfen: Grenzleitfaden und Test-Audit verwenden.

Nachweis auswählen

• Nachweis für berührten Vertrag auswählen; gültigen Nachweis wiederverwenden (für geänderte Eingaben oder fehlende Abdeckung erneut ausführen); erforderliche Gates des Workflows innerhalb der Benutzer-/Host-Grenzen abschließen; nicht ausgeführte Prüfungen und Lücken melden. Benutzersichtbares Verhalten durch echten Flow nachweisen, wenn machbar; externe APIs benötigen Live-Vertragsnachweis; isolierte Mock-Gateway-Umgebung = gültiger Kanalgrenznachweis. Nur Docs: Docs-Überprüfung und git diff --check.

• Laufzeitfehler: Echten Einstiegspunkt reproduzieren; ihn + relevante Geschwister erneut ausführen.

• Vertrauenswürdige Quelle: pnpm changed:lanes --json, fokussierte Tests + gezielter Typecheck/Lint/Format; pnpm check:changed = optionaler smarter lokaler Check.

• Öffentlicher SDK/Plugin-Vertrag: repräsentative Verbraucher, kein All-Plugin-Sweep.

• Build-Ausgabe, Lazy Imports, Paketgrenzen: pnpm build oder den Repository-CI-Build einschließen, der den geänderten Vertrag abdeckt. Ungedeckte Verpackungs-/Plattform-/Deklarationsanforderungen aufzeichnen. Erforderliche vollständige Paket- oder Release-Builds benötigen weiterhin ihren passenden Nachweis.

• Workflow: git diff --check + pnpm check:workflows.

• Nur Docs: relevante Docs-/Link-/Format-Prüfungen + git diff --check; keine Laufzeittests.

• Bei Bedarf lesen: lokale Befehle, Crabbox, OpenClaw Remote-Einrichtung, Paket-/Docker-Nachweis, Release-CI, Plugin-Release-Matrix, Docker-Authoring, Channel-Skill/ Control-UI-E2E.

• Eine isolierte Mock-Gateway-Umgebung ist gültiger Kanalgrenznachweis; Live-Lücken angeben. Benutzersichtbares Verhalten durch echten Flow nachweisen, wenn machbar; externe APIs erfordern Live-Vertragsnachweis. Für Live-Kanal- oder Native-App-Arbeiten den Leitfaden zum geltenden Kanal/Plattform lesen. Telegram-Beanspruchungen erfordern Test-Server-Userbot-Nachweis mit Convex-gemieteten Anmeldeinformationen. Plattformbeanspruchungen erfordern echten Gerätenachweis; macOS-Berechtigungsnachweis erfordert eine stabile signierte App.

• Release-Nachweis: Kandidaten-/Tooling-SHAs aufbewahren; niemals Veröffentlichungsberechtigung erteilen.

Quell- und Zustandsgrenzen

• Niemals nicht vertrauenswürdigen Beitragenden-/Fork-Code, Wrapper, Konfiguration lokal ausführen. Geheimnislose Fork-CI oder bereinigtes direktes AWS über Crabbox verwenden; niemals mit Anmeldeinformationen hydrierte Testbox. Ausführung mit Anmeldeinformationen: Maintainer-Zustimmung nach Überprüfung erforderlich; niemals nicht vertrauenswürdigen Lease hydrieren.
• Isolierter Zustand + freier Port. Niemals Operator-Gateway/echte Daten ohne explizite aufgabenspezifische Genehmigung neu starten, bearbeiten oder testen. Nicht verwandte Prozesse und gemeinsam genutzte Abhängigkeitsinstallationen erhalten.
• Gleichzeitige Test-/Prüfbefehle: Separate OPENCLAW_VITEST_FS_MODULE_CACHE_PATH-Werte oder seriell ausführen; Prüfungen können ebenfalls Vitest ausführen. Nur Repository-Wrapper, niemals rohes Vitest. Vorbereitete verlinkte Worktrees: node scripts/run-vitest.mjs <file> --maxWorkers=1 vermeidet pnpm-Abstimmung; PR-CI führt die breiten Prüfungen aus.

CI-Fehler

• PR-CI schlägt fehl → pnpm test:ci-failed <pr>; Klassifizierung bereits bestehend/neu/unbekannt lesen.
• Neue Fehler beheben; unbekannte untersuchen → pnpm test:ci-failed <pr> --run bis ausgewählte Tests lokal bestehen → einmal pushen.
• --run aktiviert OPENCLAW_NODE_TEST_PLAN_CONTINUE_ON_FAILURE=1: gewöhnliche Fehler über ausgewählte Konfigurationen sammeln, während Infrastrukturfehler immer noch anhalten; das gleiche Opt-in für manuelle fokussierte Wiederholungen verwenden.
• Bereits bestehende Fehler: Failure-Table-Landing-Regel. Übereinstimmende Signaturen ≠ nur Jobnamen-Attribuierung.
• Niemals gh run rerun verwenden, um Grün zu jagen; niemals lokale vollständige Suite für CI-Reparatur.
• Diagnose an exakten SHA + Job binden. Fehlgeschlagene Logs einmal abrufen; exakten Run/Job-Zustand gegenüber veralteten PR-Zusammenfassungen bevorzugen.
• Produkt-, Testumgebungs-, Infrastruktur-, Anmeldeinformations- und abgebrochene Run-Überholung unterscheiden. Snapshots bestehen macOS/scheitern in CI: Linux/Node-Bytes vor dem Regenerieren reproduzieren.

Baseline- und Erwartungsfehler-Ausnahmen

Schmale Baseline-, Snapshot-, Ignore- und Erwartungsfehler-Ausnahmen sind Implementierungsentscheidungen nur, wenn jeder Eintrag gegen die Quelle verifiziert ist und der PR seinen Grund aufzeichnet (z. B. tool-eigene Metadaten in einem Upgrade-Snapshot, während Benutzerdaten exakt bleiben). Niemals eine echte Regression oder Benutzerdatenänderung maskieren. Pauschale oder unverifizierte Ausnahmen benötigen Genehmigung. Exakte, nur schrumpfende Ratschet-Updates sind Wartung. Ein Fix-PR kann eine separate verfolgte config/test-lines-allocations/<change>.txt-Aufzeichnung für genau seine eigenen gerechtfertigten Netto-Regressionstestzeilen hinzufügen, wenn der Squash-Body den Grund angibt. Den gemeinsamen Skalar unverändert lassen, damit unabhängige Zuweisungen mergen können. Der Prüfer begrenzt das effektive Obergrenzenwachstum gegen das tatsächliche LF-Wachstum und bewahrt geerbte Schulden. Andere Erhöhungen, einschließlich Skalar-nur-Abstimmung, benötigen Genehmigung. Siehe das Kostenbudget für das Aufzeichnungsformat und das Bereinigen.

Bei Modul-Mocks dem Fixture-Vertrag folgen. Wenn eine Isolationsannotation einen bestehenden Baseline-Eintrag zurückzieht, die Annotation und die entsprechende Baseline-Entfernung zusammen committen. Das gesamte Baseline-Diff inspizieren, da --prune das gesamte Checkout scannt. Die aktualisierte Baseline mit einem Schutzlauf ohne --prune verifizieren.

Testfehlerrichtlinie

• Fehler = Defekte. Begrenzter Reproduktionsversuch (zuerst gleiche Shard-Reihenfolge); Eigentümer identifizieren; Produkt, Fixture, gemeinsam genutzten Zustand, Reihenfolgefehler beheben.
• Nachgewiesene Reparatur: Regression hinzufügen; auf die Behebung eines anderen Eigentümers verweisen, wenn zutreffend.
• Sichere Behebung kann nicht festgestellt/abgeschlossen werden: ursprünglichen Fehler, Versuche, Beweise, Unsicherheit im PR aufzeichnen; unter normalen CI/Review-Gates fortfahren.
• Ungelöster Fehler allein blockiert weder das Landen noch erfordert er zusätzliche Genehmigung. Erfolgreicher Wiederholungslauf ≠ nachgewiesene Behebung.
• Niemals Fehler mit Wiederholungen, längeren Timeouts, schwächeren Assertions, breiteren Mocks oder geänderten Baselines verstecken.