Manueller Testplan
Erstelle den Plan zur Überprüfung dieses Branches in der laufenden App. Der Plan deckt ab, was automatisierte Tests nicht zeigen können: wie die Änderung mit echten Daten, in echten Abläufen und über die Zustände hinweg aussieht und sich verhält, die ein Benutzer erreichen kann.
Jeder Fall wird demjenigen zugewiesen, der ihn klären kann: einem Agenten, der einen Browser steuert, einem Agenten, der einen iOS-Simulator steuert, oder einem Menschen. Gib einem Agenten alles, was ein Agent klären kann. Für die Fälle, die nur ein Mensch klären kann, lasse einen Agenten sie zuerst als Probeversuch durchführen, damit die offensichtlichen Probleme gefunden werden, bevor eine Person Zeit darauf verwendet, und die Person weiß, wo sie suchen muss.
Das Ausführen eines Falls in der App ist teuer. Ein Agent, der einen Browser steuert, verbraucht ein Vielfaches der Tokens eines Code-Tests für dieselbe Prüfung, und eine Person benötigt Minuten. Daher ist der Plan klein und zielgerichtet: Er enthält die Fälle, die am ehesten einen relevanten Fehler aufdecken, und nichts, was ein Test im Code ebenso gut abdecken könnte. Ein guter Plan ist kurz genug, um vollständig ausgeführt zu werden.
Aus demselben Grund schreibe und führe den Plan spät aus: nach den Reviews, die den Code lesen, nach den Korrekturen und Refactorings, zu denen sie führen, und nachdem die Code-Tests vorhanden sind. Dann wird der Plan einmal auf dem Code ausgeführt, der gemerged werden soll, und die vorherigen Durchläufe haben bereits die günstigen Prüfungen übernommen. Wenn sich der Code noch ändert, sag dies am Anfang des Plans. Wenn er sich nach der Ausführung des Plans ändert, nenne die Fälle, die erneut ausgeführt werden müssen: diejenigen, deren „Fängt”-Zeile auf den geänderten Code verweist.
Lokale Notizen. Wenn eine Datei namens LOCAL.md neben dieser Datei liegt, lies sie, bevor du beginnst. Sie enthält die eigenen Standardeinstellungen des Benutzers für die Projekte, an denen er arbeitet (Befehle, Hosts, Konten, Pfade) und ist nicht Teil des veröffentlichten Skills. Soweit sie das aktuelle Projekt abdeckt, zählt sie als Teil der Projektanweisungen; wo nicht, ignoriere sie.
Sammle die Änderungen
Die Anfrage kann einen Basis-Branch nennen. Wenn keiner angegeben ist, wähle ihn in dieser Reihenfolge:
- Den Basis-Branch des Pull-Requests des Branches, falls vorhanden:
gh pr view --json baseRefName --jq .baseRefName. - Den Standard-Branch des Repositorys:
git symbolic-ref --short refs/remotes/origin/HEAD. origin/main, dannmain.
Verwende den Remote-Tracking-Ref (origin/<branch>) gegenüber einem lokalen Branch mit demselben Namen. Schließe nicht festgeschriebene Arbeit ein:
base=$(git merge-base <base> HEAD)
git diff --stat "$base" # festgeschrieben + bereitgestellt + nicht bereitgestellt
git diff "$base"
git status --short # nicht verfolgte Dateien sind nicht im Diff; lies sie
git log --oneline "$base"..HEAD
Lies die drei Quellen, die der Diff nicht enthält
Der Diff zeigt, was sich geändert hat. Er zeigt nicht, wofür die Änderung gedacht ist, was Leute bereits als fehlerhaft gesehen haben oder was in dieser Konversation entschieden wurde. Lies alle drei, bevor du einen Fall auswählst. Sie sind erforderliche Eingabe, kein Hintergrundwissen; der Plan berichtet, was gelesen wurde, und zeigt, wo jede Quelle ihn geprägt hat.
1. Der Pull-Request und seine Kommentare
pr=$(gh pr view --json number --jq .number)
gh pr view --json title,body,baseRefName
for kind in "issues/$pr/comments" "pulls/$pr/reviews" "pulls/$pr/comments"; do
gh api "repos/{owner}/{repo}/$kind" --paginate --jq '.[]
| select(.user.type != "Bot" and (.body // "") != "")
| {id, reply_to: .in_reply_to_id, user: .user.login, path, line: (.line // .original_line), body}'
done
Die drei Listen sind die Konversationskommentare, die Zusammenfassungen der Reviews und die Inline-Kommentare zu Zeilen des Diffs, wobei Bot-Ausgaben weggelassen wurden. Bots sind dennoch dort, wo normalerweise ein Deployment-Link ist, suche also separat danach. Die bereitgestellte Umgebung ist nicht der Ort, an dem der Plan ausgeführt wird (siehe „Teste einen lokalen Build” unten); der Link dient für Vergleiche und als Fallback:
gh api "repos/{owner}/{repo}/issues/$pr/comments" --paginate \
--jq '.[] | select(.user.type == "Bot") | .body' | grep -oE 'https?://[^ )|>"]+' | sort -u
Lies die Beschreibung, jeden menschlichen Kommentar und die Antworten des Autors. Ein Bericht in der Beschreibung zählt genauso wie einer in einem Kommentar. Entnimm ihnen:
- Alles, was eine Person in der App gesehen hat: einen falschen Wert, einen Zustand, der nie endet, einen defekten Ablauf, einen Screenshot. Jeder wird zu einem Fall, der diesen genauen Bericht erneut testet, unabhängig davon, ob sich der Code seitdem geändert hat. Frage dann, wo sonst derselbe Fehler auftreten könnte (die verwandten Bildschirme, derselbe Zustand auf anderem Wege erreicht) und erwäge einen Fall dort.
- Zweifel am Verhalten, die im Review geäußert wurden („die Reihenfolge kann mit dem, was angezeigt wird, nicht übereinstimmen”): jeder ist ein Kandidatenfall, bewertet mit hoher Wahrscheinlichkeit, weil ein Leser des Codes es bereits vermutet hat.
- Testhinweise in der Beschreibung: was der Autor getestet hat und was nicht. Datumsangaben gegen das Commit-Log (
git log --format='%h %ad %s' --date=short "$base"..HEAD): Was getestet wurde, bevor spätere Commits denselben Code berührten, wurde nicht in seiner aktuellen Form getestet. Die Commits, die nach dem letzten manuellen Test landeten, sind die, auf die der Plan zuerst abzielen sollte. - Links zu bereitgestellten Umgebungen: das eigene Deployment des Branches und das des Basis-Branches für Side-by-Side-Vergleiche.
- Entscheidungen im Thread darüber, wie sich etwas verhalten soll. Diese legen die erwarteten Ergebnisse fest.
2. Das Issue
Finde die Issue-Kennung im Branchnamen, den Commit-Betreffen, dem Pull-Request-Titel oder -Body oder einem Kommentar eines Tracking-Bots zum Pull-Request. Suche sie mit dem Tracker, den die Projektanweisungen nennen, unter Verwendung des dafür verfügbaren Werkzeugs nach. Lies die Beschreibung, die Akzeptanzkriterien, die Diskussion und alle angehängten Screenshots oder Reproduktionsschritte. Entnimm ihm:
- Der ursprüngliche Bericht. Wenn das Issue einen Fehler beschreibt, werden seine Reproduktionsschritte zum ersten Fall im Plan: die Schritte wie berichtet, mit dem korrigierten Verhalten als erwartetem Ergebnis. Wenn das Issue nur ein Titel ist oder auf einen Thread oder Anhang verweist, der nicht gelesen werden kann, sag dies, rekonstruiere den Fall aus dem Titel und der Pull-Request-Beschreibung und markiere ihn als rekonstruiert.
- Jedes Akzeptanzkriterium. Jedes muss an einem von drei Orten landen: als Fall im Plan, als benannter Test im Code, der es abdeckt, oder in der Liste dessen, was ausgelassen wurde, mit Begründung.
- Die betroffenen Benutzer, Daten und Plattformen, die das Issue nennt, die angeben, mit welcher Datenform und welchem Gerät getestet werden soll.
- Verknüpfte Issues, die es verlinkt, falls sie dasselbe Gebiet auf andere Weise fehlschlagen beschreiben.
3. Die bisherige Konversation
Gehe diese Unterhaltung vor dem Schreiben durch. Entnimm ihr:
- Review-Ergebnisse: überprüfe jedes zuerst am aktuellen Baum, da es seitdem korrigiert worden sein könnte. Ein Ergebnis, das die laufende App zur Bestätigung benötigt, erhält einen Fall: einen, der die Korrektur bestätigt, oder einen, der den Fehler zeigt, falls er übrig blieb. Ein Ergebnis, das ein Test im Code präzise erfassen kann, geht in die Liste der zu schreibenden Tests, nicht in die Fälle.
- Listen mit „Nicht verifiziert” und manuelle Validierungsschritte aus früheren Review-Durchläufen. Diese wurden geschrieben, um in der App überprüft zu werden; sie sind die direkteste Eingabe, die es gibt.
- Was der Benutzer über die Änderung gesagt hat: die Teile, um die er sich sorgt, die Zustände, die er erwähnt hat, was er bereits manuell getestet hat und was er gesagt hat, keine Zeit darauf zu verwenden. Eine geäußerte Sorge erhöht die Bewertung eines Falls; „Ich habe das überprüft” entfernt ihn.
- Entscheidungen über das Verhalten, die in der Konversation getroffen wurden, die erwartete Ergebnisse festlegen, die der Code allein offen lässt.
- Was sich während der Konversation im Code geändert hat. Code, der in dieser Sitzung geschrieben oder neu geschrieben wurde, hat die geringste Testabdeckung.
Wenn die Unterhaltung nichts Relevantes enthält, sag dies im Plan; tue nicht so, als hätte sie es getan.
Wenn eine Quelle nicht gelesen werden kann
Wenn gh fehlt oder nicht angemeldet ist, der Branch keinen Pull-Request hat, kein Issue verknüpft ist oder der Tracker nicht erreicht werden kann, mache mit dem weiter, was es gibt. Nenne jede Quelle, die nicht gelesen wurde, oben im Plan und sage, dass der Plan möglicherweise das vermissen lässt, was sie enthielt. Präsentiere keinen Plan, der aus dem Diff allein erstellt wurde, als vollständig.
Lies, was sonst noch den Plan beeinflusst
-
So wird die App lokal ausgeführt: der dokumentierte Befehl des Projekts für einen lokalen Build, mit welchem Backend er spricht und welche Ports er verwendet. Lies die Anweisungen des Projekts für Testumgebungen, Testkonten und Feature-Flags und für welche Plattformen die App ausgeliefert wird (Web, iOS, Android).
-
Was die automatisierten Tests abdecken: lies die Tests im Diff, damit der Plan niemandes Zeit für das verschwendet, was ein Test bereits präzise abdeckt.
-
Welche Werkzeuge ein Agent hier hat: einen Browser, den er steuern kann, und einen Gerätesimulator. In Orca sind dies der eingebettete Browser (das
orca-cli-Skill) und der iOS-Simulator (dasorca-emulator-Skill;orca-emulator-androidfür Android). Suche auch nach:- Einem Screenreader, den der Agent steuern kann, wie das
voiceover-Skill, das den echten macOS VoiceOver gegen eine Seite ausführt und zurückgibt, was er sagt. - Einem skriptgesteuerten Browser (Playwright mit einem installierten Browser) für das, was der eingebettete Browser nicht kann. Beispielsweise kann der eingebettete Browser möglicherweise keine Kopie in die Systemablage legen, daher erfordert die Überprüfung, was kopiert wurde, einen Browser, dessen Zwischenablage der Agent lesen kann.
Notiere, welche in dieser Sitzung verfügbar sind; der Plan sagt dies in seiner Einrichtung.
- Einem Screenreader, den der Agent steuern kann, wie das
Teste einen lokalen Build, nicht den bereitgestellten Branch
Plane jeden Fall gegen einen lokalen Build des Arbeitsbaums. Eine bereitgestellte Feature- oder Vorschau-Umgebung hat nur das, was festgeschrieben und gepusht wurde: sie hinkt dem bearbeiteten Code hinterher, kann nicht festgeschriebene Änderungen nicht zeigen, und eine während des Testens vorgenommene Korrektur würde einen Commit und einen Push erfordern, bevor sie dort erneut getestet werden könnte. Ein lokaler Build zeigt den Code, wie er jetzt ist, und eine Korrektur kann sofort erneut getestet werden.
Die Einrichtung des Plans sagt daher:
- So wird die App lokal gebaut und gestartet, mit dem genauen Befehl aus der Projektdokumentation, dem Verzeichnis, in dem er ausgeführt wird, und der URL, auf der sie bedient wird. Wenn andere Sitzungen oder Arbeitsbäume die App möglicherweise ausführen, sage, wie freie Ports gewählt werden.
- Mit welchem Backend der lokale Build spricht. Es muss das Staging- oder Test-Backend sein, niemals die Produktion. Ein lokaler Build, der auf die Produktion zeigt, führt jeden Fall, einschließlich nachgestellter und tatsächlicher Bestellungen, gegen die Systeme echter Kunden aus. Projekte haben oft einen Befehl pro Umgebung (z.B. ein
stageund einprod-Skript): nenne den Staging-Befehl im Plan und sage in so vielen Worten, dass der Produktionsbefehl nicht verwendet werden darf. Wenn die Projektdokumentation nicht klarstellt, welcher Befehl auf welches Backend zielt, finde es aus der Build-Konfiguration heraus, und wenn es immer noch unklar ist, stoppe und frage den Benutzer; rate nicht. - So wird das Backend vor dem ersten Fall überprüft: sieh nach, wohin die laufende App ihre Anfragen sendet (den Host eines API-Aufrufs im Netzwerkprotokoll oder die konfigurierte API-URL) und bestätige, dass es der Staging-Host ist. Der Plan nennt den zu erwartenden Host. Wenn es der Produktionshost ist, stoppe: melde dich nicht an und führe keinen Fall aus.
- So erkennt man, dass der Build der aktuelle Code ist: starte ihn vom Arbeitsbaum nach der letzten Änderung und baue ihn neu auf oder lade ihn nach einer weiteren Änderung neu. Wenn die App eine Version oder einen Commit anzeigt, überprüfe dies.
- So wird sie gestoppt, wenn der Durchlauf beendet ist.
Verwende eine bereitgestellte Umgebung nur für:
- Vergleiche mit der Basis: das Deployment des Basis-Branches neben dem lokalen Build des Branches für die Side-by-Side-Fälle.
- Was ein lokaler Build nicht zeigen kann: einen Fall über das Deployment selbst, wie gebaute Assets, Caching oder eine native App, die die bereitgestellte Website umschließt. Vor einem solchen Fall überprüfe, dass der Arbeitsbaum sauber und gepusht ist und dass das Deployment diesen Commit bedient, und sage dies im Fall.
- Einen Fallback, wenn die App nicht lokal gebaut werden kann. Sage warum oben im Plan und gib an, welchen Commit das Deployment bedient und was im Arbeitsbaum ist, das ihm fehlt.
Dieselbe Regel gilt für jede bereitgestellte Umgebung, die der Plan verwendet: das Staging-Deployment, niemals das Produktions-Deployment. Wenn ein Branch sowohl ein Staging- als auch ein Produktions-Deployment hat, gib nur die Staging-URL im Plan an.
Ermittle, was zu testen ist
-
Liste auf, was ein Benutzer anders sehen oder tun kann. Verfolge jede Änderung im Diff nach außen zu den Bildschirmen und Abläufen, die sie zeigen. Eine Änderung in gemeinsam genutztem Code erreicht jeden Bildschirm, der ihn verwendet; suche nach den Aufrufern und liste sie alle auf, einschließlich derer, um die es in dem Branch nicht ging.
-
Entscheide für jeden, ob er die laufende App benötigt. Frage, ob ein Test im Code ihn klären könnte. Wenn einer es bereits tut, lasse ihn weg. Wenn einer es leicht könnte (eine reine Funktion, ein Decoder, eine Sortierreihenfolge, eine View-Funktion bei gegebenem Zustand, ein Zustandsübergang), lasse ihn aus den Fällen weg und setze ihn stattdessen auf die Liste der zu schreibenden Tests; diese Prüfung läuft dann bei jeder Änderung umsonst, während ein Fall in der App jedes Mal bezahlt wird. Behalte nur das, was ein Code-Test nicht erreichen kann oder wofür er nicht vertrauenswürdig wäre: wie echte Daten vom echten Backend durchkommen, was in einem echten Browser gerendert und angeordnet wird, wie Teile, die separat getestet werden, sich zusammengeschaltet verhalten, Timing und Reihenfolge echter Anfragen, der Zustand, in dem die App nach echter Navigation ist, und was assistiver Technologie gegeben wird.
-
Finde die Zustände. Lies für jeden Bildschirm den Code für die Zweige, die er nehmen kann: geladen, laden, leer, Fehler, fehlende oder partielle Daten, Null- und negative Werte, sehr lange Werte, ein Element und viele, jede Einstellung oder jeder Modus, der die Anzeige ändert, jeden Konto- oder Benutzertyp. Behalte die Zustände, die der Diff berührt.
-
Ermittle, wie jeder Zustand zu erreichen ist. Nenne den Navigationspfad und beschreibe die benötigten Daten durch ihre Form („ein Instrument, das in zwei Konten gehalten wird, eines davon ohne Anschaffungskosten”), nicht durch ein Konto, von dem du nicht bestätigt hast, dass es existiert. Wenn ein Zustand mit echten Daten schwer zu erreichen ist, sage, wie er erzeugt werden kann (ein Feature-Flag, eine umgeschriebene Antwort, ein gedrosseltes Netzwerk, eine Einstellung) oder markiere ihn als benötigt ein spezifisches Testkonto.
Wenn ein Fall von einer umgeschriebenen Antwort abhängt, muss der Plan die Umschreibung wiederholbar machen;
reference/mocks.mdsagt wie.Gib jedem Fall einen Weg hinein, der nicht vom Glück mit den Daten des Kontos abhängt. Wenn echte Daten den Zustand möglicherweise vermissen lassen, nenne die Steuerung in der App, die ihn einschaltet (eine Einstellung, einen Schalter, ein anderes Konto) oder …
[gekürzt für die Übersetzung]