Nichtbeeinflussungstest (patch-regression-test)
1. Übersicht und Annahmen
1.1 Ziel
Nach der Anwendung von Patches oder Änderungen wird sichergestellt, dass die vorhandenen Funktionen der App erhalten bleiben (Nichtbeeinflussungsprüfung). Dazu werden fehlende Tests in der Zielanwendung identifiziert, implementiert, die Ergebnisse vor und nach dem Patch verglichen, die Ergebnisse in einem Bericht zusammengefasst und im Issue veröffentlicht.
Diese Skill wird in den folgenden drei Szenarien der Richtlinie verwendet:
- Dringende Reaktion. Durchführung der Nichtbeeinflussungsprüfung eines CVE-Patches, der von einem anderen Prozess als dringend angefordert wurde, innerhalb der Frist.
- Vorbereitende Maßnahmen (Readiness). Diagnose des Vorbereitungsniveaus der App und Sicherstellung fehlender Tests (gleich für das erste und alle folgenden Male).
- Geplante Überprüfung. Nach der ersten Vorbereitung wird die Nichtbeeinflussungsprüfung für Änderungen durch externe Tools oder Personen (Abhängigkeitsaktualisierungen, Sicherheitskorrekturen, Quellcodeänderungen) durchgeführt.
1.2 Richtlinien und technische Standards
- Vor Beginn der Arbeit sind die folgenden zwei Dokumente zu lesen:
references/guideline.md(im Folgenden „Richtlinie“): Was erfüllt werden muss (Klassifizierung, Bedingungen für Bestehen/Nichtbestehen, Rollen, Bewertungsregeln)references/standards.md(im Folgenden „Technische Standards“): Wie es erfüllt werden kann (Tools, Überprüfungsmethoden, Messmethoden, Dateinamen)
- Die Entscheidungskriterien folgen der Richtlinie, die Vorgehensweise folgt den technischen Standards. Bei Abweichungen zwischen dieser Skill, den technischen Standards und der Richtlinie hat die Richtlinie Vorrang.
- Die Begriffe (Prüfumfang, Vorbereitungsniveau, geplante Prüfung, Funktionstest, Aufrufstelle, instabiler Test, vorläufig bestanden usw.) folgen den Definitionen in der Richtlinie „1.5: Begriffe“.
- Im Zielrepository wird dieser Skill unter
.github/skills/patch-regression-test/abgelegt (ein Ort, den sowohl GitHub Copilot als auch Devin lesen).
1.3 Was diese Skill tut
- Analyse der Zielanwendung (Sprache, App-Typ, aktuelle Tests und CI, Aufrufstellen)
- Diagnose des Vorbereitungsniveaus (Richtlinie „3.1.1: Vorbereitungsniveau“)
- Erstellung eines Vorschlags für den Prüfumfang (Richtlinie „Kapitel 2: Patch-Klassifizierung und Prüfkriterien“)
- Identifizierung fehlender Tests
- Implementierung von Testcode. Die Einführung von Bibliotheken zum Ausführen von Tests erfolgt mit Zustimmung des Benutzers.
- Ausführung der Tests und Vergleich der Ergebnisse vor und nach dem Patch (die Befehle werden vor der Ausführung erläutert).
- Ausgabe des Berichts über die durchgeführte Nichtbeeinflussungsprüfung und Veröffentlichung als Kommentar im Issue (falls ein PR vorhanden ist, wird auch ein Link zum Issue im PR kommentiert).
- Erstellung eines Issues, falls kein auslösendes Issue vorhanden ist (mit Genehmigung).
- Aufzeichnung der Bestätigung durch den Verantwortlichen (Vergleich mit der PR-Genehmigung und Hinterlassen als Kommentar im Issue).
1.4 Was diese Skill nicht tut
Folgende Handlungen werden auch auf Anfrage oder mit Genehmigung nicht durchgeführt. Die zuständige Person wird weitergeleitet.
| Nicht durchgeführte Handlung | Zuständige Person/Stelle |
|---|---|
| Anwendung von Patches, Änderung des App-Quellcodes (einschließlich Aktualisierung von Abhängigkeitsversionen, Behandlung von Breaking Changes, Behebung von Sicherheitslücken, Behebung von Hinweisen aus der statischen Codeanalyse, Änderungen zum Schreiben von Tests) | Andere Tools wie Dependabot/Devin oder Personen |
| Einrichtung der Umgebung zum Ausführen der App (Installation/Änderung von Konfigurationen der Laufzeitumgebung/Middleware). Die Einführung von Bibliotheken zum Ausführen von Tests ist ausgenommen. | Personen oder das CI des jeweiligen Teams |
| Änderung/Hinzufügung von Workflows | Jedes Team (gemäß einer anderen Richtlinie) |
| Commits/Pushes | Das aufrufende Tool oder die Person |
| Sammlung von Sicherheitslückeninformationen, Entscheidung über die Dringlichkeit, Durchführung statischer Codeanalyse | Anderer Prozess |
| Bereitstellung (Deployment) | Vorhandenes CD des jeweiligen Teams |
| Festlegung des Prüfumfangs, Genehmigung der erwarteten Unterschiede, Genehmigung des PR | Verantwortlicher des Entwicklungsteams |
| Entscheidung über die Veröffentlichung bei nicht bestandener Leistung, Entscheidung über die Überschreitung der Frist | Abteilungsleiter oder höher |
| Entscheidung über Systemstopp oder -abschaltung | Separater Entscheidungsprozess |
1.5 Ergebnisse/Artefakte
| Artefakt | Ablageort |
|---|---|
| Testcode | An den Ablageort der vorhandenen Tests der Zielanwendung anpassen |
| Liste der Aufrufstellen | patch-regression-reports/call-sites.md der Zielanwendung |
| Liste instabiler Tests | patch-regression-reports/flaky-tests.md der Zielanwendung |
| Konfigurationsdatei für die nicht-interaktive Ausführung | patch-regression-reports/auto-settings.md der Zielanwendung |
| Bericht über die durchgeführte Nichtbeeinflussungsprüfung | Im Verzeichnis patch-regression-reports/ unter dem Verzeichnis der Testressourcen der Zielanwendung (der Name folgt den technischen Standards) |
| Kommentar zum Bericht | Auslösendes Issue. Bei mehreren relevanten Issues alle („9.4: Kommentare in Issues und PRs veröffentlichen“) |
| Kommentar mit Link zum Bericht | Der betreffende PR (falls vorhanden) |
| Kommentar zur Bestätigungsaufzeichnung | Auslösendes Issue („Kapitel 10: Aufzeichnung der Bestätigung“) |
Die Dateien werden bis zur Speicherung im Repository erstellt; das Committen wird dem aufrufenden Tool oder der Person überlassen.
1.6 Arbeitsablauf
flowchart TD
S2[2. Start und Szenario] --> J0{Szenario}
J0 -- Bestätigungsaufzeichnung --> S10[10. Bestätigungsaufzeichnung]
J0 -- Dringend/Readiness/Geplant --> S3[3. Eingabeinformationen prüfen]
S3 --> S4[4. Zielanwendung analysieren]
S4 --> J{Szenario}
J -- Dringend/Geplant --> S5[5. Prüfumfangsvorschlag]
J -- Readiness --> S6[6. Fehlende Tests identifizieren]
S5 --> S6
S6 --> S7[7. Tests implementieren]
S7 --> S8[8. Tests ausführen und vergleichen]
S8 --> S9[9. Bericht ausgeben und im Issue veröffentlichen]
1.7 Wartebereiche für Benutzerbestätigung
An folgenden Stellen wird dem Benutzer ein Vorschlag mit Begründung vorgelegt und auf eine Antwort gewartet, bevor fortgefahren wird. Bei nicht-interaktiver Ausführung (--auto) wird „2.3: Nicht-interaktive Ausführung (nur geplant)“ befolgt.
Bei der Anfrage nach Bestätigung werden auch Name und Rolle der entscheidenden Person (z. B. Verantwortlicher des Entwicklungsteams) erfragt.
- Bestätigung des Szenarios und des Ziels (CVE-Nummer/PR), Zielvorbereitungsniveau für Readiness („Kapitel 2: Start und Szenario“)
- Speichern/Aktualisieren der Konfigurationsdatei („2.3: Nicht-interaktive Ausführung (nur geplant)“)
- Behandlung von widersprüchlichen oder fehlenden Eingabeinformationen („3.3: Status prüfen“, „3.4: Behandlung fehlender Informationen“)
- App-Typ („4.2: App-Typ“)
- Vorschlag für den Prüfumfang, für Prüfumfang 3 zu prüfende Elemente, Liste der Breaking Changes, zu testende Änderungsstellen („Kapitel 5: Prüfumfangsvorschlag“)
- Auszuschließende Teststufen, ob V9: Parallelverarbeitung und Ressourcen geprüft werden soll („6.2: Benutzer zu bestätigende Punkte“)
- Zu implementierender Umfang („6.4: Auswahl des Implementierungsumfangs“)
- Hinzufügen von Bibliotheken zum Ausführen von Tests, Toolauswahl ohne Testmechanismus („7.1: Implementierungsprinzipien“)
- Hinzufügen zur Liste instabiler Tests („7.2: Implementierung nach Testtyp“, „8.4: Fehlerisolierung“)
- Installation von Bibliotheken zum Ausführen von Tests, netzwerkbasierte Sicherheitsscans/statische Codeanalyse, Ausführung von Tests mit langer Laufzeit lokal („Kapitel 8: Testausführung und Vergleich“)
- Ob gefundene Unterschiede bei der Testausführung wie erwartet sind, Aktualisierung der Erwartungswerte („8.5: Behandlung von Unterschieden“)
- Erstellung von Issues, Veröffentlichung von Kommentaren in Issues und PRs („9.4: Kommentare in Issues und PRs veröffentlichen“)
2. Start und Szenario
2.1 Startmethode
Das Szenario wird als Startargument empfangen.
| Szenario | Beispielargument |
|---|---|
| Dringende Reaktion | urgent CVE-2026-12345 (bei mehreren CVE-Nummern: urgent CVE-2026-12345 CVE-2026-23456) |
| Readiness | readiness |
| Geplante Prüfung | planned 123 (123 ist die PR-Nummer der Änderung, optional) |
| Geplante Prüfung (nicht-interaktiv) | planned 123 --auto |
| Bestätigungsaufzeichnung | approve 123 (123 ist die PR-Nummer) |
- Ziel-PR. Bei dringender Reaktion, geplanter Prüfung und Bestätigungsaufzeichnung wird davon ausgegangen, dass der PR mit dem Patch oder der Änderung vor dem Start der Skill erstellt wurde (erstellt von Dependabot/Devin/Person).
- Ziel-Issue (Veröffentlichungsort). Das Issue, in dem der Bericht veröffentlicht wird, wird je nach Szenario wie folgt identifiziert. Bei mehreren relevanten Issues werden alle behandelt.
- Dringend: Issue, dessen Titel die CVE-Nummer enthält (Richtlinie „7.1: Ablageort für Sicherheitslückeninformationen und Patch-Änderungen“)
- Geplant: Mit dem PR verlinktes Issue. Wenn nicht vorhanden, Suche nach Titelkonvention („Regelmäßige Abweichungsprüfung“, „Statische Codeanalyse“). Wenn nicht gefunden, erstellen
- Readiness: Kein Issue vorhanden, daher erstellen
- Bestätigungsaufzeichnung: Mit dem PR verlinktes Issue
- Wenn keine Argumente vorhanden sind, wird der Benutzer nach dem Szenario gefragt.
- Auch wenn Argumente vorhanden sind, wird das empfangene Szenario und Ziel (CVE-Nummer/PR/Ziel-Issue) dem Benutzer angezeigt und vor dem Fortfahren bestätigt. Bei
--autowird „2.3: Nicht-interaktive Ausführung (nur geplant)“ befolgt. - PR für geplante Prüfung. Wenn die PR-Nummer weggelassen wurde, wird der zum aktuellen Branch gehörende PR mit
ghidentifiziert, dem Benutzer angezeigt und bestätigt. --autokann nur für die geplante Prüfung (planned) verwendet werden. Wenn--autofür andere Szenarien angegeben wird, wird mitgeteilt, dass dies nicht möglich ist, und auf interaktive Ausführung umgestellt.
2.2 Arbeit nach Szenario
| Szenario | Durchlaufene Kapitel | Was in „Kapitel 8: Testausführung und Vergleich“ zu tun ist |
|---|---|---|
| Dringende Reaktion | Kapitel 3–9 | Einzelausführung der hinzugefügten Tests, Vergleich vor/nach Patch, Ausführung der Tests aus Richtlinie „2.4: Gemeinsame Tests für alle Prüfumfänge“ |
| Readiness | Kapitel 3, 4, 6–9 (Kapitel 5 nicht) | Einzelausführung der hinzugefügten Tests, Ausführung von C1–C4 aus Richtlinie „2.4: Gemeinsame Tests für alle Prüfumfänge“ (C1: Vergleich Abhängigkeitsbäume und C5/C7 nicht, da kein Vergleichsziel und keine Zielschwachstelle) |
| Geplante Prüfung | Kapitel 3–9 | Einzelausführung der hinzugefügten Tests, Vergleich vor/nach Änderung, Ausführung der Tests aus Richtlinie „2.4: Gemeinsame Tests für alle Prüfumfänge“ |
| Bestätigungsaufzeichnung | Nur Kapitel 10 | Nicht durchgeführt |
- Ersetzung von „Patch“. Bei geplanter Prüfung wird „Patch“ im gesamten Skill durch „Änderung“ ersetzt (z. B. „vor dem Patch“ wird zu „vor der Änderung“).
- Ziel der Readiness. Der Benutzer wählt, bis zu welchem Vorbereitungsniveau (z. B. L2) aufgerüstet werden soll.
- Zeitvisualisierung bei dringender Reaktion. Unmittelbar nach Bestätigung der Anforderungszeit für die dringende Reaktion (I12) in „Kapitel 3: Eingabeinformationen prüfen“ wird die Frist (24h bis Stage-Deployment, 48h bis Produktion, ca. 12h für Testaddition/Ausführung) angezeigt. Danach wird nach jedem Kapitel die verstrichene Zeit dem Benutzer gemeldet und im Bericht festgehalten.
- Bei drohender Fristüberschreitung (dringend). Die Bestätigung darf nicht weggelassen werden. Der Benutzer wird auf die drohende Überschreitung und die Notwendigkeit einer Eskalation vom Teamleiter an die übergeordnete Stelle hingewiesen; dies wird im Bericht unter „Zu eskalierende Punkte“ vermerkt.
- Keine Frist im Normalbetrieb. Bei Readiness und geplanter Prüfung erfolgen keine Fristanzeige und keine Zeitberichterstattung. Auch das vorläufige Bestehen wird nicht verwendet.
2.3 Nicht-interaktive Ausführung (nur geplant)
Bei geplanten Prüfungen kann ein KI-Entwicklungstool diese Skill ohne Interaktion für einen Änderungs-PR ausführen (planned <PR-Nummer> --auto). Der Prüfungstyp (Abhängigkeitsupdate, Sicherheitskorrektur, Quellcodeänderung) spielt keine Rolle.
Punkte, die bei interaktiver Ausführung durch den Benutzer bestätigt worden wären, werden im Abschnitt „Bei nicht-interaktiver Ausführung gefundene, zu bestätigende Punkte“ des Berichts (im Folgenden „Zu bestätigen“) festgehalten. Der Verantwortliche kümmert sich bei der PR-Review um die „Zu bestätigen“-Punkte im veröffentlichten Bericht im Issue.
2.3.1 Konfigurationsdatei
- Für die nicht-interaktive Ausführung wird die Konfigurationsdatei
patch-regression-reports/auto-settings.mdvorausgesetzt. Die Vorlage isttemplates/auto-settings-template.md. - Abbruch, wenn der PR die Konfigurationsdatei ändert. Enthält die Liste der geänderten Dateien im PR (z. B.
git diff --name-only <Vergleichsbranch>...HEAD) die Konfigurationsdatei, wird die Arbeit nicht begonnen, abgebrochen und mitgeteilt, dass eine interaktive Ausführung erforderlich ist. Dies verhindert, dass der PR selbst den Erlaubnisbereich ändern kann. - Speichern. Wenn Readiness oder geplante Prüfung interaktiv ausgeführt wurde, werden am Ende die vom Benutzer beantworteten Inhalte in der Konfigurationsdatei zusammengefasst. Vor dem Speichern wird der Inhalt dem Benutzer gezeigt und die Bestätigung eingeholt. Für Punkte, die nicht direkt erfragt wurden, wird der Benutzer gefragt, anstatt geraten zu werden. Wenn bereits eine Konfigurationsdatei existiert, werden die Änderungen gezeigt und die Bestätigung für die Aktualisierung eingeholt.
- Keine Konfigurationsdatei oder falsches Format vorhanden.
--autokann nicht verwendet werden. Die Arbeit wird nicht begonnen, der Grund wird mitgeteilt und beendet. --autoaktualisiert die Konfigurationsdatei nicht. Wenn Änderungen an der Konfiguration erforderlich erscheinen, werden sie unter „Zu bestätigen“ vermerkt.
2.3.2 Behandlung von Bestätigungspunkten
Bei --auto werden die Punkte aus „1.7: Wartebereiche für Benutzerbestätigung“ wie folgt behandelt, anstatt den Benutzer zu fragen:
| Bestätigungspunkt | Behandlung bei Nicht-Interaktivität |
|---|---|
| Szenario und Ziel-PR | Als geplante Prüfung behandeln. PR verwendet die Nummer aus dem Argument. Wenn keine Nummer vorhanden, abbrechen |
| Speichern/Aktualisieren der Konfigurationsdatei | Nicht durchführen. Änderungspunkte unter „Zu bestätigen“ vermerken |
| Befehlserklärung | Da es keinen Gesprächspartner gibt, werden die ausgeführten Befehle und ihre Inhalte im Bericht protokolliert |
| Informationswidersprüche | Unter „Zu bestätigen“ vermerken und basierend auf Repository-Inhalten fortfahren |
| Fehlende Eingabeinformationen | Als Restrisiko protokollieren |
| App-Typ | Wert aus Konfigurationsdatei verwenden. Bei Abweichung von der Schätzung aus dem Quellcode unter „Zu bestätigen“ vermerken und mit dem Wert aus der Konfigurationsdatei fortfahren |
| Vorschlag für Prüfumfang, zu prüfende Elemente für Umfang 3, Liste der Breaking Changes, zu testende Änderungsstellen | Mit dem Vorschlag und der Liste fortfahren. Festlegung unter „Zu bestätigen“ vermerken, erfolgt durch den Verantwortlichen bei der PR-Review |
| Auszuschließende Teststufen, ob V9: Parallelverarbeitung und Ressourcen geprüft werden soll | Werte aus Konfigurationsdatei verwenden |
| Zu implementierender Umfang | Der Strategie der Konfigurationsdatei folgen |
| Toolauswahl ohne Testmechanismus | In der Konfigurationsdatei protokolliertes Tool verwenden |
| Hinzufügen von Bibliotheken zum Testen | Nur die in der Erlaubnisliste der Konfigurationsdatei enthaltenen hinzufügen. Andere nicht hinzufügen und unter „Zu bestätigen“ vermerken |
| Hinzufügen zur Liste instabiler Tests | Nicht durchführen. Kandidaten unter „Zu bestätigen“ vermerken |
| Installation von Bibliotheken, netzwerkbasierte Sicherheitsscans/statische Codeanalyse | Der Erlaubnis der Konfigurationsdatei folgen. Wenn keine Erlaubnis vorhanden, nicht durchführen und als „Im CI bestätigen“ protokollieren |
| Tests mit langer Laufzeit | Der Strategie der Konfigurationsdatei folgen. Wenn keine Strategie vorhanden, CI überlassen |
| Ob Unterschiede wie erwartet, Aktualisierung der Erwartungswerte | Nicht entscheiden. Erwartungswerte nicht aktualisieren. Bei Unterschieden unter „Zu bestätigen“ vermerken |
| Veröffentlichung von Kommentaren in Issues und PRs | Durchführen. Bestätigung vor der Veröffentlichung weglassen |
| Erstellung von Issues, falls kein auslösendes Issue vorhanden | Erstellen. Bestätigung vor der Erstellung weglassen |
3. Eingabeinformationen prüfen
Gemäß der Tabelle in Richtlinie „Kapitel 7: Vor Arbeitsbeginn zu sammelnde Informationen“ (I1–I14) werden die für die Arbeit notwendigen Informationen zusammengestellt.
3.1 Zu prüfende Punkte
| Szenario | Zu prüfende Punkte |
|---|---|
| Dringende Reaktion | Alle I1–I13. Bei Quellcode-Änderungen I5 um die Differenz des Änderungs-PRs erweitern |
| Readiness | I7, I8, I8a, I9, I10, I13 |
| Geplante Prüfung | Je nach Prüfungstyp gemäß Tabelle „Bei geplanter Prüfung verwendete Informationen“ aus Richtlinie „Kapitel 7: Vor Arbeitsbeginn zu sammelnde Informationen“ (Abhängigkeitsupdate: I3–I11, I13; Sicherheitskorrektur: I1–I11, I13; Quellcodeänderung: I5–I11, I13, I14). Zusätzlich das auslösende Issue und den Zeitpunkt der Änderungsanwendung |
I11 (Staging-Umgebung) ist für Prüfumfang 2 und 3 obligatorisch. I12 (Anforderungszeit und Frist) wird nur bei dringender Reaktion verwendet.
3.2 Informationssammlung
- Vom Repository selbst gesammelte Informationen. Die folgenden Informationen werden durch Lesen des Ziel-Repositories gesammelt:
- I3: Versionen vor/nach der Aktualisierung (Vergleich der Abhängigkeitsdateien des Vergleichs-Branches und des aktuellen Branches. Bei Laufzeitumgebungs-Updates auch Dateien aus „3.3: Status prüfen“ vergleichen)
- I5: Quellcode-Differenz vor/nach der Aktualisierung. Bei Quellcode-Änderungen die PR-Differenz
- I6: Abhängigkeitsbaum, gemeinsam aktualisierte transitive Abhängigkeiten
- I7: Sprache, App-Typ, externe Verbindungen
- I8, I8a: Aktuelle Tests, GitHub Actions-Workflows, Coverage-Berichte
- Von außen übergebene Informationen. Die folgenden Informationen werden von anderen Prozessen gesammelt (Richtlinie „7.1: Ablageort für Sicherheitslückeninformationen und Patch-Änderungen”). Sie werden mit dem Befehl
ghgelesen. Die Identifizierung des Issues folgt „2.1: Startmethode” im Abschnitt „Ziel-Issue (Veröffentlichungsort)”.- Sicherheitslückeninformationen (I1, I2; dringend und geplant bei Sicherheitskorrektur). Aus dem Issue mit der CVE-Nummer im Titel gelesen.
- Ergebnisse der statischen Codeanalyse (I14; geplant bei Quellcodeänderung). Aus dem Issue mit dem Titel „Statische Codeanalyse” und der Kennung des Hinweises gelesen.
- Issue für regelmäßige Abweichungsprüfung (geplant bei Abhängigkeitsupdate). Aus dem Issue mit dem Titel „Regelmäßige Abweichungsprüfung” und dem Namen des Aktualisierungsziels gelesen.
- Patch-Änderungsinhalt (I4, I5). Aus der Beschreibung des PRs mit dem Patch oder der Änderung (z. B. Dependabot-PR) gelesen.
- Zeitpunkt der Änderungsanwendung (geplant). Aus dem auslösenden Issue (1–3) gelesen.
- Wenn nicht gefunden oder
ghnicht verfügbar (z. B. nicht authentifiziert), wird der Benutzer gebeten, die Informationen im Gespräch zu übergeben.
- Vom Benutzer zu erfragende Informationen. I9 (Leistungsbaseline), I10 (auszuschließende Teststufen), I11 (Staging-Umgebung), I12 (Anforderungszeit und Frist), I13 (Organisation) werden vom Benutzer erfragt, wenn sie im Repository oder Issue nicht gefunden werden. I13 ist obligatorisch, da es die Stelle für Beurteilung und Bestätigung betrifft; es wird nicht fortgefahren, bis eine Antwort vorliegt.
3.3 Status prüfen
Dieser Abschnitt wird bei dringender Reaktion und geplanter Prüfung durchgeführt. Bei Readiness wird er übersprungen.
- Patch wurde angewendet. Es wird vorausgesetzt, dass die Skill gestartet wird, nachdem der Branch des PRs mit dem Patch oder der Änderung abgerufen wurde. Der Vergleichs-Branch und der aktuelle Branch werden verglichen, um sicherzustellen, dass der Patch angewendet wurde.
- Bei Bibliotheksaktualisierungen werden die Abhängigkeitsdateien verglichen.
- Bei Aktualisierungen der Laufzeitumgebung/des OS/Middleware (Prüfumfang 3) werden zusätzlich die Dateien
Dockerfile, die Laufzeitumgebungsangaben im Workflow (Versionen vonsetup-javausw.) und Dateien, die die Laufzeitumgebungsversion angeben (.java-version,.python-version,.nvmrc,global.jsonusw.), verglichen. - Bei der Behebung von Hinweisen aus der statischen Codeanalyse wird sichergestellt, dass die Datei und Zeile des Hinweises (I14) in der PR-Differenz enthalten sind.
- Wenn der Patch nicht angewendet wurde, wird der Benutzer informiert und die Arbeit gestoppt.
- Extern korrigierter Quellcode. Es wird überprüft, ob die PR-Differenz Änderungen am App-Quellcode enthält. Wenn ja, werden die geänderten Dateien und Stellen protokolliert. Unabhängig vom Auslöser werden diese zum Testgegenstand hinzugefügt (Richtlinie „2.4: Gemeinsame Tests für alle Prüfumfänge“).
- Vergleichs-Branch. Der in „Kapitel 8: Testausführung und Vergleich“ verwendete Vergleichs-Branch wird überprüft und dem Benutzer angezeigt. Der Vergleichs-Branch ist der Merge-Ziel-Branch des PRs. Wenn ein anderer Workflow gemäß einer anderen Richtlinie einen anderen Branch als Vergleich angibt, wird diesem gefolgt.
- Informationswidersprüche. Bei Abweichungen zwischen den übergebenen Informationen und dem Repository-Inhalt (z. B. die im Issue angegebene Version nach der Aktualisierung stimmt nicht mit der Lock-Datei überein) wird der Benutzer gefragt.
3.4 Behandlung fehlender Informationen
Gemäß Richtlinie „Kapitel 7: Vor Arbeitsbeginn zu sammelnde Informationen“.
| Szenario | Behandlung |
|---|---|
| Dringende Reaktion | Fehlende, aber erforderliche Informationen werden dem Benutzer (Verantwortlicher des Entwicklungsteams) als Liste angezeigt, und es wird auf eine sofortige Entscheidung gewartet. Es wird nicht fortgefahren, bis eine Antwort vorliegt |
| Readiness | Fehlende Informationen werden als Restrisiko im Bericht protokolliert |
| Geplante Prüfung | Fehlende Informationen werden als Restrisiko im Bericht protokolliert und die Arbeit fortgesetzt |
Fehlende Informationen und erhaltene Entscheidungen werden im Bericht protokolliert.
3.5 Protokollierung
Die gesammelten Informationen und ihre Quellen (Repository-Dateiname, Issue/PR-Nummer, Gespräch usw.) werden zu Beginn des Berichts in „Kapitel 9: Berichtsausgabe und Issue-Veröffentlichung“ protokolliert.
4. Zielanwendung analysieren
4.1 Sprache und Build-Tool
Sprache und Build-Tool werden anhand der Abhängigkeitsdateien bestimmt.
| Datei | Sprache/Build-Tool |
|---|---|
pom.xml/build.gradle* | Java (Maven/Gradle) |
pyproject.toml/requirements*.txt/poetry.lock | Python |
package.json/package-lock.json/tsconfig.json | TypeScript |
*.csproj/*.sln/packages.lock.json | C# |
4.2 App-Typ
Der App-Typ wird anhand des Starteinstiegspunkts (Web-Framework, main-Funktion/Job-Definition, UI-Framework usw.) geschätzt. Der geschätzte Typ wird dem Benutzer aus einer Liste von Optionen zur Auswahl angezeigt, mit Begründung und der Bitte um Bestätigung. Wenn die Schätzung falsch ist, wählt der Benutzer neu.
- Optionen: Backend, Batch-Verarbeitung, Web-Frontend, Desktop-App (bei mehreren Rollen mehrere auswählen)
4.3 Inventur der aktuellen Tests und CI
- Tests. Das verwendete Test-Framework, die Anzahl pro Testtyp (Unit, Integration, E2E, Vertrag, Leistung) und deren Speicherort sowie die Testausführungsbefehle werden ermittelt.
- CI. Das Verzeichnis
.github/workflows/wird gelesen. Es wird überprüft, ob Tests im CI ausgeführt werden und ob ein Mechanismus (Richtlinie „3.1.1: Vorbereitungsniveau“, P7) zum Ausführen derselben Tests vor und nach dem Patch und zum Vergleichen der Ergebnisse vorhanden ist. Die Workflows werden nur gelesen, nicht geändert. - Instabile Tests. Es wird überprüft, ob eine Liste instabiler Tests (
patch-regression-reports/flaky-tests.md) vorhanden ist. - Externe Verbindungen. Externe Interaktionen (DB, API, Dateien usw.) werden identifiziert. Dies wird zur Bestimmung des Zielumfangs für Vertragstests verwendet.
4.4 Diagnose des Vorbereitungsniveaus
Für P1–P11 aus Richtlinie „3.1.1: Vorbereitungsniveau“ wird jeweils beurteilt, ob sie „vorhanden“, „nicht vorhanden“ oder „ausgeschlossen mit Begründung“ sind, und in einer Tabelle mit Begründung zusammengefasst. Darauf aufbauend wird das Vorbereitungsniveau der App (L0–L3) bestimmt.
Die Bedingung für das Vorbereitungsniveau ist, dass es „im CI läuft“. Daher wird nicht allein aufgrund der Existenz von Tests oder Scans im Repository auf „vorhanden“ geschlossen. Erst nach Überprüfung, dass sie tatsächlich im in „4.3: Inventur der aktuellen Tests und CI“ gelesenen Workflow ausgeführt werden, wird „vorhanden“ angenommen. Im Repository vorhandene, aber nicht im CI ausgeführte Elemente werden als „nicht vorhanden (im CI nicht ausgeführt)“ eingestuft.
Bei geplanten Prüfungen wird, falls ein vorheriger Bericht einer Readiness oder geplanten Prüfung in patch-regression-reports/ vorhanden ist, mit dem aktuellsten verglichen, um festzustellen, ob das Vorbereitungsniveau gesunken ist. Wenn ja, wird die Notwendigkeit, es im Rahmen der Readiness zu verbessern, unter „Restrisiko und Mängelliste – Vom Team zu beheben“ aufgeführt.
4.5 Liste der Aufrufstellen
Eine Liste der Stellen im Quellcode der App, die externe Bibliotheken aufrufen, wird erstellt (Richtlinie „3.1.1: Vorbereitungsniveau“, P4).
| Szenario | Ziel |
|---|---|
| Dringende Reaktion/Geplante Prüfung | Die zu aktualisierende Bibliothek (einschließlich transitive Abhängigkeiten, die direkt von der App aufgerufen werden) |
| Readiness | Alle direkten Abhängigkeiten der Bibliothek |
- Wenn in „3.3: Status prüfen“ extern korrigierter Quellcode gefunden wird, werden unabhängig vom Szenario die korrigierten Stellen und die Prozesse, die diese Stellen aufrufen, ebenfalls zum Ziel hinzugefügt.
- Für jede Aufrufstelle wird überprüft, ob ein Test diese Stelle durchläuft. Die Entscheidung wird durch Lesen des Testcodes (und unterstützend durch Coverage-Berichte, falls vorhanden) getroffen.
- Die Liste wird in
patch-regression-reports/call-sites.mdgespeichert. Wenn bereits vorhanden, wird der Inhalt an den aktuellen Quellcode angepasst.
4.6 Protokollierung
Die Ergebnisse von „4.1: Sprache und Build-Tool“ bis „4.5: Liste der Aufrufstellen“ werden im Bericht in „Kapitel 9: Berichtsausgabe und Issue-Veröffentlichung“ protokolliert.
5. Prüfumfangsvorschlag
Dieses Kapitel wird bei dringender Reaktion und geplanter Prüfung durchgeführt. Die Festlegung des Prüfumfangs obliegt dem Verantwortlichen des Entwicklungsteams; diese Skill erstellt lediglich einen Vorschlag.
5.1 Prüfungstyp (nur geplant)
Aus dem auslösenden Issue und dem PR wird der Typ gemäß Richtlinie „3.5.1: Auslöser und Arten der Prüfung“ (Abhängigkeitsupdate, Sicherheitskorrektur, Quellcodeänderung) bestimmt. Enthält ein PR mehrere Typen, wird jeder wie folgt behandelt.
5.2 Entscheidungsverfahren
- Abhängigkeitsupdate/Sicherheitskorrektur und dringende Reaktion. Die Entscheidung erfolgt gemäß dem Ablaufdiagramm in Richtlinie „2.2: Entscheidungsverfahren“, mit Begründung für jede Verzweigung. Als Begründung werden die Versionen vor/nach der Aktualisierung (I3), Release-Notes/Changelog/Migrationsleitfaden (I4), Quellcode-Differenzen vor/nach der Aktualisierung (I5) und der Abhängigkeitsbaum (I6) verwendet.
- Wenn sich auch die Versionen transitiver Abhängigkeiten ändern, werden diese ebenfalls als Aktualisierungen betrachtet und der größte Prüfumfang angewendet (Richtlinie „2.3: Entscheidungshinweise“).
- Änderungen der Signatur werden mit den sprachspezifischen Überprüfungsmethoden der technischen Standards überprüft. Die Befehle werden vor der Ausführung erläutert. Wenn der Build das Herunterladen von Abhängigkeitsbibliotheken erfordert, wird gemäß dem Anfang von „Kapitel 8: Testausführung und Vergleich“ die Benutzererlaubnis eingeholt.
- Quellcodeänderung (geplant). Der Prüfumfang wird nicht verwendet. Die in „3.3: Status prüfen“ protokollierten Änderungsstellen und die Prozesse, die diese Stellen aufrufen, werden als Testziele in einer Liste aufgeführt. Es wird auch protokolliert, ob der Hinweis eine Sicherheitslücke betrifft (für C5-Entscheidung).
5.3 Wenn Änderungen nicht überprüft werden können
Wenn bei einer Aktualisierung über mehrere Versionen hinweg die Änderungen pro Version in den Release-Notes oder Diffs nicht überprüft werden können, wird der Prüfumfang gemäß Richtlinie „2.1.1: Wenn Änderungen nicht überprüft werden können“ basierend auf dem Versionssprung festgelegt. Die nicht überprüfbare Version wird als Begründung angegeben.
5.4 Für Prüfumfang 3 zu prüfende Elemente
Bei Prüfumfang 3 wird basierend auf dem Inhalt der Aktualisierung entschieden, welche der Elemente aus Prüfumfang 2 in Richtlinie „2.5: Zusätzliche Tests nach Prüfumfang“ betroffen sind.
- Bei Aktualisierungen ohne API-Änderungen der Bibliothek (z. B. Aktualisierung des Container-Basis-Images) gibt es kein Ziel für „Analyse der Verhaltensunterschiede der Bibliothek“ und „Liste der Breaking Changes“. Dies wird als „Nicht zutreffend (Grund)“ angegeben.
- Bei Aktualisierungen mit API-Änderungen der Bibliothek (z. B. Framework-Versionssprünge) werden alle Elemente des Prüfumfangs 2 berücksichtigt.
- Wenn die Umgebungsüberprüfung für Prüfumfang 3 (Richtlinie „3.3: CI-Automatisierung der Umgebungsüberprüfung für Prüfumfang 3“) nicht in das CI integriert ist, wird dies in der Mängelliste als „Vom Team zu beheben“ und der Vorschlag als „Entscheidung ausstehend“ markiert. Der Workflow für diese Umgebungsüberprüfung darf von dieser Skill nicht erstellt werden.
5.5 Liste der Breaking Changes (Prüfumfang 2 & 3)
Der Migrationsleitfaden wird pro Major-Version gelesen und eine Liste der Breaking Changes erstellt. Auch Aktualisierungen, die zwei oder mehr Major-Versionen überspringen, werden als ein einziger PR behandelt. Die Liste wird nach Versionen getrennt, um bei Auftreten von Unterschieden nachvollziehen zu können, auf welche Version sie zurückzuführen sind. Die Liste wird in „Kapitel 6: Identifizierung fehlender Tests“ und bei der Klassifizierung von Unterschieden in „8.5: Behandlung von Unterschieden“ verwendet. Wenn der Migrationsleitfaden nicht in der PR-Beschreibung enthalten ist, wird der Benutzer gebeten, ihn zu übergeben.
5.6 Abgleich mit dem Vorbereitungsniveau (nur dringend)
- Basierend auf dem ermittelten Prüfumfang und dem in „4.4: Diagnose des Vorbereitungsniveaus“ ermittelten Vorbereitungsniveau wird eine Einschätzung gegeben, ob die Bearbeitung innerhalb der Frist (ca. 12h für Testaddition/Ausführung, 24h bis Stage-Deployment) abgeschlossen werden kann. Wenn die Vorbereitung unzureichend ist und eine Fertigstellung innerhalb der Frist unwahrscheinlich, wird der Benutzer gemäß Richtlinie „3.1.1: Vorbereitungsniveau“ auf die Notwendigkeit einer Eskalation vom Teamleiter an die übergeordnete Stelle hingewiesen.
- Bei Prüfumfang 3, wenn die Umgebungsüberprüfung nicht in das CI integriert ist, wird gemäß Richtlinie „4.2: Behandlung von Prüfumfang 3 bei dringender Reaktion“ auf die Notwendigkeit einer Eskalation hingewiesen. Systemstopp oder Fristüberschreitung werden von dieser Skill nicht entschieden.
5.7 Festlegung und Protokollierung
Dem Benutzer (Verantwortlicher des Entwicklungsteams) werden der Prüfungstyp, der Vorschlag für den Prüfumfang, die für Prüfumfang 3 zu prüfenden Elemente, die Liste der Breaking Changes und die zu testenden Änderungsstellen angezeigt; es wird nicht fortgefahren, bis sie bestätigt sind. Der bestätigte Inhalt, die Entscheidungsgründe und die bestätigende Person werden im Bericht in „Kapitel 9: Berichtsausgabe und Issue-Veröffentlichung“ protokolliert.
6. Fehlende Tests identifizieren
6.1 Vergleichsgrundlage
| Szenario | Grundlage |
|---|---|
| Dringende Reaktion/Geplante Prüfung | Richtlinie „2.4: Gemeinsame Tests für alle Prüfumfänge“ und die Richtlinie für den festgelegten Prüfumfang „2.5: Zusätzliche Tests nach Prüfumfang“ (bei Prüfumfang 3 die unter „5.4: Für Prüfumfang 3 zu prüfende Elemente“ identifizierten). Bei extern korrigiertem Quellcode die korrigierten Stellen und die Tests für die aufrufenden Prozesse |
| Readiness | Elemente aus Richtlinie „3.1.1: Vorbereitungsniveau“ P1–P11 bis zu dem vom Benutzer gewählten Niveau |
Bei Abweichungen zwischen den Grundlagen im Einzelfall wird im Zweifel die umfassendere Prüfung gewählt und dem Benutzer mitgeteilt.
Unabhängig vom Szenario werden die Prüfpunkte V1–V11 aus der Richtlinie „Kapitel 5: Prüfpunkte-Checkliste“ als Perspektive für das Testdesign verwendet. Die sprachspezifischen Überprüfungsmethoden folgen den technischen Standards...
[...]