CommunityCodierung & Entwicklunggithub.com

patch-regression-test

Überprüft, dass sich das Verhalten der App nach der Anwendung von CVE-Patches, Bibliotheks- oder Laufzeitupdates und der Behebung von Static-Code-Analyse-Hinweisen nicht ändert (Nichtbeeinflussungsprüfung). Findet fehlende Tests, schreibt Testcode, vergleicht die Ergebnisse vor und nach dem Patch, erstellt einen Bericht und veröffentlicht ihn als Kommentar im auslösenden Issue.

Was ist patch-regression-test?

Diese Skill dient der Durchführung von Nichtbeeinflussungstests (Regressionstests) in Softwareprojekten. Sie identifiziert fehlende Tests, implementiert diese, führt sie aus und vergleicht die Ergebnisse vor und nach einer Änderung (z. B. CVE-Patches, Abhängigkeitsupdates, Code-Änderungen). Der Skill erstellt einen detaillierten Bericht und veröffentlicht ihn als Kommentar im zugehörigen Issue (und ggf. im PR). Er ist für verschiedene Szenarien konzipiert: dringende Reaktionen auf Sicherheitslücken, geplante Überprüfungen von Aktualisierungen und die Vorbereitung auf zukünftige Änderungen. Der Skill ist plattformunabhängig und kann in CI/CD-Pipelines integriert werden. Er beachtet Richtlinien und Standards, die im Repository hinterlegt sind, und führt keine Änderungen am Quellcode der App durch.

Funktioniert mit~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/doikota/agent-skills/tree/HEAD/.claude/skills/patch-regression-test

Installed? Explore more Codierung & Entwicklung skills: steipete/bluebubbles, steipete/eightctl, steipete/blucli · View all 6 →

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

Nichtbeeinflussungstest (patch-regression-test)

1. Übersicht und Annahmen

1.1 Ziel

Nach der Anwendung von Patches oder Änderungen wird sichergestellt, dass die vorhandenen Funktionen der App erhalten bleiben (Nichtbeeinflussungsprüfung). Dazu werden fehlende Tests in der Zielanwendung identifiziert, implementiert, die Ergebnisse vor und nach dem Patch verglichen, die Ergebnisse in einem Bericht zusammengefasst und im Issue veröffentlicht.

Diese Skill wird in den folgenden drei Szenarien der Richtlinie verwendet:

  • Dringende Reaktion. Durchführung der Nichtbeeinflussungsprüfung eines CVE-Patches, der von einem anderen Prozess als dringend angefordert wurde, innerhalb der Frist.
  • Vorbereitende Maßnahmen (Readiness). Diagnose des Vorbereitungsniveaus der App und Sicherstellung fehlender Tests (gleich für das erste und alle folgenden Male).
  • Geplante Überprüfung. Nach der ersten Vorbereitung wird die Nichtbeeinflussungsprüfung für Änderungen durch externe Tools oder Personen (Abhängigkeitsaktualisierungen, Sicherheitskorrekturen, Quellcodeänderungen) durchgeführt.

1.2 Richtlinien und technische Standards

  • Vor Beginn der Arbeit sind die folgenden zwei Dokumente zu lesen:
    • references/guideline.md (im Folgenden „Richtlinie“): Was erfüllt werden muss (Klassifizierung, Bedingungen für Bestehen/Nichtbestehen, Rollen, Bewertungsregeln)
    • references/standards.md (im Folgenden „Technische Standards“): Wie es erfüllt werden kann (Tools, Überprüfungsmethoden, Messmethoden, Dateinamen)
  • Die Entscheidungskriterien folgen der Richtlinie, die Vorgehensweise folgt den technischen Standards. Bei Abweichungen zwischen dieser Skill, den technischen Standards und der Richtlinie hat die Richtlinie Vorrang.
  • Die Begriffe (Prüfumfang, Vorbereitungsniveau, geplante Prüfung, Funktionstest, Aufrufstelle, instabiler Test, vorläufig bestanden usw.) folgen den Definitionen in der Richtlinie „1.5: Begriffe“.
  • Im Zielrepository wird dieser Skill unter .github/skills/patch-regression-test/ abgelegt (ein Ort, den sowohl GitHub Copilot als auch Devin lesen).

1.3 Was diese Skill tut

  • Analyse der Zielanwendung (Sprache, App-Typ, aktuelle Tests und CI, Aufrufstellen)
  • Diagnose des Vorbereitungsniveaus (Richtlinie „3.1.1: Vorbereitungsniveau“)
  • Erstellung eines Vorschlags für den Prüfumfang (Richtlinie „Kapitel 2: Patch-Klassifizierung und Prüfkriterien“)
  • Identifizierung fehlender Tests
  • Implementierung von Testcode. Die Einführung von Bibliotheken zum Ausführen von Tests erfolgt mit Zustimmung des Benutzers.
  • Ausführung der Tests und Vergleich der Ergebnisse vor und nach dem Patch (die Befehle werden vor der Ausführung erläutert).
  • Ausgabe des Berichts über die durchgeführte Nichtbeeinflussungsprüfung und Veröffentlichung als Kommentar im Issue (falls ein PR vorhanden ist, wird auch ein Link zum Issue im PR kommentiert).
  • Erstellung eines Issues, falls kein auslösendes Issue vorhanden ist (mit Genehmigung).
  • Aufzeichnung der Bestätigung durch den Verantwortlichen (Vergleich mit der PR-Genehmigung und Hinterlassen als Kommentar im Issue).

1.4 Was diese Skill nicht tut

Folgende Handlungen werden auch auf Anfrage oder mit Genehmigung nicht durchgeführt. Die zuständige Person wird weitergeleitet.

Nicht durchgeführte HandlungZuständige Person/Stelle
Anwendung von Patches, Änderung des App-Quellcodes (einschließlich Aktualisierung von Abhängigkeitsversionen, Behandlung von Breaking Changes, Behebung von Sicherheitslücken, Behebung von Hinweisen aus der statischen Codeanalyse, Änderungen zum Schreiben von Tests)Andere Tools wie Dependabot/Devin oder Personen
Einrichtung der Umgebung zum Ausführen der App (Installation/Änderung von Konfigurationen der Laufzeitumgebung/Middleware). Die Einführung von Bibliotheken zum Ausführen von Tests ist ausgenommen.Personen oder das CI des jeweiligen Teams
Änderung/Hinzufügung von WorkflowsJedes Team (gemäß einer anderen Richtlinie)
Commits/PushesDas aufrufende Tool oder die Person
Sammlung von Sicherheitslückeninformationen, Entscheidung über die Dringlichkeit, Durchführung statischer CodeanalyseAnderer Prozess
Bereitstellung (Deployment)Vorhandenes CD des jeweiligen Teams
Festlegung des Prüfumfangs, Genehmigung der erwarteten Unterschiede, Genehmigung des PRVerantwortlicher des Entwicklungsteams
Entscheidung über die Veröffentlichung bei nicht bestandener Leistung, Entscheidung über die Überschreitung der FristAbteilungsleiter oder höher
Entscheidung über Systemstopp oder -abschaltungSeparater Entscheidungsprozess

1.5 Ergebnisse/Artefakte

ArtefaktAblageort
TestcodeAn den Ablageort der vorhandenen Tests der Zielanwendung anpassen
Liste der Aufrufstellenpatch-regression-reports/call-sites.md der Zielanwendung
Liste instabiler Testspatch-regression-reports/flaky-tests.md der Zielanwendung
Konfigurationsdatei für die nicht-interaktive Ausführungpatch-regression-reports/auto-settings.md der Zielanwendung
Bericht über die durchgeführte NichtbeeinflussungsprüfungIm Verzeichnis patch-regression-reports/ unter dem Verzeichnis der Testressourcen der Zielanwendung (der Name folgt den technischen Standards)
Kommentar zum BerichtAuslösendes Issue. Bei mehreren relevanten Issues alle („9.4: Kommentare in Issues und PRs veröffentlichen“)
Kommentar mit Link zum BerichtDer betreffende PR (falls vorhanden)
Kommentar zur BestätigungsaufzeichnungAuslösendes Issue („Kapitel 10: Aufzeichnung der Bestätigung“)

Die Dateien werden bis zur Speicherung im Repository erstellt; das Committen wird dem aufrufenden Tool oder der Person überlassen.

1.6 Arbeitsablauf

flowchart TD
  S2[2. Start und Szenario] --> J0{Szenario}
  J0 -- Bestätigungsaufzeichnung --> S10[10. Bestätigungsaufzeichnung]
  J0 -- Dringend/Readiness/Geplant --> S3[3. Eingabeinformationen prüfen]
  S3 --> S4[4. Zielanwendung analysieren]
  S4 --> J{Szenario}
  J -- Dringend/Geplant --> S5[5. Prüfumfangsvorschlag]
  J -- Readiness --> S6[6. Fehlende Tests identifizieren]
  S5 --> S6
  S6 --> S7[7. Tests implementieren]
  S7 --> S8[8. Tests ausführen und vergleichen]
  S8 --> S9[9. Bericht ausgeben und im Issue veröffentlichen]

1.7 Wartebereiche für Benutzerbestätigung

An folgenden Stellen wird dem Benutzer ein Vorschlag mit Begründung vorgelegt und auf eine Antwort gewartet, bevor fortgefahren wird. Bei nicht-interaktiver Ausführung (--auto) wird „2.3: Nicht-interaktive Ausführung (nur geplant)“ befolgt.

Bei der Anfrage nach Bestätigung werden auch Name und Rolle der entscheidenden Person (z. B. Verantwortlicher des Entwicklungsteams) erfragt.

  • Bestätigung des Szenarios und des Ziels (CVE-Nummer/PR), Zielvorbereitungsniveau für Readiness („Kapitel 2: Start und Szenario“)
  • Speichern/Aktualisieren der Konfigurationsdatei („2.3: Nicht-interaktive Ausführung (nur geplant)“)
  • Behandlung von widersprüchlichen oder fehlenden Eingabeinformationen („3.3: Status prüfen“, „3.4: Behandlung fehlender Informationen“)
  • App-Typ („4.2: App-Typ“)
  • Vorschlag für den Prüfumfang, für Prüfumfang 3 zu prüfende Elemente, Liste der Breaking Changes, zu testende Änderungsstellen („Kapitel 5: Prüfumfangsvorschlag“)
  • Auszuschließende Teststufen, ob V9: Parallelverarbeitung und Ressourcen geprüft werden soll („6.2: Benutzer zu bestätigende Punkte“)
  • Zu implementierender Umfang („6.4: Auswahl des Implementierungsumfangs“)
  • Hinzufügen von Bibliotheken zum Ausführen von Tests, Toolauswahl ohne Testmechanismus („7.1: Implementierungsprinzipien“)
  • Hinzufügen zur Liste instabiler Tests („7.2: Implementierung nach Testtyp“, „8.4: Fehlerisolierung“)
  • Installation von Bibliotheken zum Ausführen von Tests, netzwerkbasierte Sicherheitsscans/statische Codeanalyse, Ausführung von Tests mit langer Laufzeit lokal („Kapitel 8: Testausführung und Vergleich“)
  • Ob gefundene Unterschiede bei der Testausführung wie erwartet sind, Aktualisierung der Erwartungswerte („8.5: Behandlung von Unterschieden“)
  • Erstellung von Issues, Veröffentlichung von Kommentaren in Issues und PRs („9.4: Kommentare in Issues und PRs veröffentlichen“)

2. Start und Szenario

2.1 Startmethode

Das Szenario wird als Startargument empfangen.

SzenarioBeispielargument
Dringende Reaktionurgent CVE-2026-12345 (bei mehreren CVE-Nummern: urgent CVE-2026-12345 CVE-2026-23456)
Readinessreadiness
Geplante Prüfungplanned 123 (123 ist die PR-Nummer der Änderung, optional)
Geplante Prüfung (nicht-interaktiv)planned 123 --auto
Bestätigungsaufzeichnungapprove 123 (123 ist die PR-Nummer)
  • Ziel-PR. Bei dringender Reaktion, geplanter Prüfung und Bestätigungsaufzeichnung wird davon ausgegangen, dass der PR mit dem Patch oder der Änderung vor dem Start der Skill erstellt wurde (erstellt von Dependabot/Devin/Person).
  • Ziel-Issue (Veröffentlichungsort). Das Issue, in dem der Bericht veröffentlicht wird, wird je nach Szenario wie folgt identifiziert. Bei mehreren relevanten Issues werden alle behandelt.
    • Dringend: Issue, dessen Titel die CVE-Nummer enthält (Richtlinie „7.1: Ablageort für Sicherheitslückeninformationen und Patch-Änderungen“)
    • Geplant: Mit dem PR verlinktes Issue. Wenn nicht vorhanden, Suche nach Titelkonvention („Regelmäßige Abweichungsprüfung“, „Statische Codeanalyse“). Wenn nicht gefunden, erstellen
    • Readiness: Kein Issue vorhanden, daher erstellen
    • Bestätigungsaufzeichnung: Mit dem PR verlinktes Issue
  • Wenn keine Argumente vorhanden sind, wird der Benutzer nach dem Szenario gefragt.
  • Auch wenn Argumente vorhanden sind, wird das empfangene Szenario und Ziel (CVE-Nummer/PR/Ziel-Issue) dem Benutzer angezeigt und vor dem Fortfahren bestätigt. Bei --auto wird „2.3: Nicht-interaktive Ausführung (nur geplant)“ befolgt.
  • PR für geplante Prüfung. Wenn die PR-Nummer weggelassen wurde, wird der zum aktuellen Branch gehörende PR mit gh identifiziert, dem Benutzer angezeigt und bestätigt.
  • --auto kann nur für die geplante Prüfung (planned) verwendet werden. Wenn --auto für andere Szenarien angegeben wird, wird mitgeteilt, dass dies nicht möglich ist, und auf interaktive Ausführung umgestellt.

2.2 Arbeit nach Szenario

SzenarioDurchlaufene KapitelWas in „Kapitel 8: Testausführung und Vergleich“ zu tun ist
Dringende ReaktionKapitel 3–9Einzelausführung der hinzugefügten Tests, Vergleich vor/nach Patch, Ausführung der Tests aus Richtlinie „2.4: Gemeinsame Tests für alle Prüfumfänge“
ReadinessKapitel 3, 4, 6–9 (Kapitel 5 nicht)Einzelausführung der hinzugefügten Tests, Ausführung von C1–C4 aus Richtlinie „2.4: Gemeinsame Tests für alle Prüfumfänge“ (C1: Vergleich Abhängigkeitsbäume und C5/C7 nicht, da kein Vergleichsziel und keine Zielschwachstelle)
Geplante PrüfungKapitel 3–9Einzelausführung der hinzugefügten Tests, Vergleich vor/nach Änderung, Ausführung der Tests aus Richtlinie „2.4: Gemeinsame Tests für alle Prüfumfänge“
BestätigungsaufzeichnungNur Kapitel 10Nicht durchgeführt
  • Ersetzung von „Patch“. Bei geplanter Prüfung wird „Patch“ im gesamten Skill durch „Änderung“ ersetzt (z. B. „vor dem Patch“ wird zu „vor der Änderung“).
  • Ziel der Readiness. Der Benutzer wählt, bis zu welchem Vorbereitungsniveau (z. B. L2) aufgerüstet werden soll.
  • Zeitvisualisierung bei dringender Reaktion. Unmittelbar nach Bestätigung der Anforderungszeit für die dringende Reaktion (I12) in „Kapitel 3: Eingabeinformationen prüfen“ wird die Frist (24h bis Stage-Deployment, 48h bis Produktion, ca. 12h für Testaddition/Ausführung) angezeigt. Danach wird nach jedem Kapitel die verstrichene Zeit dem Benutzer gemeldet und im Bericht festgehalten.
  • Bei drohender Fristüberschreitung (dringend). Die Bestätigung darf nicht weggelassen werden. Der Benutzer wird auf die drohende Überschreitung und die Notwendigkeit einer Eskalation vom Teamleiter an die übergeordnete Stelle hingewiesen; dies wird im Bericht unter „Zu eskalierende Punkte“ vermerkt.
  • Keine Frist im Normalbetrieb. Bei Readiness und geplanter Prüfung erfolgen keine Fristanzeige und keine Zeitberichterstattung. Auch das vorläufige Bestehen wird nicht verwendet.

2.3 Nicht-interaktive Ausführung (nur geplant)

Bei geplanten Prüfungen kann ein KI-Entwicklungstool diese Skill ohne Interaktion für einen Änderungs-PR ausführen (planned <PR-Nummer> --auto). Der Prüfungstyp (Abhängigkeitsupdate, Sicherheitskorrektur, Quellcodeänderung) spielt keine Rolle.

Punkte, die bei interaktiver Ausführung durch den Benutzer bestätigt worden wären, werden im Abschnitt „Bei nicht-interaktiver Ausführung gefundene, zu bestätigende Punkte“ des Berichts (im Folgenden „Zu bestätigen“) festgehalten. Der Verantwortliche kümmert sich bei der PR-Review um die „Zu bestätigen“-Punkte im veröffentlichten Bericht im Issue.

2.3.1 Konfigurationsdatei

  • Für die nicht-interaktive Ausführung wird die Konfigurationsdatei patch-regression-reports/auto-settings.md vorausgesetzt. Die Vorlage ist templates/auto-settings-template.md.
  • Abbruch, wenn der PR die Konfigurationsdatei ändert. Enthält die Liste der geänderten Dateien im PR (z. B. git diff --name-only <Vergleichsbranch>...HEAD) die Konfigurationsdatei, wird die Arbeit nicht begonnen, abgebrochen und mitgeteilt, dass eine interaktive Ausführung erforderlich ist. Dies verhindert, dass der PR selbst den Erlaubnisbereich ändern kann.
  • Speichern. Wenn Readiness oder geplante Prüfung interaktiv ausgeführt wurde, werden am Ende die vom Benutzer beantworteten Inhalte in der Konfigurationsdatei zusammengefasst. Vor dem Speichern wird der Inhalt dem Benutzer gezeigt und die Bestätigung eingeholt. Für Punkte, die nicht direkt erfragt wurden, wird der Benutzer gefragt, anstatt geraten zu werden. Wenn bereits eine Konfigurationsdatei existiert, werden die Änderungen gezeigt und die Bestätigung für die Aktualisierung eingeholt.
  • Keine Konfigurationsdatei oder falsches Format vorhanden. --auto kann nicht verwendet werden. Die Arbeit wird nicht begonnen, der Grund wird mitgeteilt und beendet.
  • --auto aktualisiert die Konfigurationsdatei nicht. Wenn Änderungen an der Konfiguration erforderlich erscheinen, werden sie unter „Zu bestätigen“ vermerkt.

2.3.2 Behandlung von Bestätigungspunkten

Bei --auto werden die Punkte aus „1.7: Wartebereiche für Benutzerbestätigung“ wie folgt behandelt, anstatt den Benutzer zu fragen:

BestätigungspunktBehandlung bei Nicht-Interaktivität
Szenario und Ziel-PRAls geplante Prüfung behandeln. PR verwendet die Nummer aus dem Argument. Wenn keine Nummer vorhanden, abbrechen
Speichern/Aktualisieren der KonfigurationsdateiNicht durchführen. Änderungspunkte unter „Zu bestätigen“ vermerken
BefehlserklärungDa es keinen Gesprächspartner gibt, werden die ausgeführten Befehle und ihre Inhalte im Bericht protokolliert
InformationswidersprücheUnter „Zu bestätigen“ vermerken und basierend auf Repository-Inhalten fortfahren
Fehlende EingabeinformationenAls Restrisiko protokollieren
App-TypWert aus Konfigurationsdatei verwenden. Bei Abweichung von der Schätzung aus dem Quellcode unter „Zu bestätigen“ vermerken und mit dem Wert aus der Konfigurationsdatei fortfahren
Vorschlag für Prüfumfang, zu prüfende Elemente für Umfang 3, Liste der Breaking Changes, zu testende ÄnderungsstellenMit dem Vorschlag und der Liste fortfahren. Festlegung unter „Zu bestätigen“ vermerken, erfolgt durch den Verantwortlichen bei der PR-Review
Auszuschließende Teststufen, ob V9: Parallelverarbeitung und Ressourcen geprüft werden sollWerte aus Konfigurationsdatei verwenden
Zu implementierender UmfangDer Strategie der Konfigurationsdatei folgen
Toolauswahl ohne TestmechanismusIn der Konfigurationsdatei protokolliertes Tool verwenden
Hinzufügen von Bibliotheken zum TestenNur die in der Erlaubnisliste der Konfigurationsdatei enthaltenen hinzufügen. Andere nicht hinzufügen und unter „Zu bestätigen“ vermerken
Hinzufügen zur Liste instabiler TestsNicht durchführen. Kandidaten unter „Zu bestätigen“ vermerken
Installation von Bibliotheken, netzwerkbasierte Sicherheitsscans/statische CodeanalyseDer Erlaubnis der Konfigurationsdatei folgen. Wenn keine Erlaubnis vorhanden, nicht durchführen und als „Im CI bestätigen“ protokollieren
Tests mit langer LaufzeitDer Strategie der Konfigurationsdatei folgen. Wenn keine Strategie vorhanden, CI überlassen
Ob Unterschiede wie erwartet, Aktualisierung der ErwartungswerteNicht entscheiden. Erwartungswerte nicht aktualisieren. Bei Unterschieden unter „Zu bestätigen“ vermerken
Veröffentlichung von Kommentaren in Issues und PRsDurchführen. Bestätigung vor der Veröffentlichung weglassen
Erstellung von Issues, falls kein auslösendes Issue vorhandenErstellen. Bestätigung vor der Erstellung weglassen

3. Eingabeinformationen prüfen

Gemäß der Tabelle in Richtlinie „Kapitel 7: Vor Arbeitsbeginn zu sammelnde Informationen“ (I1–I14) werden die für die Arbeit notwendigen Informationen zusammengestellt.

3.1 Zu prüfende Punkte

SzenarioZu prüfende Punkte
Dringende ReaktionAlle I1–I13. Bei Quellcode-Änderungen I5 um die Differenz des Änderungs-PRs erweitern
ReadinessI7, I8, I8a, I9, I10, I13
Geplante PrüfungJe nach Prüfungstyp gemäß Tabelle „Bei geplanter Prüfung verwendete Informationen“ aus Richtlinie „Kapitel 7: Vor Arbeitsbeginn zu sammelnde Informationen“ (Abhängigkeitsupdate: I3–I11, I13; Sicherheitskorrektur: I1–I11, I13; Quellcodeänderung: I5–I11, I13, I14). Zusätzlich das auslösende Issue und den Zeitpunkt der Änderungsanwendung

I11 (Staging-Umgebung) ist für Prüfumfang 2 und 3 obligatorisch. I12 (Anforderungszeit und Frist) wird nur bei dringender Reaktion verwendet.

3.2 Informationssammlung

  • Vom Repository selbst gesammelte Informationen. Die folgenden Informationen werden durch Lesen des Ziel-Repositories gesammelt:
    • I3: Versionen vor/nach der Aktualisierung (Vergleich der Abhängigkeitsdateien des Vergleichs-Branches und des aktuellen Branches. Bei Laufzeitumgebungs-Updates auch Dateien aus „3.3: Status prüfen“ vergleichen)
    • I5: Quellcode-Differenz vor/nach der Aktualisierung. Bei Quellcode-Änderungen die PR-Differenz
    • I6: Abhängigkeitsbaum, gemeinsam aktualisierte transitive Abhängigkeiten
    • I7: Sprache, App-Typ, externe Verbindungen
    • I8, I8a: Aktuelle Tests, GitHub Actions-Workflows, Coverage-Berichte
  • Von außen übergebene Informationen. Die folgenden Informationen werden von anderen Prozessen gesammelt (Richtlinie „7.1: Ablageort für Sicherheitslückeninformationen und Patch-Änderungen”). Sie werden mit dem Befehl gh gelesen. Die Identifizierung des Issues folgt „2.1: Startmethode” im Abschnitt „Ziel-Issue (Veröffentlichungsort)”.
    1. Sicherheitslückeninformationen (I1, I2; dringend und geplant bei Sicherheitskorrektur). Aus dem Issue mit der CVE-Nummer im Titel gelesen.
    2. Ergebnisse der statischen Codeanalyse (I14; geplant bei Quellcodeänderung). Aus dem Issue mit dem Titel „Statische Codeanalyse” und der Kennung des Hinweises gelesen.
    3. Issue für regelmäßige Abweichungsprüfung (geplant bei Abhängigkeitsupdate). Aus dem Issue mit dem Titel „Regelmäßige Abweichungsprüfung” und dem Namen des Aktualisierungsziels gelesen.
    4. Patch-Änderungsinhalt (I4, I5). Aus der Beschreibung des PRs mit dem Patch oder der Änderung (z. B. Dependabot-PR) gelesen.
    5. Zeitpunkt der Änderungsanwendung (geplant). Aus dem auslösenden Issue (1–3) gelesen.
    6. Wenn nicht gefunden oder gh nicht verfügbar (z. B. nicht authentifiziert), wird der Benutzer gebeten, die Informationen im Gespräch zu übergeben.
  • Vom Benutzer zu erfragende Informationen. I9 (Leistungsbaseline), I10 (auszuschließende Teststufen), I11 (Staging-Umgebung), I12 (Anforderungszeit und Frist), I13 (Organisation) werden vom Benutzer erfragt, wenn sie im Repository oder Issue nicht gefunden werden. I13 ist obligatorisch, da es die Stelle für Beurteilung und Bestätigung betrifft; es wird nicht fortgefahren, bis eine Antwort vorliegt.

3.3 Status prüfen

Dieser Abschnitt wird bei dringender Reaktion und geplanter Prüfung durchgeführt. Bei Readiness wird er übersprungen.

  • Patch wurde angewendet. Es wird vorausgesetzt, dass die Skill gestartet wird, nachdem der Branch des PRs mit dem Patch oder der Änderung abgerufen wurde. Der Vergleichs-Branch und der aktuelle Branch werden verglichen, um sicherzustellen, dass der Patch angewendet wurde.
    • Bei Bibliotheksaktualisierungen werden die Abhängigkeitsdateien verglichen.
    • Bei Aktualisierungen der Laufzeitumgebung/des OS/Middleware (Prüfumfang 3) werden zusätzlich die Dateien Dockerfile, die Laufzeitumgebungsangaben im Workflow (Versionen von setup-java usw.) und Dateien, die die Laufzeitumgebungsversion angeben (.java-version, .python-version, .nvmrc, global.json usw.), verglichen.
    • Bei der Behebung von Hinweisen aus der statischen Codeanalyse wird sichergestellt, dass die Datei und Zeile des Hinweises (I14) in der PR-Differenz enthalten sind.
    • Wenn der Patch nicht angewendet wurde, wird der Benutzer informiert und die Arbeit gestoppt.
  • Extern korrigierter Quellcode. Es wird überprüft, ob die PR-Differenz Änderungen am App-Quellcode enthält. Wenn ja, werden die geänderten Dateien und Stellen protokolliert. Unabhängig vom Auslöser werden diese zum Testgegenstand hinzugefügt (Richtlinie „2.4: Gemeinsame Tests für alle Prüfumfänge“).
  • Vergleichs-Branch. Der in „Kapitel 8: Testausführung und Vergleich“ verwendete Vergleichs-Branch wird überprüft und dem Benutzer angezeigt. Der Vergleichs-Branch ist der Merge-Ziel-Branch des PRs. Wenn ein anderer Workflow gemäß einer anderen Richtlinie einen anderen Branch als Vergleich angibt, wird diesem gefolgt.
  • Informationswidersprüche. Bei Abweichungen zwischen den übergebenen Informationen und dem Repository-Inhalt (z. B. die im Issue angegebene Version nach der Aktualisierung stimmt nicht mit der Lock-Datei überein) wird der Benutzer gefragt.

3.4 Behandlung fehlender Informationen

Gemäß Richtlinie „Kapitel 7: Vor Arbeitsbeginn zu sammelnde Informationen“.

SzenarioBehandlung
Dringende ReaktionFehlende, aber erforderliche Informationen werden dem Benutzer (Verantwortlicher des Entwicklungsteams) als Liste angezeigt, und es wird auf eine sofortige Entscheidung gewartet. Es wird nicht fortgefahren, bis eine Antwort vorliegt
ReadinessFehlende Informationen werden als Restrisiko im Bericht protokolliert
Geplante PrüfungFehlende Informationen werden als Restrisiko im Bericht protokolliert und die Arbeit fortgesetzt

Fehlende Informationen und erhaltene Entscheidungen werden im Bericht protokolliert.

3.5 Protokollierung

Die gesammelten Informationen und ihre Quellen (Repository-Dateiname, Issue/PR-Nummer, Gespräch usw.) werden zu Beginn des Berichts in „Kapitel 9: Berichtsausgabe und Issue-Veröffentlichung“ protokolliert.

4. Zielanwendung analysieren

4.1 Sprache und Build-Tool

Sprache und Build-Tool werden anhand der Abhängigkeitsdateien bestimmt.

DateiSprache/Build-Tool
pom.xml/build.gradle*Java (Maven/Gradle)
pyproject.toml/requirements*.txt/poetry.lockPython
package.json/package-lock.json/tsconfig.jsonTypeScript
*.csproj/*.sln/packages.lock.jsonC#

4.2 App-Typ

Der App-Typ wird anhand des Starteinstiegspunkts (Web-Framework, main-Funktion/Job-Definition, UI-Framework usw.) geschätzt. Der geschätzte Typ wird dem Benutzer aus einer Liste von Optionen zur Auswahl angezeigt, mit Begründung und der Bitte um Bestätigung. Wenn die Schätzung falsch ist, wählt der Benutzer neu.

  • Optionen: Backend, Batch-Verarbeitung, Web-Frontend, Desktop-App (bei mehreren Rollen mehrere auswählen)

4.3 Inventur der aktuellen Tests und CI

  • Tests. Das verwendete Test-Framework, die Anzahl pro Testtyp (Unit, Integration, E2E, Vertrag, Leistung) und deren Speicherort sowie die Testausführungsbefehle werden ermittelt.
  • CI. Das Verzeichnis .github/workflows/ wird gelesen. Es wird überprüft, ob Tests im CI ausgeführt werden und ob ein Mechanismus (Richtlinie „3.1.1: Vorbereitungsniveau“, P7) zum Ausführen derselben Tests vor und nach dem Patch und zum Vergleichen der Ergebnisse vorhanden ist. Die Workflows werden nur gelesen, nicht geändert.
  • Instabile Tests. Es wird überprüft, ob eine Liste instabiler Tests (patch-regression-reports/flaky-tests.md) vorhanden ist.
  • Externe Verbindungen. Externe Interaktionen (DB, API, Dateien usw.) werden identifiziert. Dies wird zur Bestimmung des Zielumfangs für Vertragstests verwendet.

4.4 Diagnose des Vorbereitungsniveaus

Für P1–P11 aus Richtlinie „3.1.1: Vorbereitungsniveau“ wird jeweils beurteilt, ob sie „vorhanden“, „nicht vorhanden“ oder „ausgeschlossen mit Begründung“ sind, und in einer Tabelle mit Begründung zusammengefasst. Darauf aufbauend wird das Vorbereitungsniveau der App (L0–L3) bestimmt.

Die Bedingung für das Vorbereitungsniveau ist, dass es „im CI läuft“. Daher wird nicht allein aufgrund der Existenz von Tests oder Scans im Repository auf „vorhanden“ geschlossen. Erst nach Überprüfung, dass sie tatsächlich im in „4.3: Inventur der aktuellen Tests und CI“ gelesenen Workflow ausgeführt werden, wird „vorhanden“ angenommen. Im Repository vorhandene, aber nicht im CI ausgeführte Elemente werden als „nicht vorhanden (im CI nicht ausgeführt)“ eingestuft.

Bei geplanten Prüfungen wird, falls ein vorheriger Bericht einer Readiness oder geplanten Prüfung in patch-regression-reports/ vorhanden ist, mit dem aktuellsten verglichen, um festzustellen, ob das Vorbereitungsniveau gesunken ist. Wenn ja, wird die Notwendigkeit, es im Rahmen der Readiness zu verbessern, unter „Restrisiko und Mängelliste – Vom Team zu beheben“ aufgeführt.

4.5 Liste der Aufrufstellen

Eine Liste der Stellen im Quellcode der App, die externe Bibliotheken aufrufen, wird erstellt (Richtlinie „3.1.1: Vorbereitungsniveau“, P4).

SzenarioZiel
Dringende Reaktion/Geplante PrüfungDie zu aktualisierende Bibliothek (einschließlich transitive Abhängigkeiten, die direkt von der App aufgerufen werden)
ReadinessAlle direkten Abhängigkeiten der Bibliothek
  • Wenn in „3.3: Status prüfen“ extern korrigierter Quellcode gefunden wird, werden unabhängig vom Szenario die korrigierten Stellen und die Prozesse, die diese Stellen aufrufen, ebenfalls zum Ziel hinzugefügt.
  • Für jede Aufrufstelle wird überprüft, ob ein Test diese Stelle durchläuft. Die Entscheidung wird durch Lesen des Testcodes (und unterstützend durch Coverage-Berichte, falls vorhanden) getroffen.
  • Die Liste wird in patch-regression-reports/call-sites.md gespeichert. Wenn bereits vorhanden, wird der Inhalt an den aktuellen Quellcode angepasst.

4.6 Protokollierung

Die Ergebnisse von „4.1: Sprache und Build-Tool“ bis „4.5: Liste der Aufrufstellen“ werden im Bericht in „Kapitel 9: Berichtsausgabe und Issue-Veröffentlichung“ protokolliert.

5. Prüfumfangsvorschlag

Dieses Kapitel wird bei dringender Reaktion und geplanter Prüfung durchgeführt. Die Festlegung des Prüfumfangs obliegt dem Verantwortlichen des Entwicklungsteams; diese Skill erstellt lediglich einen Vorschlag.

5.1 Prüfungstyp (nur geplant)

Aus dem auslösenden Issue und dem PR wird der Typ gemäß Richtlinie „3.5.1: Auslöser und Arten der Prüfung“ (Abhängigkeitsupdate, Sicherheitskorrektur, Quellcodeänderung) bestimmt. Enthält ein PR mehrere Typen, wird jeder wie folgt behandelt.

5.2 Entscheidungsverfahren

  • Abhängigkeitsupdate/Sicherheitskorrektur und dringende Reaktion. Die Entscheidung erfolgt gemäß dem Ablaufdiagramm in Richtlinie „2.2: Entscheidungsverfahren“, mit Begründung für jede Verzweigung. Als Begründung werden die Versionen vor/nach der Aktualisierung (I3), Release-Notes/Changelog/Migrationsleitfaden (I4), Quellcode-Differenzen vor/nach der Aktualisierung (I5) und der Abhängigkeitsbaum (I6) verwendet.
    • Wenn sich auch die Versionen transitiver Abhängigkeiten ändern, werden diese ebenfalls als Aktualisierungen betrachtet und der größte Prüfumfang angewendet (Richtlinie „2.3: Entscheidungshinweise“).
    • Änderungen der Signatur werden mit den sprachspezifischen Überprüfungsmethoden der technischen Standards überprüft. Die Befehle werden vor der Ausführung erläutert. Wenn der Build das Herunterladen von Abhängigkeitsbibliotheken erfordert, wird gemäß dem Anfang von „Kapitel 8: Testausführung und Vergleich“ die Benutzererlaubnis eingeholt.
  • Quellcodeänderung (geplant). Der Prüfumfang wird nicht verwendet. Die in „3.3: Status prüfen“ protokollierten Änderungsstellen und die Prozesse, die diese Stellen aufrufen, werden als Testziele in einer Liste aufgeführt. Es wird auch protokolliert, ob der Hinweis eine Sicherheitslücke betrifft (für C5-Entscheidung).

5.3 Wenn Änderungen nicht überprüft werden können

Wenn bei einer Aktualisierung über mehrere Versionen hinweg die Änderungen pro Version in den Release-Notes oder Diffs nicht überprüft werden können, wird der Prüfumfang gemäß Richtlinie „2.1.1: Wenn Änderungen nicht überprüft werden können“ basierend auf dem Versionssprung festgelegt. Die nicht überprüfbare Version wird als Begründung angegeben.

5.4 Für Prüfumfang 3 zu prüfende Elemente

Bei Prüfumfang 3 wird basierend auf dem Inhalt der Aktualisierung entschieden, welche der Elemente aus Prüfumfang 2 in Richtlinie „2.5: Zusätzliche Tests nach Prüfumfang“ betroffen sind.

  • Bei Aktualisierungen ohne API-Änderungen der Bibliothek (z. B. Aktualisierung des Container-Basis-Images) gibt es kein Ziel für „Analyse der Verhaltensunterschiede der Bibliothek“ und „Liste der Breaking Changes“. Dies wird als „Nicht zutreffend (Grund)“ angegeben.
  • Bei Aktualisierungen mit API-Änderungen der Bibliothek (z. B. Framework-Versionssprünge) werden alle Elemente des Prüfumfangs 2 berücksichtigt.
  • Wenn die Umgebungsüberprüfung für Prüfumfang 3 (Richtlinie „3.3: CI-Automatisierung der Umgebungsüberprüfung für Prüfumfang 3“) nicht in das CI integriert ist, wird dies in der Mängelliste als „Vom Team zu beheben“ und der Vorschlag als „Entscheidung ausstehend“ markiert. Der Workflow für diese Umgebungsüberprüfung darf von dieser Skill nicht erstellt werden.

5.5 Liste der Breaking Changes (Prüfumfang 2 & 3)

Der Migrationsleitfaden wird pro Major-Version gelesen und eine Liste der Breaking Changes erstellt. Auch Aktualisierungen, die zwei oder mehr Major-Versionen überspringen, werden als ein einziger PR behandelt. Die Liste wird nach Versionen getrennt, um bei Auftreten von Unterschieden nachvollziehen zu können, auf welche Version sie zurückzuführen sind. Die Liste wird in „Kapitel 6: Identifizierung fehlender Tests“ und bei der Klassifizierung von Unterschieden in „8.5: Behandlung von Unterschieden“ verwendet. Wenn der Migrationsleitfaden nicht in der PR-Beschreibung enthalten ist, wird der Benutzer gebeten, ihn zu übergeben.

5.6 Abgleich mit dem Vorbereitungsniveau (nur dringend)

  • Basierend auf dem ermittelten Prüfumfang und dem in „4.4: Diagnose des Vorbereitungsniveaus“ ermittelten Vorbereitungsniveau wird eine Einschätzung gegeben, ob die Bearbeitung innerhalb der Frist (ca. 12h für Testaddition/Ausführung, 24h bis Stage-Deployment) abgeschlossen werden kann. Wenn die Vorbereitung unzureichend ist und eine Fertigstellung innerhalb der Frist unwahrscheinlich, wird der Benutzer gemäß Richtlinie „3.1.1: Vorbereitungsniveau“ auf die Notwendigkeit einer Eskalation vom Teamleiter an die übergeordnete Stelle hingewiesen.
  • Bei Prüfumfang 3, wenn die Umgebungsüberprüfung nicht in das CI integriert ist, wird gemäß Richtlinie „4.2: Behandlung von Prüfumfang 3 bei dringender Reaktion“ auf die Notwendigkeit einer Eskalation hingewiesen. Systemstopp oder Fristüberschreitung werden von dieser Skill nicht entschieden.

5.7 Festlegung und Protokollierung

Dem Benutzer (Verantwortlicher des Entwicklungsteams) werden der Prüfungstyp, der Vorschlag für den Prüfumfang, die für Prüfumfang 3 zu prüfenden Elemente, die Liste der Breaking Changes und die zu testenden Änderungsstellen angezeigt; es wird nicht fortgefahren, bis sie bestätigt sind. Der bestätigte Inhalt, die Entscheidungsgründe und die bestätigende Person werden im Bericht in „Kapitel 9: Berichtsausgabe und Issue-Veröffentlichung“ protokolliert.

6. Fehlende Tests identifizieren

6.1 Vergleichsgrundlage

SzenarioGrundlage
Dringende Reaktion/Geplante PrüfungRichtlinie „2.4: Gemeinsame Tests für alle Prüfumfänge“ und die Richtlinie für den festgelegten Prüfumfang „2.5: Zusätzliche Tests nach Prüfumfang“ (bei Prüfumfang 3 die unter „5.4: Für Prüfumfang 3 zu prüfende Elemente“ identifizierten). Bei extern korrigiertem Quellcode die korrigierten Stellen und die Tests für die aufrufenden Prozesse
ReadinessElemente aus Richtlinie „3.1.1: Vorbereitungsniveau“ P1–P11 bis zu dem vom Benutzer gewählten Niveau

Bei Abweichungen zwischen den Grundlagen im Einzelfall wird im Zweifel die umfassendere Prüfung gewählt und dem Benutzer mitgeteilt.

Unabhängig vom Szenario werden die Prüfpunkte V1–V11 aus der Richtlinie „Kapitel 5: Prüfpunkte-Checkliste“ als Perspektive für das Testdesign verwendet. Die sprachspezifischen Überprüfungsmethoden folgen den technischen Standards...

[...]

Verwandte Skills