Teste de Regressão de Patch (patch-regression-test)
1. Visão Geral e Premissas
1.1 Propósito
Verificar se as funcionalidades existentes da aplicação são preservadas (confirmação de não impacto) após a aplicação de patches ou correções. Para isso, identificar e implementar testes ausentes no aplicativo alvo, comparar os resultados antes e depois do patch e compilar os resultados em um relatório postado no Issue.
Esta skill é utilizada nos três cenários a seguir das diretrizes:
- Resposta Urgente. Realizar a confirmação de não impacto de um patch de CVE solicitado com urgência por outro processo, dentro do prazo estipulado.
- Preparação Permanente em Tempos Normais. Diagnosticar o nível de prontidão da aplicação e preparar antecipadamente os testes ausentes (tanto na primeira vez quanto nas subsequentes).
- Inspeção Planejada. Após a preparação permanente inicial, realizar a confirmação de não impacto para correções feitas por ferramentas externas ou pessoas (atualizações de dependências, correções de vulnerabilidades, correções de código-fonte).
1.2 Diretrizes e Padrões Técnicos
- Antes de iniciar o trabalho, leia obrigatoriamente os dois documentos a seguir:
references/guideline.md(doravante "Diretrizes"): O que deve ser cumprido (classificação, condições de aprovação/reprovação, papéis, regras de julgamento)references/standards.md(doravante "Padrões Técnicos"): Como cumprir (ferramentas, métodos de verificação, métricas, nomes de arquivos)
- Os critérios de julgamento seguem as Diretrizes e os métodos seguem os Padrões Técnicos. Em caso de discrepância entre esta skill, os Padrões Técnicos e as Diretrizes, as Diretrizes prevalecem.
- Os termos (escopo de verificação, preparação permanente em tempos normais, inspeção planejada, teste funcional, pontos de chamada, teste instável, aprovação provisória, etc.) seguem as definições da seção "1.5: Terminologia" das Diretrizes.
- No repositório de destino, esta skill deve ser colocada em
.github/skills/patch-regression-test/(local acessível tanto pelo GitHub Copilot quanto pelo Devin).
1.3 O que esta skill faz
- Análise do aplicativo alvo (linguagem, tipo de aplicativo, testes atuais e CI, pontos de chamada)
- Diagnóstico do nível de prontidão (seção "3.1.1: Nível de Prontidão" das Diretrizes)
- Criação de uma proposta de escopo de verificação (seção "Capítulo 2: Classificação de Patches e Critérios de Verificação" das Diretrizes)
- Identificação de testes ausentes
- Implementação de código de teste. A introdução de bibliotecas para executar os testes é feita com permissão do usuário
- Execução dos testes e comparação dos resultados antes e depois do patch (explicar o conteúdo do comando antes de executá-lo)
- Geração do relatório de teste de regressão e postagem de um comentário no Issue (se houver um PR, também comentar o link do Issue no PR)
- Criação de um Issue caso não exista um Issue motivador (feito com permissão)
- Registro da aprovação do líder (verificar com a aprovação do PR e deixar como comentário no Issue)
1.4 O que esta skill não faz
As seguintes ações não são realizadas, mesmo que solicitadas ou autorizadas pelo usuário. Orientar o responsável.
| O que não fazer | Responsável |
|---|---|
| Aplicar patches, modificar o código-fonte da aplicação (incluindo atualizações de versão de dependências, correções de alterações disruptivas, correções de vulnerabilidades, correções de apontamentos de análise estática, correções para escrever testes) | Outras ferramentas como Dependabot/Devin, ou pessoas |
| Configuração do ambiente para executar a aplicação (instalação/configuração do ambiente de execução/middleware). Exceto a introdução de bibliotecas para executar testes | Pessoas, ou o CI de cada equipe |
| Alteração/adição de workflows | Cada equipe (seguindo diretrizes definidas separadamente) |
| Commit/push | A ferramenta que chamou a skill, ou pessoas |
| Coleta de informações de vulnerabilidades, julgamento da necessidade de resposta urgente, execução de análise estática de código | Outro processo |
| Implantação | CD existente de cada equipe |
| Determinação do escopo de verificação, aprovação de diferenças esperadas, aprovação de PRs | Líder da equipe de desenvolvimento |
| Decisão de lançamento em caso de reprovação de desempenho, decisão de exceder o prazo | Gerente sênior ou superior |
| Decisão de parada/bloqueio do sistema | Fluxo de tomada de decisão definido separadamente |
1.5 Entregáveis
| Entregável | Local de armazenamento |
|---|---|
| Código de teste | Seguir o local dos testes existentes do aplicativo alvo |
| Lista de pontos de chamada | patch-regression-reports/call-sites.md do aplicativo alvo |
| Lista de testes instáveis | patch-regression-reports/flaky-tests.md do aplicativo alvo |
| Arquivo de configuração para execução sem interação | patch-regression-reports/auto-settings.md do aplicativo alvo |
| Relatório de teste de regressão | Dentro do diretório de recursos de teste do aplicativo alvo, em patch-regression-reports/ (nome conforme Padrões Técnicos) |
| Comentário do relatório | Issue motivador. Se houver múltiplos Issues relacionados, em todos ("9.4: Postagem de comentários em Issues e PRs") |
| Comentário do link para o relatório | PR alvo (se houver PR) |
| Comentário do registro de aprovação | Issue motivador ("Capítulo 10: Registro de Aprovação") |
Os arquivos são salvos no repositório até este ponto; o commit é deixado para a ferramenta ou pessoa que chamou a skill.
1.6 Fluxo de Trabalho
flowchart TD
S2[2. Inicialização e Cenário] --> J0{Cenário}
J0 -- Registro de aprovação --> S10[10. Registro de aprovação]
J0 -- Resposta urgente / Preparação permanente / Inspeção planejada --> S3[3. Confirmação das informações de entrada]
S3 --> S4[4. Análise do aplicativo alvo]
S4 --> J{Cenário}
J -- Resposta urgente / Inspeção planejada --> S5[5. Proposta de escopo de verificação]
J -- Preparação permanente --> S6[6. Identificação de testes ausentes]
S5 --> S6
S6 --> S7[7. Implementação dos testes]
S7 --> S8[8. Execução e comparação dos testes]
S8 --> S9[9. Geração do relatório e postagem no Issue]
1.7 Pontos que exigem confirmação do usuário
Nos seguintes pontos, apresentar a proposta e a justificativa, solicitar confirmação ao usuário e não prosseguir até obter resposta. No caso de execução sem interação (--auto), seguir a seção "2.3: Execução sem interação (apenas para inspeção planejada)".
Ao solicitar confirmação, perguntar também o nome e a função da pessoa que irá julgar (ex: líder da equipe de desenvolvimento).
- Confirmação do cenário e alvo (número CVE/PR), nível de prontidão alvo para preparação permanente ("Capítulo 2: Inicialização e Cenário")
- Salvar/atualizar o arquivo de configuração ("2.3: Execução sem interação (apenas para inspeção planejada)")
- Tratamento de informações contraditórias ou ausentes ("3.3: Confirmação do estado" / "3.4: Tratamento de informações ausentes")
- Tipo de aplicativo ("4.2: Tipo de aplicativo")
- Proposta de escopo de verificação, itens a serem direcionados no escopo 3, lista de alterações disruptivas, pontos de correção a serem testados ("Capítulo 5: Proposta de escopo de verificação")
- Níveis de teste a serem excluídos, se V9: Concorrência e Recursos deve ser direcionado ("6.2: O que confirmar com o usuário")
- Escopo a ser implementado ("6.4: Seleção do escopo de implementação")
- Adição de bibliotecas para executar testes, seleção de ferramentas quando não há mecanismo de teste ("7.1: Princípios de implementação")
- Adição à lista de testes instáveis ("7.2: Implementação por tipo de teste" / "8.4: Isolamento de falhas")
- Instalação de bibliotecas para executar testes, varredura de vulnerabilidades usando rede/análise estática de código, execução local de testes de longa duração ("Capítulo 8: Execução e comparação dos testes")
- Se as diferenças encontradas na execução dos testes são esperadas, atualização de valores esperados ("8.5: Tratamento de diferenças")
- Criação de Issue, postagem de comentários em Issue e PR ("9.4: Postagem de comentários em Issues e PRs")
2. Inicialização e Cenário
2.1 Método de inicialização
Receber o cenário como argumento na inicialização.
| Cenário | Exemplo de argumento |
|---|---|
| Resposta urgente | urgent CVE-2026-12345 (para múltiplos CVEs ao mesmo tempo, urgent CVE-2026-12345 CVE-2026-23456) |
| Preparação permanente | readiness |
| Inspeção planejada | planned 123 (123 é o número do PR da correção. Opcional) |
| Execução de inspeção planejada sem interação | planned 123 --auto |
| Registro de aprovação | approve 123 (123 é o número do PR) |
- PR alvo. Para resposta urgente, inspeção planejada e registro de aprovação, assume-se que um PR contendo o patch ou correção foi criado antes de iniciar a skill (criado por Dependabot, Devin ou pessoa).
- Issue alvo (local de postagem). Identificar o Issue para postagem do relatório de acordo com o cenário. Se houver múltiplos Issues relacionados, todos são alvo.
- Resposta urgente: Issue cujo título contém o número CVE alvo (Diretrizes "7.1: Local de armazenamento de informações de vulnerabilidade e conteúdo do patch")
- Inspeção planejada: Issue vinculado ao PR. Se não houver, procurar por título padrão ("Verificação de discrepância periódica", "Análise estática de código"). Se não encontrar, criar
- Preparação permanente: Não há Issue, então criar
- Registro de aprovação: Issue vinculado ao PR
- Se não houver argumento, perguntar ao usuário qual o cenário.
- Mesmo se houver argumento, mostrar o cenário e o alvo recebidos (CVE, PR, Issue de postagem) ao usuário, obter confirmação e prosseguir. Para
--auto, seguir "2.3: Execução sem interação (apenas para inspeção planejada)". - PR de inspeção planejada. Se o número do PR for omitido, identificar o PR correspondente ao branch atual usando
gh, mostrar ao usuário e obter confirmação. --autosó pode ser usado para inspeção planejada (planned). Se--autofor especificado para outro cenário, informar que não é possível e mudar para execução interativa.
2.2 Trabalho por cenário
| Cenário | Capítulos percorridos | O que fazer no "Capítulo 8: Execução e comparação dos testes" |
|---|---|---|
| Resposta urgente | Capítulos 3 a 9 | Execução isolada dos testes adicionados, comparação antes/depois do patch, execução dos testes comuns a todos os escopos da seção "2.4: Testes comuns a todos os escopos" das Diretrizes |
| Preparação permanente | Capítulos 3, 4, 6 a 9 (não realizar capítulo 5) | Execução isolada dos testes adicionados, execução de C1 a C4 dentre os testes comuns a todos os escopos da seção "2.4: Testes comuns a todos os escopos" das Diretrizes (não realizar C1 de comparação de árvore de dependências e C5/C7, pois não há alvo de comparação ou vulnerabilidade) |
| Inspeção planejada | Capítulos 3 a 9 | Execução isolada dos testes adicionados, comparação antes/depois da correção, execução dos testes comuns a todos os escopos da seção "2.4: Testes comuns a todos os escopos" das Diretrizes |
| Registro de aprovação | Apenas capítulo 10 | Não realizar |
- Substituição do termo "patch". Na inspeção planejada, substituir "patch" por "correção" em toda esta skill (ex: "antes do patch" vira "antes da correção").
- Alvo da preparação permanente. Solicitar ao usuário que escolha até qual nível de prontidão preparar (ex: até L2).
- Visualização do tempo na resposta urgente. Imediatamente após confirmar o horário de solicitação de início (I12) da resposta urgente na "Seção 3: Confirmação das informações de entrada", exibir os prazos (24 horas para deploy em staging, 48 horas para produção, estimativa de 12 horas para adição e execução de testes). A partir daí, ao final de cada capítulo, reportar o tempo decorrido ao usuário e registrar no relatório.
- Quando o prazo pode ser excedido (resposta urgente). Não omitir confirmações. Informar ao usuário que o prazo pode ser excedido e que é necessário escalonamento do líder da equipe de desenvolvimento para o gerente sênior ou superior, e registrar no relatório em "Itens que necessitam escalonamento".
- Em tempos normais não há prazo. Na preparação permanente e inspeção planejada, não exibir prazos nem reportar tempo decorrido. Também não usar aprovação provisória.
2.3 Execução sem interação (apenas para inspeção planejada)
Na inspeção planejada, ferramentas de desenvolvimento de IA podem executar esta skill sem interação para um PR de correção (planned <número do PR> --auto). O tipo de inspeção (atualização de dependência, correção de vulnerabilidade, correção de código-fonte) não importa.
Os itens que seriam decididos com confirmação humana na execução interativa são registrados na seção "Itens que necessitam confirmação encontrados durante execução sem interação" (doravante "itens a confirmar") do relatório. O responsável lida com os "itens a confirmar" do relatório postado no Issue durante a revisão do PR.
2.3.1 Arquivo de configuração
- A execução sem interação depende do arquivo de configuração
patch-regression-reports/auto-settings.md. O modelo étemplates/auto-settings-template.md. - Se o PR estiver alterando o arquivo de configuração, abortar. Se a lista de arquivos alterados no PR (ex:
git diff --name-only <branch de origem>...HEAD) incluir o arquivo de configuração, abortar sem iniciar o trabalho, informar que é necessária execução interativa e encerrar. Isso é para evitar que o próprio PR altere o escopo da permissão. - Salvamento. Ao executar preparação permanente ou inspeção planejada de forma interativa, ao final, compilar as respostas do usuário no arquivo de configuração. Mostrar o conteúdo ao usuário antes de salvar, obter confirmação e salvar. Para itens não perguntados no momento, não preencher com suposições, mas perguntar ao usuário. Se já houver um arquivo de configuração, mostrar as alterações e obter confirmação para atualização.
- Se não houver arquivo de configuração, ou se o formato estiver incorreto.
--autonão pode ser usado. Abortar sem iniciar o trabalho, informar o motivo e encerrar. --autonão atualiza o arquivo de configuração. Se perceber que algo na configuração deve ser alterado, registrar nos "itens a confirmar".
2.3.2 Tratamento dos pontos de confirmação
No caso de --auto, nos "Pontos que exigem confirmação do usuário" da seção "1.7", tratar da seguinte forma em vez de perguntar ao usuário.
| Ponto de confirmação | Tratamento sem interação |
|---|---|
| Cenário e PR alvo | Tratar como inspeção planejada. Usar o número do argumento como PR. Se não houver número, abortar |
| Salvar/atualizar arquivo de configuração | Não realizar. Itens a alterar registrar em "itens a confirmar" |
| Explicação do comando | Como não há ninguém para explicar, registrar o comando executado e seu conteúdo no relatório |
| Informações contraditórias | Registrar em "itens a confirmar" e prosseguir com base no conteúdo do repositório |
| Informações de entrada ausentes | Registrar como risco residual |
| Tipo de aplicativo | Usar o valor do arquivo de configuração. Se houver discrepância com a estimativa do código-fonte, registrar em "itens a confirmar" e prosseguir com o valor do arquivo de configuração |
| Proposta de escopo de verificação, itens a direcionar no escopo 3, lista de alterações disruptivas, pontos de correção a testar | Prosseguir com a proposta e a lista. Registrar a confirmação em "itens a confirmar", a ser feita pelo líder na revisão do PR |
| Níveis de teste a excluir, se V9: Concorrência e Recursos deve ser direcionado | Usar o valor do arquivo de configuração |
| Escopo de implementação | Seguir a política do arquivo de configuração |
| Seleção de ferramenta quando não há mecanismo de teste | Usar a ferramenta registrada no arquivo de configuração |
| Adição de bibliotecas para executar testes | Adicionar apenas aquelas na lista de permissão do arquivo de configuração. Não adicionar outras e registrar em "itens a confirmar" |
| Adição à lista de testes instáveis | Não realizar. Registrar candidatos em "itens a confirmar" |
| Instalação de bibliotecas, varredura de vulnerabilidades com rede/análise estática de código | Seguir a permissão do arquivo de configuração. Se não houver permissão, não realizar e registrar como "confirmar no CI" |
| Testes de longa duração | Seguir a política do arquivo de configuração. Se não houver política, deixar para o CI |
| Se as diferenças são esperadas, atualização de valores esperados | Não julgar. Não atualizar valores esperados. Se houver diferenças, registrar em "itens a confirmar" |
| Postagem de comentários em Issue e PR | Realizar. Pular a confirmação antes da postagem |
| Criação de Issue quando não há Issue motivador | Criar. Pular a confirmação antes da criação |
3. Confirmação das informações de entrada
De acordo com a tabela (I1 a I14) da seção "Capítulo 7: Informações a coletar antes de iniciar" das Diretrizes, reunir as informações necessárias para o trabalho.
3.1 Itens a confirmar
| Cenário | Itens a confirmar |
|---|---|
| Resposta urgente | Todos de I1 a I13. Se incluir correção de código-fonte, incluir o diff do PR da correção em I5 |
| Preparação permanente | I7, I8, I8a, I9, I10, I13 |
| Inspeção planejada | Conforme tabela "Informações usadas na inspeção planejada" da seção "Capítulo 7: Informações a coletar antes de iniciar" das Diretrizes, de acordo com o tipo de inspeção (atualização de dependência: I3 a I11, I13; correção de vulnerabilidade: I1 a I11, I13; correção de código-fonte: I5 a I11, I13, I14). Junto, o Issue motivador e a época de aplicação da correção |
I11 (ambiente de staging) é obrigatório para escopos 2 e 3. I12 (horário de solicitação de início e prazo) é usado apenas na resposta urgente.
3.2 Como coletar informações
- Informações coletadas do repositório pela própria skill. As seguintes informações são coletadas lendo o repositório do aplicativo alvo.
- I3: Versões antes e depois da atualização (comparar arquivos de dependência do branch de origem e do branch atual. Para atualização de ambiente de execução, comparar também os arquivos da seção "3.3: Confirmação do estado")
- I5: Diff do código-fonte antes e depois da atualização. Se incluir correção de código-fonte do aplicativo, o diff do PR
- I6: Árvore de dependências, dependências indiretas atualizadas em conjunto
- I7: Linguagem, tipo de aplicativo, destinos de conexão externa
- I8/I8a: Testes atuais, workflows do GitHub Actions, relatórios de cobertura
- Informações passadas externamente. As seguintes informações são coletadas por outro processo (Diretrizes "7.1: Local de armazenamento de informações de vulnerabilidade e conteúdo do patch"). Ler usando o comando
gh. O método de identificação do Issue segue a seção "2.1: Método de inicialização" em "Issue alvo (local de postagem)".- Informações de vulnerabilidade (I1, I2. Resposta urgente e correção de vulnerabilidade em inspeção planejada). Ler do Issue cujo título contém o número CVE.
- Resultado da análise estática de código (I14. Correção de código-fonte em inspeção planejada). Ler do Issue cujo título contém "Análise estática de código" e o identificador do apontamento.
- Issue de verificação de discrepância periódica (Atualização de dependência em inspeção planejada). Ler do Issue cujo título contém "Verificação de discrepância periódica" e o nome do alvo da atualização.
- Conteúdo da alteração do patch (I4, I5). Ler da descrição do PR contendo o patch ou correção (ex: PR do Dependabot).
- Época de aplicação da correção (Inspeção planejada). Ler do Issue motivador de 1 a 3.
- Se não encontrar, ou se
ghnão puder ser usado (não autenticado, etc.), solicitar que o usuário forneça em conversa.
- Informações a perguntar ao usuário. I9 (linha de base de desempenho), I10 (níveis de teste a excluir), I11 (ambiente de staging), I12 (horário de solicitação de início e prazo), I13 (estrutura de equipe) são perguntados ao usuário se não forem encontrados no repositório ou Issue. I13 é obrigatório, pois é o destino da solicitação de julgamento e aprovação; não prosseguir até obter resposta.
3.3 Confirmação do estado
Esta seção é realizada para resposta urgente e inspeção planejada. Pular na preparação permanente.
- Que o patch foi aplicado. A skill é iniciada assumindo que o branch do PR contendo o patch ou correção foi obtido. Comparar o branch de origem e o branch atual para confirmar que o patch foi aplicado.
- Para atualização de biblioteca, comparar arquivos de dependência.
- Para atualização de ambiente de execução/OS/middleware (escopo 3), comparar também
Dockerfile, especificação do ambiente de execução no workflow (versões comosetup-java), arquivos que especificam a versão do ambiente de execução (.java-version,.python-version,.nvmrc,global.json, etc.). - Para correção de apontamento de análise estática de código, confirmar que o arquivo e linha do apontamento (I14) estão incluídos no diff do PR.
- Se não aplicado, reportar ao usuário e parar o trabalho.
- Código-fonte corrigido externamente. Verificar se o diff do PR inclui alterações no código-fonte do aplicativo. Se incluir, registrar o arquivo e local corrigidos. Independentemente do motivo, adicionar como alvo de teste (Diretrizes "2.4: Testes comuns a todos os escopos").
- Branch de origem. Confirmar o branch de origem a ser usado no "Capítulo 8: Execução e comparação dos testes" e mostrar ao usuário. O branch de origem é o branch de destino do merge do PR. Se o workflow definido em diretrizes separadas especificar um branch diferente como origem, seguir esse.
- Informações contraditórias. Se as informações fornecidas e o conteúdo do repositório divergirem (ex: versão após atualização no Issue e o arquivo lock não coincidirem), confirmar com o usuário.
3.4 Tratamento de informações ausentes
Seguir a seção "Capítulo 7: Informações a coletar antes de iniciar" das Diretrizes.
| Cenário | Tratamento |
|---|---|
| Resposta urgente | Listar as informações obrigatórias ausentes e mostrar ao usuário (líder da equipe de desenvolvimento), aguardando decisão imediata. Não prosseguir até obter resposta |
| Preparação permanente | Registrar as informações ausentes como risco residual no relatório |
| Inspeção planejada | Registrar as informações ausentes como risco residual no relatório e prosseguir com o trabalho |
Registrar as informações ausentes e as decisões recebidas no relatório.
3.5 Registro
Registrar as informações coletadas e suas fontes (nome do arquivo no repositório, número do Issue ou PR, conversa, etc.) no início do relatório do "Capítulo 9: Geração do relatório e postagem no Issue".
4. Análise do aplicativo alvo
4.1 Linguagem e ferramenta de build
Determinar a linguagem e a ferramenta de build a partir dos arquivos de dependência.
| Arquivo | Linguagem / Ferramenta de build |
|---|---|
pom.xml / build.gradle* | Java (Maven/Gradle) |
pyproject.toml / requirements*.txt / poetry.lock | Python |
package.json / package-lock.json / tsconfig.json | TypeScript |
*.csproj / *.sln / packages.lock.json | C# |
4.2 Tipo de aplicativo
Estimar o tipo de aplicativo a partir do ponto de entrada (framework Web, definição de main function ou job, framework de interface, etc.). Mostrar ao usuário o tipo estimado com base nas opções, anexando a justificativa e solicitando confirmação. Se a estimativa estiver errada, o usuário escolhe novamente.
- Opções: Backend / Processamento em lote / Frontend Web / Aplicativo desktop (selecionar múltiplos se aplicável)
4.3 Inventário de testes e CI atuais
- Testes. Investigar o framework de teste utilizado, a quantidade e localização por tipo de teste (unitário, integração, E2E, contrato, desempenho) e o comando para executar os testes.
- CI. Ler
.github/workflows/, verificar se os testes são executados no CI e se há um mecanismo para executar os mesmos testes antes e depois do patch e comparar os resultados (P7 da seção "3.1.1: Nível de Prontidão" das Diretrizes). Apenas ler o workflow, não modificar. - Testes instáveis. Verificar se existe a lista de testes instáveis (
patch-regression-reports/flaky-tests.md). - Destinos de conexão externa. Identificar interações externas, como bancos de dados, APIs, arquivos, etc. Usar para determinar alvos de teste de contrato.
4.4 Diagnóstico do nível de prontidão
Para P1 a P11 da seção "3.1.1: Nível de Prontidão" das Diretrizes, determinar se cada um é "Presente", "Ausente" ou "Excluído com registro do motivo" e tabular com justificativa. Em seguida, determinar o nível de prontidão do aplicativo (L0 a L3).
A condição para o nível de prontidão é "estar em execução no CI". Portanto, apenas ter testes ou varreduras no repositório não é considerado "Presente". Confirmar que estão realmente sendo executados nos workflows lidos em "4.3: Inventário de testes e CI atuais" antes de considerar "Presente". Itens que estão no repositório mas não executados no CI são considerados "Ausente (não executado no CI)".
Na inspeção planejada, se houver relatórios de preparação permanente ou inspeção planejada anteriores em patch-regression-reports/, comparar com o mais recente e registrar se o nível de prontidão diminuiu. Se diminuiu, registrar a necessidade de preparação como preparação permanente em "Riscos residuais e lista de pendências: a ser tratado pela equipe".
4.5 Lista de pontos de chamada
Criar uma lista dos pontos no código-fonte do aplicativo que chamam bibliotecas externas (P4 da seção "3.1.1: Nível de Prontidão" das Diretrizes).
| Cenário | Alvo |
|---|---|
| Resposta urgente / Inspeção planejada | Biblioteca sendo atualizada (incluindo dependências indiretas atualizadas em conjunto que são chamadas diretamente pelo aplicativo) |
| Preparação permanente | Todas as bibliotecas de dependência direta |
- Se código-fonte corrigido externamente for encontrado na "3.3: Confirmação do estado", adicionar também os pontos corrigidos e os processos que os chamam como alvo, independentemente do cenário.
- Para cada ponto de chamada, verificar se há um teste que o percorre. Julgar lendo o conteúdo do código de teste; usar relatórios de cobertura como auxílio, se disponíveis.
- Salvar a lista em
patch-regression-reports/call-sites.md. Se já existir, atualizar o conteúdo de acordo com o código-fonte atual.
4.6 Registro
Registrar os resultados das seções "4.1: Linguagem e ferramenta de build" a "4.5: Lista de pontos de chamada" no relatório do "Capítulo 9: Geração do relatório e postagem no Issue".
5. Proposta de escopo de verificação
Este capítulo é realizado para resposta urgente e inspeção planejada. A determinação do escopo de verificação é feita pelo líder da equipe de desenvolvimento; esta skill apenas cria uma proposta.
5.1 Tipo de inspeção (apenas para inspeção planejada)
A partir do Issue motivador e do PR, determinar o tipo da seção "3.5.1: Motivos e tipos de inspeção" das Diretrizes (atualização de dependência, correção de vulnerabilidade, correção de código-fonte). Se um PR contiver múltiplos tipos, realizar o seguinte para cada um.
5.2 Procedimento de julgamento
- Atualização de dependência, correção de vulnerabilidade e resposta urgente. Julgar de acordo com o fluxograma da seção "2.2: Procedimento de julgamento" das Diretrizes, mostrando a justificativa para cada ramificação. Usar a versão antes e depois da atualização (I3), notas de versão/histórico de alterações/guia de migração (I4), diff do código-fonte antes e depois da atualização (I5) e árvore de dependências (I6) como justificativa.
- Se a versão de dependências indiretas também mudar, julgar essas dependências indiretas que mudam como alvo da atualização e ajustar ao maior escopo de verificação (Diretrizes "2.3: Pontos de atenção no julgamento").
- Verificar alterações de assinatura usando os métodos de verificação por linguagem dos Padrões Técnicos. Explicar o conteúdo do comando antes de executá-lo. Se o build envolver download de bibliotecas de dependência, obter permissão do usuário conforme o início do "Capítulo 8: Execução e comparação dos testes".
- Correção de código-fonte (inspeção planejada). Não usar escopo de verificação. Listar os pontos de correção registrados na "3.3: Confirmação do estado" e os processos que os chamam como alvo de teste. Registrar também se o apontamento é de vulnerabilidade (usado para necessidade de C5).
5.3 Quando as alterações não podem ser verificadas
Em atualizações que abrangem várias versões, quando as alterações não podem ser verificadas versão por versão por meio de notas de versão ou diffs, determinar o escopo de verificação com base no incremento de versão, conforme a seção "2.1.1: Quando as alterações não podem ser verificadas" das Diretrizes. Escrever na justificativa qual versão não pôde ser verificada.
5.4 Itens a direcionar no escopo 3
No escopo 3, julgar quais itens do escopo 2 da seção "2.5: Testes adicionais por escopo de verificação" das Diretrizes são alvo, com base no conteúdo da atualização.
- Em atualizações que não envolvem alterações de API de bibliotecas (ex: atualização de imagem base de contêiner), "Análise de diferenças de comportamento do lado da biblioteca" e "Lista de alterações disruptivas" não têm alvo. Considerar "Não aplicável (motivo)".
- Em atualizações que envolvem alterações de API de bibliotecas, como atualizações de série de frameworks, direcionar todos os itens do escopo 2.
- Se a verificação de ambiente para escopo 3 (Diretrizes "3.3: Automação de CI para verificação de ambiente para escopo 3") não estiver incorporada ao CI, considerar como "a ser tratado pela equipe" na lista de pendências e a proposta como "aguardando julgamento". Esta skill não deve criar este workflow de verificação de ambiente.
5.5 Lista de alterações disruptivas (Escopos 2 e 3)
Ler o guia de migração para cada versão major e criar uma lista de alterações disruptivas. Atualizações que abrangem duas ou mais versões major são tratadas como um único PR, mas a lista é separada por versão para que, quando surgirem diferenças, seja possível isolar a qual versão a alteração pertence. A lista é usada no "Capítulo 6: Identificação de testes ausentes" e na classificação de diferenças na seção "8.5: Tratamento de diferenças". Se o guia de migração não estiver na descrição do PR, solicitar ao usuário que o forneça.
5.6 Verificação com o nível de prontidão (apenas para resposta urgente)
- Com base no escopo de verificação determinado e no nível de prontidão determinado na "4.4: Diagnóstico do nível de prontidão", mostrar a expectativa se é possível concluir a resposta dentro do prazo (estimativa de 12 horas para adição e execução de testes, 24 horas para deploy em staging). Se a preparação for insuficiente e não for possível concluir dentro do prazo, informar ao usuário que é necessário escalonamento do líder para o gerente sênior ou superior, conforme a seção "3.1.1: Nível de Prontidão" das Diretrizes.
- No escopo 3, se a verificação de ambiente não estiver incorporada ao CI, indicar que é necessário escalonamento, conforme a seção "4.2: Quando tratar escopo 3 como resposta urgente" das Diretrizes. Esta skill não julga parada do sistema ou excedente de prazo.
5.7 Confirmação e registro
Mostrar ao usuário (líder da equipe de desenvolvimento) o tipo de inspeção, a proposta de escopo de verificação, os itens a direcionar no escopo 3, a lista de alterações disruptivas e os pontos de correção a testar, e não prosseguir até que sejam confirmados. Registrar o conteúdo confirmado, o motivo do julgamento e a pessoa que confirmou no relatório do "Capítulo 9: Geração do relatório e postagem no Issue".
6. Identificação de testes ausentes
6.1 Critérios de comparação
| Cenário | Critérios |
|---|---|
| Resposta urgente / Inspeção planejada | Testes comuns a todos os escopos da seção "2.4: Testes comuns a todos os escopos" das Diretrizes e testes adicionais por escopo da seção "2.5: Testes adicionais por escopo de verificação" das Diretrizes para o escopo confirmado (para escopo 3, aqueles direcionados em "5.4: Itens a direcionar no escopo 3"). Se houver código-fonte corrigido externamente, incluir testes para os pontos corrigidos e processos que os chamam |
| Preparação permanente | Itens até o nível de prontidão escolhido pelo usuário dentre P1 a P11 da seção "3.1.1: Nível de Prontidão" das Diretrizes |
Se os critérios divergirem em um caso específico, em caso de dúvida, tender para uma verificação mais ampla e informar isso ao usuário.
Em qualquer cenário, usar V1 a V11 da seção "Capítulo 5: Lista de verificação de pontos de verificação" das Diretrizes como perspectivas ao projetar os testes. Os métodos de verificação para cada perspectiva seguem os Padrões Técnicos...
[truncated for translation]