手動テスト計画 は何をしますか?
このブランチを実行中のアプリで確認するための計画を作成します。この計画は、自動テストでは確認できないこと、つまり変更が実際のデータ、実際のフロー、ユーザーが到達できるすべての状態でどのように見え、どのように動作するかをカバーします。
すべてのケースは、それを解決できる担当者に割り当てられます。ブラウザを操作するエージェント、iOSシミュレーターを操作するエージェント、または人間です。エージェントが解決できることはすべてエージェントに与えてください。人間にしか解決できないケースについては、まずエージェントがリハーサルとして試行し、人が時間を費やす前に明白な問題を見つけ、人がどこを見るべきかを把握できるようにします。
アプリでケースを実行するにはコストがかかります。ブラウザを操作するエージェントは、同じチェックのためにコードテストよりもはるかに多くのトークンを消費し、人間は数分を費やします。そのため、計画は小さく的を絞っています。重要なバグを露呈する可能性が最も高いケースのみを含め、コードテストで同等にカバーできるものは含めません。良い計画は、全体を実行できるほど短くあるべきです。
同じ理由で、計画の作成と実行は後半に行います。コードを読むレビュー、それらが導く修正とリファクタリング、そしてコードテストが整った後です。その後、計画はマージされるコードに対して1回実行され、それ以前のパスですでに安価なチェックが行われています。コードがまだ変更中である場合は、計画の先頭にその旨を記載してください。計画の実行後にコードが変更された場合は、再度実行する必要があるケース、「Catches」行が変更されたコードを指しているケースを特定してください。
ローカルメモ。 このファイルと同じ場所に LOCAL.md という名前のファイルがある場合は、開始する前にそれを読んでください。これには、ユーザーが作業するプロジェクト向けの独自のデフォルト設定(コマンド、ホスト、アカウント、パス)が含まれており、公開されるスキルの一部ではありません。それが対象のプロジェクトをカバーしている場合は、プロジェクトの指示の一部とみなされます。カバーしていない場合は無視してください。
変更内容を収集する
リクエストでベースブランチが指定されている場合があります。指定がない場合は、次の順序で選択します。
- ブランチのプルリクエストのベースブランチ(存在する場合):
gh pr view --json baseRefName --jq .baseRefName。 - リポジトリのデフォルトブランチ:
git symbolic-ref --short refs/remotes/origin/HEAD。 origin/main、次にmain。
同じ名前のローカルブランチよりも、リモート追跡ref(origin/<branch>)を使用してください。まだコミットされていない作業も含めます。
base=$(git merge-base <base> HEAD)
git diff --stat "$base" # コミット済み + ステージング済み + 未ステージング
git diff "$base"
git status --short # 未追跡ファイルはdiffに含まれません。読み取ってください
git log --oneline "$base"..HEAD
diffに含まれない3つの情報源を読む
diffは変更内容を示します。変更の目的、人々がすでに確認した問題点、この会話で決定されたことは示しません。ケースを選択する前に、これら3つすべてを読んでください。これらは背景情報ではなく必須の入力です。計画は何を読んだかを報告し、各情報源がどのように計画を形成したかを示します。
1. プルリクエストとそのコメント
pr=$(gh pr view --json number --jq .number)
gh pr view --json title,body,baseRefName
for kind in "issues/$pr/comments" "pulls/$pr/reviews" "pulls/$pr/comments"; do
gh api "repos/{owner}/{repo}/$kind" --paginate --jq '.[]
| select(.user.type != "Bot" and (.body // "") != "")
| {id, reply_to: .in_reply_to_id, user: .user.login, path, line: (.line // .original_line), body}'
done
3つのリストは、会話コメント、レビューサマリー、およびdiffの行に対するインラインコメントであり、ボットの出力は除外されています。ボットは通常、デプロイメントリンクが配置される場所なので、別途それを探してください。デプロイされた環境は計画が実行される場所ではありません(以下の「ローカルビルドのテスト」を参照)。リンクは比較用およびフォールバック用です。
gh api "repos/{owner}/{repo}/issues/$pr/comments" --paginate \
--jq '.[] | select(.user.type == "Bot") | .body' | grep -oE 'https?://[^ )|>"]+' | sort -u
説明、すべての人間のコメント、および作成者の返信を読んでください。説明内の報告はコメント内のものと同じようにカウントされます。そこから以下を取得します。
- 誰かがアプリで見たもの: 誤った値、終わらない状態、壊れたフロー、スクリーンショット。それぞれが、その報告を正確に再テストするケースになります(コードがその後変更されたかどうかは問いません)。その後、同じ障害が他にどこに現れる可能性があるか(兄弟画面、別の方法で到達する同じ状態)を尋ね、そこでのケースを検討します。
- レビューで提起された動作に関する疑念(「表示されている順序と一致しない可能性がある」など):それぞれは候補ケースであり、コードの読者がすでにそれを疑っていたため、可能性が高いと評価されます。
- 説明内のテストノート: 作成者がテストしたと言っているもの、テストしなかったと言っているもの。コミットログ(
git log --format='%h %ad %s' --date=short "$base"..HEAD)に対してノートの日付を確認します。後のコミットが同じコードに触れる前にテストされたものは、現在の形式ではテストされていません。最後の手動テスト以降に着地したコミットが、計画が最初に狙うべき場所です。 - デプロイされた環境へのリンク: ブランチ自体のデプロイメントとベースのデプロイメント。並べて比較するために使用します。
- スレッドで下された動作に関する決定。 これらは期待される結果を確定します。
2. Issue
ブランチ名、コミットサブジェクト、プルリクエストのタイトルまたは本文、またはプルリクエスト上のトラッカーボットのコメントからIssue IDを見つけます。プロジェクトの指示で指定されたトラッカーを使用し、利用可能なツールを使用して検索します。説明、受け入れ基準、議論、および添付されたスクリーンショットや再現手順を読んでください。そこから以下を取得します。
- 元の報告。 Issueがバグを説明している場合、その再現手順が計画の最初のケースになります。報告された通りの手順で、修正された動作を期待される結果とします。Issueがタイトルだけであったり、読めないスレッドや添付ファイルを指している場合は、その旨を述べ、タイトルとプルリクエストの説明からケースを再構築し、再構築されたものとしてマークします。
- 各受け入れ基準。 すべては、計画内のケース、それをカバーするコード内の名前付きテスト、または理由とともに除外されたもののリストの3つの場所のいずれかに配置されなければなりません。
- Issueが指定する影響を受けるユーザー、データ、およびプラットフォーム。 これは、テストするデータの形状とデバイスを示します。
- 関連Issue。 同じ領域が別の方法で失敗していることを説明している場合。
3. これまでの会話
この会話を書く前にさかのぼって読んでください。そこから以下を取得します。
- レビュー結果: 最初に現在のツリーに対してそれぞれを確認します(修正されている可能性があるため)。実行中のアプリでの確認が必要な結果はケースになります(修正を確認するもの、または修正されなかった場合の障害を示すもの)。コードテストで特定できる結果は、ケースではなく、作成するテストのリストに配置します。
- 以前のレビューパスからの「未検証」リストと手動検証手順。 これらはアプリでチェックするために作成されたものです。これらは最も直接的な入力です。
- ユーザーが変更について述べたこと: 懸念している部分、言及した状態、すでに手動でテストしたもの、時間をかけるなと言ったもの。表明された懸念はケースの評価を引き上げます。「私はそれを確認しました」はそれを取り除きます。
- 会話の中で下された動作に関する決定。 これらは、コードだけでは未解決のままの期待される結果を確定します。
- 会話中にコードで変更されたもの。 このセッションで作成または書き直されたコードは、最もテストが行われていません。
会話に関連するものが何もない場合は、計画にその旨を述べてください。あったふりをしないでください。
情報源を読めない場合
gh が存在しないかサインインしていない場合、ブランチにプルリクエストがない場合、Issueがリンクされていない場合、またはトラッカーに到達できない場合は、あるもので続行してください。計画の先頭で、読まれなかった各情報源を挙げ、計画がそれらの情報源が持っていたものを見逃す可能性があることを述べてください。diffのみから構築された計画を完全なものとして提示しないでください。
計画に影響を与えるその他を読む
-
アプリをローカルで実行する方法: プロジェクトで文書化されたローカルビルドのコマンド、接続先のバックエンド、使用するポート。テスト環境、テストアカウント、フィーチャーフラグ、およびアプリが提供されるプラットフォーム(Web、iOS、Android)に関するプロジェクトの指示を読んでください。
-
自動テストがカバーする範囲: diff内のテストを読み、テストがすでに特定していることに誰の時間も費やさないようにします。
-
ここでエージェントが持つツール: 操作可能なブラウザ、デバイスシミュレーター。Orcaでは、これらは組み込みブラウザ(
orca-cliスキル)とiOSシミュレーター(orca-emulatorスキル、Androidの場合はorca-emulator-android)です。また、以下も探してください。- エージェントが操作できるスクリーンリーダー。 例えば
voiceoverスキルは、実際のmacOS VoiceOverをページに対して実行し、その発言を返します。 - スクリプト化されたブラウザ。 組み込みブラウザではできないことのため(インストールされたブラウザを持つPlaywright)。例えば、組み込みブラウザはシステムクリップボードにコピーを配置しない場合があるため、何がコピーされたかを確認するには、エージェントがクリップボードを読み取れるブラウザが必要です。
このセッションでどれが利用可能かをメモし、計画はセットアップでその旨を述べます。
- エージェントが操作できるスクリーンリーダー。 例えば
デプロイされたブランチではなく、ローカルビルドをテストする
すべてのケースを、ワーキングツリーのローカルビルドに対して計画します。デプロイされた機能環境またはプレビュー環境には、コミットされてプッシュされたものしか含まれていません。これは、作業中のコードに遅れを取り、未コミットの変更を表示できず、テスト中に行われた修正は、そこで再テストする前にコミットとプッシュが必要になります。ローカルビルドは現在のコードをそのまま表示し、修正はすぐに再テストできます。
したがって、計画のセットアップでは以下を指定します。
- アプリをローカルでビルドして起動する方法。 プロジェクトのドキュメントの正確なコマンド、実行するディレクトリ、および提供されるURL。他のセッションまたはワークツリーがアプリを実行している可能性がある場合は、空きポートを選択する方法を指定します。
- ローカルビルドが接続するバックエンド。 ステージングまたはテストバックエンドでなければならず、本番環境であってはなりません。本番環境を指すローカルビルドは、モックされたものや注文を含むすべてのケースを、実際の顧客のシステムに対して実行します。プロジェクトには環境ごとに1つのコマンドがあることがよくあります(例えば
stageスクリプトとprodスクリプト)。計画ではステージングのものを指定し、本番環境のものを使用してはならないと明示的に述べてください。プロジェクトのドキュメントでどのコマンドがどのバックエンドをターゲットにしているかが明確でない場合は、ビルド構成から確認し、それでも不明な場合は、停止してユーザーに質問してください。推測しないでください。 - 最初のケースの前にバックエンドを確認する方法。 実行中のアプリがリクエストを送信する場所(ネットワークログ内のAPIコールのホスト、または構成されたAPI URL)を確認し、それがステージングホストであることを確認します。計画は期待されるホストを指定します。本番環境ホストである場合は、停止してください。サインインせず、ケースを実行しないでください。
- ビルドが現在のコードであることを確認する方法。 最後の変更後にワーキングツリーから起動し、さらに変更があった場合は再ビルドまたはリロードします。アプリがバージョンまたはコミットを表示する場合は、それを確認します。
- 実行終了時に停止する方法。
デプロイされた環境は、以下の場合にのみ使用します。
- ベースとの比較: ベースブランチのデプロイメントとブランチのローカルビルドを並べて表示するケース。
- ローカルビルドで表示できないもの。 デプロイメント自体に関するケース(ビルドされたアセット、キャッシュ、デプロイされたサイトをラップするネイティブアプリなど)。そのようなケースの前に、ワーキングツリーがクリーンでプッシュされていること、およびデプロイメントがそのコミットを提供していることを確認し、ケースにその旨を述べてください。
- アプリをローカルでビルドできない場合のフォールバック。 計画の先頭でその理由を述べ、デプロイメントが提供するコミットと、ワーキングツリーに含まれているがデプロイメントに欠けているものを記載します。
同じルールが計画で使用されるデプロイされた環境にも適用されます。ステージングデプロイメントであり、本番環境であってはなりません。ブランチにステージングと本番の両方のデプロイメントがある場合は、計画にはステージングのURLのみを記載してください。
何をテストするか決める
-
ユーザーが異なる方法で見たり実行したりできるものをリストアップします。 diff内の各変更を、それを表示する画面とフローに外側に向かってトレースします。共有コードの変更は、それを使用するすべての画面に影響します。呼び出し元を検索し、ブランチが対象としていなかったものも含めてすべてリストアップします。
-
それぞれについて、実行中のアプリが必要かどうかを判断します。 コードテストでそれを解決できるかどうかを尋ねてください。すでに存在する場合は除外します。簡単に解決できる場合(純粋関数、デコーダー、ソート順序、状態が与えられたビュー関数、状態遷移)、ケースから除外し、代わりに作成するテストのリストに配置します。そのチェックはその後、変更のたびに無料で実行され、アプリ内のケースは実行ごとにコストがかかります。コードテストが到達できないか、信頼されないものだけを保持します。実際のバックエンドからの実際のデータがどのように通過するか、実際のブラウザで何がレンダリングされレイアウトされるか、個別にテストされた部分が結合されたときにどのように動作するか、実際のリクエストのタイミングと順序、実際のナビゲーション後のアプリの状態、および支援技術に提供されるもの。
-
状態を見つけます。 各画面について、可能な分岐(ロード済み、ロード中、空、エラー、データ欠落または部分的、ゼロと負の値、非常に長い値、1つのアイテムと多数、表示を変更する各設定またはモード、各アカウントまたはユーザータイプ)のコードを読みます。diffが触れる状態を保持します。
-
各状態に到達する方法を決定します。 ナビゲーションパスを指定し、必要なデータを、存在が確認されていないアカウントではなく、その形状で説明します(「2つのアカウントで保持され、そのうちの1つに購入コストがない商品」)。実際のデータで到達するのが難しい状態については、どのように生成できるか(フィーチャーフラグ、書き換えられたレスポンス、スロットルされたネットワーク、設定)を説明するか、特定のテストアカウントが必要であるとマークします。
ケースが書き換えられたレスポンスに依存する場合、計画は書き換えを再現可能にする必要があります。
reference/mocks.mdにその方法が記載されています。各ケースに、アカウントのデータの運に依存しない方法を提供してください。実際のデータにその状態が不足している可能性がある場合は、それをオンにするアプリ内のコントロール(設定、トグル、別のアカウント)を指定するか、
reference/mocks.mdに従って書き換えを設定する方法を説明し、そこで指定されたデータ形状を使用します。
…
[翻訳のために切り詰められました]