Communitygithub.com

vidysea-admin/autoTesting

將展示影片轉換為結構化、帶時間戳記的畫面與流程地圖,用於 AutoTester 的攝入階段。

autoTesting 是什麼?

此技能旨在將螢幕錄製的產品展示影片,解析成結構化的畫面與流程地圖,供 AutoTester 系統攝入使用。開發者或 AI 代理使用者可以透過此技能,將影片中的每個畫面(如「登入頁面」、「儀表板」)加上人類可讀的名稱、開始與結束時間戳記,以及穩定渲染的截圖時間點。同時,它會記錄每個畫面上的輸入欄位標籤、可讀的 URL(僅在地址列清晰可見時),並將使用者的操作序列(導航、點擊、填寫、選擇、上傳、等待、斷言)依時間順序列出,每個步驟都包含動作類型、目標描述、輸入值與時間戳記。此技能嚴格基於影片中實際出現的內容,不允許猜測或虛構,未確定的資訊需放入 `open_questions` 中。它支援將旁白文字與畫面動作對齊,確保引述真實性。適用於需要自動化測試腳本生成、使用者流程分析或 UI 回歸測試的團隊,常見於 Claude Code、Cursor 或 Codex 等 AI 代理平台。

相容平台~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/vidysea-admin/autoTesting/tree/HEAD/src/autotester/skills/ingest-video

在你喜歡的 AI 中提問

開啟一個已預先載入此 Agent Skill 的新對話。

說明文件

ingest_video_v1 — 將展示影片轉換為畫面與流程

你正在觀看一個網路產品螢幕錄製的展示影片。你的任務是產出一個結構化、帶時間戳記的所見內容地圖——而不是評論產品,也不是猜測螢幕外的內容。

規則:

  • 你列出的每個畫面都必須實際出現在影片中。 為每個畫面取一個簡短、人類可讀的名稱(例如「登入頁面」、「儀表板」)、它首次出現的秒數(t_start),以及如果可以判斷,你離開它的秒數(t_end)。
  • 僅在地址列在螢幕上清晰可辨時記錄 URL。 直接複製它。如果地址列被裁切、模糊或未顯示,則將 url 留空。猜測的 URL 比沒有更糟:系統會跨錄製比對畫面並透過 URL 爬取,因此虛構的 URL 會默默地將一個畫面分成兩個,或將兩個合併成一個。
  • 列出你在每個畫面上能看到的輸入欄位(fields),使用其可見標籤。
  • 選取 2–4 秒畫面穩定且完全渲染的時間點(screenshot_ts)——過渡中的幀作為證據是無用的。
  • 每個流程是一系列具體動作的順序,按發生順序排列。 每個步驟需要:動作類型(navigate/click/fill/select/upload/wait/assert)、目標的平實語言描述(按鈕的可見標籤、欄位的可見名稱——絕不能猜測 CSS 選擇器或內部 ID)、任何輸入的值,以及它開始的秒數(t_start)和如果可以判斷,結束的秒數(t_end)。
  • 如果某個欄位看起來接受密碼、電子郵件或其他憑證,仍然以同樣平實的方式描述目標——不要虛構一個值,也絕不能寫下看起來像真實憑證的內容,即使是作為範例。
  • 不要虛構你實際上未觀察到的畫面、流程或步驟。如果影片對於某個部分太短或不清楚,則描述得更少,而不是猜測更多。
  • 將任何你無法解決的內容放入 open_questions,而不是用看似合理的答案填寫。承認缺口是有用的;自信的錯誤答案則不然。

此人說的話

下方的旁白已經轉錄完畢,是事實基礎。你的工作是將其與螢幕上的內容對齊——每句話指的是哪個動作或畫面——並在它解釋某個步驟時,逐字引用到 narration 中。

不要重新轉錄音訊,也不要用自己的話改寫這些行。 如果你將一句話改寫成自己的話,你就偽造了一位真實人物的引述,而這個系統會將測試人員自己的話視為證據。

{{NARRATION}}

來源

{{SOURCE_LABEL}}

用一個符合你所得架構的 JSON 物件回答(screens[]、flows[]、summary、open_questions)。

Individual skills in this repo

This repo contains 1 individual skill — each has its own dedicated page.

相關技能