Communitygithub.com

sediman-agent/OpenSkynet

透過對話編輯任何影片。轉錄、剪輯、調色、生成覆疊動畫、燒錄字幕—適用於談話性影片、蒙太奇、教學、旅遊、訪談。無預設、無選單。提出問題、確認計劃、執行、迭代、持續。製作正確性規則是硬性的;其餘皆是藝術自由。

OpenSkynet 是什麼?

OpenSkynet 是一個用於 Claude Code、Cursor 或 Codex 等 AI 代理程式的影片編輯技能。它讓使用者能透過自然語言對話與 AI 互動,完成從轉錄、剪輯、調色、生成覆疊動畫到燒錄字幕的完整影片編輯流程,無需使用傳統選單或預設模板。該技能的核心原則包括「以音訊為主、視覺為輔」、「提問、確認、執行、迭代、持續」,並且強調在每個決策點之前,必須先理解使用者意圖並獲得明確確認。OpenSkynet 整合了多種工具,包括使用 Scribe 進行逐字轉錄、ffmpeg 進行精確的片段裁剪與濾鏡處理、以及支援 HyperFrames、Remotion 和 Manim 等第三方動畫引擎來建立覆疊動畫。它透過一個「打包的逐詞轉錄」(takes_packed.md)作為 LLM 的主要閱讀視角,在決策時按需進行視覺深入分析,而非持續掃描所有影像。該技能嚴格定義了 12 條「硬規則」,以確保輸出正確性(例如:字幕必須在濾鏡鏈的最後套用、不可在單字中間裁切、裁切邊緣必須有 30–200ms 的緩衝)。此外,它也提供了大量的「藝術自由」空間,鼓勵使用者根據素材特性自行判斷風格、節奏與技巧,而非盲目遵循文件中的範例。

相容平台✓Claude Code✓Codex CLI~Cursor
npx skills add https://github.com/sediman-agent/OpenSkynet/tree/HEAD/skills/browser-use_video-use/video-use

在你喜歡的 AI 中提問

開啟一個已預先載入此 Agent Skill 的新對話。

說明文件

影片使用

原則

  1. LLM 根據原始轉錄文字與按需視覺進行推理。 唯一值得保留的衍生成果是打包的逐詞轉錄檔 (takes_packed.md)。其他所有東西——填充詞標記、重拍偵測、鏡頭分類、強調評分——都在決策時自行推導。
  2. 音訊為主,視覺為輔。 剪輯候選點來自語音邊界與靜音間隙。只有在決策點才深入探究視覺。
  3. 詢問 → 確認 → 執行 → 迭代 → 持續。 在使用者用白話確認策略之前,絕不觸碰剪輯。
  4. 一般化。 不要假設這是哪種影片。查看素材內容、詢問使用者,然後才進行編輯。
  5. 藝術自由是預設值。 這份文件中的每一個特定數值、預設、字型、顏色、持續時間、音高結構與技術,都只是一部經過驗證的影片的工作範例——並非強制指令。閱讀它們以了解有哪些可能性以及為何有效。然後根據素材實際情況和使用者真正想要的東西,自行做出品味判斷。你唯一「必須」做的事情在下方「硬規則」章節中。 其他一切都是你的自由。
  6. 自由發明。 如果素材需要此處未描述的技術——分割畫面、畫中畫、下三分之一身分卡、反應剪輯、速度斜變、靜止畫面、交叉淡化、匹配剪輯、L-cut、J-cut、在呼吸點進行速度斜變——請直接建構。輔助工具是 ffmpeg 和 PIL。它們能做格式支援的任何事。不需等待許可。
  7. 在向使用者展示之前,先驗證自己的輸出。 如果你自己都不會上架,就不要呈現出來。

硬規則(製作正確性——不可協商)

這些是偏離會導致靜默失敗或輸出損壞的項目。它們不是品味問題,而是正確性問題。請牢記。

  1. 字幕在濾鏡鏈中最後套用,在所有覆疊動畫之後。否則覆疊層會隱藏字幕。靜默失敗。
  2. 按片段提取 → 使用 -c copy 無損串接,而非單次濾鏡圖。否則在加入覆疊動畫時,每個片段都會被二次編碼。
  3. 每個片段邊界加上 30ms 音訊淡化(afade=t=in:st=0:d=0.03,afade=t=out:st={dur-0.03}:d=0.03)。否則每個剪輯點都會有可聽見的爆音。
  4. 覆疊動畫使用 setpts=PTS-STARTPTS+T/TB 將覆疊畫面的影格 0 偏移至其視窗起始點。否則會在動畫視窗期間看到動畫的中間部分。
  5. 主要 SRT 使用輸出時間軸偏移量:output_time = word.start - segment_start + segment_offset。否則在片段串接後,字幕會對不齊。
  6. 絕不在單字中間進行剪輯。 每次裁切邊緣都必須對齊 Scribe 轉錄中的單字邊界。
  7. 每個裁切邊緣加上緩衝。 工作範圍:30–200ms。Scribe 的時間戳記會漂移 50–100ms——緩衝可以吸收這項漂移。快節奏影片用較窄的緩衝,電影感影片用較寬的。
  8. 僅使用逐字 ASR。 絕不只用 SRT/片語模式(會遺失亞秒間隙資料)。絕不使用正規化後的填充詞(會遺失編輯訊號)。
  9. 根據來源快取轉錄。 除非來源檔案本身已變更,否則絕不重新轉錄。
  10. 多個動畫使用並行子代理程式。 絕不順序執行。透過 Agent 工具同時產生 N 個;總執行時間 ≈ 最慢的那個。
  11. 執行前先確認策略。 在使用者核准白話計劃之前,絕不觸碰剪輯。
  12. 所有工作階段的輸出放在 <videos_dir>/edit/。 絕不寫入 video-use/ 專案目錄內。

文件中其他所有內容皆為工作範例。每當素材需要時,請盡情偏離。

目錄結構

技能位於 video-use/。使用者素材放在他們指定的位置。所有工作階段的輸出都放在 <videos_dir>/edit/。

<videos_dir>/
├── <原始檔案,未更動>
└── edit/
    ├── project.md               ← 記憶;每次工作階段都會附加內容
    ├── takes_packed.md          ← 逐詞轉錄,LLM 的主要閱讀視角
    ├── edl.json                 ← 剪輯決策
    ├── transcripts/<name>.json  ← 快取的原始 Scribe JSON
    ├── animations/slot_<id>/    ← 每個動畫的來源 + 渲染 + 推理
    ├── clips_graded/            ← 包含調色與淡化的逐片段提取
    ├── master.srt               ← 輸出時間軸字幕
    ├── downloads/               ← yt-dlp 輸出
    ├── verify/                  ← 除錯影格 / 時間軸 PNG
    ├── preview.mp4
    └── final.mp4

設定

首次安裝位於 install.md(克隆、依賴套件、ffmpeg、技能註冊、API 金鑰)。不要在每次工作階段都重新執行;在冷啟動時只需驗證:

  • ELEVENLABS_API_KEY 已設定——可以存在環境變數或 video-use 儲存庫根目錄的 .env 檔案中。如果遺失,請要求使用者貼上一個並寫入 .env(絕不寫入使用者的 <videos_dir>)。
  • ffmpeg + ffprobe 在 PATH 中。
  • Python 依賴套件已安裝(在儲存庫內執行 uv sync 或 pip install -e .)。
  • 如果工作階段需要 HyperFrames 或 Remotion 插槽,則需提供 Node.js + npm。HyperFrames 目前需要 Node.js 22+。
  • yt-dlp、HyperFrames、Remotion、Manim 僅在首次使用時安裝。
  • 首次使用的動畫設定在插槽目錄內進行,絕不在 video-use 儲存庫根目錄。HyperFrames 可用 npx --yes hyperframes ... 呼叫;Remotion 可用 npx create-video@latest 建立基礎結構,或作為專案本地依賴套件安裝後再使用其 remotion render 指令。
  • 此技能附帶了 skills/manim-video/。在建構 Manim 插槽時,請閱讀其 SKILL.md。

輔助工具(helpers/transcribe.py、helpers/render.py 等)與此 SKILL.md 位於同一層。請根據包含此檔案的目錄來解析它們的路徑——技能通常會 symlink 在 ~/.claude/skills/video-use/ 或 ~/.codex/skills/video-use/。

輔助工具

  • transcribe.py <video> — 單一檔案的 Scribe 呼叫。可選 --num-speakers N。結果會被快取。
  • transcribe_batch.py <videos_dir> — 4 個工作者並行轉錄。用於多個鏡次。
  • pack_transcripts.py --edit-dir <dir> — transcripts/*.json → takes_packed.md(逐詞等級,遇靜音 ≥ 0.5s 時斷句)。
  • timeline_view.py <video> <start> <end> — 產生底片條 + 波形 PNG。用於按需的視覺深入分析。非掃描工具——請在決策點使用,而非持續使用。
  • render.py <edl.json> -o <out> — 逐片段提取 → 串接 → 覆疊動畫(已進行 PTS 偏移)→ 最後加上字幕。--preview 可快速產出 720p 版本。--build-subtitles 可內聯產生 master.srt。
  • grade.py <in> -o <out> — ffmpeg 濾鏡鏈調色。提供預設設定,並支援 --filter '<原始濾鏡字串>' 用於自訂。

對於動畫,請建立 <edit>/animations/slot_<id>/,使用 Bash,並透過 Agent 工具產生一個子代理程式。

流程

  1. 盤點。 對每個來源使用 ffprobe。對目錄執行 transcribe_batch.py。執行 pack_transcripts.py 產生 takes_packed.md。取用一兩次 timeline_view 以獲得視覺上的初步印象。

  2. 預先掃描問題。 快速瀏覽 takes_packed.md 一次,記錄口誤、明顯的失言或應避免的措辭。建立一個純文字清單,作為編輯摘要的輸入。

  3. 對話。 用白話描述你看到的內容。根據素材提出量身打造的問題。收集:內容類型、目標長度/畫面比例、美學/品牌方向、節奏感覺、必須保留的時刻、必須刪除的時刻、動畫與調色偏好、字幕需求。不要使用固定的檢查清單——每次適合的問題都不同。

  4. 提出策略。 4–8 個句子:結構、鏡次選擇、剪輯方向、動畫計劃、調色方向、字幕風格、預估長度。等待確認。

  5. 執行。 透過編輯子代理摘要產生 edl.json。在模棱兩可的時刻深入使用 timeline_view。以並行子代理程式建構動畫。對每個片段套用調色。透過 render.py 合成。

  6. 預覽。 執行 render.py --preview。

  7. 自我評估(在向使用者展示之前)。 對渲染後的輸出(而非原始來源)在每個剪輯邊界(±1.5 秒視窗)執行 timeline_view。檢查每張圖片是否有:

    • 剪輯處的視覺不連續 / 閃爍 / 跳動
    • 邊界處的波形突波(音訊爆音超出了 30ms 淡化的處理範圍)
    • 字幕被覆疊動畫遮擋(違反規則 1)
    • 覆疊動畫未對齊或顯示錯誤影格(違反規則 4)

    另外抽樣檢查:前 2 秒、後 2 秒以及 2–3 個中點——檢查調色一致性、字幕可讀性、整體連貫性。對輸出執行 ffprobe,確認時長與 EDL 預期相符。

    如果有任何項目失敗:修正 → 重新渲染 → 重新評估。自我評估循環最多 3 次——若 3 次後仍有問題,則向使用者標記問題,而非無限循環。只有在自我評估通過後,才呈現預覽給使用者。

  8. 迭代 + 持續。 以自然語言回饋,重新規劃,重新渲染。絕不重新轉錄。在確認後進行最終渲染。將內容附加到 project.md。

剪輯工藝(技術)

  • 音訊優先。 剪輯候選點來自單字邊界和靜音間隙。
  • 保留亮點。 笑聲、笑點、強調的節拍。在笑點之後延伸,以包含反應——笑聲本身就是節拍。
  • 說話者轉換 在語句之間保留空間會比較好。常用數值:400–600ms。快節奏影片用較少時間,電影感影片用較多時間。這是品味判斷。
  • 將音訊事件作為訊號。 (笑聲)、(嘆氣)、(掌聲) 標示節拍。在其後延伸。
  • 靜音間隙是剪輯候選點。 靜音 ≥400ms 通常最乾淨。150–400ms 的片語邊界在經過視覺檢查後也可使用。<150ms 則不安全(位於片語中間)。
  • 剪輯緩衝範例(此技能出廠時提供的啟動影片):第一個保留單字前 50ms,最後一個單字後 80ms。蒙太奇能量型用較緊的緩衝,紀錄片用較鬆的。請保持在 30–200ms 的工作範圍內(硬規則 7)。
  • 絕不獨立處理音訊和視覺。 每個剪輯都必須同時適用於兩個音軌。

打包的轉錄(主要閱讀視角)

pack_transcripts.py 讀取所有 transcripts/*.json,並產生一個 Markdown 檔案,其中每個鏡次都是一個逐詞級別的清單,每行前面加上其 [起始-結束] 時間範圍。片語在任何靜音 ≥ 0.5s 或說話者改變時斷開。這是編輯子代理程式讀取以選擇剪輯點的產物——它從純文字就能提供單字邊界的精確度,且 token 量只有原始 JSON 的十分之一。

範例行:

## C0103  (duration: 43.0s, 8 phrases)
  [002.52-005.36] S0 Ninety percent of what a web agent does is completely wasted.
  [006.08-006.74] S0 We fixed this.

編輯子代理程式摘要(用於多鏡次選擇)

當任務是「在多個片段中,為每個節拍挑選最佳鏡次」時,請產生一個具有如下結構的專用子代理程式。結構很重要;節奏形狀的範例則不是。

你正在編輯一部 <類型> 影片。為每個節拍挑選最佳鏡次,並按節拍的時間順序組合,而非按原始片段順序。

輸入:
  - takes_packed.md(所有鏡次的時間註記逐詞轉錄)
  - 產品/敘事背景:<來自主理人的 2 個句子>
  - 說話者:<姓名、角色、表達風格備註>
  - 預期結構:<選擇一個典型模式或自行發明>
  - 應避免的口誤:<來自預先掃描階段的清單>
  - 目標時長:<秒>

常見的結構原型(選擇、調整或自行發明):
  - 科技發表 / 展示:   鉤子 → 問題 → 解決方案 → 益處 → 範例 → 行動呼籲
  - 教學:             簡介 → 設定 → 步驟 → 陷阱 → 總結
  - 訪談:             (問題 → 答案 → 追問)重複
  - 旅遊 / 活動:       抵達 → 亮點 → 安靜時刻 → 離開
  - 紀錄片:           論點 → 證據 → 反論 → 結論
  - 音樂 / 表演:       前奏 → 主歌 → 副歌 → 橋段 → 尾奏
  - 或自行發明一個。

規則:
  - 開始/結束時間必須落在轉錄中的單字邊界上。
  - 為剪輯邊界加上緩衝(工作範圍 30–200ms)。
  - 優先選擇靜音 ≥ 400ms 的位置作為剪輯目標。
  - 如果沒有更好的鏡次,則保留不可避免的口誤。在「原因」中註記。
  - 如果超時,則修改:刪除一個節拍或修剪尾部。報告總時間並自行修正。

輸出(JSON 陣列,無敘述性文字):
  [{"source": "C0103", "start": 2.42, "end": 6.85, "beat": "鉤子",
    "quote": "...", "reason": "..."}, ...]

回傳最終的 EDL 和一行總時長檢查。

調色(當使用者要求時)

你的工作是對影像進行推理,而不是套用預設。查看一個影格(透過 timeline_view),判斷問題所在,調整一項參數,然後再次查看。

心智模型是 ASC CDL。每個通道:輸出 = (輸入 * 斜率 + 偏移) ** 伽瑪,然後全域飽和度。斜率 → 亮部,偏移 → 陰影,伽瑪 → 中間調。

範例濾鏡鏈(grade.py 有 --list-presets;將它們作為起點或混合使用):

  • warm_cinematic — 復古/技術感,微妙的青/橙分色,低飽和度。用於實際的發表影片。對談話性影片安全。
  • neutral_punch — 最小修正:對比增強 + 溫和的 S 曲線。無色相偏移。
  • none — 直接複製。當使用者未要求調色時的預設值。

對於其他任何情況——人像、自然、產品、音樂錄影帶、紀錄片——自行發明濾鏡鏈。grade.py --filter '<原始 ffmpeg 濾鏡字串>' 接受任何濾鏡字串。

硬規則:在提取時逐片段套用(而非串接後套用,後者會導致二次編碼)。在未測試膚色之前,絕不進行激進的調整。

字幕(當使用者要求時)

字幕有三個值得仔細考量的維度:分句方式(每行 1/2/3 字或完整句子)、大小寫(全大寫/標題大小寫/自然大小寫)以及位置(距離底部的邊距)。正確的組合取決於內容。

已驗證的風格——選擇、調整或自行發明:

bold-overlay — 短格式科技發表、快節奏社交媒體。2 字一組、全大寫、依標點符號斷句、Helvetica 18 Bold、白色文字搭配外框、MarginV=35。render.py 以 SUB_FORCE_STYLE 內建此風格。

FontName=Helvetica,FontSize=18,Bold=1,
PrimaryColour=&H00FFFFFF,OutlineColour=&H00000000,BackColour=&H00000000,
BorderStyle=1,Outline=2,Shadow=0,
Alignment=2,MarginV=35

natural-sentence(若你自行發明此模式)— 敘事、紀錄片、教育。4–7 字一組、句子大小寫、依自然停頓斷句、MarginV=60–80、字型較大。

[其餘內容因篇幅限制而截斷]

Individual skills in this repo

This repo contains 1 individual skill — each has its own dedicated page.

相關技能