Communitygithub.com

Reels-RSI — 導演一支短影片,並從中學習

Reels-RSI 是一個 AI 短影片導演工具,能將一個主題轉換為帶有旁白、字幕、配樂的程式碼生成影片(HyperFrames:SVG/Canvas/Three.js/地圖),涵蓋科普解說、歷史介紹、題目講解、故事短片等類型。支援中文優先(TTS 字詞時間點、中日韓/雙語字幕、字型子集化)及英文。

Reels-RSI — 導演一支短影片,並從中學習 是什麼?

Reels-RSI 是一個專為 AI 代理(如 Claude Code、Cursor、Codex)設計的進階短影片導演工具。它將影片製作視為一個結構化的、由程式碼驅動的迭代過程,而非單純使用影片生成模型。每個影片幀都是由 HyperFrames 的 HTML 組合而成,並透過無頭 Chrome 逐幀渲染,確保了精確的控制和可重複性。該工具的核心優勢在於其「學習」能力:每次製作完一支短影片後,它會自動進行回顧(retro),從執行日誌、修正差異和觀眾回饋中提取教訓(lessons),並將這些教訓轉化為可執行的規則(rules),用以指導未來的影片創作,避免重複犯錯。這使得 Reels-RSI 的表現能隨著使用次數而不斷進化。它支援多種影片類型,包括科普解說、歷史介紹、數學/物理/化學解題、故事短片等,並針對中文內容進行了深度最佳化,例如處理 TTS(文字轉語音)的字詞時間點、中日韓(CJK)字型及雙語字幕。用戶可以透過簡單的命令或「/reels」快速啟動,工具會引導用戶完成從腳本、分鏡、配音、視覺設計到最終渲染的完整流程,並在每個關鍵階段設定檢查點(Gate)以確保品質。

相容平台~Claude Code✓Codex CLI~Cursor✓Antigravity✓Gemini CLI
npx skills add https://github.com/agentic-loops-x/Reels-RSI/tree/HEAD/src/reels_rsi/skill

在你喜歡的 AI 中提問

開啟一個已預先載入此 Agent Skill 的新對話。

說明文件

Reels-RSI — 導演一支短影片,並從中學習 是做什麼的?

你是導演。每一幀都是一個由無頭 Chrome 逐幀渲染的 HyperFrames HTML 組合——是程式碼,不是影片模型。所有確定性步驟都是 reels <command>(位於 PATH 中;可使用 reels --help)。可在任何能讀取檔案、寫入檔案和執行命令的代理程式中運作;子代理為可選。

首次執行: reels doctor — 如果缺少字型/SFX,請執行 reels setup。 每次執行: 閱讀 references/quality-bar.md(定義完成標準),並執行 reels lessons digest — 這些是過去短影片的教訓;請遵循它們。一旦專案存在,reels lessons digest --project <dir> 會將教訓縮小到這個短影片的預設、畫幅和模式(幀包已經攜帶了縮小範圍後的幀教訓)。

按類型選擇路線

使用者想要…閱讀預設
科普/講解 (解釋一個想法或過程)script-and-storyboard.mddeepspace 物理/天文/科技 · notebook 生活/生物/地理
歷史/人物/戰役/朝代/文明history.mdink 中國史/詩詞 · atlas 世界史/航線 · notebook 線稿速覽
題目講解 / 知識點 / 古詩 / 筆順solve.mdchalk 板書 · notebook 低齡 · ink 古詩文
故事短片 / 無台詞techniques.md, styles.md任何;僅 music:,無 SCRIPT.md
"照著這個影片的風格做"先 reels analyze <video>,然後對應的行—
> 3 分鐘章節,每個章節獨立專案 → reels concat—
產品宣傳 / MV / ≤15 秒動畫圖形 / 字幕疊在畫面上對應的 HyperFrames 工作流程 (npx hyperframes skills);使用 reels fonts + reels captions 處理中文—

第 0 步 — 簡報(一輪簡短溝通,先給建議)

只問請求中未明確的部分,在一則訊息中完成,每個選項附帶推薦的預設值: 題目 & 角度 (一行論點) · 時長 (60–90 秒;≈ 4.5–5 字/秒) · 畫幅 (16:9 B站/YouTube · 9:16 抖音/視頻號) · 風格 (上述預設,或 styles.md 中的命名風格) · 配音 (zh-CN-YunxiNeural 男聲活潑 · XiaoxiaoNeural 女聲溫暖 · YunjianNeural 渾厚 · en-US-AndrewNeural;如果設定了 ELEVENLABS_API_KEY 則使用 ElevenLabs) · 語言 (中文 · English · 日本語 · 한국어 — 旁白、螢幕文字和字幕都使用該語言;reels voice 會從 SCRIPT.md 自動檢測,預設語音在 reels_rsi/langs.py 中) · 字幕 (同一語言 · 中英雙語 · 無) · 音樂 (使用者自備的軌道放在 assets/music/,否則指定一種情緒) · 審閱 (是:規劃 → 視覺開發 → 最終)。 "直接做 / don't ask" ⇒ 使用所有預設值,一行列出,無需關卡。 一張問題照片(練習冊拍照)→ solve.md "Problem from a photo":轉錄並在規劃關卡重新表述。

第 1 步 — 研究與事實

驗證每個主張、數字、日期和名稱(歷史:有爭議的事實需兩個來源;解題:用程式碼計算答案)。 撰寫 BRIEF.md(frontmatter workflow: faceless-explainer,flow: automation, storyboard,message,destination,aspect,language,audience,length,angle,voice, style_preset;內文 ## Intent,## Notes 包含來源/計算)。

第 2 步 — 專案

reels new videos/<slug> --preset <preset> --title "<標題>" --desc "<一句話>"

然後將 BRIEF.md 和 capture/extracted/visible-text.txt(事實)寫入其中;之後的每個命令都在專案目錄內執行。 地圖:reels geo --project . --layers countries,coastline,rivers。 歷史圖片:reels commons search "…" / reels commons get --project . --name x "File:…"。 筆順:reels hanzi 字 --project .。

第 3 步 — 腳本與分鏡

SCRIPT.md(## Line N — … (Frame N) + 縮排的 spoken 文字;**EN:** 行用於雙語)和 STORYBOARD.md(frontmatter format,duration,message,arc,audience,mode,music;每幀 ## Frame N — title 包含 scene,voiceover,duration,transition_in,status: outline, src: compositions/frames/NN-name.html,route,sfx,keyMessage)。詳細說明:script-and-storyboard.md。 關卡: 呈現論點、幀列表(看到/聽到/路線)、長度、風格、語音、音樂 — 等待。

第 4 步 — 語音、時間、音樂

reels voice --project . [--voice …] [--rate +5%]

為每一行配音,將字詞時間點寫入 audio_meta.json,將實際時長同步到分鏡中,根據實際剪輯構建音樂背景。 重新為一幀配音:--only 3。

第 5 步 — 視覺設計

在 STORYBOARD.md 中撰寫一次 ## Video direction(色板角色、命名風格、運動語法、節奏、 負面清單)。每幀都有一個對應 spoken 字詞時間的、附帶時間碼的鏡頭列表:每幀一個鏡頭運動, 一個豐富的主題(quality-bar.md)。跨畫面的元素(年份標尺、章節欄)→ 一個疊加層 (compositions/overlays/<name>.html,history.md)。

第 6 步 — 構建幀

reels packets --project .     # .reels/packets/_role.md + 每幀一個包(包含字詞時間 + 教訓)
reels fonts --project .

6a 視覺開發: 先構建兩個英雄幀(第 1 幀 + 視覺效果最強的一幀)和任何疊加層;將它們標記為 animated;執行 reels finalize .;查看 snapshots/contact-sheet.jpg。 關卡: "這個畫面方向對嗎?" 6b 其餘幀: 使用子代理,每幀並行處理 — 每個子代理獲得專案路徑、其 幀 ID 以及已批准的英雄幀作為參考,並被告知:閱讀 .reels/packets/_role.md 和你的包,只編寫你的幀,執行 reels lint --frame <id>,回覆一行。 如果沒有子代理,則根據相同的包按順序自行構建。將每個標記為 status: animated。

第 7 步 — 最終化與審閱循環

reels finalize .

字型 → 字幕 → 音樂 → SFX → 組合 → 疊加層 → 轉場 → HyperFrames 檢查 (lint、 運行時、版面、對比度) → Reels-RSI 規則 (先前短影片犯過的錯誤) → SRT → 快照。 每次傳遞都記錄在 .reels/ 中。修復幀檔案中的每個錯誤和警告(絕不修改生成的 索引)。根據聯絡表對每幀進行 R1–R6 評分(reels score . 在配置了視覺評審時會添加一個 視覺評判);任何 < 4 分 → 修復 → 再次最終化。至少 1 輪,最多 3 輪。 更仔細的檢查:reels times --project . --frame 04 → reels hf --project . snapshot --at <t>。

第 8 步 — 渲染與交付

reels render . --quality high
reels cover --project . --composition    # 如果 compositions/cover.html 存在
reels cover --project . --frame 08       # 否則:使用最具表現力的幀,去掉字幕

交付 renders/video.mp4,renders/cover.jpg,renders/subtitles*.srt,CREDITS.md(如有); 時長;用於編輯的幀 ID;哪些使用了預設值。

第 9 步 — 學習(始終執行,耗時約一分鐘)

  1. 記錄觀眾在運行期間提出的每個意見,一字不差: reels feedback --project . "字幕太小了" [--frame 04] [--approve]。
  2. reels retro . — 根據運行日誌、修正差異和回饋,將提議的教訓放入 待審清單(如果沒有配置回顧模型:reels retro . --evidence-only,閱讀 .reels/retro/evidence.md,然後自行使用 reels lessons add "…" --kind doc|rule|taste --scope frame|director|history|solve 提交 ≤ 3 條教訓)。 好的教訓應該是通用的("地圖標籤保持在 y=900 以上,因為…"),絕不能只是關於這個主題的事實。
  3. 顯示待審清單 (reels lessons list --state inbox) 並詢問保留哪些;只接受觀眾 批准的教訓 (reels lessons accept <id>)。一條 rule 類型的教訓在接受時需要附帶一個可行的 檢查:reels rules new <id>,編寫 rule.py + bad.html + good.html,執行 reels rules test <id>, 然後 reels lessons accept <id> --rule-dir ~/.reels/rules/<id>。 在"直接做"模式下,將提議留在待審清單中,並提及有多少條正在等待。

交付後的編輯

只修改被要求的內容:複製 → SCRIPT.md + reels voice --only N + 幀文字 → 最終化 → 渲染。視覺 → 該幀的 HTML → 最終化 → 渲染。絕不重建未修改的幀。 使用 reels feedback 記錄請求 — 編輯是最好的教訓。

可選升級(由環境自動啟用)

ELEVENLABS_API_KEY → ElevenLabs 語音 [未測試] · OPENAI_API_KEY / GEMINI_API_KEY → reels image 在程式碼圖層下的插圖圖層 [未測試] · assets/music/ 中的軌道 → 背景音樂 · 評審模型 (reels config set roles.judge provider:model) → reels score 為幀評分。

已知陷阱(由命令處理 — 請勿撤銷)

Kokoro 無法說普通話 → 使用 edge-tts · Whisper 將中文句子視為一個詞 → 使用 TTS 字詞時間點 · 預設字幕用空格連接單字 → reels captions · 渲染用的 Chrome 沒有中日韓字型 → reels fonts + 在每幀中使用 @font-face · 組合器丟失字幕軌道類型 → 最終化重新添加 · npm 可以提供一個未發布的 CLI → 專案鎖定其 HyperFrames 版本。

相關技能