Reels-RSI — 導演一支短影片,並從中學習 是做什麼的?
你是導演。每一幀都是一個由無頭 Chrome 逐幀渲染的 HyperFrames HTML 組合——是程式碼,不是影片模型。所有確定性步驟都是 reels <command>(位於 PATH 中;可使用 reels --help)。可在任何能讀取檔案、寫入檔案和執行命令的代理程式中運作;子代理為可選。
首次執行: reels doctor — 如果缺少字型/SFX,請執行 reels setup。
每次執行: 閱讀 references/quality-bar.md(定義完成標準),並執行 reels lessons digest — 這些是過去短影片的教訓;請遵循它們。一旦專案存在,reels lessons digest --project <dir> 會將教訓縮小到這個短影片的預設、畫幅和模式(幀包已經攜帶了縮小範圍後的幀教訓)。
按類型選擇路線
| 使用者想要… | 閱讀 | 預設 |
|---|---|---|
| 科普/講解 (解釋一個想法或過程) | script-and-storyboard.md | deepspace 物理/天文/科技 · notebook 生活/生物/地理 |
| 歷史/人物/戰役/朝代/文明 | history.md | ink 中國史/詩詞 · atlas 世界史/航線 · notebook 線稿速覽 |
| 題目講解 / 知識點 / 古詩 / 筆順 | solve.md | chalk 板書 · notebook 低齡 · ink 古詩文 |
| 故事短片 / 無台詞 | techniques.md, styles.md | 任何;僅 music:,無 SCRIPT.md |
| "照著這個影片的風格做" | 先 reels analyze <video>,然後對應的行 | — |
| > 3 分鐘 | 章節,每個章節獨立專案 → reels concat | — |
| 產品宣傳 / MV / ≤15 秒動畫圖形 / 字幕疊在畫面上 | 對應的 HyperFrames 工作流程 (npx hyperframes skills);使用 reels fonts + reels captions 處理中文 | — |
第 0 步 — 簡報(一輪簡短溝通,先給建議)
只問請求中未明確的部分,在一則訊息中完成,每個選項附帶推薦的預設值:
題目 & 角度 (一行論點) · 時長 (60–90 秒;≈ 4.5–5 字/秒) · 畫幅 (16:9 B站/YouTube · 9:16 抖音/視頻號)
· 風格 (上述預設,或 styles.md 中的命名風格) · 配音 (zh-CN-YunxiNeural 男聲活潑 ·
XiaoxiaoNeural 女聲溫暖 · YunjianNeural 渾厚 · en-US-AndrewNeural;如果設定了 ELEVENLABS_API_KEY 則使用 ElevenLabs)
· 語言 (中文 · English · 日本語 · 한국어 — 旁白、螢幕文字和字幕都使用該語言;reels voice 會從 SCRIPT.md 自動檢測,預設語音在 reels_rsi/langs.py 中) · 字幕 (同一語言 · 中英雙語 · 無) · 音樂 (使用者自備的軌道放在 assets/music/,否則指定一種情緒) · 審閱 (是:規劃 → 視覺開發 → 最終)。
"直接做 / don't ask" ⇒ 使用所有預設值,一行列出,無需關卡。
一張問題照片(練習冊拍照)→ solve.md "Problem from a photo":轉錄並在規劃關卡重新表述。
第 1 步 — 研究與事實
驗證每個主張、數字、日期和名稱(歷史:有爭議的事實需兩個來源;解題:用程式碼計算答案)。
撰寫 BRIEF.md(frontmatter workflow: faceless-explainer,flow: automation,
storyboard,message,destination,aspect,language,audience,length,angle,voice,
style_preset;內文 ## Intent,## Notes 包含來源/計算)。
第 2 步 — 專案
reels new videos/<slug> --preset <preset> --title "<標題>" --desc "<一句話>"
然後將 BRIEF.md 和 capture/extracted/visible-text.txt(事實)寫入其中;之後的每個命令都在專案目錄內執行。
地圖:reels geo --project . --layers countries,coastline,rivers。
歷史圖片:reels commons search "…" / reels commons get --project . --name x "File:…"。
筆順:reels hanzi 字 --project .。
第 3 步 — 腳本與分鏡
SCRIPT.md(## Line N — … (Frame N) + 縮排的 spoken 文字;**EN:** 行用於雙語)和
STORYBOARD.md(frontmatter format,duration,message,arc,audience,mode,music;每幀
## Frame N — title 包含 scene,voiceover,duration,transition_in,status: outline,
src: compositions/frames/NN-name.html,route,sfx,keyMessage)。詳細說明:script-and-storyboard.md。
關卡: 呈現論點、幀列表(看到/聽到/路線)、長度、風格、語音、音樂 — 等待。
第 4 步 — 語音、時間、音樂
reels voice --project . [--voice …] [--rate +5%]
為每一行配音,將字詞時間點寫入 audio_meta.json,將實際時長同步到分鏡中,根據實際剪輯構建音樂背景。
重新為一幀配音:--only 3。
第 5 步 — 視覺設計
在 STORYBOARD.md 中撰寫一次 ## Video direction(色板角色、命名風格、運動語法、節奏、
負面清單)。每幀都有一個對應 spoken 字詞時間的、附帶時間碼的鏡頭列表:每幀一個鏡頭運動,
一個豐富的主題(quality-bar.md)。跨畫面的元素(年份標尺、章節欄)→ 一個疊加層
(compositions/overlays/<name>.html,history.md)。
第 6 步 — 構建幀
reels packets --project . # .reels/packets/_role.md + 每幀一個包(包含字詞時間 + 教訓)
reels fonts --project .
6a 視覺開發: 先構建兩個英雄幀(第 1 幀 + 視覺效果最強的一幀)和任何疊加層;將它們標記為
animated;執行 reels finalize .;查看 snapshots/contact-sheet.jpg。
關卡: "這個畫面方向對嗎?"
6b 其餘幀: 使用子代理,每幀並行處理 — 每個子代理獲得專案路徑、其
幀 ID 以及已批准的英雄幀作為參考,並被告知:閱讀 .reels/packets/_role.md
和你的包,只編寫你的幀,執行 reels lint --frame <id>,回覆一行。
如果沒有子代理,則根據相同的包按順序自行構建。將每個標記為 status: animated。
第 7 步 — 最終化與審閱循環
reels finalize .
字型 → 字幕 → 音樂 → SFX → 組合 → 疊加層 → 轉場 → HyperFrames 檢查 (lint、
運行時、版面、對比度) → Reels-RSI 規則 (先前短影片犯過的錯誤) → SRT → 快照。
每次傳遞都記錄在 .reels/ 中。修復幀檔案中的每個錯誤和警告(絕不修改生成的
索引)。根據聯絡表對每幀進行 R1–R6 評分(reels score . 在配置了視覺評審時會添加一個
視覺評判);任何 < 4 分 → 修復 → 再次最終化。至少 1 輪,最多 3 輪。
更仔細的檢查:reels times --project . --frame 04 → reels hf --project . snapshot --at <t>。
第 8 步 — 渲染與交付
reels render . --quality high
reels cover --project . --composition # 如果 compositions/cover.html 存在
reels cover --project . --frame 08 # 否則:使用最具表現力的幀,去掉字幕
交付 renders/video.mp4,renders/cover.jpg,renders/subtitles*.srt,CREDITS.md(如有);
時長;用於編輯的幀 ID;哪些使用了預設值。
第 9 步 — 學習(始終執行,耗時約一分鐘)
- 記錄觀眾在運行期間提出的每個意見,一字不差:
reels feedback --project . "字幕太小了" [--frame 04] [--approve]。 reels retro .— 根據運行日誌、修正差異和回饋,將提議的教訓放入 待審清單(如果沒有配置回顧模型:reels retro . --evidence-only,閱讀.reels/retro/evidence.md,然後自行使用reels lessons add "…" --kind doc|rule|taste --scope frame|director|history|solve提交 ≤ 3 條教訓)。 好的教訓應該是通用的("地圖標籤保持在 y=900 以上,因為…"),絕不能只是關於這個主題的事實。- 顯示待審清單 (
reels lessons list --state inbox) 並詢問保留哪些;只接受觀眾 批准的教訓 (reels lessons accept <id>)。一條rule類型的教訓在接受時需要附帶一個可行的 檢查:reels rules new <id>,編寫rule.py+bad.html+good.html,執行reels rules test <id>, 然後reels lessons accept <id> --rule-dir ~/.reels/rules/<id>。 在"直接做"模式下,將提議留在待審清單中,並提及有多少條正在等待。
交付後的編輯
只修改被要求的內容:複製 → SCRIPT.md + reels voice --only N + 幀文字 → 最終化 →
渲染。視覺 → 該幀的 HTML → 最終化 → 渲染。絕不重建未修改的幀。
使用 reels feedback 記錄請求 — 編輯是最好的教訓。
可選升級(由環境自動啟用)
ELEVENLABS_API_KEY → ElevenLabs 語音 [未測試] · OPENAI_API_KEY / GEMINI_API_KEY →
reels image 在程式碼圖層下的插圖圖層 [未測試] · assets/music/ 中的軌道 → 背景音樂
· 評審模型 (reels config set roles.judge provider:model) → reels score 為幀評分。
已知陷阱(由命令處理 — 請勿撤銷)
Kokoro 無法說普通話 → 使用 edge-tts · Whisper 將中文句子視為一個詞 → 使用 TTS 字詞時間點
· 預設字幕用空格連接單字 → reels captions · 渲染用的 Chrome 沒有中日韓字型 → reels fonts + 在每幀中使用 @font-face · 組合器丟失字幕軌道類型 → 最終化重新添加 · npm 可以提供一個未發布的 CLI → 專案鎖定其 HyperFrames 版本。