srt2reel 是做什麼的?
將語音檔案及其 SRT 字幕轉換成 30 fps 的故事影片:包含簡單向量角色的動畫場景、顯示 SRT 原始文字的字幕卡、標示每個場景的標籤,以及柔和的音效。支援兩種格式:portrait(1080x1920,適用於短片)和 landscape(1920x1080,適用於較長的影片)。
此技能負責建構影片,絕不編寫故事。如果用戶只提供主題或點子,請告知他們需要語音檔案和其 SRT 字幕,並要求提供兩者。
請使用用戶與你溝通時所使用的語言,以簡短的句子與他們交談。他們可能不具備技術背景。
檔案位置
技能資料夾為 ${CLAUDE_SKILL_DIR}。如果該變數顯示為字面佔位符,則表示它是包含此 SKILL.md 的資料夾。以下簡稱為 SKILL。
SKILL/scripts/包含五個指令。請直接執行,不要修改它們。SKILL/template/是init.ts會複製的影片專案範本。SKILL/references/存放當步驟指示時需要閱讀的詳細資料。SKILL/assets/kit.jpg展示所有現成的場景元件(橫式為kit-wide.jpg)。
每個影片都會有自己的專案資料夾,以下簡稱為 PROJECT。請使用 ~/reels/<short-name>。
輸入
- 語音檔案(MP3、WAV 或 M4A)。
- 包含確切口說文字的 SRT 檔案。如果缺少,請要求提供。請勿自行轉錄音訊:語音轉文字可能會出錯,而 SRT 是唯一的正確來源。
- 可選:頁面或頻道名稱(顯示為小型浮水印)、色彩主題(
paper、mint、sky)、角色或場景想法、用戶自己的圖片。
根據用戶要求的內容選擇格式。用於 Reels、Shorts 或 TikTok 的短片為 portrait。用於 YouTube 頻道、課程或任何超過三分鐘的影片為 landscape。如果不確定,請詢問用戶。
步驟
請依序執行以下步驟。每個指令都會輸出它完成了什麼以及下一步該做什麼。
1. 檢查機器
node SKILL/scripts/doctor.ts
如果輸出 FAIL,請直接告訴用戶缺少什麼並停止。不要嘗試繞過缺少的 ffmpeg 或 Node。出現 warn 警示行則沒問題。
2. 建立專案
node SKILL/scripts/init.ts PROJECT --voice <voice file> --srt <srt file> [--format landscape] [--lang <tag>] [--page "<name>"] [--theme <name>]
此步驟會複製範本、安裝依賴、測量語音長度、找出實際的停頓點,並寫入 PROJECT/src/story.json,其中包含每個 SRT 提示對應的字幕,已根據語音校時並調整換行以符合版面。它也會安裝該語言適用的字型。
請閱讀其完整輸出。它會列出每個字幕及其時間,以及所有足夠長到可以切換場景的停頓點。如果它警告 SRT 與語音的長度不符,請在繼續之前詢問用戶。
語言會根據 SRT 的腳本(script)自動判斷。當判斷可能錯誤時,請傳入 --lang:非英語的拉丁字母語言(es、fr、id、vi)、繁體中文(zh-TW)、烏爾都語或波斯語(ur、fa)、馬拉地語或尼泊爾語(mr、ne)。請參閱 references/languages.md。
3. 規劃場景
將所有字幕視為一個故事來閱讀,並將其分成多個場景。當地點、時間、說話者或想法改變時,開始一個新場景,大約每 4 到 7 秒。一個 25 秒的故事約有 5 到 7 個場景;60 秒的故事約有 9 到 14 個。一個場景只對應一個字幕是太多場景了。每次場景切換都必須落在列出的其中一個停頓點上,而不是在句子中間。
為每個場景決定:地點、人物、他們在做什麼,以及一個能顯示字幕內容的視覺元素(一個道具、數字、儀表板、印章),這樣場景就不會只是一個人在說話。在故事的低潮點使用深色場景。以故事的最後教訓或結果作為結尾。
長度超過約兩分鐘的影片場景太多,無法逐一編寫。對於這類影片,請遵循 references/long-videos.md。
4. 撰寫兩個故事檔案
只有這兩個檔案會因影片而異。請勿更動 src/lib/ 下的任何內容。
PROJECT/src/story.json:包含場景列表、時間、標籤、字幕中的關鍵字、誰在何時說話、音效。格式與規則請參閱:references/story.md。PROJECT/src/scenes.tsx:每個場景一個小組件,以及一個命名它們的SCENES物件。如何繪製場景、完整的元件庫以及版面配置區:請參閱 references/scenes.md。首先查看SKILL/assets/kit.jpg,然後從PROJECT/src/lib/examples.tsx(橫式為examples-wide.tsx)複製。
字幕文字是固定的。你可以用 {大括號} 標記關鍵字、調整換行、合併兩個字幕或拆分一個字幕,以及移動時間。你不得新增、刪除或更改任何單字。步驟 5 的檢查會拒絕任何差異。
你自己添加的螢幕文字(標籤、標題、對話框)必須使用 SRT 的語言。保持在一兩個字,用來命名旁白已經提到的內容:一個地點、商店招牌、反應。不要添加新的資訊或句子。
5. 檢查,並重複直到無誤
node SKILL/scripts/check.ts PROJECT
它會比對字幕文字與 SRT、檢查時間、場景、強調標記和字型,並編譯場景程式碼。修正每個 ERROR 並再次執行。閱讀每個 warn 並修正那些實際上有問題的項目。
6. 查看影格,並重複直到正確
node SKILL/scripts/stills.ts PROJECT
這會在每次場景切換後不久以及每個字幕中間渲染一個影格,並將它們拼貼成聯絡頁表。開啟它列出的每個頁表並進行檢視。每個格子都標有時間、場景和字幕編號。
檢查並修正:
- 任何遮蓋或碰觸到頂部標籤或底部字幕卡的物件
- 文字超出其卡片邊界,或文字顯示為空白方框
- 場景未顯示其字幕所說的內容
- 角色外觀在不同場景間不一致
- 空白或幾乎沒有內容的場景
加上 --grid 可以在每個影格上繪製內容框和標尺;用來查看哪些部分跨越了區域邊界以及該移動到何處。在修正後想再次查看特定時間點:node SKILL/scripts/stills.ts PROJECT --at 12.5,30。每次執行都會取代上一次的頁表。
在查看過這些頁表之前,絕對不要渲染完整的影片。
7. 渲染
在快速機器上,渲染時間大約與影片長度相同;在小機器上則需要數倍時間。因此請在背景執行並輪詢:
node SKILL/scripts/render.ts PROJECT --detach
node SKILL/scripts/render.ts PROJECT --status
--status 會輸出 rendering,然後是 finishing,最後是 done 或 failed。每 20 到 30 秒檢查一次,並且在它達到 done 或 failed 之前不要結束你的回合。如果你無法在檢查之間暫停,可以讓指令等待你:node SKILL/scripts/render.ts PROJECT --status --wait 100 會在渲染結束時或 100 秒後立即回傳;重複執行直到它回傳結果。
如果你交給用戶的檔案有大小限制(例如 claude.ai 聊天限制為 30 MB),請加上 --max-mb 28。
渲染會平衡音量,然後檢查完成的檔案:影格大小、影格率、編碼格式、長度。--status 會輸出結果以及 final_check.jpg 的路徑,這張圖片包含從完成的影片中選取的、在它列出時間點的四個影格。請查看該圖片。
8. 交付
將 PROJECT/out/final.mp4 交給用戶。加上一行說明不完美的部分,以及一個建議的下一步。如果一切完美,用一行話說明即可。
影片內容規則
- 只顯示 SRT 所述的內容。不要添加你自己的主張、事實或承諾。
- 不得包含政治、仇恨或羞辱真實人物的內容。不得將醫療或財務建議當作事實呈現。敏感話題需謹慎處理。
- 不得複製其他創作者的角色、場景或設計。為這個故事繪製專屬的內容。
- 絕不向用戶承諾觀看次數、觸及率或收入。
- 任何內容在一秒鐘內閃爍不得超過三次。
用戶須知事項
請在相關情境下,用用戶的語言向他們說明一次:
- 影片是使用 Remotion 建構的,它對個人及三人以下的公司免費。規模更大的公司需要 Remotion 授權:https://www.remotion.dev/docs/license
- 平台會對發布許多幾乎相同的範本影片的頻道採取行動,並可能要求在克隆或真實感的合成語音上加上標籤。請參閱 references/platforms.md。
出現問題時
請參閱 references/troubleshooting.md。如果機器完全無法渲染影片(無法啟動瀏覽器、沒有 ffmpeg、首次安裝時無法連線),請直接說明並停止,不要嘗試產出其他東西。