long2short 是做什麼的?
你是剪輯師:你挑選片段、撰寫鉤子和貼紙,並判斷裁切方式。指令碼負責繁重工作(轉寫、場景偵測、追蹤、剪裁、渲染),並在本地端執行。一切透過一個 CLI 進行:
python3 <skill>/scripts/l2s.py [-p PROJECT] <command> ...
<skill> 是此技能所在的資料夾。專案資料夾(預設為 <video folder>/long2short)存放 project.json、代理檔、轉寫稿、場景清單,以及每個片段的資料夾(clips/clipNN/)。完成的片段會輸出到 project.json → out(預設為 <video folder>/clips)。
需求:macOS(Apple Vision 用於追蹤、VideoToolbox 用於快速 ProRes)、ffmpeg、Node(npx HyperFrames)、Xcode 指令工具(swiftc)、whisper-cli 加上一個 ggml 模型(或 python whisper)。字幕時間(強制對齊)適用於拉丁語系語言;德文的數字在 force_align.py 中已拼寫出來——若要擴展到其他語言,請擴充 spell() 函式。
本技能僅附帶指令與程式碼。首次在機器上執行時請執行 l2s.py setup——它會將所有依賴下載到 ~/.cache/long2short:包含一個私人 Python 環境(torch/torchaudio 用於強制對齊)、CC0 音效、字幕字形(Montserrat,OFL 授權),以及(如果尚未安裝)一個 whisper.cpp 模型;同時也會編譯 Apple Vision 輔助工具。接著執行 l2s.py doctor。每當 doctor 回報缺少元件時,再次執行 setup。如果缺少任何東西,請向使用者顯示精確的安裝指令。
1. 準備影片(每部影片一次)
l2s.py init "/path/video.mp4" --lang de
建立代理檔、16 kHz 音訊、逐字轉寫稿(transcript.txt 含時間碼)、scenes.json 以及連絡頁(sheets/,每個場景一幀並附時間碼)。長影片需要數分鐘——請在背景執行並告知使用者。
將重複出現的轉寫錯誤(姓名、品牌)加入 project.json → glossary
(例如 {"Air bee and bee": "Airbnb"});當字詞映射到片段時,這些錯誤會自動修正。
2. 挑選片段(由你判斷)
開始挑選前,請先閱讀 references/editorial.md。簡而言之:閱讀整份 transcript.txt,檢視每一張連絡頁(這就是你找到沒有語音的強勢瞬間的方法——一台機器在工作、一隻動物、一個大驚喜),然後為使用者撰寫一份簡短清單:編號、工作標題/鉤子、來源時間範圍、長度、為什麼選這個。預設長度 60–90 秒(TikTok 的創作者獎勵只給超過一分鐘的影片有收益),除非使用者有其他要求。當使用者要求審查挑選結果時,請等待使用者同意後再開始批次渲染;否則直接繼續。
每個片段必須能獨立觀看。 觀眾是第一次看到這個人和這個主題:前 3 秒(鉤子文字 + 開場白)必須說明我們在哪裡以及這段影片在講什麼(例如「在里斯本……」),而且片段不能依賴影片的其他部分(例如「這趟旅程之後」、「像我說過的」、「第二個」)。請在這些片語之後開始,或直接刪除它們。
3. 建構每個片段
l2s.py -p P plan NN "A-B[,C-D]" [--teaser VS VE AS] [--seed T:CX:CY]
l2s.py -p P words NN # 印出帶有索引的字詞 – 修正 words_raw.json 中的文字
l2s.py -p P align NN [MM ...] # 強制對齊:精確的字詞時間(模型只載入一次,適用所有片段)
# 寫入 clips/clipNN/hf_config.json (參見 references/config.md)
l2s.py -p P finish NN "NN_short-title" # 剪裁 -> 圖形 -> 渲染 -> 合成
- 時間範圍是影片的絕對秒數。請在句子邊界剪裁;使用
words.json中的字詞時間。區段會依序拼接;--teaser(2–3 秒的精彩畫面先顯示,並使用AS的音訊)可以做出強而有力的冷開場。 - 裁切審查會消耗 tokens – 只有在被指示時才查看。
plan會輸出no anomalies或一個 ANOMALIES 清單。只有在有異常時,才開啟clips/clipNN/spec.review.jpg(黃色方框 = 9:16 視窗,紅點 = 追蹤的主體,青色網格以 0.1 為單位)。 - 物體(無人機、機器人、汽車)不會自動找到:對於回報為「no person」的片段,請從網格讀取物體的位置,並以
--seed T:CX:CY(來源時間、x、y 皆為 0–1 範圍)重新執行plan。它會鎖定該物體並進行追蹤。 - 在對齊之前修正文字。 修正
words_raw.json中聽錯的字詞;如果某段文字無法辨識,請從字幕中將其移除(在 hf_config 中設為drop),而不是猜測。 - 一次為多個片段執行
align可以節省時間。
4. 交付
回報一個簡短表格:片段編號、長度、檔案路徑、鉤子,以及一段可直接發布的說明文字並附上 hashtag。當使用者說他們會自己審查時,不需要逐幀檢查渲染結果。中間檔案很大(每個片段在 clips/clipNN/ 中約 2 GB);在使用者確認結果後,提供刪除它們的選項。
固定風格(已批准——未經要求請勿更改)
- 字幕:Montserrat Black,全大寫,白色文字搭配黑色描邊,1–3 個字詞,當前字詞為黃色
#FFD400並帶有短彈跳效果,關鍵字詞放在黃色膠囊中;水平與垂直置中在下三分之一處;在字詞出現前 0.12 秒顯示。 - 鉤子:頂部黑色膠囊,重點字詞為黃色,持續約前 3 秒。資訊貼紙:黃色膠囊 + emoji 置於頂部,自動根據畫面寬度調整大小。
- 音效:每個片段 5–7 個細微效果(pop、whoosh、impact、ka-ching;CC0 授權,由 setup 下載),無音樂(音樂在應用程式中加入)。響度 -14 LUFS,真實峰值 -1 dBTP。
- 裁切:一個 9:16 視窗,平滑追蹤。無縮放切入(zoom punch-ins)和無信箱/模糊的「fit」佈局——這兩種方式都曾嘗試並被拒絕(縮放看起來像是壓扁)。
當看起來有問題時,請閱讀 references/troubleshooting.md——裡面包已經發現的根本原因(場景邊緣漏光、抖動、字幕延遲……)以及指令碼如何處理它們。