發佈配音
屬於
launch-film的工具手冊。請從skills/launch-film/SKILL.md開始:其中包含核心、鉤子加主體模板以及經驗教訓。若此頁面與其不同,以launch-film為準。
在現代發佈影片中,語音引導視覺,畫面逐字說明:當語音說「標記」時,某個東西就被標記。這只有在每個單字都有時間戳時才有效。
提供者
- 預設:您自己的 Higgsfield 帳戶。
text2speech_v2(引擎elevenlabs、minimax、seed_speech及其他按聲線區分)用於選角,涵蓋約 100 種預設聲線,每行約 0.3 積分。Seed Audio 用於可由提示和音訊參考引導的敘述者。scripts/hf_voice.py封裝了 CLI。 - 免費草稿配音:
scripts/scratch_voice.py使用 macOSsay(或 Linux 上的espeak-ng)製作佔位音軌。用它來建立和調整整部影片的時間,將每次審查標記為「草稿配音」,然後再替換為真實音軌。 - 免費本地克隆:
scripts/clone_local.py(Chatterbox,MIT)從 8 到 10 秒的台詞中克隆您已批准的敘述者。這是一個替代品,而非最終成品。僅克隆您擁有權利的聲音。 - 在完整的影片中審查配音,而不是作為零散的片段。保留一份被拒絕聲線的清單,以免再次被提出。
選角
python3 skills/launch-voice/scripts/hf_voice.py cast "<the film's opening line>" film/vo/audition使用每種預設聲線(約 110 種聲線耗費約 34 積分)朗讀該行,並使用 whisper 檢查每個錄音,測量節奏和音高變化。ranking.md首先列出精準的錄音,最接近每秒 2.5 個單字和約 2 個半音的變化(對話式,非宣告式)。--only Name,Name可重新選角少數幾個。- 將排名前 6 左右的聲線(跨性別)應用於完整劇本(
hf_voice.py lines),然後進行調整(見下文)。如果需要加速超過 12% 才能適應的聲線對該劇本來說太慢:放棄它或刪減單字。 - 為每個倖存的聲線建立完整的影片,讓擁有人挑選。在測試中,ElevenLabs 在節奏和音高上的變化最小,因此它是預設引擎。
長度與節奏
- 目標為每秒 2.2 到 2.7 個口語單字。一個強力的參考發佈影片節奏為 2.4(63 秒內 151 個單字)。
- 20 秒的影片約承載 45 個單字;30 秒約 70 個;60 秒約 140 個。在加速語音之前,先刪減單字。
- 每個故事板畫面對應一行台詞,6 到 20 個單字,措辭應使關鍵名詞或動詞落在節拍上。
影片模板流程
- 劇本位於
film/film.json的lines中。將每行台詞錄製為一個檔案,置於film/vo/body/line-<id>.wav:使用hf_voice.py lines錄製真實音軌(將台詞寫為{"lines": [{"line": "02", "text": "..."}]}),或使用python3 skills/launch-voice/scripts/scratch_voice.py film/film.json錄製草稿音軌(加上--hook film/hooks/<name>也可為鉤子行配音)。 - 執行
python3 skills/launch-voice/scripts/prep_lines.py film/film.json(使用--align force強制進行強制對齊;若已安裝uv,首次執行時會下載 torch,約 2 GB)。它會寫入film/vo/body/lines.json,包含每行台詞的時長和單字時間:當 torch 可用時使用強制對齊,否則使用 whisper.cpp,再否則使用標記為estimate的均勻估計。 film/build.py將台詞放置在影片時間軸上,每個畫面提示跟隨其對應的單字。新的錄音只需一次 prep 執行和一次重建。
自由格式影片流程
vo/script-lines.json({"lines": [{"line": "01", "text": "..."}]}),然後每行一個檔案:hf_voice.py lines vo/script-lines.json vo/takes/<voice> --voice <Name>。文字、聲線、引擎和工作 ID 會記錄在lines.json中。- 調整:
python3 skills/launch-voice/scripts/fit_lines.py vo/placement.plan.json vo/takes/<voice> vo/versions/<voice>。該計劃為每行台詞提供其最早開始時間、呼吸間隙,以及當畫面必須結束時的end_by。行內超過 0.25 秒的停頓縮短為 0.22 秒;仍然超出的連續行會作為一個整體加速,上限為 12%。然後拼接:python3 skills/launch-voice/scripts/stitch.py vo/versions/<voice>/placement.json vo/versions/<voice> vo/versions/<voice>/vo.wav。 - 每行台詞的單字時間。對於任何視覺效果必須對齊的內容,請使用強制對齊:
uv run -q --with torch --with torchaudio --with soundfile python skills/launch-voice/scripts/force_align.py line.wav "the exact words"。對於快速讀取,align_lines.py會逐行執行 whisper.cpp。錨點按說話順序解析(每個都是前一個之後的第一個匹配項),因此任何聲線都會重新定時影片。對整部影片執行單次 whisper 遍歷會在行尾附近產生漂移;逐行遍歷則不會。 - 將單字時間交給
launch-motion(將每個建置錨定到其單字)和launch-sound(事件跟隨單字)。
復古敘述者
對於檔案或紀錄片風格的開場:python3 skills/launch-voice/scripts/vintage.py IN.wav OUT.wav --crackle crackle.wav 將頻寬限制在 150 Hz 到 5.8 kHz,加入磁帶飽和、緩慢的顫動和真實的唱片炒豆聲基底(使用 Seed Audio 生成一個)。Seed Audio 也可以直接用復古敘述者的聲音朗讀台詞(「一個溫暖、低沉的老式唱片上的 1960 年代紀錄片敘述者……正是這些詞:……」);它讀得慢且可能重新措辭(例如 "gotta" 變成了 "got to"),因此請用 whisper 檢查。
同步規則
- 關鍵單字與其視覺效果的偏差應在 2 幀以內。從單字的第一幀開始建置;如果您讓視覺效果領先於其單字,請將其保持在 4 幀以下,並在每個地方都這樣做。
- 在場景切換處讓語音喘息:行與行之間留 0.25 到 0.5 秒。
- 最後一行至少比標誌結束早 1 秒結束;標誌有自己的近乎靜音(
launch-mix淡出)。
當語音提供者不可用時
根據草稿配音進行建置,將每次審查標記為草稿,並保持畫面錨定到對齊的單字,這樣替換為真實配音只需要一次 prep 執行和一次渲染。未經擁有者同意,切勿切換語音提供者或帳戶。
修復
- 一行台詞超長不到 5%:
ffmpeg -af atempo=1.04。超過此限制:重寫該行。 - 單字發音錯誤:在該行的
say欄位中進行語音拼寫(用於hf_voice.py),切勿在劇本中進行。 - Whisper 誤聽軟結尾:使用強制對齊或縮短錨點前綴;不要重新錄製。
- 數字:在您用來對齊的文字中拼寫出來(「二十四」,而不是「24」)。
- Whisper 基礎模型會誤聽產品名稱。使用小型模型或更大模型(
WHISPER_MODEL)檢查最終單字。