Communitygithub.com

影片、語音與音效

在無法聽見的情況下,生成並驗證電影中的所有聲音。產生與驗證旁白、與人員共同挑選聲音、根據情緒為電影配樂、放置音效、在語音下調整音樂音量,並達到響度目標。在劇本完成後使用,並在台詞、語音、音樂或混音變更時重新處理。

影片、語音與音效 是什麼?

這個技能專為無法透過聽覺判斷音訊的 AI 代理設計,提供一套完整的影片後期音效處理流程。它涵蓋從語音生成(使用 ElevenLabs API,並處理前後文以維持語調連貫性)、旁白挑選(提供多個聲音樣本,並測量語速與響度供人類選擇)、配樂(根據情緒映射挑選曲目,並進行精確的淡入淡出與音量變化分析)、音效放置(測量音效峰值位置以對齊畫面)到最終混音(透過指令自動實現語音下音樂的閃避,並設定詳細的目標音量表)的所有步驟。所有決策都基於量化測量(如 LUFS、語速、時間碼)和文字轉錄驗證,而非聽覺判斷。支援 Claude Code 等命令列工具,透過 Python 指令與 JSON 配置檔案驅動整個工作流程,並包含對智慧財產權授權的提醒與密鑰管理的安全規範。

相容平台~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/shubhamnshukla/video-agent-kit/tree/main/skills/video-voice-and-sound

在你喜歡的 AI 中提問

開啟一個已預先載入此 Agent Skill 的新對話。

說明文件

語音與聲音

你無法聽見。根據測量結果做決定,透過轉錄來驗證,並告知人員需要聆聽什麼。

1. 語音

使用 scripts/vo.py lines.json assets/vo-raw <voice_id> 為每行產生一個檔案。它會向 ElevenLabs 請求單字時間碼,並傳遞前後行台詞,使語調能連貫地從一行延續到下一行。這些單字時間碼就是影片的時鐘:每個剪接和每個卡片都放置在一個單字上。

接著執行 scripts/vo_finish.py assets/vo-raw assets/vo:

  • 將每行台詞的音量調整至 −17 LUFS(生成的錄音音量差異可達 10 dB 或更多);
  • 使用 --tighten <prefix> 參數時,會縮短快節奏段落中超過 0.34 秒的停頓。以片段形式寫成的台詞(例如「卡比爾。設計師。……」)之間會產生半秒或更長的間隙,導致影片感覺節奏緩慢。

驗證每一行台詞。 合併檔案,進行轉錄 (npx hyperframes transcribe file.wav --json),然後將轉錄文字與劇本比對。生成的語音可能會遺漏或替換小詞語:例如「couldn't」可能會變成「could」。遇到這種情況,請重寫該行台詞(例如改為「could not」)並重新生成。報告轉錄器與劇本之間所有不一致之處,即使你認為轉錄器是錯的也要報告。

節奏。 完成後,對於一部富有活力的作品,影片的語速應維持在每秒 2.4 到 2.8 個字。平靜、緩慢的旁白會使整部影片顯得緩慢,無論剪接節奏如何;這是初稿被認為無聊最常見的原因。

重新製作單行台詞 可使用 --only id,id 參數;時間碼檔案會自動合併。

2. 與人員共同挑選旁白

語音是個人品味問題,最終決定權在於人員。應在影片尚未完全基於某一種聲音建立之前,就及早提供樣本,因為更換聲音會改變每一行台詞的長度和所有提示點。

  • 根據口音、性別和用途搜尋語音庫(其 API 會列出附有描述的共享聲音)。
  • 使用五到八種聲音生成同一段文字:vo.py lines.json samples A,B,C --sample 5。選擇包含人名和品牌名稱的段落。
  • 提供給人員每個檔案一行:語音庫本身的描述和測量到的語速。你無法靠耳朵排序;請明確告知這一點。

名字。 某種語音可能會發錯其他語言的名字。為名字行製作 A/B 測試:原始拼寫,以及為該朗讀者重新拼寫的版本(例如 Kabeer, Urjun)。讓他們選擇。聆聽檢查品牌名稱是人員的責任;請明確要求他們這麼做。

3. 跟隨情緒的音樂

從頭到尾使用一首曲目會使故事扁平化。首先將故事的幕次映射到情緒,然後為每個情緒尋找曲目:

影片部分情緒尋找什麼
開場、介紹人物輕快、充滿希望安靜的鋼琴或柔和脈動,少許打擊樂
問題浮現緊張、沉重緩慢鋪陳的暗色基底;加入心跳聲或低沉的持續低音
總結一切的台詞近乎寂靜一個低沉的重擊,然後在台詞下幾乎無聲
產品登場提升開場節制、後續爆發的振奮曲目
結尾與結束卡解脫同一曲目中較柔和的部分

在不聽的情況下選擇。 對於每個候選曲目,測量其隨時間變化的音量 (scripts/levels.py track 2) 及其節奏。你要尋找的是形狀:適合開場的穩定安靜段落;用於緊張氛圍的緩慢上升;曲目進入主旋律時明確的 5 dB 或以上的音量跳升。將這個跳升點放置在產品答案出現的瞬間。找到任何需要對節拍剪接的段落的節拍網格(節奏和第一個強拍的時間點)。

編輯曲目。 僅在小節線上進行剪接,使用 40 毫秒的交叉淡入淡出,並用畫面上的剪接覆蓋銜接處。若要提前結束曲目,請從大聲部分的小節線跳到柔和部分開始的小節線。編輯後,測量銜接處兩側的音量,以確認音量如預期般改變。

更換曲目。 在畫面上的硬剪接處更換,並在剪接點上放置一個重擊音效。將淡出曲目設定為 0.3 秒。

4. 音效

細微的聲音能讓卡片和剪接感覺更到位。準備一套音效工具包:三四個短促的爆裂聲、一個輕拍聲、發送和接收提示音、筆在紙上的聲音、一個輕柔的嗖聲、一個低沉轟鳴聲、一個黑暗升騰音、一個心跳聲。

  • 測量每個音效峰值的位置 (levels.py file 0.1)。一個升騰音可能在其檔案開始後 1.9 秒達到峰值;一個重擊聲可能前有 0.25 秒的靜默。調整檔案起始時間,使峰值與畫面同步。
  • 將音效放置在畫面出現後約 20 毫秒處,絕不要提前。
  • 在一連串卡片中交替使用兩三種不同的爆裂聲。
  • 緊張段落下的心跳聲:開始時小聲(0.3),逐漸提高(0.4,然後 0.6),並在音樂停止時獨自持續一秒。

5. 混音

根合成中的剪輯:音樂使用自己的剪輯並設定 data-volume="1",語音在調整電平後設定為 1.25,音效根據檔案設定在 0.35 到 2.0 之間。

scripts/mix.py index.html mix.json 會寫入音量線,以使音樂在語音下進行閃避。根據曲目的測量電平選擇音量:背景音樂應比語音低 11 到 13 dB。

背景音樂,測量值在語音下在間隙中
安靜鋼琴,−25 dBFS0.91.5
暗色基底,−21 dBFS0.550.95
振奮曲目,節制開場,−17 dBFS0.340.62
同一曲目,完整編排,−11 dBFS0.190.4
其柔和部分,−15 dBFS0.30.75

每當語音剪輯移動時,都應重新執行 mix.py。

目標。 測量渲染後的檔案:ffmpeg -i film.mp4 -af ebur128=peak=true -f null -。目標是整合響度約為 −16 LUFS,且真實峰值低於或等於 −1 dBFS。

6. 告知人員的內容

每次交接都應以直白的語言說明:沒有任何部分是透過聽覺判斷的;語音台詞均已轉錄並比對一致(或說明哪些不一致);響度數據;以及需要特別聆聽的具體事項,例如品牌名稱的發音方式、特定段落中音樂在語音下是否過大、以及音樂切換是否感覺流暢。

7. 授權與密鑰

音樂和音效來自人員擁有帳戶的資料庫,或其授權允許此用途的來源。在 CREDITS.md 中記錄曲目標題和帳戶,並提醒他們確認授權方案涵蓋影片將播放的地點。密鑰從環境變數或專案外的檔案讀取,絕不寫入專案中。

Individual skills in this repo

This repo contains 3 individual skills — each has its own dedicated page.

相關技能