Communitygithub.com

音声・声・音楽・効果音

映画で聴こえるすべてを、聴かずに制作する。ナレーターの声を生成・検証し、本人と声を選び、映像の雰囲気に合わせて音楽をスコアリングし、効果音を配置し、声の下に音楽をダッキングし、ラウドネス目標を達成する。脚本が完成した後、およびセリフ・声・音楽・ミックスが変更されるたびに使用する。

音声・声・音楽・効果音 とは?

このスキルは、映像制作者やAIエージェントユーザーが、実際に音を聴くことなく映画の音声全体(ナレーション、音楽、効果音、ミックス)を制作・検証できるようにするための包括的なワークフローを提供します。主な機能として、ElevenLabsを使ったナレーション音声の生成と単語タイミングの取得、LUFSレベル調整、ポーズ短縮、書き起こしによる検証、ナレーター選定のためのサンプル作成が含まれます。音楽面では、映像の各パート(オープニング、問題提示、クライマックスなど)に対応するムードマッピング、トラックのレベル測定とテンポ分析、バーライン基準での編集、カットに合わせたトラック変更をサポートします。効果音はピーク位置測定と映像との同期、小さな音のキット管理が可能です。最終ミックスでは、声の下に音楽を自動ダッキングし、目標ラウドネス(約−16 LUFS)を達成します。スキルはCLIスクリプト(vo.py, vo_finish.py, levels.py, mix.py)を通じて動作し、出力は常に書き起こしとラウドネス数値で検証され、実際に聞くことのできないユーザーに代わって、聴覚による判断が必要な箇所を本人に明示的に伝える仕組みになっています。

対応~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/shubhamnshukla/video-agent-kit/tree/main/skills/video-voice-and-sound

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

音声とサウンド

あなたは音を聴くことができません。測定結果から判断し、書き起こしで検証し、本人に何を聴くべきかを伝えてください。

1. 声

scripts/vo.py lines.json assets/vo-raw <voice_id> を使って、各行ごとに1ファイルを生成します。これはElevenLabsに単語タイミングを要求し、前後の行も渡すため、イントネーションが行間で連続します。これらの単語タイミングが映画の時計となります。すべてのカットとカードは単語上に配置されます。

次に scripts/vo_finish.py assets/vo-raw assets/vo を実行します:

  • すべての行を −17 LUFS にレベル調整します(生成されたテイクは10 dB以上変動します)。
  • --tighten <prefix> を付けると、速いセクションで0.34秒以上のポーズを短縮します。断片として書かれた行(「カビール。デザイナー。...」)は0.5秒以上の隙間ができ、そのせいで映像が遅く感じられます。

すべての行を検証してください。 ファイルを結合し、書き起こします(npx hyperframes transcribe file.wav --json)。そのテキストを脚本と照合してください。生成された音声は小さな単語を落としたり入れ替えたりします。「couldn't」が「could」と返ってきたことがあります。そのような行は「could not」のように書き直して再生成してください。書き起こしと脚本が一致しない箇所は、たとえ書き起こし側が間違っていると思っても報告してください。

ペース。 完成後、映画の音声は、エネルギッシュな作品であれば毎秒2.4〜2.8語で流れるべきです。落ち着いたゆっくりしたナレーターは、どんなカッティングでも映像を遅くします。これが最初のドラフトが退屈と言われる最も一般的な理由です。

単一行のやり直し は --only id,id で行います。タイミングファイルはマージされます。

2. 本人とのナレーター選び

声は好みの問題であり、本人のものです。映像が1つの声に基づいて構築される前に、早い段階でサンプルを提供してください。新しい声はすべての行の長さとすべてのキューを変えるからです。

  • アクセント、性別、用途で音声ライブラリを検索します(そのAPIは共有音声と説明をリストします)。
  • 同じパッセージを5〜8の声で生成します: vo.py lines.json samples A,B,C --sample 5。名前とブランド名が含まれるパッセージを使用してください。
  • それぞれのファイルに1行ずつ、ライブラリ自身の説明と測定されたペースを添えて渡します。あなたは耳でランク付けできません。そのことを伝えてください。

名前。 声が別の言語の名前を誤って発音することがあります。名前の行についてA/Bテストを作成します。元の表記と、そのリーダー向けに綴り直したもの(カビール、アルジュン)の両方です。本人に選んでもらいます。ブランド名の聞き取り確認は本人の仕事です。明示的に依頼してください。

3. 雰囲気に沿う音楽

一曲だけを最初から最後まで使うと、物語が平坦になります。まず各幕を雰囲気にマッピングし、それから各幕に合ったトラックを見つけます:

映画のパート雰囲気探すもの
オープニング、人との出会い軽やかで希望に満ちた静かなピアノか柔らかいパルス、打楽器は少なめ
問題緊張、重厚ゆっくりと盛り上がる暗いベッド。心拍音か低いドローンを追加
それを要約する一言ほぼ無音低いヒット一つ、その後は言葉の下にほとんど何もなし
プロダクトの登場盛り上がり最初は控えめで後でキックするアップビートなトラック
エンディングとエンドカード安堵同じトラックのより柔らかいセクション

聴かずに選ぶ。 各候補について、時間経過に伴うレベル(scripts/levels.py track 2)とテンポを測定します。探しているのは形状です。オープニング用の安定した静かな部分、緊張のためのゆっくりした上昇、トラックがキックする場所での5 dB以上の明確なジャンプ。キックをプロダクトの答えが現れる瞬間に配置します。ビートに合わせてカットするセクションについては、ビートグリッド(テンポと最初のダウンビートの時間)を見つけてください。

トラックの編集。 バーラインでのみカットし、40 msのクロスフェードをかけ、その結合部を映像のカットで隠します。トラックを早めに終了するには、大きなセクションのバーラインから小さなセクションの始まりのバーラインにジャンプします。編集後、結合部をまたいでレベルを測定し、意図した場所でレベルが変化していることを確認します。

トラックの変更。 映像のハードカット上で、カットにヒットを合わせて変更します。出力トラックを0.3秒かけてフェードアウトします。

4. 効果音

小さな音は、カードやカットが意図的に配置されたように感じさせます。キットを用意してください。3〜4つの短いポップ、タップ、送受信音、ペンと紙の音、柔らかなウィッシュ、低いブーム、暗いライザー、心拍音。

  • 各効果音のピーク位置を測定します(levels.py file 0.1)。ライザーはファイル開始から1.9秒後にピークに達するかもしれません。ヒットは最初に0.25秒の無音があるかもしれません。ピークが映像に合うようにファイルの開始位置を調整します。
  • 音は映像の約20 ms後に配置し、決して前に配置しないでください。
  • カードの連続では2〜3種類の異なるポップを交互に使用します。
  • 緊張したセクションの下の心拍音: 最初は静かに(0.3)、盛り上がり(0.4、次に0.6)、音楽が止まったら1秒間そのままにします。

5. ミックス

ルートコンポジション内のクリップ: 音楽は data-volume="1" の独自クリップ、声はレベリング後に1.25、効果音はファイルに応じて0.35〜2.0。

scripts/mix.py index.html mix.json は、声の下で音楽をダッキングするボリュームレーンを書き込みます。レベルはトラックの測定レベルから選択します。ベッドは声の下に11〜13 dB低く配置する必要があります。

ベッド(測定値)声の下隙間
静かなピアノ、−25 dBFS0.91.5
暗いベッド、−21 dBFS0.550.95
アップビートなトラック、控えめなオープニング、−17 dBFS0.340.62
同じトラックのフルアレンジメント、−11 dBFS0.190.4
その柔らかいセクション、−15 dBFS0.30.75

声のクリップが移動するたびに mix.py を再実行してください。

目標。 レンダリングされたファイルを測定します: ffmpeg -i film.mp4 -af ebur128=peak=true -f null -。目標は約−16 LUFSインテグレーテッド、トゥルーピークは−1 dBFS以下です。

6. 本人に伝えること

すべての引き継ぎでは、平易な言葉で以下のことを伝えます。何も聴いていないこと、音声の行を書き起こして照合し一致したこと(または一致しなかったもの)、ラウドネスの数値、そして具体的に聴くべき点(ブランド名がどう言われているか、特定の区間で声の下の音楽が大きすぎないか、音楽の変更が自然に感じられるかなど)。

7. ライセンスとキー

音楽と効果音は、本人がアカウントを持つライブラリか、ライセンスが使用を許可するソースから入手します。タイトルとアカウントを CREDITS.md に記録し、そのプランが映画の上映場所をカバーしていることを確認するよう本人に促します。キーは環境変数またはプロジェクト外のファイルから読み取られ、決してプロジェクト内に書き込まれません。

Individual skills in this repo

This repo contains 3 individual skills — each has its own dedicated page.

関連スキル