Communitygithub.com

YouTube音声翻訳 — 元の秒数どおりに吹き替え

動画の話し声を別の言語に吹き替え、元の音楽はそのまま残します。各フレーズを元と同じ秒に置き、トラックを動画の長さぴったりに切るので、YouTubeの多言語音声にそのまま使えます。

YouTube音声翻訳 — 元の秒数どおりに吹き替え とは?

Video Localization レシピのステップ3(吹き替えて届ける)。oknehcvark/youtube-audio-translation(2026-10-06公開)より。edge-ttsの音声以外は無料でローカル動作。scripts/dub.py が声と音楽を分離し、faster-whisper で時刻付きフレーズに書き起こし、フレーズごとの文字数予算を表示、エージェントが各行をその秒数に収まるよう翻訳します。build は全フレーズを読み上げて元の開始時刻に配置し、mix は動画ファイルの正確な長さで音楽と合成(長さが違うとYouTubeが拒否)、check は吹き替えを再認識してエラー率を出します。同じタイミングのSRTも出力し、加速したフレーズを報告し、まだ誰も聴いていないことをはっきり伝えます。

対応~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/oknehcvark/youtube-audio-translation/tree/HEAD/skills/youtube-audio-translation

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

YouTube 音声翻訳

1 本の動画に、他の言語の音声トラックを追加します。音声(edge-tts は Microsoft のオンライン音声を使用)以外はすべて無料でローカルに処理されます。エンジンはこのスキルのフォルダにある scripts/dub.py です。

パイプライン:分離(音声と音楽)→ 文字起こし(音声をタイムスタンプ付きのフレーズに)→ あなたが翻訳(各フレーズを時間内に収める)→ 構築(各フレーズを発声し、元の秒数に配置)→ ミックス(動画の正確な長さに合わせて音楽と混合)→ 確認。

ルール(各ルールに違反すると失敗となります)

  1. 結果の長さは VIDEO ファイルの長さと一致しなければなりません(--ref video.mp4)。生の .aac から長さを取得してはいけません。ffprobe はビットレートからの推定で、最大 15 秒の誤差が出る可能性があります。YouTube は動画と一致しないトラックを拒否します(「音声トラックと動画の長さは同じでなければなりません」)。
  2. あなたが翻訳してください。自動翻訳は使用しないでください。 自動翻訳ではフレーズの秒数が考慮されません。最初に budget を実行し、各行を文字数の制限内に収めてください。制限を超えると音声が速くなり、慌てた印象になります。スロットの 80% 未満の場合、ツールは音声を少し遅くします。
  3. 翻訳前に認識ミスを修正してください。 名前や用語は誤認識されやすいです(例:「Klap」というサービスが「Clip」や「Клэп」と認識されたり、「экспорт」が「эксперт」と認識されたりします)。source.srt をすべて読み、修正し、どのような推測を行ったかをユーザーに伝えてください。
  4. フレーズは元の開始秒に配置され、決して連結されてはいけません。 ツールは既にこの処理を行っています。フレーズをずらすようなオーディオの後処理は行わないでください。
  5. 音声を聞くことはできません。 check と数値で確認し、誰も聞いていないことを率直に伝えてください。ユーザー(理想的にはネイティブスピーカー)に聞いてもらうよう依頼してください。「自然に聞こえる」とは決して書かないでください。
  6. 何かをインストールする前に確認を取ってください。ユーザーのファイルを上書きしたり削除したりしないでください。別のフォルダ(例:動画の横に work/)で作業してください。

1. セットアップの確認(1 回のみ)

python3 --version                       # 3.10 以上
ffmpeg -version | head -1               # 4.4 以上
python3 -c "import numpy, soundfile, edge_tts, faster_whisper, pyrubberband; print('ok')"
audio-separator --version               # 分離ステップのみ
rubberband --version                    # オプション:より良い速度変更(なければ ffmpeg atempo を使用)

不足しているもの:

  • Python パッケージ:pip3 install -r requirements.txt
  • ffmpeg:brew install ffmpeg(macOS)/ winget install ffmpeg(Windows)/ apt install ffmpeg(Linux)
  • rubberband(オプション):brew install rubberband / apt install rubberband-cli
  • セパレーター(大容量。単独でインストール):pip3 install "audio-separator[cpu]"。macOS で import scipy がクラッシュする場合(dlopen エラー)、pip3 install scipy==1.14.1 で修正されます。

最初の transcribe で約 1.5 GB の音声モデルがダウンロードされ、最初の separate で約 70 MB のモデルがダウンロードされます。ユーザーに伝え、数 GB の空きディスク容量があることを確認してください。

2. 音声と音楽の分離

python3 scripts/dub.py separate "/path/video.mp4" -o work

work/vocals.wav と work/music.wav が生成されます。動画に音楽がない場合は、このステップをスキップして無音とミックスするか(--music に任意の無音ファイルを指定)、単に dub_only.wav を構築して提供してください。

3. 文字起こし

python3 scripts/dub.py transcribe work/vocals.wav --lang ru -o work/source.srt

--lang は元の音声の言語です。work/source.srt をすべて読み、その場で間違いを修正してください(タイミングは保持)。フレーズは約 2~7 秒の長さになります。

4. 翻訳

python3 scripts/dub.py budget work/source.srt --lang fr

各フレーズについて、秒数と最大文字数が表示されます(フランス語と英語で約 15 文字/秒、スペイン語 14 文字、ヒンディー語とドイツ語 13 文字、中国語 5 文字/秒)。翻訳は自分で行い、同じ順序の文字列の JSON リストとして、例:work/lines.fr.json のように作成してください。

["最初のフレーズの翻訳。", "2 番目のフレーズの翻訳。", "..."]

意味を翻訳し、単語ごとに訳さないでください。自由に短縮してください(フィラー、繰り返しの単語は削除)。ブランド名はそのままにしてください。ヒンディー語の場合、外国のブランド名はデーヴァナーガリー文字で書き、音声が発音できるようにしてください。数字はそのままにしてください。呼称は一貫させてください(「vous」、「ustedes」など)。文が境界をまたぐ場合、フレーズを隣接する行で分割し直しても構いません。

python3 scripts/dub.py srt work/source.srt work/lines.fr.json -o work/fr.srt

fr.srt は同じ言語の字幕ファイル(元のタイミング)にもなります。ユーザーに提供してください。

5. 構築、ミックス、確認

音声を選択してください:edge-tts --list-voices | grep fr-(例:fr-FR-HenriNeural、es-MX-JorgeNeural、hi-IN-MadhurNeural、zh-CN-YunxiNeural、en-US-GuyNeural、de-DE-ConradNeural)。

python3 scripts/dub.py build work/fr.srt --ref "/path/video.mp4" --voice fr-FR-HenriNeural -o work/fr --loudness-ref work/vocals.wav

サマリーを読んでください。1.25 倍以上の速度変更が必要なフレーズや次のフレーズにはみ出すフレーズがリストされている場合、lines.fr.json 内の該当行を短縮し、fr.srt を再構築して build を再実行してください。変更されたフレーズのみが再度発声されます。

python3 scripts/dub.py mix work/fr/dub_only.wav --music work/music.wav --ref "/path/video.mp4" -o work/fr/final
python3 scripts/dub.py check work/fr/dub_only.wav work/fr.srt --lang fr --ref "/path/video.mp4"

mix は final.wav と final.m4a を書き出し、その長さを動画の長さと並べて表示します。両者は数百分の一秒以内で一致する必要があります。check は音声認識器でダブを再読み取りします(エラー率は数%~約15%が正常です。数字、ブランド名、スペルのバリエーションはエラーとしてカウントされます。中国語は文字単位で評価されます)。

手順 4~5 を各言語で繰り返します。手順 2~3 は 1 回だけ実行します。

6. ユーザーへの報告

言語ごとに、次の情報をユーザーに伝えてください:ファイル(final.m4a、<lang>.srt)、使用した音声、動画との長さ、エラー率、速度変更されたフレーズの数と最大速度変更率。確認できなかったこと(音声そのもの、およびあなたが言語を十分に判断できない場合は翻訳)を伝えてください。認識ミスを修正する際に行った推測をリストアップしてください。

YouTube へのアップロードはユーザーが行います。YouTube Studio → 字幕 → 言語を追加 → 音声トラックを追加(およびその言語の字幕として .srt を追加)。ユーザーに代わってアップロードしないでください。

問題が発生した場合

  • TTS failed for phrase N / retry:ネットワークが切断されました。build を再実行してください。完了したフレーズは保持されます。
  • フレーズが無音:テキストが空です。JSON の行を確認してください。
  • 音声が慌てた印象:行が文字数制限を超えています。短縮してください。
  • YouTube で長さが異なると言われる:動画と final.m4a で ffprobe を実行し、比較してください。--ref に VIDEO を指定して再構築してください。.m4a の長さは AAC フレーム(約 0.02 秒)に丸められます。
  • Windows/Linux:作者によるテストは行われていません。コードはクロスプラットフォームですが、問題があれば正直に報告してください。

関連スキル