Communitygithub.com

dub-studio

このマシン上で動画を吹き替え、翻訳と再音声化を行い、音楽と効果音を保持します。有料サービスは不要です。ローカルでfaster-whisperによる文字起こし(またはSRT/VTTの読み込み)、各行を時間予算内でJSONに翻訳、Demucsで元の声を除去、組み込みのKokoro合成音声で各行を発声、各行をスロットに合わせ(速度調整、ポーズ、フラグ)、指定ラウドネスでリミックスし、MP4、バイリンガルSRT/VTT、タイミングレポート、シートを出力します。ユーザーが動画やナレーションをスペイン語、フランス語、イタリア語、ブラジルポルトガル語、ヒンディー語、英語に吹き替え、翻訳、再音声化、ローカライズしたい場合、または動画の「スペイン語版」が必要な場合に使用します。ユーザーが所有、権利を持つ動画、または音声がすでに合成音声である動画のみに使用します。音声のクローンは行いません。マレー語、日本語、ドイツ語など、Kokoro音声が動作しない言語はサポートされていません。

dub-studio とは?

dub-studioは、ローカルマシン上で動画の吹き替え、翻訳、再音声化を実現するオープンソースのツールキットです。音楽や効果音を保持しながら、元の音声を翻訳済みの合成音声に置き換えることができ、有料サービスに依存しません。このスキルは、faster-whisperを使用したローカル音声認識(または既存の字幕ファイルの読み込み)から始まり、ユーザーが各行の翻訳を時間予算内でJSONに記述し、Demucsで元の音声を分離・除去、Kokoro(kokoro-onnx)で各翻訳行を合成音声化、速度調整やポーズ挿入によりタイミングを合わせ、背景音とミックスして最終的なMP4ファイルとバイリンガル字幕(SRT/VTT)を生成します。サポート対象言語は英語(米・英)、スペイン語、フランス語、イタリア語、ブラジルポルトガル語、ヒンディー語(一部不正確)、中国語(実験的)で、マレー語や日本語などKokoroが利用できない言語はサポートしません。権利確認、翻訳品質の明示、合成音声ラベルの付与など、倫理的なガイドラインに厳格に従います。Claude CodeやCursorなどのAIエージェント環境で動作し、開発者やコンテンツ制作者が動画を多言語ローカライズする際のワークフローを効率化します。

対応~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/VinVirtual/dub-studio/tree/HEAD

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

dub-studio は何をしますか?

パイプライン: 動画 -> 音声 -> faster-whisper (またはユーザーの字幕) -> タイムスタンプ付きソース行 -> あなたの翻訳 (JSON、各行、時間予算内) -> Demucs が音声を除去 -> Kokoro が各行を音声化 -> 時間調整 (atempo、ポーズ、フラグ) -> 背景音とミックス -> ラウドネス調整 -> MP4 + 字幕 + レポート

スキルフォルダ (以下 $D と表記): このフォルダ。すべてのコマンドは $D/dub <command> ... で実行します。$D/dub help で一覧を表示します。

ルール (最初に読んでください)

  • 権利. --rights はユーザー自身の宣言です。ツールはそれを記録しますが、確認することはできません。ユーザーが作成または所有する動画 (--rights own)、吹き替えの許可またはライセンスを書面で持っている動画 (licensed)、または音声がすでに置き換え可能な合成音声である動画 (synthetic) のみ吹き替えてください。明確でない場合は質問してください。動画に実在の人物が映ったり声が含まれており、その人物が同意していない場合は、吹き替えないでください。誰かが言っていないことを言っているように見せかけてはいけません。
  • クローン禁止. 新しい音声は常にKokoroの組み込み音声のいずれかで、名前で選択します。元の話者や実在の人物を模倣しようとしないでください。また、録音を音声として渡さないでください(ツールは拒否します)。
  • ラベルを付ける. 出力MP4のメタデータ、VTTファイル、out/<lang>/README.md には、吹き替えが合成音声を使用していることを記載します。ファイルを引き渡す際はそのラベルを維持し、公開時にも維持するようユーザーに伝えてください。
  • 翻訳品質. 翻訳はあなたが行います。機械翻訳であることを明記し、公開前にネイティブスピーカーが確認することを推奨してください。

言語

ライブリストは $D/dub languages で表示します。このマシンで測定済み (Kokoro v1.0、kokoro-onnx経由、espeak-ng音素)。音声認識で読み上げを確認:

コード言語ステータス
en-us, en-gb英語サポート
esスペイン語サポート
fr-frフランス語サポート
itイタリア語サポート
pt-brブラジルポルトガル語サポート
hiヒンディー語普通: 理解可能、一部単語が間違っている
cmn中国語実験的: 読み上げの大部分が理解されない。--experimental なしでは拒否
ja日本語動作しません (kokoro-onnxで漢字が「中国の手紙」と読まれる)
msマレー語未サポート: Kokoroにマレー語音声なし

その他 (ドイツ語、韓国語、インドネシア語、アラビア語...) はサポートされていません。その旨を明確に伝え、別の言語の音声を代用しないでください。faster-whisperが認識できる言語はすべて ソース 言語として使用できます。

ワークフロー

  1. $D/dub check を実行。MISS行を修正します (check_env.sh がコマンドを表示)。Demucsはオプションです。なくても背景音はフォールバックで処理されます(以下参照)。
  2. ユーザーと権利、ターゲット言語を確認します。
  3. $D/dub prepare <video> --out <project> --to es,fr-fr --rights own [--from en]
    • ユーザーが正しいスクリプトまたは字幕を持っている場合は --srt subs.srt (または .vtt) と --from <lang> を追加します。音声認識をスキップし、そのキュータイミングを行として使用します。
    • 入力にはビデオストリームとオーディオトラックが必要です。--from はプレーンな言語コード (en、pt-BR) で指定します。
    • 同じフォルダで prepare を再度実行することは拒否されます。source.json に修正が含まれている可能性があるためです。--force は source.json を置き換え、翻訳ファイルを最初から作成し直します。
    • prepare を使用しない場合、faster-whisper small モデルがCPU上で動作します (--model base は高速、medium はより高精度)。翻訳前に source.json を読み、誤認識された単語を修正してください (idと時間は保持)。
    • --voice es=em_alex で音声を選択、--max-tempo 1.2 で速度上限を低く設定、--target -23 で放送ラウドネスを設定します。
  4. 翻訳. 各 translations/<lang>.json を開きます。各行について、source の翻訳を text に記述します:
    • 1行入力、1行出力。行を結合、分割、並べ替え、削除しないでください。id は変更しないでください。
    • budget.ideal 文字数以内に収めてください (通常速度で収まる)。budget.max はハードリミットです (最大速度アップで発声)。速くするよりも短くする方が良いです。フィラーワードを削除し、最も短い自然な表現を使ってください。
    • 単語ではなく意味を翻訳します。話し言葉で、自然な文体。名前、製品名、数字はそのまま保持してください。事実を追加しないでください。
    • プレーンテキストのみ: 括弧、ステージディレクション、マークアップ、絵文字は使用しないでください。
  5. $D/dub lint <project>: すべてのERROR (長すぎる、空、欠落) を修正します。WARNING (長い行はその後のポーズを借用する、数字の欠落、未翻訳の行) を読み、可能な限り短くしてください。
  6. $D/dub build <project> [--separation ...]: 背景音、音声、フィット、ミックス、ラウドネス、マルチプレクサ。各言語のMP4、ラウドネス、速度アップ・シフト・フラグが発生した行数を表示します。FLAG 行は、ポーズを使っても翻訳が長すぎることを意味します。短くして再度ビルドしてください (音声はキャッシュされ、変更された行のみ再音声化されます)。遅延してプッシュされた行は delayed と報告され、フラグは付きません。フラグの付いた行を修正してください。遅延行は修正しなくて結構です。
  7. 確認する. out/<lang>/sheet.png を読んでください。吹き替え音声行がソース行のスロットに収まっているべきです。青 (シフト) は問題ありませんが、赤 (オーバーフロー) や紫 (遅延) は問題です。out/<lang>/report.md を読んでください。
  8. $D/dub verify <project> --asr: 長さ、ラウドネス (ffmpegのebur128で測定: ターゲットから0.5 LU以内、真のピークは天井から最大0.5 dB以内、AACエンコーディングで若干増加する可能性があるため)、フラグ、MP4内の合成音声ラベルをチェックし、吹き替え音声を音声認識で読み返します。結果を聞くことはできません。この読み返しスコアが、音声が正しい単語を発しているかどうかを確認する方法です。60%未満の行がリストされるので、確認してください。
  9. 引き渡し: MP4、字幕ファイル、レポートのパス、測定ラウドネス、読み返しスコア、ラベル文。

ファイル構成

  • dub.json: 設定と権利宣言。fit.maxTempo (1.25)、fit.gap (行間0.12秒)、fit.maxEarly (行は最大0.3秒早く開始可能)、loudness.target (-16 LUFS) と ceiling (-1.5 dBTP)、mix.background / mix.voice (dB)、mix.duck (dB、ダックフォールバック用)、keepOriginal (trueの場合、元の音声を非デフォルトの2番目のトラックとして保持)、separation。
  • source.json: タイムスタンプ付きソース行。translations/<lang>.json: あなたの翻訳。
  • out/<lang>/: <name>.<lang>.mp4、<name>.<lang>.srt|vtt (吹き替えのみ)、<name>.<lang>+<src>.srt|vtt (バイリンガル)、report.md|json、sheet.png、README.md。
  • work/: キャッシュ (抽出音声、背景音、音声化行)。正確なソースファイル、背景音方式、ダックレベルに基づいてキー付けされます。削除しても安全です。verify --asr はその後に dub build を必要とします (work/<lang>/voice.wav を読み取るため)。

背景音 (音楽と効果音)

dub.json の separation または --separation:

  • demucs (インストールされている場合のデフォルト): CPU上でhtdemucsを使用。ここでは20秒のクリップに対して約15~25秒。最良の結果。ウェイトは固定されたHugging Faceリビジョンからsafetensorsとしてダウンロードされ、固定SHA-256値と照合されます。demucsのpickleフォールバックは使用されません。
  • center: 中央にパンされたもの (通常は音声) を除去します。真のステレオの場合のみ。中央のベースやモノラル楽器も除去されます。
  • duck: 元の音声を保持し、元の音声が話している間は音量を下げます (mix.duck、-18 dB)。元の音声はかすかに聞こえます。ユーザーに伝えてください。
  • none: 音声のみ。 auto は、demucs、次にセンター(真のサイドコンテンツを持つステレオ)、次にダックを自動選択します。レポートに使用された方式が記載されます。

トラブルシューティング

  • 「長すぎる」エラー: 行を短くしてください。maxTempo は約1.3以上に上げないでください。聞き苦しくなります。
  • 行が後ろにずれる (レポートで shift s が増加): 前の行がオーバーフローしています。その行を短くしてください。
  • source.json で単語が誤認識された場合: テキストを直接編集してください (idと時間は保持)。prepare を再実行しないでください (拒否されます。--force は編集内容と翻訳を置き換えてしまいます)。dub lint が、source が一致しなくなった各翻訳について警告します。それらの翻訳を更新してください。
  • 動画にソース言語の焼き付けテキストやキャプションがある場合: そのまま残ります。その旨を伝えてください。吹き替えは音声のみを置き換えます。
  • 画面上の口の動きは一致しません。これはナレーションスタイルの吹き替えであり、リップシンクではありません。
  • dub prepare が拒否する場合: メッセージを読んで (権利、言語、音声なし、字幕不良) 修正してください。権利チェックを回避しないでください。

関連スキル