dub-studio は何をしますか?
パイプライン: 動画 -> 音声 -> faster-whisper (またはユーザーの字幕) -> タイムスタンプ付きソース行 -> あなたの翻訳 (JSON、各行、時間予算内) -> Demucs が音声を除去 -> Kokoro が各行を音声化 -> 時間調整 (atempo、ポーズ、フラグ) -> 背景音とミックス -> ラウドネス調整 -> MP4 + 字幕 + レポート
スキルフォルダ (以下 $D と表記): このフォルダ。すべてのコマンドは $D/dub <command> ... で実行します。$D/dub help で一覧を表示します。
ルール (最初に読んでください)
- 権利.
--rightsはユーザー自身の宣言です。ツールはそれを記録しますが、確認することはできません。ユーザーが作成または所有する動画 (--rights own)、吹き替えの許可またはライセンスを書面で持っている動画 (licensed)、または音声がすでに置き換え可能な合成音声である動画 (synthetic) のみ吹き替えてください。明確でない場合は質問してください。動画に実在の人物が映ったり声が含まれており、その人物が同意していない場合は、吹き替えないでください。誰かが言っていないことを言っているように見せかけてはいけません。 - クローン禁止. 新しい音声は常にKokoroの組み込み音声のいずれかで、名前で選択します。元の話者や実在の人物を模倣しようとしないでください。また、録音を音声として渡さないでください(ツールは拒否します)。
- ラベルを付ける. 出力MP4のメタデータ、VTTファイル、
out/<lang>/README.mdには、吹き替えが合成音声を使用していることを記載します。ファイルを引き渡す際はそのラベルを維持し、公開時にも維持するようユーザーに伝えてください。 - 翻訳品質. 翻訳はあなたが行います。機械翻訳であることを明記し、公開前にネイティブスピーカーが確認することを推奨してください。
言語
ライブリストは $D/dub languages で表示します。このマシンで測定済み (Kokoro v1.0、kokoro-onnx経由、espeak-ng音素)。音声認識で読み上げを確認:
| コード | 言語 | ステータス |
|---|---|---|
en-us, en-gb | 英語 | サポート |
es | スペイン語 | サポート |
fr-fr | フランス語 | サポート |
it | イタリア語 | サポート |
pt-br | ブラジルポルトガル語 | サポート |
hi | ヒンディー語 | 普通: 理解可能、一部単語が間違っている |
cmn | 中国語 | 実験的: 読み上げの大部分が理解されない。--experimental なしでは拒否 |
ja | 日本語 | 動作しません (kokoro-onnxで漢字が「中国の手紙」と読まれる) |
ms | マレー語 | 未サポート: Kokoroにマレー語音声なし |
その他 (ドイツ語、韓国語、インドネシア語、アラビア語...) はサポートされていません。その旨を明確に伝え、別の言語の音声を代用しないでください。faster-whisperが認識できる言語はすべて ソース 言語として使用できます。
ワークフロー
$D/dub checkを実行。MISS行を修正します (check_env.shがコマンドを表示)。Demucsはオプションです。なくても背景音はフォールバックで処理されます(以下参照)。- ユーザーと権利、ターゲット言語を確認します。
$D/dub prepare <video> --out <project> --to es,fr-fr --rights own [--from en]- ユーザーが正しいスクリプトまたは字幕を持っている場合は
--srt subs.srt(または.vtt) と--from <lang>を追加します。音声認識をスキップし、そのキュータイミングを行として使用します。 - 入力にはビデオストリームとオーディオトラックが必要です。
--fromはプレーンな言語コード (en、pt-BR) で指定します。 - 同じフォルダで
prepareを再度実行することは拒否されます。source.jsonに修正が含まれている可能性があるためです。--forceはsource.jsonを置き換え、翻訳ファイルを最初から作成し直します。 prepareを使用しない場合、faster-whispersmallモデルがCPU上で動作します (--model baseは高速、mediumはより高精度)。翻訳前にsource.jsonを読み、誤認識された単語を修正してください (idと時間は保持)。--voice es=em_alexで音声を選択、--max-tempo 1.2で速度上限を低く設定、--target -23で放送ラウドネスを設定します。
- ユーザーが正しいスクリプトまたは字幕を持っている場合は
- 翻訳. 各
translations/<lang>.jsonを開きます。各行について、sourceの翻訳をtextに記述します:- 1行入力、1行出力。行を結合、分割、並べ替え、削除しないでください。
idは変更しないでください。 budget.ideal文字数以内に収めてください (通常速度で収まる)。budget.maxはハードリミットです (最大速度アップで発声)。速くするよりも短くする方が良いです。フィラーワードを削除し、最も短い自然な表現を使ってください。- 単語ではなく意味を翻訳します。話し言葉で、自然な文体。名前、製品名、数字はそのまま保持してください。事実を追加しないでください。
- プレーンテキストのみ: 括弧、ステージディレクション、マークアップ、絵文字は使用しないでください。
- 1行入力、1行出力。行を結合、分割、並べ替え、削除しないでください。
$D/dub lint <project>: すべてのERROR (長すぎる、空、欠落) を修正します。WARNING (長い行はその後のポーズを借用する、数字の欠落、未翻訳の行) を読み、可能な限り短くしてください。$D/dub build <project> [--separation ...]: 背景音、音声、フィット、ミックス、ラウドネス、マルチプレクサ。各言語のMP4、ラウドネス、速度アップ・シフト・フラグが発生した行数を表示します。FLAG行は、ポーズを使っても翻訳が長すぎることを意味します。短くして再度ビルドしてください (音声はキャッシュされ、変更された行のみ再音声化されます)。遅延してプッシュされた行はdelayedと報告され、フラグは付きません。フラグの付いた行を修正してください。遅延行は修正しなくて結構です。- 確認する.
out/<lang>/sheet.pngを読んでください。吹き替え音声行がソース行のスロットに収まっているべきです。青 (シフト) は問題ありませんが、赤 (オーバーフロー) や紫 (遅延) は問題です。out/<lang>/report.mdを読んでください。 $D/dub verify <project> --asr: 長さ、ラウドネス (ffmpegのebur128で測定: ターゲットから0.5 LU以内、真のピークは天井から最大0.5 dB以内、AACエンコーディングで若干増加する可能性があるため)、フラグ、MP4内の合成音声ラベルをチェックし、吹き替え音声を音声認識で読み返します。結果を聞くことはできません。この読み返しスコアが、音声が正しい単語を発しているかどうかを確認する方法です。60%未満の行がリストされるので、確認してください。- 引き渡し: MP4、字幕ファイル、レポートのパス、測定ラウドネス、読み返しスコア、ラベル文。
ファイル構成
dub.json: 設定と権利宣言。fit.maxTempo(1.25)、fit.gap(行間0.12秒)、fit.maxEarly(行は最大0.3秒早く開始可能)、loudness.target(-16 LUFS) とceiling(-1.5 dBTP)、mix.background/mix.voice(dB)、mix.duck(dB、ダックフォールバック用)、keepOriginal(trueの場合、元の音声を非デフォルトの2番目のトラックとして保持)、separation。source.json: タイムスタンプ付きソース行。translations/<lang>.json: あなたの翻訳。out/<lang>/:<name>.<lang>.mp4、<name>.<lang>.srt|vtt(吹き替えのみ)、<name>.<lang>+<src>.srt|vtt(バイリンガル)、report.md|json、sheet.png、README.md。work/: キャッシュ (抽出音声、背景音、音声化行)。正確なソースファイル、背景音方式、ダックレベルに基づいてキー付けされます。削除しても安全です。verify --asrはその後にdub buildを必要とします (work/<lang>/voice.wavを読み取るため)。
背景音 (音楽と効果音)
dub.json の separation または --separation:
demucs(インストールされている場合のデフォルト): CPU上でhtdemucsを使用。ここでは20秒のクリップに対して約15~25秒。最良の結果。ウェイトは固定されたHugging Faceリビジョンからsafetensorsとしてダウンロードされ、固定SHA-256値と照合されます。demucsのpickleフォールバックは使用されません。center: 中央にパンされたもの (通常は音声) を除去します。真のステレオの場合のみ。中央のベースやモノラル楽器も除去されます。duck: 元の音声を保持し、元の音声が話している間は音量を下げます (mix.duck、-18 dB)。元の音声はかすかに聞こえます。ユーザーに伝えてください。none: 音声のみ。autoは、demucs、次にセンター(真のサイドコンテンツを持つステレオ)、次にダックを自動選択します。レポートに使用された方式が記載されます。
トラブルシューティング
- 「長すぎる」エラー: 行を短くしてください。
maxTempoは約1.3以上に上げないでください。聞き苦しくなります。 - 行が後ろにずれる (レポートで
shift sが増加): 前の行がオーバーフローしています。その行を短くしてください。 source.jsonで単語が誤認識された場合: テキストを直接編集してください (idと時間は保持)。prepareを再実行しないでください (拒否されます。--forceは編集内容と翻訳を置き換えてしまいます)。dub lintが、sourceが一致しなくなった各翻訳について警告します。それらの翻訳を更新してください。- 動画にソース言語の焼き付けテキストやキャプションがある場合: そのまま残ります。その旨を伝えてください。吹き替えは音声のみを置き換えます。
- 画面上の口の動きは一致しません。これはナレーションスタイルの吹き替えであり、リップシンクではありません。
dub prepareが拒否する場合: メッセージを読んで (権利、言語、音声なし、字幕不良) 修正してください。権利チェックを回避しないでください。