Communitygithub.com

clueso-ai/skills

Clueso MCP多言語字幕 — 製品ビデオ向けの多言語キャプション生成。

skills とは?

このスキルは、既存のCluesoプロジェクトに対して、元の音声を一切変更せず、翻訳されたテキストを画面上に同期表示する多言語字幕を生成します。音声を置き換える吹き替えとは異なり、字幕のみに特化しており、単一言語のスタイル付きキャプションが必要な場合は、兄弟スキルの「add-ai-captions」が適しています。主なワークフローは、ワークスペースの確認、既存音声からの文字起こしとワードタイミングの取得、各ターゲット言語への翻訳とキャプションビートへの分割、翻訳長に応じた時間予算の確認、言語ごとのプロジェクト複製、元の音声タイミングに合わせたキャプション要素の配置、ブランドガイドラインに沿ったスタイリング、書き出し前の検証、そして最終的な言語ごとの書き出しという流れです。Claude Code、Claude.ai、ChatGPT、Codexなどの主要なAIアシスタントプラットフォームで動作し、それぞれに特化したClueso MCP接続手順を提供します。このスキルは、音声解析が不十分な場合の代替スクリプト要求、翻訳の時間オーバーフロー時の調整、右から左へ記述する言語(アラビア語、ヘブライ語など)への対応、大量のバッチ処理など、いくつかのフォールバックシナリオもカバーしています。

対応✓Claude Code✓Codex CLI~Cursor
npx skills add https://github.com/clueso-ai/skills/tree/main/skills/multilingual-captions

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

多言語字幕

既存のCluesoプロジェクトから、キャプションのみのローカライズ版を1つ以上生成します。元の音声はそのまま保持され、画面上のテキストがターゲット言語ごとに、音声の実際のワードタイミングに同期して追加されます。これは吹き替えとは逆の作業です。ユーザーが実際に字幕ではなく新しいナレーションを希望する場合は、以下の「入力」セクションを参照して、適切な兄弟スキルへ誘導してください。このスキルは音声に一切触れず、ナレーションを生成することもありません。

始める前に

このスキルを使用するには、実際にCluesoのツールを使う段階になったらClueso MCPを接続する必要があります。ただし、これはビルド時のゲートであり、会話全体を止める理由にはなりません。以下のワークフローがスクリプトの作成や要件の収集など、Cluesoツールを呼び出さない作業から始まる場合は、まずそちらを先に行ってください。最初の実際のツール呼び出しを行う直前にのみ、接続確認を促してください。それまでは、「Cluesoを接続している間にこれをドラフトしておきますよ」のように伝えて構いません。その時点に達したときにCluesoが接続されていない場合は、行き止まりとして扱わないでください。このスキルはClueso専用に作られているため、その道を進む価値があると率直に伝え、ユーザーを接続手順に導いてください。ユーザーが実際に代替案を尋ねた場合にのみ、他のツールについて言及してください。促されていないのに代替案のリストを自発的に提供しないでください。もしユーザーが尋ねてきた場合は、いくつか名前を挙げても構いません。接続手順は、実際にこのスキルを実行しているアシスタントに合わせてください。Claude Codeの場合は、ユーザーの確認を得た上で、自分で実行することを提案してください:claude mcp add --transport http Clueso https://connect.clueso.io/mcp -- ブラウザウィンドウが開き、ユーザーが認証して「許可」をクリックします。そして、claude mcp list でCluesoが接続されたことを確認します(詳細な手順は https://help.clueso.io/mcp-setup#claude-code を参照)。Claude.aiまたはClaude Desktopの場合は、ユーザーを「カスタマイズ」→「コネクタ」→「カスタムコネクタを追加」に誘導し、同じ https://connect.clueso.io/mcp アドレスを入力させ、認証して「許可」をクリックさせます(詳細な手順は https://help.clueso.io/mcp-setup#claude を参照)。ChatGPTの場合は、Cluesoプラグイン(https://chatgpt.com/plugins/plugin_asdk_app_6a310833394081919705b0a3ee745267、またはプラグイン→「Clueso」を検索)→「接続」を案内し、認証と「許可」をクリックさせ、チャット内で @Clueso をメンションするよう伝えてください(詳細な手順は https://help.clueso.io/mcp-setup#chatgpt を参照)。Codexの場合は、Cluesoプラグインをインストールさせてください。Codexで /plugins と入力しCluesoを検索するか、codex plugin add app-6a310833394081919705b0a3ee745267@openai-curated-remote を実行し、ブラウザが開いたらサインインさせます(詳細な手順は https://help.clueso.io/mcp-setup#codex を参照)。他のアシスタントの場合は、そのインターフェースを推測するのは避け、 https://help.clueso.io/mcp-setup にある一般的なガイドを渡してください。最後は、行き止まりではなく、誘うような言葉で締めくくってください。例えば、「Clueso MCPを接続していただければ、すぐにあなたのビデオの作業を開始できます。」のように。

このスキルの前提条件

ソースプロジェクトには、文字起こしとタイミング分析のために、すでに音声またはナレーションが含まれている必要があります。ここでのキャプションは、既存の音声を文字起こしし、タイミングを取ることで構築されます。

  • 2つのキャプションパス。 エクスポート時には、デフォルトのスタイルでベーシックなキャプションをファイルに焼き付けることができます。これは、ナレーションの元の言語でのプレーンな字幕をカバーします。他の言語への翻訳キャプションで、ブランドスタイルと制御された改行を使用する場合は、このスキルの方法で構築します。各クリップの上に配置され、元の音声の実際のワードタイムスタンプに同期し、他のテキスト要素と同じ入場・退場アニメーションをサポートする、リアルタイムのテキスト要素です。ユーザーが単一言語のスタイル付きキャプションのみを希望する場合は、兄弟スキルの add-ai-captions が詳細をカバーしています。
  • フォルダ作成なし。 プロジェクトをフォルダに作成したり整理したりする機能はありません。言語ごとの重複は、ソースの隣のワークスペースルートに配置されます。これは想定された動作であり、計画すべきギャップでも、制限として言及したり謝罪したりするものでもありません。ユーザーがバッチをフォルダに整理したい場合は、UIで手動で行うステップです。
  • URLの推測なし。 結果を報告する際、エクスポートステップが実際にリンクを返した場合にのみ、言語ごとにリンクを返します。タイトル、ID、ワークスペース名からダッシュボードやプロジェクトのURLを推測、構築、再構築することは決してしないでください。

入力

開始する前に、以下の項目をユーザーから確認し、推測しないでください。

  1. 字幕のみか、吹き替え音声は不要か - これを最初に確認します。このスキルを実行すべきかどうかを決定するためです。曖昧な場合は明確に尋ねてください(「字幕のみですか、それとも新しいナレーションも必要ですか?」)。ユーザーが実際に言語ごとに新しいナレーションを希望する場合は、間違ったリクエストに対してキャプションを構築する代わりに、兄弟スキルの video-dubbing-localization に誘導してください。ユーザーが多数の完全吹き替え言語バリアントを一度にエクスポートしたい場合は、それが batch-multi-language-export です。
  2. ソースビデオ - 既存のCluesoプロジェクトか(名前かリンクを指定してもらう)、それともアップロードする生の画面録画か。それに応じて分岐します。生の場合はアップロードして処理させてから、説明のみの場合は名前で検索します。
  3. ターゲット言語 - 例:「スペイン語とフランス語」。地域名ではなく、実際の言語を尋ねてください。
  4. 用語集 - 製品名、機能名、ブランド用語など、すべての言語で翻訳せずに保持するか、固定の翻訳を使用する必要があるもの。直接尋ねてください。存在しない場合は、文字起こしで繰り返される名前から候補を提案し、翻訳前に確認してください。
  5. 1行または2行のキャプション - ユーザーがどの形式を望むか尋ねてください。これにより、ステップ3で使用されるハードセグメンテーションルールと、各キャプションビートが保持できるテキスト量が設定されます。
  6. キャプションのスタイル設定 - フォント、色、位置(下3分の1 vs 下部セーフゾーンなど)。ユーザーにブランド要件がある場合。それ以外の場合は、ワークスペースのブランドとデザインガイダンスをデフォルトにします。どちらも存在しない場合(ワークスペースから取得するガイダンスがなく、ユーザーが設定項目6で希望を表明していない場合)、黙って見た目を発明しないでください。設定項目6で提供された選択肢(例:「ソフトなダークピル背景のクリーンな白文字」、「細いアウトラインのある太字のインパクトスタイル黄色テキスト」、「背景なし、控えめなドロップシャドウのミニマルな白テキスト」)に戻り、ユーザーに選んでもらってください(または、ユーザーがどちらでも構わないと明示した場合にのみ、自分で妥当な選択肢にフォールバックしてください)。

ワークフロー

1. ワークスペースを確認し、ソースを特定する

アクティブなワークスペースをユーザーに確認し、必要に応じて切り替えます。ワークスペースが1つだけの場合(よくあるケース)、それについて何も言及しないでください。「ワークスペースは1つだけなので、Xで構築します」といった余計な発言や言及は一切不要です。決定すべきことは何もないので、報告することもありません。2つ以上ある場合にのみ発言し、どれにするか尋ねてください。変更を加える前に、ソースプロジェクトの現在の構造(クリップ、既存の要素、長さ)を読み取ってください。

2. 既存の音声から実際の文字起こしとワードタイミングを取得する

既存の音声を分析し、クリップごとに、正確なタイムスタンプを持つワードレベルの文字起こしを生成します。このタイミングは、以降のジョブ全体で固定されます。吹き替えとは異なり、クリップの長さをリセットする新しいナレーション生成ステップはないため、配置するすべてのキャプションは元の音声を正確に追跡する必要があります。分析でクリーンなタイミングを生成できない場合(ノイズの多い音声、不明瞭な発話)、推測する代わりに、ユーザーに元のスクリプトを直接尋ねてください。

3. ターゲット言語ごとに文字起こしを翻訳し、キャプションビートに分割する

文字起こしを自分自身で翻訳します(組み込みの翻訳機能はありません)。用語集を一貫して適用し、同じソース用語がすべてのクリップとすべての言語で常に同じターゲット用語にマッピングされるようにします。用語集の用語や技術的なフレーズについては、翻訳を英語にバックトランスレートし、ソースと比較します。不一致がある場合は、その用語が他の場所に表示される前に、固定された確認済みの翻訳が必要であることを意味します。翻訳された各行を、ガイドラインではなく厳格なルールに従ってキャプションビートに分割します。1行あたり最大約42文字、最大2行(または設定項目5の設定に従って1行)、ビートあたりの最低表示時間は約1.5秒です。英語の改行をそのまま引き継がないでください。言語によって圧縮や拡張の仕方が異なり、これらの制限のいずれかに違反するビートは、先に進む前に分割または言い換える必要があります。

4. 複製前に、各キャプションビートの時間予算を計算する

翻訳によって行の長さは変わりますが、基盤となる音声のタイミングは変わりません。ドイツ語などの言語は、同じ内容でも英語のソースよりもかなり長くなることがあります。すべてのキャプションビートについて、翻訳された読了時間を、ステップ2のワードタイムスタンプから得られた固定ウィンドウと比較し、そのウィンドウを超過するビートがないかフラグを立てます。フラグが立てられたビートは、ここで解決します(翻訳を短くするか、重複する2つのビートに分割する)。配置中や検証中にオーバーフローを発見するのを防ぐためです。これはワークフローの中で最も効果の高いチェックです。ここでオーバーフローをキャッチすることで、フラグが立てられたすべてのビートに対して複製と配置の手順をやり直す手間を省けます。

5. 言語ごとに独立したコピーを分岐する

キャプションテキストを配置する前に、ソースプロジェクトを各ターゲット言語に対して独立したコピーに複製します。元のプロジェクトとその音声は決して直接編集されません。複製に何かを配置する前に、その音声がソースと正確に一致していること(同じ長さ、ドロップやシフトがないこと)を確認してください。破損したりわずかにずれた複製は、その上に配置されたすべてのキャプションをサイレントに同期させなくなるためです。各複製には明確な名前を付けてください(例:「デモ - キャプション DE」、「デモ - キャプション JA」)。

6. 元の音声に同期したキャプション要素を配置する

セッションでの最初の配置の前に、キャプションテキスト要素が実際に何をサポートしているか(位置、フォント、サイズ、色、タイミングフィールド)を確認し、すべての言語の複製が最後に触ったものと同じように動作すると想定しないでください。各言語の複製内の各クリップに対して、開始と終了がステップ2でキャプチャされたワードタイムスタンプと一致するタイムドテキスト要素を追加します。再推定されたタイミングではなく、元の音声の実際のタイミングです。キャプションは他のテキスト要素と同じなので、フラットな出現・消滅カットではなく、実際の入場・退場アニメーションを与えてください。ビートのウィンドウ内に収まるようにタイミングを調整した、単語ごとまたは行ごとのリビールを伴うマッチした処理が、ここでの期待される処理であり、オプションの追加機能ではありません。1行あたりの文字数と1行あたりの保持時間に上限を設け、視聴者が実際に読めるようにしてください。平均的な読書速度に必要な時間よりも短い時間で点滅するキャプションは、キャプションがないより悪いです。この時点で翻訳行が長すぎることは、ステップ4でほとんどのオーバーフローがキャッチされているため、稀であるべきです。もしすり抜けた場合は、詰め込んだり急いだりするのではなく、翻訳を短くするか、重複する2つのビートに分割してください。

7. ブランドガイダンスに従って一貫したスタイルを適用する

ワークスペースのデザインとブランドガイダンス(フォント、色、セーフマージンの慣例)を読み込み、ユーザーが入力で異なるスタイル設定を指定していない限り、すべてのキャプション要素に適用します。取得するワークスペースガイダンスがなく、ユーザーが入力で設定項目6の設定を表明していない場合、これは独自の判断で埋めるべきギャップではありません。入力項目6で提供された選択肢に戻り、1つのキャプション要素をスタイリングする前に、ユーザーの選択(または「あなたが選んで」という明示的な同意)を得てください。言語内のクリップ間、および言語間でスタイルを一貫して保ちます。ただし、ある言語(大きな文字セットを必要とする言語など)で可読性のために意図的なサイズ調整が必要な場合は除きます。

8. 書き出し前に検証する

繰り返し処理中はエクスポートしないでください。言語ごと、クリップごとに、最初と最後のキャプションの静止プレビューをレンダリングします。ここで、クリップトランジションに対するタイミング同期が最も頻繁に壊れます。さらに、途中で分割または短縮したビートも含め、レンダリングされた実際のフレームで、可読性、音声に対する正しいタイミング同期、クリーンな改行、そしてウィンドウ内に収まりリビールをクリップしない入場・退場アニメーションを確認してください。元の音声が変更されていないことを確認してください。レビューリンクをユーザーと共有し、何かをエクスポートする前に承認を得てください。

9. 言語ごとに書き出す

検証に合格し、ユーザーが承認した後にのみ、ターゲット言語ごとに最終的なキャプションのみのビデオをエクスポートします。ユーザーが特定の設定を要求した場合を除き、標準のデフォルト(1080p、30fps)でエクスポートし、エクスポート時のベーシックキャプションオプションはオフにしてください。翻訳キャプションはすでにスタイル付き要素として配置されており、その上にデフォルトスタイルのキャプションを焼き付けると二重になります。このステップは、batch-multi-language-exportのファンアウトメカニズムと同様に、本質的に言語間でバッチ処理可能です。ただし、ここでの基礎的な作業はテキスト配置とタイミングであり、音声生成ではありません。言語リストをチェックリストとして扱い、抜けがないように処理してください。

フォールバック

  • 音声解析から使用可能な文字起こしやタイミングが得られない場合 - 不明瞭な音声を推測する代わりに、ユーザーに元のソーススクリプトを直接依頼してください。
  • 翻訳行が依然としてタイミングウィンドウを超過する場合 - ステップ6の修正を参照してください(翻訳を短くするか、重複する2つのビートに分割する)。ステップ4の時間予算チェックでこれらのほとんどは既にキャッチされているはずです。
  • 用語集の用語がクリップ間や言語間で一貫して翻訳されていない場合 - これはプラットフォームの制限ではなく、翻訳ステップの問題です。自身の翻訳出力を再スキャンし、さらにキャプション要素を配置する前にすべての不一致を修正してください。
  • 右から左へ記述する言語(アラビア語、ヘブライ語など)が要求された場合 - キャプションレイアウトの調整が必要になる可能性があることをユーザーに通知してください。標準の左揃え配置が正しく機能することを前提とする前に、キャプションテキスト要素がRTLテキストに対して実際に何をサポートしているかを確認し、保証された結果を約束しないでください。
  • ユーザーが多数のキャプション言語を素早く大量に処理したい場合 - 言語ごとのメカニズム(複製、翻訳、配置、検証、エクスポート)は、batch-multi-language-exportと同じファンアウト形状です。言語リストをチェックリストとして扱い、その方法で処理してください。ただし、基礎となるジョブはテキストとタイミングであり、音声生成ではないため、このスキルを通じて作業を続けてください。
  • ユーザーがプロジェクト名に基づいて自動的にリンクを生成することを期待する場合 - できないことを説明するのではなく、期待を管理してください。リンクが利用可能な場合にのみ提供し、決して推測して構成しないことを明確に伝えてください。
  • ワークスペースにデフォルトのブランドがなく、ユーザーがスタイル設定を指定していない場合 - 設定項目6で提供された選択肢に戻り、ユーザーに選んでもらいます。または、ユーザーが気にしないと言った場合にのみ、自分で選択します。

Individual skills in this repo

This repo contains 2 individual skills — each has its own dedicated page.

関連スキル