Communitygithub.com

Andersonlimahw/lemon-ai-hub

ナレーション、キャプション、音楽、効果音を映像と同期します。ナレーション作成、スクリプト確定、TTSまたは録音ボイスオーバー、単語レベルのタイムスタンプ、キャプションブロック、音声トラックから導出されたショット区切り、滞留予算、ダッキング、ラウドネスターゲットをサポート。ナレーション付き解説動画、ボイスオーバー変更、字幕、またはタイミングが音声に従う必要があるあらゆる動画に使用します。

lemon-ai-hub とは?

このスキルは、ナレーション(台本)の作成から音声生成、タイムスタンプ取得、キャプション生成、音楽・効果音のミックスまで、音声駆動の動画制作パイプライン全体を自動化します。最大の特徴は「音声トラックが時計を支配する」というルールで、映像のタイミングはすべて測定された音声から導出されます。対応プラットフォームはClaude Code、Cursor、CodexなどのAIエージェント環境で、TTS(ElevenLabs、Azure、OpenAI、Google、edge-tts、Kokoro、Piper)と録音ボイスオーバーの両方をサポートします。また、WhisperXやstable-tsなどの強制アライメントツールで単語レベルのタイムスタンプを生成し、キャプションの長さや表示速度の制約を自動チェックしながら、最終的なタイムラインJSONやSRT/VTTファイルを出力します。映像編集ソフトとの連携や、FFmpegやHyperFrames Audioスキルによるダッキング・ラウドネス正規化も可能で、ナレーション動画や字幕付きコンテンツの制作効率を大幅に向上させます。

対応~Claude Code✓Codex CLI~Cursor
npx skills add https://github.com/Andersonlimahw/lemon-ai-hub/tree/HEAD/plugins/motion-movie-expert/skills/voice-video-sync

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

音声 ↔ 映像 同期

ルールゼロ: 音声トラックが時計を支配する。映像は測定された音声に合わせてタイミングを決め、推測された時間には合わせない。

1. ナレーションを書く

  • 定義ではなく、視聴者の状況から始める。一つのストーリーライン。原因の後に結果。
  • 数値を体感スケールに変換する(「3.2MB」ではなく「電話帳の大きさ」)。
  • 比喩には重みが必要。ナレーターは明確な視点を持つ。
  • 映像がすでに示していることを説明しない。映像が伝えられないことを言う。
  • 冒頭に呼応して締めくくる。チャプターの境界は引き継ぎ: チャプターNの最後の行が、N+1の最初の行を設定する。
  • 話す速度で予算を組む: 英語 ≈ 125–150語/分(TTS音声は異なる — サンプルを測定すること); ポルトガル語 ≈ 140–160語/分; 中国語 ≈ 4–5.5文字/秒。

スクリプトファイルの書式(1段落 = 1ショット、| はキャプションブロックを区切る):

# チャプター1 地図が嘘をつく理由
あなたが見た地図は | 誰かによって描かれた | 理由があって。

メルカトルは船乗りに | まっすぐな針路を保たせたかった。
## gap 0.6

## gap <秒数> は、段落後に少なくともその長さの間を要求する(最後のビジュアルのための滞留)。音声内でそれを生成する — TTSの場合はSSML <break time="600ms"/>、段落ごとのファイルを組み立てる場合は挿入された無音。タイムラインツールは決してタイミングをずらさない。ポーズが存在することを検証する。

2. スクリプトを確定する

スクリプト全体を単語数と推定時間とともに表示し、明示的な「承認」を得る。確定後、すべてのタイミングは音声から導出される。単語を変更すると、その後のすべてのショットが再タイミングされる。

3. 音声を生成する

  • TTS(録音がない場合のデフォルト): ユーザーに好みのエンジン/音声を尋ねる。テキストをクラウドTTS(ElevenLabs、Azure、OpenAI、Google、edge-tts)に送信すると、そのプロバイダーとスクリプトが共有される — 事前に確認する。ローカルオプション(Kokoro、Piper)はマシン内に留める。
  • 録音ボイスオーバー : WAV 48 kHzを受け付ける。無音をトリミングし、呼吸は自然に残し、後でミックスでノーマライズする。
  • 段落ごとに1ファイルにするか、タイムスタンプ付きの1つのマスターファイルを保持する。どちらもタイムラインツールで動作する。

4. タイムスタンプを取得する

TTS APIレスポンスからの単語またはセグメントレベルのタイムスタンプを使用するか、音声をスクリプトに強制アライメントする(WhisperX、 whisper-timestamped、 stable-ts、または word_timestamps=True 付きのWhisper)。次のJSONに正規化する:

{"segments": [{"text": "Every map you have seen", "start": 0.00, "end": 1.42,
  "words": [{"word": "Every", "start": 0.00, "end": 0.21}]}]}

5. タイムラインを構築する

python3 <plugin-root>/scripts/build_timeline.py words.json --script script.txt --fps 30 \
  --out-dir timeline/ --max-chars 42 --min-dwell 1.0

timeline.json(開始/終了フレーム、キャプションブロック、チャプター開始を含むショット)、 captions.srt、 captions.vttを生成し、以下の警告を出力する: 音声にないスクリプトの単語(またはスクリプトにない音声の単語)、読みにくいほど長いまたは速いキャプション、次のショットまで --min-dwell 秒未満しかないショットの最後のキャプション(音声にポーズを追加するかマージする)、リクエストされた ## gap ポーズが音声にない場合、3秒を超える無音。強制アライナーがタイミングを設定しなかった単語(WhisperXでは数字に多い)は、隣接する単語間で補間される。 timeline.json を合成に渡す。フレーム番号を手入力しないこと。

6. キャプションルール

  • 1行あたり≤42文字、≤2行、画面表示時間≥1.0秒、読み取り速度最大約17文字/秒。
  • フレーズの境界で区切る。冠詞と名詞の間では絶対に区切らない。
  • 9:16の下部プラットフォームUIゾーンと画面上のUIテキストを避ける。
  • ソーシャルメディア向けは焼き込みキャプション。YouTubeとウェブプレイヤー向けはサイドカーSRT/VTT。

7. ミックス

レイヤーターゲット
統合ラウドネス(最終)ソーシャル/ウェブ用 −14 LUFS(−16も可); 放送用 −23 LUFS
トゥルーピーク≤ −1 dBTP
VO下の音楽音声中は8–12 dBダッキング、アタック/リリース150–300 ms
SFX音楽より約10 dB下げる; 原因となるフレーム上に配置(後ではない)

<plugin-root>/scripts/qc.sh loudness final.mp4 で測定する(放送用は -23 を追加)。HyperFrames Audioスキルがインストールされている場合、 hyperframes-audio が合成内でダッキング(「ボイスオーバーカーブ」)、EQ、オートメーションを提供する。それ以外の場合は、FFmpegの sidechaincompress と loudnorm(2パス)を使用する。

8. プレビューチェックポイント

最初の≤30秒を音声、キャプション、音楽付きでレンダリングし、以下を確認する: 「音声、ペース、キャプションサイズ、リズム — OK?」 このポイント以降にペースを変更すると、TTSの再実行とすべての再タイミングが必要になる。

Individual skills in this repo

This repo contains 9 individual skills — each has its own dedicated page.

Andersonlimahw/lemon-ai-hub

When the user wants to plan a product launch, feature announcement, or release strategy. Also use when the user mentions 'launch,' 'Product Hunt,' 'feature release,' 'announcement,' 'go-to-market,' 'beta launch,' 'early access,' 'waitlist,' 'product update,' 'how do I launch this,' 'launch checklist,' 'GTM plan,' or 'we're about to ship.' Use this whenever someone is preparing to release something publicly. For ongoing marketing after launch, see marketing-ideas. For the offer being launched (bonuses, guarantees, scarcity, naming), see offers.

Andersonlimahw/lemon-ai-hub

Create and edit motion videos end to end — product motion films, motion graphics, narrated explainers, captioned clips, UI animation recreations, and recuts. Orchestrates brief, storyboard, choreography, build (HyperFrames or any deterministic renderer), voice/caption sync, and render QC. Use when the user asks to make, animate, storyboard, narrate, caption, edit, or render a video or motion piece; skip for static images and web UI work with no video deliverable.

Andersonlimahw/lemon-ai-hub

Build and render a deterministic video composition — HyperFrames (HTML + GSAP) by default, or a custom seek(t) + Playwright + FFmpeg pipeline. Covers project setup, composition contract, timeline rules, creative direction for frames, lint/check/snapshot, preview, and local render. Use when implementing an approved storyboard as code.

Andersonlimahw/lemon-ai-hub

Motion law for multi-scene videos — seam continuity (axis, direction, speed, phase), carriers, causal motion, springs and timing, camera, transitions, stillness, and loop design. Use when planning or fixing how scenes connect and move, before and during any animation build.

Andersonlimahw/lemon-ai-hub

Short design-led motion graphics where motion is the message — kinetic typography, stat count-up, chart/data-viz reveal, logo sting, lower third or callout, animated map, tweet/news/headline card, webpage or UI walkthrough, and image-plus-data fusion. Usually under 10 s, up to about 30 s, no narration; renders to MP4 or a transparent overlay. Use when the user wants a short motion graphic, animated stat/chart/logo/map/card, or overlay; when the upstream HyperFrames `motion-graphics` skill is installed, use it for exact CLI flags and registry blocks.

Andersonlimahw/lemon-ai-hub

Turn a video idea, product, or script into an approved master prompt and pre-implementation storyboard — intake, concept, 8–12 state sequence, beat grid, transition map, camera plan, audio cue plan, and render architecture. Use before building any new video, or when a video brief is vague.

Andersonlimahw/lemon-ai-hub

Motion tokens, spring presets, and React/Next.js (motion/react) interaction patterns for product UI that appears in a video — rebuilding real product screens faithfully, animating them as seekable scenes, and keeping the live product's motion consistent with the film. Use when a motion video shows or recreates product UI; for web UI work with no video deliverable use design-expert instead.

Andersonlimahw/lemon-ai-hub

Edit existing video and verify any render before delivery — recut, trim, reframe to other aspect ratios, burn in or attach captions, swap or remix audio, loop, and export; plus the QC gates (probe, contact sheet, stills per beat, loudness, loop seam, legibility, facts, PII). Use for editing footage or for the final check of any motion video.

Andersonlimahw/lemon-ai-hub

Agent skill at plugins/video/SKILL.md

関連スキル