Communitygithub.com

Talking Head Recut

既存のトーキングヘッド/インタビュー/ポッドキャスト動画に、トランスクリプトと同期したタイミングのグラフィックカード(タイトル、ローワーサード、データコールアウト、引用、サイドパネル、ピクチャーインピクチャー)を重ねるスキル。動画はそのまま再生され、字幕とは異なる。

Talking Head Recut とは?

このスキルは、既存のトーキングヘッド動画に、タイミングを合わせたデザイン性の高いグラフィックカードを重ねるものです。動画の内容をそのまま活かしつつ、タイトル、ローワーサード、データコールアウト、引用、サイドパネル、ピクチャーインピクチャーなどを、トランスクリプトに同期させて配置します。 このスキルは「hyperframes」CLIを中心に動作し、ローカルのWhisperで文字起こしを行うため、APIキーや外部サービスは不要です。アスペクト比(16:9、9:16、4:5)やレイアウト、スタイルグループ、カード数は、ユーザーが動画の内容に基づいて選択できます。 スキルは、まず作業ディレクトリにメタデータと音声を抽出し、Whisperで文字起こしを実行します。その後、エージェントが文字起こしデータを分析してカードの構成を計画し、各カードのHTMLを直接生成し、最終的に1つのHTMLにまとめてMP4にレンダリングします。 このスキルの特徴は、カードの構造やアーキタイプが固定されておらず、トランスクリプトの内容に応じて動的に生成される点にあります。また、カードの数や表示時間は、動画の長さと情報密度から自動的に計算されるため、短いリールから長時間の講義まで、幅広い動画に対応できます。

対応~Claude Code✓Codex CLI~Cursor
npx skills add https://github.com/1999AZZAR/designer-mcp/tree/HEAD/skills/video/engine/talking-head-recut

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

まず、このスキルを最新に保つために、実行前にユーザーに確認してください: npx hyperframes skills update talking-head-recut。すべてが最新の場合は何も起こりませんが、そうでない場合は、このスキルとそれに依存するコアドメインスキルを更新してから使用します。

トーキングヘッドレカット

Talking Head Recutは、ローカルの動画をそのまま再生し、その上に、タイミングが調整されたデザイン性の高いグラフィックカードのシーケンス(タイトル、ローワーサード、データコールアウト、引用、サイドパネル、ピクチャーインピクチャーなど)を、発言内容に同期させて重ねます。エージェントはカード(タイミングと内容)をデザインし、各カードのHTMLを会話の中で直接作成し、単一の構成HTMLにまとめ、hyperframesを使ってMP4にレンダリングします。固定されたアーキタイプリストや所定のカード構造はなく、オーバーレイはトランスクリプトの実際の内容に応じて生成されます。

入り口は/hyperframesです。 このスキルは既存のトーキングヘッドクリップにデザインされたグラフィックカード(タイトル、ローワーサード、データコールアウト、引用、サイドパネル、PiP)をパッケージ化します。これは単なるキャプション(発言内容をテキストとして表示)ではありません。クリップはそのまま再生されます。 その他の意図(単なる字幕、単体のグラフィック、ゼロからの動画作成など)、または不明な点がある場合は、最初に/hyperframesを参照してください。インテントレイヤーがすべてのルート決定を担当します。

embedded-captionsのグラフィックパッケージ版です。 キャプションは発言された言葉を読みやすい字幕として追加しますが、これは再生中の動画の上にデザインされたグラフィックを追加します。単なる字幕の場合はembedded-captionsを参照してください。ゼロから動画を作成する場合は、作成ワークフロー(product-launch-video / faceless-explainer / ...)を参照してください。

/hyperframesを通じてルーティングされると、インテントレイヤーは入力(どのクリップか)のみを確認し、レンダリング戦略に関する質問は後回しとして通知します。アスペクト比、レイアウト、スタイルグループ、カード数はステップ7で決定されます。そこでは、調査されたフッテージとトランスクリプトが推奨事項の基礎を提供します。レイヤーの実行形状に関する質問は適用されません。BRIEF.mdがある場合は、確認された入力とユーザーのメモが記載されているので、最初に読んでください。

作業ディレクトリに確認可能な中間ファイル:

  • metadata.json — 動画の長さ、幅、高さ、fps
  • audio.mp3 — 抽出された音声
  • transcript.json — フラットな単語配列 [{ text, start, end }, …] (Whisper形式。segmentsやwordsラッパーはありません)
  • storyboard.json — 軽量なカードの概要(エージェントの計画)
  • public/cards/card-XX.html — カードごとのHTMLフラグメント
  • public/index.html — 最終的な構成HTML
  • output.mp4 — レンダリングされた動画

CLIの解決

# hyperframes — 文字起こし(ローカルWhisper)+ 構成HTMLのMP4レンダリング
npx hyperframes --help

このスキルはhyperframes CLIとシステムのffmpeg/ffprobe上で完全に動作します。文字起こしは、hyperframes transcribeによるローカルWhisperを使用します。サードパーティのサービス、APIキー、レート制限のあるプロキシは不要です。

ワークフロー

1. 環境確認

npx hyperframes doctor          # ffmpeg, ヘッドレスブラウザ, レンダリング依存関係の確認
# バンドルされたアセットを確認:
ls "<SKILL_DIR>/assets/fonts" "<SKILL_DIR>/assets/vendor/gsap.min.js"

必要なもの:

  • ffmpeg / ffprobe(システムにインストール)
  • <SKILL_DIR>/assets/fonts/*.woff2, <SKILL_DIR>/assets/vendor/gsap.min.js(このスキルに同梱され、ステップ9で作業ディレクトリに展開されます)

文字起こしにキーは不要です。hyperframes transcribeはWhisperをローカルで実行します(ステップ4)。

macOSでhyperframes renderを使用する場合、強く推奨:

export PRODUCER_BROWSER_GPU_MODE=hardware

2. 作業ディレクトリの作成

すべてのアーティファクトはvideos/<project-name>/の下に配置されます。これは他の動画ワークフロー(product-launch-video / faceless-explainer / pr-to-video)と同じ規約です。カレントディレクトリはワークスペースルートに維持します。以下のすべての処理はこの1つのサブディレクトリに書き込まれます。

VIDEO_PATH="/absolute/path/input.mp4"
WORK_DIR="videos/$(basename "$VIDEO_PATH" | sed 's/\.[^.]*$//')"
mkdir -p "$WORK_DIR"

3. 音声とメタデータの抽出

# メタデータ — 動画の長さ、幅、高さ、fps
ffprobe -v error -select_streams v:0 \
  -show_entries stream=width,height,r_frame_rate \
  -show_entries format=duration -of json "$VIDEO_PATH" > "$WORK_DIR/metadata.json"
# 音声
ffmpeg -y -i "$VIDEO_PATH" -vn -acodec libmp3lame -q:a 2 "$WORK_DIR/audio.mp3"

出力: metadata.json(width/height/durationを読み取ります。fpsはr_frame_rateの分数を評価します。例: 30000/1001 → 29.97)+ audio.mp3。

4. 文字起こし

npx hyperframes transcribe "$WORK_DIR/audio.mp3" -d "$WORK_DIR" --json --model small.en

ローカルWhisper — APIキー、プロキシ、レート制限は不要です。単語レベルのtranscript.jsonを作業ディレクトリに書き込みます(単語のtext + start / endタイムスタンプ)。これを読み取り、ステップ6でカードのタイミングを決定するための単語/文のタイミングを取得します。句読点やポーズで自分で単語を文にグループ化し、必要に応じてセグメントレベルのチャンクを取得します。

メディアの長さにクランプする。 Whisperが最後の単語のendを実際のクリップ長よりわずかに超えて返すことがあります。すべてのカードのendSecとcomposition.durationSecondsをmetadata.jsonのdurationにクランプしないと、レンダリングで動画の後に黒いテールが表示されます。

5. トランスクリプトの修正

transcript.jsonは、単語オブジェクトのフラットな配列です。[{ "text": "...", "start": s, "end": s }, …](segments配列やwordsラッパーはありません。単語ごとのキーは**text**です)。これを読み取り、明らかなASRエラーを修正します:

  • 同音異義語、製品名、技術用語、句読点
  • 単語のtextをその場で編集します。start / endタイムスタンプは保持します
  • 事前にグループ化されたsegments配列はありません。カードのタイミングのためにセグメントレベルのチャンクが必要な場合は、自分で単語を文にグループ化します(終端の句読点/ポーズで分割)

6. 軽量なストーリーボードの作成(チャット内)

CLIは使用しません。 transcript.json + metadata.jsonを読み取り、カードを直接デザインします。storyboard.jsonはエージェント内部の計画用アーティファクトです。これを消費するCLIコマンドはありません。これは、各カードのHTMLを作成する前に、タイミングと内容について明確に考えるために存在します。以下の例と一貫した形状を維持し、同じアウトラインがステップ9で作成する構成を駆動できるようにします:

{
  "schemaVersion": 3,
  "composition": {
    "fps": 30,
    "width": 1080,
    "height": 1920,
    "durationSeconds": 121.2,
    "layout": "portrait",
    "themeId": "noir",
    "seed": 42
  },
  "videoTrack": {
    "sourcePath": "input-video.mp4",
    "startSec": 0,
    "endSec": 121.2,
    "bounds": { "x": 0, "y": 0, "width": 1080, "height": 1920 }
  },
  "subtitles": { "enabled": false },
  "cards": [
    {
      "id": "card-01",
      "intent": "話者の真夜中の不安な質問で惹きつける",
      "startSec": 0.5,
      "endSec": 13.0,
      "accentIndex": 0,
      "zone": "fullscreen",
      "contentHints": {
        "kicker": "正直な質問",
        "title": "午後11時に行う魂の探求",
        "detail": "クライアントの60秒の音声メッセージ: 「もし人民元が上昇したら、私の米ドル保険は大損するということですか?」"
      }
    }
  ]
}

必須のカードフィールド:

フィールド型目的
id文字列カードHTMLとGSAPセレクターで使用される安定したID
intent文字列自然言語での説明。カード合成に使用されます
startSec / endSec数値秒単位の時間(endSec > startSec)
accentIndex0 | 1 | 2 | 3 | 4このカードが使用する5つのテーマアクセントカラーのうちの1つ
zone列挙型(以下参照)キャンバス上のカードの位置
contentHintsオブジェクト自由形式のバッグ。エージェントがここにキッカー/タイトル/詳細/データ/引用を配置します
archetype (オプション)文字列カードのパターンを記憶するために付ける自由形式のラベル。省略時は自由形式(デフォルト)
transition (オプション)列挙型: cut | fade | slide | wipeカード間の宣言的なトランジション

5つのzone値:

zone解決された境界使用するタイミング
fullscreenキャンバス全体を覆うヒーローモーメント、大きな数字、マントラ
whiteboard-area40pxのマージン(ポートレートの場合は高さの45%)密集したデータ/注釈付きコンテンツ
lower-third下部30%の帯表示中の動画への注釈
side-panel右側42%(ランドスケープ)または下部40%(ポートレート)片側にデータ、反対側に動画
video-overlayキャンバス全体、ほぼ透明なカードを想定フルブリード動画上の注釈オーバーレイ

ステップ9で構成を組み立てる際には、上記の表に従って、各カードのzoneをカードホストラッパー上のピクセル境界に解決します。動画の境界は構成レベル(videoTrack.bounds)で一度だけ設定されます。動画をカード間で「移動」させるには、構成の<script>内で#video-wrapに対するGSAPトゥイーンを作成します(ステップ9参照)。

所定のカードロールも、所定のナラティブアークもありません。 カードは動画で実際に語られていることから生成されます。すべて引用でもすべてデータでも、数字で始まってもストーリーで始まってもかまいません。トランスクリプトがリズムを決定します。

いくつのテイクアウトか? — 長さと密度から自動推論。 固定の上限はありません。動画の長さから基本ペースを選択し、次に情報密度で調整します。下限のみ固定: 最低5枚のカード。 これにより、短い動画でもリズムが生まれます。

ステップ1 — 長さによる基本ペース(中程度の密度における1カードあたりの自然な秒数):

動画の長さ基本ペース(1カードあたりの秒数)根拠
< 60秒(ショートリール)6–8秒視聴者は短尺動画で素早いカットを期待する
60秒 – 3分8–12秒通常のソーシャルペース
3 – 10分12–20秒余裕を持たせる。各カードの情報量が増える
10 – 30分20–35秒長尺の講義/インタビューのリズム
> 30分30–60秒エピソード的、チャプター感

ステップ2 — 密度乗数(基本ペースに乗算します):

トランスクリプトの兆候乗数効果
高密度 — 多くの数字、明確な主張、スタッカートのようなペース、列挙型の列挙、1~2文ごとに新しいアイデアがある× 0.7より速くカット、より多くのカード
中密度 — データとナラティブが混在する流れ× 1.0基本ペース
低密度 — 1つの長いストーリー、繰り返されるリフレーミング、ゆっくりとした内省的なペース、単一の議論が展開される× 1.5より遅くカット、より少ないカード

ステップ3 — 計算:

secPerCard = basePace × densityMultiplier
cardCount  = max(5, round(videoDurationSec / secPerCard))

例(上限はありません。長い動画は自然に多くのカードを生成することに注意):

  • 30秒リール、単一のオチ(低密度) → 7 × 1.5 = 10.5秒/カード → round(30/10.5)=3 → 5枚のカードに切り上げ
  • 60秒の内省的なモノローグ(低密度) → 10 × 1.5 = 15秒/カード → 4 → 5枚のカードに切り上げ
  • 豊富なデータを含む121秒のトーキングヘッド(高密度) → 10 × 0.7 = 7秒/カード → 17枚のカード
  • 5分のインタビュー、混合密度 → 16 × 1.0 = 16秒/カード → 19枚のカード
  • 10分の詳細解説、高密度 → 16 × 0.7 = 11秒/カード → 55枚のカード
  • 30分の講義、中密度 → 28 × 1.0 = 28秒/カード → 64枚のカード
  • 1時間のポッドキャスト、低密度 → 45 × 1.5 = 67.5秒/カード → 53枚のカード

カードが約15秒より長く保持される場合は、よりリッチなカード(データブロック、マルチステップのリビール、段階的なアニメーションで展開するいくつかのサブポイント)を計画します。静的なワンライナーは8秒を超えると退屈になります。多くのカードが30秒を超える長い作品の場合は、タイムラインをサブ構成にチャンク化することを検討します(data-composition-srcでマウントされた、1ファイルあたり1チャプターの.html)。これにより、ファイルごとのGSAPタイムラインを管理しやすくします。HyperFramesのtimeline_track_too_dense lint警告を参照してください。

contentは、プレーンテキスト(「タイトル: 年率5.69%\n注釈: ...」)またはデータをキャプチャする任意のJSON形状にすることができます。エージェントがカードごとに形状を決定します。

オプションのアウトロ。 このスキルには固定のブランドアウトロはありません。ユーザーがクロージングカードを希望する場合は、自分でニュートラルなもの(ワードマーク+1行のタグライン、約1.5~2秒、フェードイン→短いホールド→フェードアウト)をデザインし、cards[]に追加し、composition.durationSecondsをそのendSecまで延長します。それ以外の場合は、最後のコンテンツカードで終了します。

7. レンダリング戦略の決定

ユーザーとビジュアルの方向性を確認する(これを最初に行う)

カードのデザインや境界を決定する前に、ユーザーに出力比率を選択してもらいます

…

[翻訳のため省略]

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

1999AZZAR/designer-mcp

SOTA animation and physics heuristic guide using motion.dev

1999AZZAR/designer-mcp

Add captions or subtitles to an existing single-subject talking-head video without editing the footage. Use for plain verbatim captions, cinematic captions embedded behind the subject, VFX captions, “炸/特效/酷炫字幕,” or a named identity from the 35-style catalog. Route by visual identity, not by backend engine. The quiet `anchor` rail is the default; embed every word only when the user explicitly wants a fully cinematic treatment. The workflow runs locally end to end, including transcription and subject matting; split multi-shot footage before applying it.

1999AZZAR/designer-mcp

Turn arbitrary text — an article, notes, a topic, a brief — into a faceless explainer video: there is no site or footage to capture, so the visuals are invented per scene (typography, abstract graphics, diagrams, data-viz). Use for topic explainers, concept breakdowns, how-tos, listicles. Not a video built from a website (/product-launch-video — promo or tour). Unclear → /hyperframes.

1999AZZAR/designer-mcp

Import Figma content into a HyperFrames composition — rendered assets, brand tokens, components, storyboard sections → reconstructed motion (frames read as states, not slides) (REST/CLI), connector-assisted motion when available, and shaders from a connector or native export. Use when the user pastes a figma.com link or asks to bring a Figma design, frame, logo, brand, or animation into a video/composition.

1999AZZAR/designer-mcp

Author or edit a custom HyperFrames composition when no specialized workflow fits, or when BRIEF.md sets flow: companion. Use for longer or multi-scene pieces, brand and sizzle reels, montages, static loops, static title cards, footage remixes, and freeform builds. Use motion-graphics instead for a short unnarrated motion-first unit, including an animated title. Route fresh creation through hyperframes before using this skill.

1999AZZAR/designer-mcp

All animation knowledge for HyperFrames — atomic motion rules, multi-phase scene blueprints, scene transitions, broader motion-design techniques, AND the seven runtime adapters (GSAP default, plus Lottie, Three.js, Anime.js, CSS keyframes, Web Animations API, TypeGPU). Use for any motion or animation task: pick 2-4 rules and compose, or load a blueprint, or look up runtime-specific API (e.g. GSAP eases / Lottie player / Three.js mixer). Also covers auditing an existing composition's choreography (animation map) and 24 named text-animation effects. HyperFrames-native: single paused timeline, seek-safe, deterministic.

1999AZZAR/designer-mcp

Use when audio already placed in a HyperFrames composition needs to be mixed: fade-in/fade-out, crossfade, track gain or volume, volume automation, ducking, a music bed that fights a voiceover (voiceover carve), effects on a track (EQ, compressor, limiter, gate, saturation, delay, reverb, chorus, phaser, bitcrush), automation envelopes drawn on a track's volume or any effect parameter, or one submix bus carrying a chain, a fader and an automation clock for several tracks at once (`<hf-audio-group>`). Don't use for sourcing or generating audio — finding BGM, SFX, or making a voiceover is `/media-use`. Don't use for clip timing or track layout, which is `/hyperframes-core`.

1999AZZAR/designer-mcp

Use the HyperFrames CLI development loop: init, add, catalog, capture, lint, check, snapshot, compare, grade-compare, preview, play, present, beats, keyframes, single or batch render, publish, cloud, cloudrun, feedback, lambda, doctor, browser, info, upgrade, skills, compositions, timeline, docs, benchmark, telemetry, transcribe, auth, tts, and remove-background. Also use when diagnosing build or render failures. validate, inspect, and layout are deprecated aliases; use check. Covers local, HeyGen-hosted cloud, AWS Lambda, and Google Cloud Run rendering.

1999AZZAR/designer-mcp

The HyperFrames composition contract — build one renderable project. Use for composition structure, the `data-*` timing attributes, `class="clip"`, tracks, sub-compositions, variables, framework-owned media playback, deterministic-render rules, and validation. Read before writing composition HTML.

1999AZZAR/designer-mcp

Non-animation creative direction for HyperFrames videos. Use for design spec (frame.md / design.md) handling, palettes, typography, narration, beat planning, audio-reactive visuals, composition patterns, and brand / style decisions. For atomic motion patterns and scene blueprints, use `hyperframes-animation`.

1999AZZAR/designer-mcp

Use when a HyperFrames composition needs a punch-in, punch-out, zoom, reframe, Ken Burns treatment, camera move, visual match/whip handoff, or other seek-safe 2D/3D keyframes; also for GSAP, CSS keyframes, Anime.js, WAAPI, FLIP, paths, masks, SVG morph/draw, text trails, 3D depth, or `hyperframes keyframes` diagnostics. Don't use for broad scene strategy, brand design, media sourcing, captions, or general video planning.

1999AZZAR/designer-mcp

Search, install, and wire registry blocks and components into HyperFrames compositions. Use BEFORE hand-building any named visual — whenever a brief, a user, or a storyboard names a look, effect, treatment, or transition such as CRT scanlines, glitch, chromatic aberration, film grain, a shimmer sweep, a chart, a code or terminal window, a map, or a confetti burst — because roughly 400 hosted items already cover many of them and the search ranks all of them with nothing installed, no project, and no account. Also use when running hyperframes add or hyperframes catalog, installing one item or every block matching a tag, wiring an installed item into index.html, or working with hyperframes.json. Covers discovery, install locations, block sub-composition wiring, component snippet merging, and authoring a new block or component to contribute upstream (idea → scaffold → validate → PR).

1999AZZAR/designer-mcp

Mandatory entry point: read this first for any request to make, create, edit, animate, or render a video, animation, or motion graphic, including a promo, explainer, captioned clip, title card, overlay, slideshow or interactive deck, Remotion port, or any HyperFrames HTML composition. Also use it to inspect, diagnose, validate, preview, publish, or batch-render an existing HyperFrames project. Inputs may be a website URL, GitHub PR, Figma design or URL, text or brief, existing footage, or music. It resumes project state, captures intent when applicable, selects and installs the owning workflow, and routes domain capabilities. HyperFrames is the default output framework unless the user explicitly chooses another framework for the deliverable or asks only to record a browser session.

1999AZZAR/designer-mcp

Use when building or editing a HyperFrames project that people open in Studio: how the timeline should be laid out so it reads well (one caption track, one element kind per track, every scene a sub-composition) and where captions and key content may sit (safe zones). Don't use for how to perform an individual edit (split, trim, retime, volume, copy, swap): that is `creator-editing-recipes.md` in `/hyperframes-core`.

1999AZZAR/designer-mcp

Agent Media OS, the single skill for every media need in a HyperFrames project. Resolve BGM, SFX, image, icon, brand logo, voice, color grade, or LUT into a frozen local file or paste-ready block + ledger record (one verb, `resolve`); generate via TTS / music / image models when the catalog misses; produce voiceover, transcription, captions, and background removal through one shared audio engine; operate on media (cut / reframe / transform); and reuse assets across projects. Also use for vague feedback that real footage looks dark, flat, boring, should feel retro/camcorder/print/ASCII, needs privacy, or needs a media reveal.

1999AZZAR/designer-mcp

Turn a music track (an audio file, a video to pull audio from, or a track generated from a mood brief) into a beat-synced video — lyric video, slideshow, or kinetic promo. The music drives all pacing; any user-supplied images/videos are cut onto the same beat grid, and a complete video needs zero assets. Narrated pieces → the input-matched workflow (see /hyperframes). Unclear → /hyperframes.

1999AZZAR/designer-mcp

Turn a GitHub pull request (a PR URL, owner/repo#N, or 'this PR' in a checked-out repo) into a code-change explainer video — changelog, feature reveal, fix, or refactor walkthrough built from the diff, commits, and files: the input is a code change, not a website. Not a product promo (/product-launch-video) or a no-PR topic explainer (/faceless-explainer). Unclear → /hyperframes.

1999AZZAR/designer-mcp

Port an existing Remotion (React) composition''s source to HyperFrames HTML. Use ONLY on an explicit ask to port/convert/migrate/translate a Remotion source — one-way, Remotion-only. A passing Remotion mention, reference-only code, or "make something like my Remotion video" is a fresh build (/general-video). Unclear → /hyperframes.

1999AZZAR/designer-mcp

Author a HyperFrames slideshow — a presentation, pitch deck, or interactive deck with discrete slides, fragment reveals, branching, hotspot navigation, and built-in presenter mode with speaker notes; also converts an existing page into a deck. Output is a navigable deck, not a rendered MP4. If the user didn't explicitly ask for a slideshow, confirm before authoring. Unclear → /hyperframes.

1999AZZAR/designer-mcp

All animation knowledge for HyperFrames — atomic motion rules, multi-phase scene blueprints, scene transitions, broader motion-design techniques, AND the seven runtime adapters (GSAP default, plus Lottie, Three.js, Anime.js, CSS keyframes, Web Animations API, TypeGPU). Use for any motion or animation task: pick 2-4 rules and compose, or load a blueprint, or look up runtime-specific API (e.g. GSAP eases / Lottie player / Three.js mixer). Also covers auditing an existing composition's choreography (animation map) and 24 named text-animation effects. HyperFrames-native: single paused timeline, seek-safe, deterministic.

関連スキル