Communitygithub.com

トーキングヘッドリカット(Talking Head Recut)

既存のトーキングヘッド動画やインタビュー動画に、トランスクリプトに同期したタイミング付きのデザインされたグラフィックオーバーレイカード(タイトル、ローワーサード、データコールアウト、引用、サイドパネル、ピクチャーインピクチャー)をパッケージングします。動画自体はそのまま再生されます。

トーキングヘッドリカット(Talking Head Recut) とは?

Talking Head Recut は、既存のトーキングヘッド動画(インタビューやポッドキャストなど)を、トランスクリプトに完全に同期したデザイン性の高いグラフィックオーバーレイカードで装飾するスキルです。動画の内容はそのままに、タイトル、ローワーサード、データコールアウト、引用、サイドパネル、ピクチャーインピクチャーなどの視覚的なカードを重ね合わせます。このスキルは、`hyperframes` CLi を使用して、ローカルの Whisper で文字起こしを行い、カードの HTML を生成し、最終的に MP4 にレンダリングします。固定されたアーキタイプやカード構造はなく、カードの内容はトランスクリプトからエージェントが動的にデザインします。主に `/hyperframes` ルートを経由してアクセスされ、動画の装飾(グラフィックオーバーレイ)に特化しています。

対応~Claude Code✓Codex CLI~Cursor
npx skills add https://github.com/samyakiasonline-ctrl/hyperframe/tree/HEAD/.claude/skills/talking-head-recut

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

プラグインのインストール: セットアップや更新コマンドを実行する前に、このスキルが HypreFrames プラグイン内にある場合は、[/hyperframes/references/plugin-installation.md](../hyperframes/references/plugin-installation.md)にあるプラグイン実行ルールに従ってください。スタンドアロンでインストールする場合は、以下の更新手順に従ってください。

まず、このスキルを最新の状態に保ってください — ユーザーに確認してから実行: npx hyperframes skills update talking-head-recut。すべてが最新の場合は即座に完了します。そうでない場合は、このスキルと、それが依存するコアドメインスキルを更新してから使用します。

トーキングヘッドリカット(Talking Head Recut) は何をしますか?

Talking Head Recut は、ローカル動画を完全に再生し、その上にタイミングとデザインが施された一連のグラフィックカード(タイトル、ローワーサード、データコールアウト、引用、サイドパネル、ピクチャーインピクチャー)を、発言内容に同期させて重ね合わせます。エージェントはカードのデザイン(タイミングと内容)を行い、各カードの HTML を会話内で直接記述し、単一の構成 HTML にまとめ、hyperframes を介して MP4 にレンダリングします。固定されたアーキタイプリストや所定のカード構造はなく、オーバーレイはトランスクリプトの実際の内容に基づいて生成されます。

正面玄関は /hyperframes です。 このスキルは、既存のトーキングヘッドクリップを、デザインされたグラフィックカード(タイトル、ローワーサード、データコールアウト、引用、サイドパネル、PiP)でパッケージングします — 単なるキャプション(テキストとしての話し言葉)ではありません。クリップはそのまま再生されます。 その他の意図(単なる字幕、スタンドアロングラフィック、スクラッチからの動画作成など)や不確かな場合は、まず /hyperframes をお読みください。インテントレイヤーがすべてのルート決定を担当します。

embedded-captions のグラフィックパッケージング版です。 キャプションは再生中の動画に_話し言葉_を読みやすい字幕として追加します。これは、動画の上に_デザインされたグラフィック_を追加します。単なる字幕 → embedded-captions。スクラッチから動画を作成する → 作成ワークフロー(product-launch-video / faceless-explainer など)へ。

/hyperframes を経由してルーティングされると、インテントレイヤーは入力(どのクリップか)のみを確認し、レンダリング戦略に関する質問を後回しとして通知します — アスペクト比、レイアウト、スタイルグループ、カード数は、プローブされた映像とトランスクリプトが推奨を裏付けるステップ 7 に残ります。レイヤーの実行形状に関する質問は適用されません。BRIEF.md が存在する場合、確認された入力とユーザーノートが含まれているため、最初にそれを読んでください。

ワークディレクトリ内の検査可能な中間ファイル:

  • metadata.json — 再生時間 / 幅 / 高さ / fps
  • audio.mp3 — 抽出された音声
  • transcript.json — フラットなワード配列 [{ text, start, end }, …](Whisper; segments や words ラッパーはありません)
  • storyboard.json — 簡易カード概要(エージェントの計画)
  • public/cards/card-XX.html — カードごとの HTML フラグメント
  • public/index.html — 最終構成
  • output.mp4 — レンダリングされた動画

CLI リゾリューション

# hyperframes — 文字起こし(ローカル Whisper)+ 構成された HTML の MP4 へのレンダリング
npx hyperframes --help

このスキルは、hyperframes CLI とシステムの ffmpeg / ffprobe のみに依存します。文字起こしはローカルの Whisper を介して hyperframes transcribe で行われ — サードパーティサービス、API キー、レート制限付きプロキシは不要です。

ワークフロー

1. 環境チェック

npx hyperframes doctor          # ffmpeg, ヘッドレスブラウザ、レンダリングの依存関係
# バンドルされたアセットを確認:
ls "<SKILL_DIR>/assets/fonts" "<SKILL_DIR>/assets/vendor/gsap.min.js"

必須:

  • ffmpeg / ffprobe(システム)
  • <SKILL_DIR>/assets/fonts/*.woff2、<SKILL_DIR>/assets/vendor/gsap.min.js(このスキル内にバンドルされ、ステップ 9 でワークディレクトリにステージングされます)

文字起こしにキーは不要 — hyperframes transcribe は Whisper をローカルで実行します(ステップ 4)。

macOS で hyperframes render に強く推奨:

export PRODUCER_BROWSER_GPU_MODE=hardware

2. ワークディレクトリを作成する

すべてのアーティファクトは videos/<project-name>/ 以下に配置されます — これは他の動画ワークフロー(product-launch-video / faceless-explainer / pr-to-video)と同じ規則です。カレントワーキングディレクトリ(cwd)をワークスペースルートに保ちます。以下のすべては、この 1 つのサブディレクトリ以下に書き込まれます。

VIDEO_PATH="/絶対パス/input.mp4"
WORK_DIR="videos/$(basename "$VIDEO_PATH" | sed 's/\.[^.]*$//')"
mkdir -p "$WORK_DIR"

3. 音声とメタデータを抽出する

# メタデータ — 再生時間 / 幅 / 高さ / fps
ffprobe -v error -select_streams v:0 \
  -show_entries stream=width,height,r_frame_rate \
  -show_entries format=duration -of json "$VIDEO_PATH" > "$WORK_DIR/metadata.json"
# 音声
ffmpeg -y -i "$VIDEO_PATH" -vn -acodec libmp3lame -q:a 2 "$WORK_DIR/audio.mp3"

出力: metadata.json(width/height/duration を読み取ります。fps は r_frame_rate の分数を評価した値です(例:30000/1001 → 29.97))+ audio.mp3。

4. 文字起こし

npx hyperframes transcribe "$WORK_DIR/audio.mp3" -d "$WORK_DIR" --json --model small.en

ローカル Whisper — API キー、プロキシ、レート制限なし。ワークディレクトリにワードレベルの transcript.json を書き込みます(単語の text + start / end タイムスタンプ)。これを読み取って、ステップ 6 でカードのタイミングを決定する単語/文のタイミングを取得します。句読点やポーズで自分で単語を文にグループ化して、セグメントレベルのチャンクが必要な場合に使用します。

メディアの再生時間にクランプする。 Whisper は最後の単語の end を実際のクリップ長よりもわずかに超えて返す可能性があります。すべてのカードの endSec と composition.durationSeconds を metadata.json の再生時間にクランプしないと、レンダリングで動画終了後に黒いテールが表示されます。

5. トランスクリプトを修正する

transcript.json は、ワードオブジェクトのフラットな配列です — [{ "text": "...", "start": s, "end": s }, …](segments 配列や words ラッパーはなく、単語ごとのキーは text です)。これを読み取り、明らかな ASR エラーを修正します:

  • 同音異義語、製品名、専門用語、句読点
  • 単語の text をその場で編集します。start / end のタイムスタンプは保持します
  • 事前にグループ化された segments 配列はありません — カードのタイミングにセグメントレベルのチャンクが必要な場合は、自分で単語を文にグループ化します(終止符/ポーズで分割)

6. 軽量なストーリーボードをドラフトする(チャットで)

CLI は関与しません。 transcript.json + metadata.json を読み取り、カードを直接デザインします。storyboard.json はエージェント内部の計画アーティファクトです — これを消費する CLI コマンドはなく、各カードの HTML を記述する前にタイミングと内容について明確に考えるために存在します。以下の例と一貫した形状を保ち、同じ概要がステップ 9 で作成する構成を駆動できるようにします:

{
  "schemaVersion": 3,
  "composition": {
    "fps": 30,
    "width": 1080,
    "height": 1920,
    "durationSeconds": 121.2,
    "layout": "portrait",
    "themeId": "noir",
    "seed": 42
  },
  "videoTrack": {
    "sourcePath": "input-video.mp4",
    "startSec": 0,
    "endSec": 121.2,
    "bounds": { "x": 0, "y": 0, "width": 1080, "height": 1920 }
  },
  "subtitles": { "enabled": false },
  "cards": [
    {
      "id": "card-01",
      "intent": "話者の深夜の不安な質問でフックする",
      "startSec": 0.5,
      "endSec": 13.0,
      "accentIndex": 0,
      "zone": "fullscreen",
      "contentHints": {
        "kicker": "正直な質問",
        "title": "午後11時に行う魂の探求",
        "detail": "クライアントからの60秒の音声メッセージ: 「人民元が値上がりしたら、私の米ドル保険はひどい損失になるということですか?」"
      }
    }
  ]
}

必須カードフィールド:

フィールドタイプ目的
idstringカード HTML および GSAP セレクタで使用される安定した ID
intentstring自然言語での説明; カード合成に供給される
startSec / endSecnumber秒単位の時刻(endSec > startSec)
accentIndex0 | 1 | 2 | 3 | 4このカードが使用する5つのテーマアクセントカラーのうちの1つ
zoneenum(以下参照)キャンバス上のカードの位置
contentHintsobject自由形式のバッグ; エージェントがキッカー/タイトル/詳細/データ/引用をここに配置する
archetype(オプション)string自由形式のラベル; カードのパターンを記憶するために付けることができます。ない場合は自由形式がデフォルトです。
transition(オプション)enum: cut | fade | slide | wipe宣言的なカード間トランジション

5つの zone 値:

zone解決された境界使用タイミング
fullscreenキャンバス全体をカバーヒーローモーメント、大きな数字、マントラ
whiteboard-area40px のマージン(またはポートレート高さの45%)密集したデータ/注釈コンテンツ
lower-third下部30%の帯表示中の動画上の注釈
side-panel右42%(ランドスケープ)または下部40%(ポートレート)データ側、動画反対側
video-overlayキャンバス全体。ほぼ透明なカードを想定フルブリード動画上の注釈オーバーレイ

ステップ 9 で構成を組み立てる際には、各カードの zone を上の表に従ってカードホストラッパーのピクセル境界に解決します。動画の境界はコンポジションレベルで1回だけ設定されます(videoTrack.bounds)。動画がカード間で「移動」しているように見せたい場合は、構成の <script> 内で #video-wrap に対して GSAP トゥイーンを作成します(ステップ 9 参照)。

所定のカードの役割や、所定のナラティブアークはありません。 カードは動画が実際に言っていることから生まれます — すべて引用またはすべてデータの場合もあれば、数字やストーリーで始まる場合もあります。トランスクリプトにリズムを決定させてください。

重要なポイントはいくつにするか? — 再生時間と密度から自動推論。 固定の上限はありません。動画の再生時間から基本ペースを選び、次に情報密度で調整します。下限のみ固定: 最小5枚のカード — これにより、短い動画でもリズムが生まれます。

ステップ 1 — 再生時間による基本ペース(中程度の密度の場合の自然な秒数/カード):

動画の再生時間基本ペース(カードあたりの秒数)根拠
< 60秒(ショートリール)6–8秒視聴者はショートフォームで高速カットを期待する
60秒 – 3分8–12秒通常のソーシャルペース
3 – 10分12–20秒息継ぎの時間を与える; 各カードがより多くの情報を運ぶ
10 – 30分20–35秒長尺の講義/インタビューのリズム
> 30分30–60秒エピソード的で、章のような感覚

ステップ 2 — 密度乗数(基本ペースを乗算):

トランスクリプト内のシグナル乗数効果
高密度 — 多くの数字、明確な主張、スタッカート調のペース、列挙的な列挙、1〜2文ごとに新しいアイデア× 0.7より速くカット、より多くのカード
中密度 — データとナラティブが混在したフロー× 1.0基本ペース
低密度 — 1つの拡張されたストーリー、繰り返されるリフレーミング、ゆっくりとした内省的なペース、1つの議論が展開× 1.5より遅くカット、より少ないカード

ステップ 3 — 計算:

secPerCard = basePace × densityMultiplier
cardCount  = max(5, round(videoDurationSec / secPerCard))

例(注意 — 上限はありません。長い動画は当然より多くのカードを生成します):

  • 30秒のリール、1つのオチ(低密度) → 7 × 1.5 = 10.5秒/カード → round(30/10.5)=3 → 下限 5 カード
  • 60秒の内省的なモノローグ(低密度) → 10 × 1.5 = 15秒/カード → 4 → 下限 5 カード
  • 121秒のトーキングヘッド、豊富なデータ(高密度) → 10 × 0.7 = 7秒/カード → 17 カード
  • 5分のインタビュー、混合密度 → 16 × 1.0 = 16秒/カード → 19 カード
  • 10分のディープダイブ、高密度 → 16 × 0.7 = 11秒/カード → 55 カード
  • 30分の講義、中密度 → 28 × 1.0 = 28秒/カード → 64 カード
  • 1時間のポッドキャスト、低密度 → 45 × 1.5 = 67.5秒/カード → 53 カード

カードが約15秒以上保持される場合は、よりリッチなカード(データブロック、マルチステップリビール、段階的なアニメーションで展開するいくつかのサブポイント)を計画してください — 静的なワンライナーは8秒を過ぎると退屈になります。多くのカードが30秒を超える長い作品の場合は、タイムラインをサブコンポジション(data-composition-src でマウントされた、チャプターごとに1つの .html)にチャンク化することを検討してください。これにより、ファイルごとの GSAP タイムラインが管理しやすくなります — HyperFrames の lint 警告 timeline_track_too_dense を参照してください。

contentHints は自由形式のオブジェクトです。そのキーとネストは、データをキャプチャするために任意の形状をとることができます。エージェントがカードごとに形状を決定します。

オプションのアウトロ。 このスキルには固定のブランドアウトロは付属していません。ユーザーがクロージングカードを希望する場合は、自分でニュートラルなもの(ワードマーク + 1行のタグライン、約1.5〜2秒、フェードイン → 短いホールド → フェードアウト)をデザインし、それを cards[] に追加し、composition.durationSeconds を対応する値まで延長してください。

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

samyakiasonline-ctrl/hyperframe

Add captions or subtitles to an existing single-subject talking-head video without editing the footage. Use for plain verbatim captions, cinematic captions embedded behind the subject, VFX captions, “炸/特效/酷炫字幕,” or a named identity from the 35-style catalog. Route by visual identity, not by backend engine. The quiet `anchor` rail is the default; embed every word only when the user explicitly wants a fully cinematic treatment. The workflow runs locally end to end, including transcription and subject matting; split multi-shot footage before applying it.

samyakiasonline-ctrl/hyperframe

Turn arbitrary text — an article, notes, a topic, a brief — into a faceless explainer video: there is no site or footage to capture, so the visuals are invented per scene (typography, abstract graphics, diagrams, data-viz). Use for topic explainers, concept breakdowns, how-tos, listicles. Not a video built from a website (/product-launch-video — promo or tour). Unclear → /hyperframes.

samyakiasonline-ctrl/hyperframe

Import Figma content into a HyperFrames composition — rendered assets, brand tokens, components, storyboard sections → reconstructed motion (frames read as states, not slides) (REST/CLI), connector-assisted motion when available, and shaders from a connector or native export. Use when the user pastes a figma.com link or asks to bring a Figma design, frame, logo, brand, or animation into a video/composition.

samyakiasonline-ctrl/hyperframe

Author or edit a custom HyperFrames composition when no specialized workflow fits, or when BRIEF.md sets flow: companion. Use for longer or multi-scene pieces, brand and sizzle reels, montages, static loops, static title cards, footage remixes, and freeform builds. Use motion-graphics instead for a short unnarrated motion-first unit, including an animated title. Route fresh creation through hyperframes before using this skill.

samyakiasonline-ctrl/hyperframe

All animation knowledge for HyperFrames — atomic motion rules, multi-phase scene blueprints, scene transitions, broader motion-design techniques, AND the seven runtime adapters (GSAP default, plus Lottie, Three.js, Anime.js, CSS keyframes, Web Animations API, TypeGPU). Use for any motion or animation task: pick 2-4 rules and compose, or load a blueprint, or look up runtime-specific API (e.g. GSAP eases / Lottie player / Three.js mixer). Also covers auditing an existing composition's choreography (animation map) and 24 named text-animation effects. HyperFrames-native: single paused timeline, seek-safe, deterministic.

samyakiasonline-ctrl/hyperframe

Use when audio already placed in a HyperFrames composition needs to be mixed: fade-in/fade-out, crossfade, track gain or volume, volume automation, ducking, a music bed that fights a voiceover (voiceover carve), effects on a track (EQ, compressor, limiter, gate, saturation, delay, reverb, chorus, phaser, bitcrush), automation envelopes drawn on a track's volume or any effect parameter, or one submix bus carrying a chain, a fader and an automation clock for several tracks at once (`<hf-audio-group>`). Don't use for sourcing or generating audio — finding BGM, SFX, or making a voiceover is `/media-use`. Don't use for clip timing or track layout, which is `/hyperframes-core`.

samyakiasonline-ctrl/hyperframe

Use the HyperFrames CLI development loop: init, add, catalog, capture, lint, check, snapshot, compare, grade-compare, preview, play, present, beats, keyframes, single or batch render, publish, cloud, cloudrun, feedback, lambda, doctor, browser, info, upgrade, skills, compositions, timeline, history, clean, docs, benchmark, telemetry, transcribe, auth, tts, and remove-background. Also use when diagnosing build or render failures. validate, inspect, and layout are deprecated aliases; use check. Covers local, HeyGen-hosted cloud, AWS Lambda, and Google Cloud Run rendering.

samyakiasonline-ctrl/hyperframe

The HyperFrames composition contract — build one renderable project. Use for composition structure, the `data-*` timing attributes, `class="clip"`, tracks, sub-compositions, variables, framework-owned media playback, deterministic-render rules, and validation. Read before writing composition HTML.

samyakiasonline-ctrl/hyperframe

Non-animation creative direction for HyperFrames videos. Use for design spec (frame.md / design.md) handling, palettes, typography, narration, beat planning, audio-reactive visuals, composition patterns, and brand / style decisions. For atomic motion patterns and scene blueprints, use `hyperframes-animation`.

samyakiasonline-ctrl/hyperframe

Use when a HyperFrames composition needs a punch-in, punch-out, zoom, reframe, Ken Burns treatment, camera move, visual match/whip handoff, or other seek-safe 2D/3D keyframes; also for GSAP, CSS keyframes, Anime.js, WAAPI, FLIP, paths, masks, SVG morph/draw, text trails, 3D depth, or `hyperframes keyframes` diagnostics. Don't use for broad scene strategy, brand design, media sourcing, captions, or general video planning.

samyakiasonline-ctrl/hyperframe

Search, install, and wire registry blocks and components into HyperFrames compositions. Use BEFORE hand-building any named visual — whenever a brief, a user, or a storyboard names a look, effect, treatment, or transition such as CRT scanlines, glitch, chromatic aberration, film grain, a shimmer sweep, a chart, a code or terminal window, a map, or a confetti burst — because roughly 400 hosted items already cover many of them and the search ranks all of them with nothing installed, no project, and no account. Also use when running hyperframes add or hyperframes catalog, installing one item or every block matching a tag, wiring an installed item into index.html, or working with hyperframes.json. Covers discovery, install locations, block sub-composition wiring, component snippet merging, and authoring a new block or component to contribute upstream (idea → scaffold → validate → PR).

samyakiasonline-ctrl/hyperframe

Mandatory entry point: read this first for any request to make, create, edit, animate, or render a video, animation, or motion graphic, including a promo, explainer, captioned clip, title card, overlay, slideshow or interactive deck, Remotion port, or any HyperFrames HTML composition. Also use it to inspect, diagnose, validate, preview, publish, or batch-render an existing HyperFrames project. Inputs may be a website URL, GitHub PR, Figma design or URL, text or brief, existing footage, or music. It resumes project state, captures intent when applicable, selects and installs the owning workflow, and routes domain capabilities. HyperFrames is the default output framework unless the user explicitly chooses another framework for the deliverable or asks only to record a browser session.

samyakiasonline-ctrl/hyperframe

Use when working with a person on a HyperFrames project in Studio: first, whether their message asks for a change at all (questions, loose ideas and "don't change anything" get an answer and a plan, not an edit); for a new film, the plan, storyboard and build order that the HyperFrames launch films follow; and how the timeline should be laid out so it reads well (one caption track, one element kind per track, every scene a sub-composition) and where captions and key content may sit (safe zones). Don't use for how to perform an individual edit (split, trim, retime, volume, copy, swap): that is `creator-editing-recipes.md` in `/hyperframes-core`.

samyakiasonline-ctrl/hyperframe

Agent Media OS, the single skill for every media need in a HyperFrames project. Resolve BGM, SFX, image, icon, brand logo, voice, color grade, or LUT into a frozen local file or paste-ready block + ledger record (one verb, `resolve`); generate via TTS / music / image models when the catalog misses; produce voiceover, transcription, captions, and background removal through one shared audio engine; operate on media (cut / reframe / transform); and reuse assets across projects. Also use for vague feedback that real footage looks dark, flat, boring, should feel retro/camcorder/print/ASCII, needs privacy, or needs a media reveal.

samyakiasonline-ctrl/hyperframe

A short, design-led motion graphic where motion is the message — kinetic typography, stat count-up, chart/data-viz hit, logo sting / brand lockup, lower-third / callout / social overlay, animated map (highlight regions, connect places, zoom to a location), animated tweet / news-article / headline, webpage / UI animation (scroll, cursor, callouts), or fusing a real image's geometry into a chart. Usually under 10s (up to ~30s), no narration or live-action subject; renders to MP4 or transparent overlay. Longer / narrated / multi-scene → /general-video. Unclear → /hyperframes.

samyakiasonline-ctrl/hyperframe

Turn a music track (an audio file, a video to pull audio from, or a track generated from a mood brief) into a beat-synced video — lyric video, slideshow, or kinetic promo. The music drives all pacing; any user-supplied images/videos are cut onto the same beat grid, and a complete video needs zero assets. Narrated pieces → the input-matched workflow (see /hyperframes). Unclear → /hyperframes.

samyakiasonline-ctrl/hyperframe

Turn a product or marketing URL, pasted script, or brief into a product launch / promo video — SaaS promos, feature reveals, product demos, app and company launches. Use when the user wants to market, launch, promote, or reveal a product; the default for any commercial URL. Site tours / showcases of a website route here too — the brief carries the show-it-as-is intent. Unclear → /hyperframes.

samyakiasonline-ctrl/hyperframe

Turn a GitHub pull request (a PR URL, owner/repo#N, or 'this PR' in a checked-out repo) into a code-change explainer video — changelog, feature reveal, fix, or refactor walkthrough built from the diff, commits, and files: the input is a code change, not a website. Not a product promo (/product-launch-video) or a no-PR topic explainer (/faceless-explainer). Unclear → /hyperframes.

samyakiasonline-ctrl/hyperframe

Port an existing Remotion (React) composition''s source to HyperFrames HTML. Use ONLY on an explicit ask to port/convert/migrate/translate a Remotion source — one-way, Remotion-only. A passing Remotion mention, reference-only code, or "make something like my Remotion video" is a fresh build (/general-video). Unclear → /hyperframes.

samyakiasonline-ctrl/hyperframe

Author a HyperFrames slideshow — a presentation, pitch deck, or interactive deck with discrete slides, fragment reveals, branching, hotspot navigation, and built-in presenter mode with speaker notes; also converts an existing page into a deck. Output is a navigable deck, not a rendered MP4. If the user didn't explicitly ask for a slideshow, confirm before authoring. Unclear → /hyperframes.

関連スキル