ビデオ
このスキルは薄いレイヤーです。重い処理はプログラム(ffmpeg、Whisper)とHeyGenの公式HyperFramesスキルが行います。このファイルはルーティングと、キャプション付きショート動画のルールのみを保持します。必要なタスクのHyperFramesスキルだけを読み、すべては読まないでください。
初回実行:このコンピュータのセットアップ
Claude Code(デスクトップアプリ、VS Code、ターミナル)でのみ動作します。コンピュータにプログラムが必要です。
最初にこのファイルの隣にある settings.md を読んでください。 コンピュータの情報がすでに記録されていれば、チェックをスキップしてそこに書かれたコマンド(pythonのパス、ffmpegのパス、モデル、--cpu の有無など)を使用します。ファイルが空か、記録されたものが動作しなくなった場合は、以下のセットアップを実行し、結果をそこに書き込んでください。
セットアップ(一度だけ):
| 確認項目 | 確認コマンド | 理由 |
|---|---|---|
| ffmpeg / ffprobe | ffmpeg -version | 動画から音声とフレームを取得 |
| Python 3.10+ with faster-whisper and yt-dlp | python -c "import faster_whisper, yt_dlp" (Macでは python3) | 文字起こし、リンクからのダウンロード |
| Node.js | node -v | HyperFrames |
| HyperFramesスキル | スキル一覧に hyperframes スキルがあるか | 編集、オーバーレイ、アニメーション |
| NVIDIA GPU(任意) | nvidia-smi (名前とメモリ) | 数十倍速い文字起こし |
| 既存のWhisper | pip list (faster-whisper、openai-whisper、whisperx)、モデルフォルダ、ユーザーに確認 | 2つ目をインストールしないため |
ユーザー自身のWhisper。 ユーザーがすでにfaster-whisperとダウンロード済みモデルを持っている場合、別のものをインストールせず、スクリプトに --model <path> でモデルフォルダを渡すか、HF_HOME をキャッシュに向けてください。別のWhisper(openai-whisper、whisper.cpp、whisperx)を持っている場合は、それを保持するかどうか尋ねてください。保持する場合は、そのWhisperで文字起こしし、結果を当スクリプトの形式(words:{"words":[{"text","start","end","type":"word"}]}、flat:ラッパーなしの同じ単語リスト)に変換してください。この形式はHyperFramesスキルが期待するものです。
GPU用モデル(faster-whisper):
| コンピュータ | 使用するモデル |
|---|---|
| NVIDIA 6 GB以上 | GPU上で large-v3-turbo(デフォルト)— 最高品質 |
| NVIDIA 4 GB | --compute int8_float16 を付けた large-v3-turbo、または --model medium |
| NVIDIAなし(Mac、AMD、内蔵グラフィックのノートPCを含む) | --cpu、モデル small(高速)または large-v3-turbo(より正確、数倍遅い) |
ユーザー自身の動画の短い部分(ffmpeg -t 10)でテストしてください。GPU実行がCUDAまたはメモリエラーで失敗した場合は、以下のライブラリをインストールするか、より小さいモデルを使用してください。ユーザーに速度と品質を見せて、一緒に選択してください。英語のみのコンテンツでは、低速マシンで small.en / medium.en も選択肢です。
不足しているものがあれば、その内容とサイズをユーザーに一覧表示し、同意を得た場合のみインストールしてください。WindowsでCドライブの空きが少ない場合は、どのドライブを使うか尋ねてください。
- ffmpeg、Node、Python:Windows —
winget install Gyan.FFmpeg、winget install OpenJS.NodeJS.LTS、winget install Python.Python.3.12;Mac —brew install ffmpeg node python。 - ライブラリ:
python -m pip install faster-whisper yt-dlp。NVIDIA GPU搭載Windows — さらにpython -m pip install nvidia-cublas-cu12 "nvidia-cudnn-cu12==9.*"。 - HyperFramesスキル:
npx skills add heygen-com/hyperframes --all(github.com/heygen-com/hyperframes、Apache 2.0)。 - Whisperモデル(約1.6 GB)は、最初の文字起こし時にHuggingFaceキャッシュに自動ダウンロードされます。別の場所 —
HF_HOME変数。 - ユーザーの希望があれば、
HYPERFRAMES_NO_TELEMETRY=1とDO_NOT_TRACK=1でHyperFramesのテレメトリをオフにします。
セットアップの最後に、すべてを settings.md に書き込みます(ファイル内のテンプレートに従う):使用するpythonとffmpeg、GPU、選択したモデルとフラグ、モデルキャッシュの場所、テストの速度。その後は、セクションAとBのコマンドをそれらのフラグで実行します。
文字起こしスクリプトは、このファイルの隣にある scripts/transcribe.py です。GPUを独自に使用し、なければCPUにフォールバックします。フラグ:--model(名前または独自モデルへのパス)、--compute、--cpu、--language。
レンダリング後、許可なくHyperFramesの「フィードバック」レポートを送信しないでください。npx hyperframes skills update はユーザーの同意がある場合のみ実行してください。
A. 動画の視聴と分解
- ファイルを取得する。 ファイルパスはそのまま使用し、オリジナルを変更しないでください。リンクを一時フォルダにダウンロード:
python -m yt_dlp --no-playlist -o "<フォルダ>/video.%(ext)s" --print-to-file "%(uploader)s | %(duration)s s | %(like_count)s likes | %(comment_count)s comments | %(description)s" "<フォルダ>/info.txt" <リンク>YouTubeの場合、テキストのみが必要なら、まず字幕を試す:--write-auto-subs --sub-langs en --skip-download。Instagramやプライベートチャンネルはログインが必要な場合がある—その場合はユーザー自身にファイルをダウンロードしてもらってください。 - ファイルを検査する:
ffprobe -v error -show_entries format=duration:stream=codec_type,width,height -of compact <動画>。 - 文字起こし:
python scripts/transcribe.py <動画> --out <フォルダ>/transcript.txt(タイムスタンプ付きテキスト)。 - コンタクトシート(1画像あたり12フレーム — トークンを節約):
縦:
ffmpeg -v error -y -i <動画> -vf "fps=1/2,scale=216:-2,tile=6x2:padding=4:color=white" <フォルダ>/sheet_%02d.jpg横:同様にscale=320:-2,tile=4x3。2分以上の動画はfps=1/5または1/10。シートを画像として読み込みます。 - 回答: 作者と数値(あれば)、動画の形式、文字起こし(長い場合は要約)、画面に表示されているもの、そして別途、ユーザーにとって有用なもの。動画が誇張している場合は、正直にそのように述べてください。
B. HyperFramesで動画を作成する
使用するスキル:
| タスク | スキル |
|---|---|
| あらゆる動画の開始点、何を使うかわからない場合 | hyperframes(メインエントリ、自動ルーティング) |
| カメラに向かって話す動画のキャプション:1~3単語、キーワードを色付け、カラオケ | embedded-captions |
| 人物の頭部動画へのグラフィックス:カード、アイコン、「電話中」挿入、分割画面、ピクチャーインピクチャーサークル | talking-head-recut |
| 音声なし、最大約30秒の短いアニメーション:イントロ、数字、ロゴ、UIモックアップ、ビフォー→アフター | motion-graphics |
| 動画の構造:レイヤー、各カードの出現タイミング、ビデオ挿入 | hyperframes-core |
| カードのスライドイン方法、ステッカー、全画面単語「ヒット」、キネティックタイポグラフィ | hyperframes-animation |
| カメラのプッシュイン・プルアウト、スムーズなズーム | hyperframes-keyframes |
| 音楽、効果音、アイコン、加工挿入 | media-use |
| チェック、MP4へのレンダリング、背景除去(「肩越し」挿入) | hyperframes-cli |
| 既製エフェクト(グリッチ、紙吹雪、チャート)、音声下の音量、色とフォント | hyperframes-registry、hyperframes-audio、hyperframes-creative |
HyperFramesのルールにより、最初に hyperframes スキルを読んでください。単純なタスクでは、そのSKILL.mdで十分で、参照は不要です。
文字起こしは当スクリプトで準備する(正確な単語タイミング、GPUを使用;組み込みの hyperframes transcribe は使わない):
embedded-captionsの場合:python scripts/transcribe.py <動画> --out <作業フォルダ>/transcript.json --format words— スキルが準備済みのtranscript.jsonを認識します。talking-head-recutの場合:同じコマンドで--format flat(フラットな単語配列)とし、スキルの文字起こしステップをスキップします。 使用前に文字起こしを読み、認識エラー(名前、ブランド、用語)を修正してください。修正リストを1行でユーザーに表示します。
プロジェクト: 使用するフォルダを尋ねます。内部:sources/(ソースファイルのコピー — オリジナルは変更・削除しない)、HyperFrames作業ファイル、done/(最終MP4用)。
フォーマット: Reels/Shorts/Stories/TikTok — 1080×1920、9:16、30 fps;YouTube — 1920×1080;フィード投稿 — 1080×1350。
キャプションと画面上のテキスト
- フォントは、テキストに必要なすべてのグリフ(アクセント、多言語動画の場合は他のアルファベット)を持つ必要があります。レンダリング前に確認してください。ネットワーク経由のGoogle Fontsよりも、プロジェクトフォルダ内のローカル
.woff2を優先してください。 - 1行あたり2~4単語。冠詞、前置詞、接続詞(a、an、the、of、to、in、on、and、but)で行を終えず、次の単語に移動してください。
- 数字は数字表記、引用符はカギ引用符、省略記号は本当のダッシュを使用。
- すべて大文字は短い強調(1~3単語)にのみ使用し、文全体には使用しないでください。
- キャプションは顔やReels/TikTokの下部UIゾーン(ボタン、キャプション)を覆わないようにし、セーフゾーンに収めてください。フックはフレーム中央かやや下に配置し、上端には置かないでください。
- スキルフォルダに
brand.mdが記入されている場合(フォント、色、強調方法)— それを使用してください。空の場合は、ユーザーにスタイルを一度尋ね、回答をそこに保存することを提案してください。
「完了」と言う前に
長時間のレンダリングの前に、計画(何を、どこに、どのスタイルで)を表示してください。レンダリング後、結果からコンタクトシート(A4)を切り出し、自分で確認してください:テキストが読める、端からはみ出さない、すべてのグリフがレンダリングされる、音声と同期している。その後、ユーザーに done/ 内のファイルパスを渡してください。