Communitygithub.com

shengdabai/Tony-Claude-Code-Skills

HyperFramesコンポジションのためのアセット前処理 – テキスト読み上げ音声生成(Kokoro)、音声/動画文字起こし(Whisper)、透明オーバーレイ用背景除去(u2net)。ナレーション生成、字幕用文字起こし、透明オーバーレイ用背景除去、TTS音声やWhisperモデルの選択、これらの処理の連鎖(TTS→文字起こし→字幕)に利用します。各コマンドは初回実行時にモデルをダウンロードします。

Tony-Claude-Code-Skills とは?

このスキルは、HyperFramesコンポジション向けのメディアアセットを前処理するための3つのCLIコマンド(`tts`、`transcribe`、`remove-background`)を提供します。`tts` コマンドはKokoro-82Mモデルを使用してローカルでテキスト読み上げ音声を生成し、APIキーは不要です。多言語(英語、スペイン語、フランス語、日本語など54種類の音声)に対応し、速度調整や長文スクリプトの処理も可能です。`transcribe` コマンドはWhisperを使用して単語レベルのタイムスタンプを持つ `transcript.json` を生成します。言語指定は重要で、`.` を付けたモデル(`small.en` 等)は非英語音声を英語に翻訳してしまうため、デフォルトは `small` モデルです。`remove-background` コマンドはu2netモデルを使用して動画や画像から背景を除去し、透明なオーバーレイ(VP9アルファWebM、ProRes 4444 MOV、PNG)を出力します。`--background-output` オプションを使用すると、被写体部分が透明になった「プレート」も同時に生成でき、被写体の後ろにテキストやグラフィックを配置するテキスト-ビハインド-サブジェクトパターンを実現します。各コマンドは初回実行時にモデルをダウンロードし、`~/.cache/hyperframes/` にキャッシュします。このスキールは、プレゼンテーション動画、チュートリアル、マーケティングコンテンツなど、HyperFramesを使用したコンポジション制作において、ナレーション生成、字幕作成、被写体の切り抜きを効率的に行うために設計されています。

対応✓Claude Code✓Codex CLI~Cursor
npx skills add https://github.com/shengdabai/Tony-Claude-Code-Skills/tree/HEAD/skills/hyperframes-hyperframes-media

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

プレビュー

スキル README より

ドキュメント

HyperFrames メディア前処理

コンポジション用のアセットを生成する3つのCLIコマンド:tts(音声)、transcribe(タイムスタンプ付き文字起こし)、remove-background(透明動画)。各コマンドは初回実行時にモデルをダウンロードし、~/.cache/hyperframes/ にキャッシュします。出力をプロジェクトに配置し、コンポジションHTMLから参照してください。音声/ビデオ要素の規約については hyperframes スキルを参照してください。

テキスト読み上げ(tts)

Kokoro-82Mを使用してローカルで音声を生成します。APIキーは不要です。

npx hyperframes tts "ここにテキスト" --voice af_nova --output narration.wav
npx hyperframes tts script.txt --voice bf_emma --output narration.wav
npx hyperframes tts --list                       # 全54音声を表示

音声選択

コンテンツに合わせて音声を選択します。デフォルトは af_heart です。

コンテンツタイプ音声理由
製品デモaf_heart/af_nova温かみがありプロフェッショナル
チュートリアル / ハウツーam_adam/bf_emmaニュートラルでわかりやすい
マーケティング / プロモーションaf_sky/am_michaelエネルギッシュまたは権威的
ドキュメンテーションbf_emma/bm_george明確なイギリス英語、フォーマル
カジュアル / ソーシャルaf_heart/af_sky親しみやすく自然

多言語対応

音声IDの最初の文字に言語がエンコードされています:a=アメリカ英語、b=イギリス英語、e=スペイン語、f=フランス語、h=ヒンディー語、i=イタリア語、j=日本語、p=ブラジルポルトガル語、z=中国語(北京語)。CLIはプレフィックスから音素変換のロケールを自動検出します。音声がテキストと一致する場合は --lang は不要です。

npx hyperframes tts "La reunión empieza a las nueve" --voice ef_dora --output es.wav
npx hyperframes tts "今日はいい天気ですね" --voice jf_alpha --output ja.wav

スタイル付きアクセントなど、自動検出を上書きする場合のみ --lang を使用します。有効なコード:en-us、en-gb、es、fr-fr、hi、it、pt-br、ja、zh。非英語の音素変換には espeak-ng がシステム全体にインストールされている必要があります(brew install espeak-ng または apt-get install espeak-ng)。

速度

  • 0.7-0.8 — チュートリアル、複雑なコンテンツ、アクセシビリティ
  • 1.0 — 自然なペース(デフォルト)
  • 1.1-1.2 — イントロ、トランジション、アップビートなコンテンツ
  • 1.5+ — ほとんど適切ではありません。注意深くテストしてください

長いスクリプト

数段落を超える場合は、.txt ファイルに書き込んでパスを渡します。約5分以上の音声入力は、セグメントに分割すると効果的な場合があります。

必要条件

Python 3.8+、kokoro-onnx、soundfile(pip install kokoro-onnx soundfile)。初回使用時にモデルをダウンロードします(約311 MB + 約27 MBの音声、~/.cache/hyperframes/tts/ にキャッシュ)。

文字起こし(transcribe)

単語レベルのタイムスタンプを持つ正規化された transcript.json を生成します。

npx hyperframes transcribe audio.mp3
npx hyperframes transcribe video.mp4 --model small --language es
npx hyperframes transcribe subtitles.srt          # 既存のファイルをインポート
npx hyperframes transcribe subtitles.vtt
npx hyperframes transcribe openai-response.json

言語ルール(必須)

ユーザーが明示的に音声が英語であると述べていない限り、.en モデルを使用しないでください。 .en モデル(small.en、medium.en)は、非英語の音声を文字起こしする代わりに英語に翻訳します。これにより元の言語が静かに失われます。

  1. 言語が判明しており、非英語の場合 → --model small --language <コード>(.en サフィックスなし)
  2. 言語が判明しており、英語の場合 → --model small.en
  3. 言語が不明の場合 → --model small(.en なし、--language なし)— whisperが自動検出します

デフォルトモデルは small であり、small.en ではありません。

モデルサイズ

モデルサイズ速度使用すべき場合
tiny75 MB最速クイックプレビュー、パイプラインのテスト
base142 MB高速短いクリップ、クリアな音声
small466 MB中程度デフォルト — ほとんどのコンテンツ
medium1.5 GB低速重要なコンテンツ、ノイズの多い音声、音楽
large-v33.1 GB最低速プロダクション品質

ボーカルを含む音楽:最低でも medium から開始。制作されたトラックは多くの場合、手動でのSRT/VTTインポートが必要です。キャプション品質のチェック(すべての文字起こし後に必須)、クリーニング用JS、リトライルール、OpenAI/Groq APIインポートパスについては、hyperframes/references/transcript-guide.md を参照してください。

出力形式

コンポジションは単語オブジェクトのフラットな配列を消費します。id フィールド(w0、w1、...)は、キャプションオーバーライドでの安定した参照のために正規化中に追加されます。後方互換性のためオプションです。

[
  { "id": "w0", "text": "Hello", "start": 0.0, "end": 0.5 },
  { "id": "w1", "text": "world.", "start": 0.6, "end": 1.2 }
]

背景除去(remove-background)

動画や画像から背景を除去し、被写体(通常は人物 — アバター、プレゼンター、トーキングヘッド)をコンポジション内で透明なオーバーレイとして配置できるようにします。

npx hyperframes remove-background subject.mp4 -o transparent.webm  # デフォルト:VP9アルファWebM
npx hyperframes remove-background subject.mp4 -o transparent.mov   # ProRes 4444(編集用)
hyperframes remove-background portrait.jpg -o cutout.png       # 単一画像切り抜き
npx hyperframes remove-background subject.mp4 -o subject.webm \
  --background-output plate.webm                                   # 両方のレイヤーを一度に
npx hyperframes remove-background subject.mp4 -o transparent.webm --device cpu
npx hyperframes remove-background --info                           # 検出されたプロバイダーを表示

u2net_human_seg(MITライセンス)を使用します。初回実行時に約168 MBのウェイトを ~/.cache/hyperframes/background-removal/models/ にダウンロードします。

レイヤー分離(--background-output)

--background-output(または -b)を渡すと、切り抜きとともに2つ目の透明動画を出力します。同じソースRGBで、アルファは mask の代わりに 255 − mask になります。切り抜きは透明な背景の被写体、プレートは被写体があった場所に透明な穴がある元の背景です。

ファイルアルファの意味…使用目的
-o subject.webmマスク — 被写体は不透明、背景は透明前景レイヤー、最前面に配置
--background-output plate.webm反転 — 周囲は不透明、被写体領域は透明下層レイヤー。このレイヤーと被写体の間にテキストやグラフィックを配置

両方の出力は同じ --quality プリセットを共有し、単一の推論パスから実行されます。エンコードコストは約2倍になりますが、セグメンテーションコストは変わりません。動画入力および .webm/.mov 出力でのみ有効です。

穴を開けたプレートであり、修復されたクリーンプレートではありません。 plate.webm の被写体領域は完全に透明です。その下に不透明なものを合成して穴を埋めてください。--background-output が適切なツールかどうかの唯一のテストは次のとおりです。被写体がかつてあった場所のシルエットを通して、何かが見えることはありますか?

ユースケース適切なツール
切り抜きとプレートの間のテキスト/グラフィック(このコマンドが存在する理由)穴あけ(--background-output)
被写体を無関係なシーンに重ねるsubject.webm のみ。プレートは無視
他のコンテンツなしで、_人物なしの部屋_を単独で表示するクリーンプレート — インペインタ(LaMa、ProPainter、E2FGVI)が必要。このコマンドでは不可。
被写体を別の被写体に置き換えるクリーンプレート — 同上

ユーザーが「人物を除去した部屋」を求め、それを単独で表示するつもりである場合、--background-output を使用しないでください。インペインタが必要であることを伝えてください。

典型的なレイヤー構成(標準的な穴あけユースケース):

<!-- z=1 反転アルファプレートは被写体領域以外をすべて埋めます -->
<video
  src="plate.webm"
  data-start="0"
  data-duration="6"
  data-track-index="0"
  muted
  playsinline
></video>

<!-- z=2 グラフィック/テキストは2つのレイヤーの間に配置 -->
<h1 id="headline" style="z-index:2; ...">HYPERFRAMESで作ろう</h1>

<!-- z=3 切り抜きにより被写体が見出しの上に浮かび上がります -->
<div class="cutout-wrap" style="position:absolute;inset:0;z-index:3">
  <video
    src="subject.webm"
    data-start="0"
    data-duration="6"
    data-track-index="1"
    muted
    playsinline
  ></video>
</div>

これは下記のテキスト-ビハインド-サブジェクトパターンと機能的に同等ですが、プロジェクトに元の presenter.mp4 を必要としません。プレートがそれを置き換えます。2つの透明レイヤーのみを出荷し、ユーザーがその間に任意のコンテンツを配置できるようにしたい場合に便利です。

出力形式

形式使用すべき場合
.webm(VP9 + アルファ)デフォルト。コンポジションは <video> 経由でこれを直接再生します。
.mov(ProRes 4444)DaVinci/Premiere/FCPでの編集用。ファイルサイズが大きくなります。
.png単一画像の切り抜き(静止した被写体、背景の上に重ねる場合)。

ChromeはVP9アルファをネイティブにデコードするため、.webm は他のミュート自動再生動画と同様にコンポジションに組み込めます。<video> トラックの規約については hyperframes スキルを参照してください。

品質プリセット

--quality fast|balanced|best はVP9エンコーダのCRFのみを制御します。セグメンテーション品質は固定です。

プリセットCRF使用すべき場合
fast30反復処理中、ファイルサイズを小さく、色の一致を緩く
balanced18デフォルト。ほとんどの用途で視覚的に同一
best12マスター/最終納品用。最大ファイルサイズ、最も厳密な一致

合成パターン — 適切なものを選ぶ

切り抜きWebMは、ソースMP4のRGBの再エンコードされたコピーです。この選択は、背後に配置するものによって結果が異なります。

パターン切り抜きの背後にあるもの結果
異なるシーンの上に切り抜き(最も一般的)静止画像、グラデーション、または無関係な動画見栄えは良好。切り抜きのRGBが被写体の唯一のソースです。二重になることもエッジハローもありません。これが remove-background の本来の用途です。
独自のソースMP4の上に切り抜き(テキスト-ビハインド-サブジェクト)切り抜きが生成された元のMP4同じ人物に2つのRGBソース。デフォルトの --quality balanced(crf 18)では二重化はほとんど見えません。--quality fast(crf 30)ではかすかな色ずれ/エッジハローが発生します。マスター用には --quality best(crf 12)を使用してください。
同じ人物の別テイクの上に切り抜き同じ被写体の別の映像2人の別々の人物が重なっているように見えます。行わないでください。

テキスト-ビハインド-サブジェクト(プレゼンターの背後に見出し):

<video
  src="presenter.mp4"
  id="bg"
  data-start="0"
  data-duration="6"
  data-track-index="0"
  muted
  playsinline
></video>
<h1 id="headline" style="z-index:2; ...">HYPERFRAMESで作ろう</h1>
<div class="cutout-wrap" style="position:absolute;inset:0;z-index:3;opacity:0">
  <video
    src="presenter.webm"
    data-start="0"
    data-duration="6"
    data-track-index="1"
    muted
    playsinline
  ></video>
</div>

2つの重要なルール:

  1. 切り抜きビデオをタイム指定のない <div> でラップし、ビデオ要素自体ではなくラッパーの不透明度をアニメーション化します。フレームワークはアクティブなクリップ(data-start/data-duration を持つ要素)に opacity:1 を強制するため、ビデオの不透明度を直接アニメーション化すると静かに上書きされます。ラッパーには data-* 属性がないため、CSS/GSAPで制御できます。
  2. 両方のビデオで data-start="0" と data-media-start="0" を使用し、フレームワークがt=0から同期的にデコードできるようにします。切り抜きを遅れてマウントすると(data-start=3.3)、シークとウォームアップが発生し、ベースMP4から1フレームずれた状態になります。カット時には1フレームの位置ずれとして見えます。

その後、GSAPでカット時にラッパーの不透明度を反転させます:tl.set(cutoutWrap, { opacity: 1 }, 3.3)。

TTS → 文字起こし → キャプション

録音済みのナレーションがない場合、ナレーションを生成し、それを文字起こしして単語レベルのタイムスタンプを取得します。

npx hyperframes tts script.txt --voice af_heart --output narration.wav
npx hyperframes transcribe narration.wav   # → transcript.json

transcript.json から、hyperframes コンポジションの標準的なキャプションロジックを使用して <track> 要素を生成します。transcribe の出力を修正したり、OpenAI/Groqの large-v3 で転記し直す必要がある場合は、上記の言語ルール(.en モデルを使用しない)に従ってください。

スクリプトのトーンに合わせて音声を選択してください。tts の速度は、字幕の読み取り速度に影響を与えるため注意深くテストしてください。

Individual skills in this repo

This repo contains 8 individual skills — each has its own dedicated page.

shengdabai/Tony-Claude-Code-Skills

Downloads videos from YouTube and other platforms for offline viewing, editing, or archival. Handles various formats and quality options.

shengdabai/Tony-Claude-Code-Skills

接收抖音、小红书、微信视频号等短视频链接或分享文案,查询作品/账号数据并提取语音文字稿,按作者和标题归档为 Markdown。用户希望完整解析短视频、取得数据或文字稿时使用;运行前检查 TikHub 与轻抖使用凭证,缺少时用新手能理解的方式引导购买和安全配置。

shengdabai/Tony-Claude-Code-Skills

Read-only queue dashboard for workspace-aware ship. (gstack)

shengdabai/Tony-Claude-Code-Skills

Anime.js adapter patterns for HyperFrames. Use when writing Anime.js animations or timelines inside HyperFrames compositions, registering animations on window.__hfAnime, making Anime.js seek-driven and deterministic, or translating Anime.js examples into render-safe HyperFrames HTML.

shengdabai/Tony-Claude-Code-Skills

Author a new HyperFrames registry block (caption style, VFX block, transition, lower third) or component (text effect, overlay, snippet) and ship it as an upstream PR to the hyperframes repo. Use ONLY when the user wants to CONTRIBUTE to the public catalog — for in-project caption/transition authoring use the `hyperframes` skill, for installing existing registry items use the `hyperframes-registry` skill.

shengdabai/Tony-Claude-Code-Skills

CSS animation adapter patterns for HyperFrames. Use when authoring CSS keyframes, animation-delay based timing, animation-fill-mode, animation-play-state, or CSS-only motion that HyperFrames must seek deterministically during preview and rendering.

shengdabai/Tony-Claude-Code-Skills

GSAP animation reference for HyperFrames. Covers gsap.to(), from(), fromTo(), easing, stagger, defaults, timelines (gsap.timeline(), position parameter, labels, nesting, playback), and performance (transforms, will-change, quickTo). Use when writing GSAP animations in HyperFrames compositions.

shengdabai/Tony-Claude-Code-Skills

HyperFrames CLI dev loop — `npx hyperframes` for scaffolding (init), validation (lint, inspect), preview, render, and environment troubleshooting (doctor, browser, info, upgrade). Use when running any of these commands or troubleshooting the HyperFrames build/render environment. For asset preprocessing commands (`tts`, `transcribe`, `remove-background`), invoke the `hyperframes-media` skill instead.

関連スキル