Communitygithub.com

alecs5am/ralphy

HyperFrames コンポジション向けアセット前処理 — テキスト読み上げ(Kokoro)、音声/動画の文字起こし(Whisper)、透過オーバーレイの背景除去(u2net)。テキストからナレーションを生成する場合、キャプション用に音声を書き起こす場合、動画や画像の背景を除去して透過オーバーレイとして使用する場合、TTS音声やWhisperモデルを選択する場合、またはこれらを連鎖させる場合(TTS → 文字起こし → キャプション)に使用します。各コマンドは初回実行時に独自のモデルをダウンロードします。

ralphy とは?

このスキルは、HyperFrames コンポジション用のメディアアセットを前処理するための3つのCLIコマンドを提供します。`tts` コマンドは Kokoro-82M モデルを使用してローカルで音声を生成し、APIキーは不要です。54の音声から選択でき、多言語にも対応しています。`transcribe` コマンドは Whisper モデルを使用して、単語レベルのタイムスタンプ付きの正規化された transcript.json を生成します。デフォルトモデルは `small` で、言語特有の注意点があります。`remove-background` コマンドは u2net_human_seg モデルを使用して動画や画像の背景を除去し、被写体を透過オーバーレイとして抽出します。出力は VP9 アルファ付き WebM、ProRes 4444 MOV、PNG から選択でき、品質プリセット(fast/balanced/best)や背景分離(--background-output)にも対応しています。これらのコマンドは Claude Code、Cursor、Codex などの AI エージェント環境で使用でき、各モデルは初回実行時に ~/.cache/hyperframes/ にキャッシュされます。

対応~Claude Code✓Codex CLI~Cursor
npx skills add https://github.com/alecs5am/ralphy/tree/HEAD/.agents/skills/hyperframes-media

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

HyperFrames メディア前処理

コンポジション用のアセットを生成する3つのCLIコマンド:tts(音声)、transcribe(タイムスタンプ)、remove-background(透過動画)。各コマンドは初回実行時にモデルをダウンロードし、~/.cache/hyperframes/ にキャッシュします。出力をプロジェクトに配置し、コンポジションHTMLから参照します。オーディオ/ビデオ要素の規約については hyperframes スキルを参照してください。

テキスト読み上げ(tts)

Kokoro-82Mを使用してローカルで音声を生成します。APIキーは不要です。

npx hyperframes tts "ここにテキスト" --voice af_nova --output narration.wav
npx hyperframes tts script.txt --voice bf_emma --output narration.wav
npx hyperframes tts --list                       # 全54音声

音声の選択

コンテンツに合わせて音声を選びます。デフォルトは af_heart です。

コンテンツタイプ音声理由
製品デモaf_heart/af_nova温かみがあり、プロフェッショナル
チュートリアル/ハウツーam_adam/bf_emmaニュートラルでわかりやすい
マーケティング/プロモーションaf_sky/am_michaelエネルギッシュまたは権威的
ドキュメントbf_emma/bm_george明瞭なイギリス英語、フォーマル
カジュアル/ソーシャルaf_heart/af_sky親しみやすく、自然

多言語対応

音声IDの最初の文字が言語を表します:a=アメリカ英語、b=イギリス英語、e=スペイン語、f=フランス語、h=ヒンディー語、i=イタリア語、j=日本語、p=ブラジルポルトガル語、z=中国語。CLIはプレフィックスから音素化ロケールを自動検出するため、音声がテキストに一致する場合は --lang は不要です。

npx hyperframes tts "La reunión empieza a las nueve" --voice ef_dora --output es.wav
npx hyperframes tts "今日はいい天気ですね" --voice jf_alpha --output ja.wav

--lang は自動検出を上書きする場合のみ使用します(スタイライズされたアクセント)。有効なコード:en-us、en-gb、es、fr-fr、hi、it、pt-br、ja、zh。英語以外の音素化にはシステム全体に espeak-ng が必要です(brew install espeak-ng / apt-get install espeak-ng)。

速度

  • 0.7-0.8 — チュートリアル、複雑なコンテンツ、アクセシビリティ
  • 1.0 — 自然なペース(デフォルト)
  • 1.1-1.2 — イントロ、トランジション、アップビートなコンテンツ
  • 1.5+ — ほとんど適切ではありません。慎重にテストしてください

長いスクリプト

数段落を超える場合は、.txt ファイルに書き込み、そのパスを渡します。約5分を超える音声入力は、セグメントに分割すると効果的です。

要件

Python 3.8以上、kokoro-onnx と soundfile(pip install kokoro-onnx soundfile)。初回使用時にモデルをダウンロードします(約311MB + 約27MBの音声、~/.cache/hyperframes/tts/ にキャッシュされます)。

文字起こし(transcribe)

単語レベルのタイムスタンプ付きの正規化された transcript.json を生成します。

npx hyperframes transcribe audio.mp3
npx hyperframes transcribe video.mp4 --model small --language es
npx hyperframes transcribe subtitles.srt          # 既存のものをインポート
npx hyperframes transcribe subtitles.vtt
npx hyperframes transcribe openai-response.json

言語ルール(絶対遵守)

ユーザーが明示的に音声が英語であると指定した場合を除き、.en モデルは絶対に使用しないでください。 .en モデル(small.en、medium.en)は、英語以外の音声を文字起こしする代わりに英語に翻訳します。これにより、元の言語が静かに失われます。

  1. 言語が既知で英語以外 → --model small --language <コード>(.en サフィックスなし)
  2. 言語が既知で英語 → --model small.en
  3. 言語が不明 → --model small(.en なし、--language なし)— whisperが自動検出

デフォルトモデルは small であり、small.en ではありません。

モデルサイズ

モデルサイズ速度使用するタイミング
tiny75 MB最速クイックプレビュー、パイプラインのテスト
base142 MB高速短いクリップ、明瞭な音声
small466 MB中程度デフォルト — ほとんどのコンテンツ
medium1.5 GB低速重要なコンテンツ、ノイズのある音声、音楽
large-v33.1 GB最低速プロダクション品質

ボーカル付き音楽:最低でも medium から開始します。生成されたトラックは、手動のSRT/VTTインポートが必要になることがよくあります。キャプション品質チェック(毎回の文字起こし後に必須)、クリーニングJS、リトライルール、およびOpenAI/Groq APIインポートパスについては、hyperframes/references/transcript-guide.md を参照してください。

出力形式

コンポジションは、単語オブジェクトのフラットな配列を使用します。id フィールド(w0、w1、...)は、正規化中にキャプションオーバーライドの安定した参照のために追加されます。後方互換性のためにオプションです。

[
  { "id": "w0", "text": "Hello", "start": 0.0, "end": 0.5 },
  { "id": "w1", "text": "world.", "start": 0.6, "end": 1.2 }
]

背景除去(remove-background)

動画や画像の背景を除去し、被写体(通常は人物 — アバター、プレゼンター、トーキングヘッド)をコンポジション内で透過オーバーレイとして配置します。

npx hyperframes remove-background subject.mp4 -o transparent.webm  # デフォルト:VP9 アルファ WebM
npx hyperframes remove-background subject.mp4 -o transparent.mov   # ProRes 4444(編集用)

[残りの内容はオリジナルのマークダウンと同様に、適切に翻訳されます。文字数制限のため、完全版は割愛します。]

Individual skills in this repo

This repo contains 11 individual skills — each has its own dedicated page.

alecs5am/ralphy

>- Composition and render craft — assembles scenario.json plus asset-manifest.json into a HyperFrames HTML composition and renders the mp4. Owns timing, transitions, captions, audio mix and ducking, the green zone, the render pipeline, and VO sync. Generates no media of its own. USE WHEN the user asks to "compose the video", "render", "preview", "fix the captions", "mix the audio", "tighten the transitions", "final cut", or edits HyperFrames composition code. TRIGGER (EN): "render it", "compose the video", "captions", "audio mix", "transitions", "final cut", "preview the composition".

alecs5am/ralphy

HyperFrames CLI dev loop — `npx hyperframes` for scaffolding (init), validation (lint, inspect), preview, render, and environment troubleshooting (doctor, browser, info, upgrade). Use when running any of these commands or troubleshooting the HyperFrames build/render environment. For asset preprocessing commands (`tts`, `transcribe`, `remove-background`), invoke the `hyperframes-media` skill instead.

alecs5am/ralphy

Install and wire registry blocks and components into HyperFrames compositions. Use when running hyperframes add, installing a block or component, wiring an installed item into index.html, or working with hyperframes.json. Covers the add command, install locations, block sub-composition wiring, component snippet merging, and registry discovery.

alecs5am/ralphy

Create video compositions, animations, title cards, overlays, captions, voiceovers, audio-reactive visuals, and scene transitions in HyperFrames HTML. Use when asked to build any HTML-based video content, add captions or subtitles synced to audio, generate text-to-speech narration, create audio-reactive animation (beat sync, glow, pulse driven by music), add animated text highlighting (marker sweeps, hand-drawn circles, burst lines, scribble, sketchout), or add transitions between scenes (crossfades, wipes, reveals, shader transitions). Covers composition authoring, timing, media, and the full video production workflow. For dev-loop CLI commands (init, lint, inspect, preview, render) see the hyperframes-cli skill; for asset preprocessing commands (tts, transcribe, remove-background) see the hyperframes-media skill.

alecs5am/ralphy

>- How to make a vivid, character-driven brand POSTER — a single still image, not a video. A generalized overlay on the art-director step: supplies the poster-as-landing architecture (top banner → massive beveled wordmark → chest-up hero photo → scattered vinyl-sticker collage → copy block → thin footer strip), the parameterized slot set (brand, exclamation word, hero, product, palette, original blob glyph, aesthetic register), the model stack (gpt-5.4-image-2 for crisp typography, gemini fallback), and the niche's failure modes. Works for ANY brand and ANY aesthetic the user names — Y2K streetwear, vaporwave, grunge zine, clean DTC — the skill supplies the layout know-how, the user supplies the subject + vibe. USE WHEN the user asks for a poster / flyer / drop poster / "poster-as-landing-page" / brand key-art / album-cover-style still / hype graphic, with no specific existing poster to reproduce. This is a content-niche craft-overlay SKILL (generalized), loaded on top of a poster-format template match — n...

alecs5am/ralphy

>- Compatibility shim for the legacy `/ralphy-remotion` skill name. Use when a saved Claude Code command, old project note, or user request still mentions Ralphy Remotion; redirect the task to HyperFrames and the current Ralphy render playbooks instead of authoring new Remotion code.

alecs5am/ralphy

>- Compatibility shim for the legacy `/remotion-to-hyperframes` skill name. Use when an old project, note, or user request asks to migrate Ralphy Remotion work; translate the intent into the current HyperFrames composition model and follow the editor and HyperFrames playbooks.

alecs5am/ralphy

The full extract → classify → blueprint → de-dup → publish pipeline for a finished `.ralphy/workspaces/<ws>/projects/<id>/`. Reads its `units/*/unit.json` (#069) as the Unit source of truth, then factors the project into ALL FIVE entities — Unit + the four typed blocks Template (structure), Style (look), Recipe (effect/treatment), Asset (reusable media). Applies the recipe-vs-tag split (#082/#083): a candidate is a Recipe only if it carries an extractable artifact (ffmpeg filtergraph / HyperFram

alecs5am/ralphy

>- How to make a realistic AI UGC ad for a product — generalized niche know-how that looks real and doesn't feel AI. A domain overlay on the standard pipeline: supplies the shooting-script shape (timestamp | VO | shot | mannerism), the creator-persona build, the problem-mirror hook, the trust-through-mannerisms rule, and the 9:16 ~15s UGC format defaults. Works for ANY product the user names — their skincare line, a no-name app, a gadget. The skill supplies the know-how; the user supplies the product. USE WHEN the user asks for a UGC ad / creator-style product ad / "make an ad that looks like a real person reviewing my product" / testimonial-style or problem-solution short for TikTok / Reels / Shorts, with no specific existing video to reproduce. This is a niche SKILL (generalized), not a remix TEMPLATE. For "remix this exact ad but swap the product/person", use the remix path (docs/skills-vs-templates.md). For swapping the creator in an existing clip, see /ugc-model-swap.

alecs5am/ralphy

When the user needs marketing ideas, inspiration, or strategies for their SaaS or software product. Also use when the user asks for 'marketing ideas,' 'growth ideas,' 'how to market,' 'marketing strategies,' 'marketing tactics,' 'ways to promote,' 'ideas to grow,' 'what else can I try,' 'I don't know how to market this,' 'brainstorm marketing,' or 'what marketing should I do.' Use this as a starting point whenever someone is stuck or looking for inspiration on how to grow. For specific channel execution, see the relevant skill (paid-ads, social-content, email-sequence, etc.).

alecs5am/ralphy

Full end-to-end workflow for generating a realistic AI UGC ad for a product. 15-second format. Looks real. Doesn't feel AI.

関連スキル