Communitygithub.com

delorenj/skills

動画や音声をカラー化したASCII MP4/GIFに変換するパイプライン。

skills とは?

このスキルは、動画、音声、画像、または生成的な入力から、カラー化されたASCIIアート動画(MP4、GIF、画像シーケンス)を生成するための完全なプロダクションパイプラインを提供します。単一の自己完結型Pythonスクリプトとして動作し、GPUを必要とせず、NumPy、SciPy、Pillow、ffmpegなどの一般的なライブラリを活用します。ユーザーは「ASCII動画」「テキストアート動画」「端末風動画」「レトロテキスト可視化」「オーディオビジュアライザー」「マトリックス風エフェクト」など、様々なスタイルの出力をリクエストできます。このパイプラインは、動画→ASCII変換、オーディオ反応型音楽ビジュアライザー、生成的なASCIIアートアニメーション、ハイブリッド動画+オーディオ反応、テキスト/歌詞オーバーレイ、リアルタイム端末レンダリングなど、6つの異なるモードをサポートしています。創造性の基準は高く、すべての出力が視覚的に印象的で、統一された美的感覚を持ち、単なる「AI生成ASCIIアート」に見えないことが求められます。また、プロジェクトごとにカスタムパレット、エフェクト、トランジションを発明することを推奨し、リファレンスカタログは出発点としてのみ使用するよう促します。パイプラインは6段階(入力→分析→シーン関数→トーンマップ→シェーディング→エンコード)で構成され、アダプティブトーンマッピングやフィードバックバッファなどの高度な機能を備え、高品質な出力を実現します。

対応~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/delorenj/skills/tree/HEAD/ascii-video

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

ASCII動画制作パイプライン

使用すべきタイミング

ユーザーが以下のリクエストを行った場合に使用します:ASCII動画、テキストアート動画、端末風動画、レトロテキスト可視化、ASCIIでのオーディオビジュアライザー、動画のASCIIアート変換、マトリックス風エフェクト、またはアニメーション化されたASCII出力全般。

内部構成

ASCIIアート動画のプロダクションパイプライン — あらゆるフォーマットに対応。動画/音声/画像/生成入力をカラー化されたASCII文字動画出力(MP4、GIF、画像シーケンス)に変換します。対応範囲:動画→ASCII変換、音声反応型音楽ビジュアライザー、生成型ASCIIアートアニメーション、ハイブリッド動画+音声反応、テキスト/歌詞オーバーレイ、リアルタイム端末レンダリング。

クリエイティブ基準

これは視覚芸術です。ASCII文字が媒体であり、映画が基準です。

コードを1行も書く前に、創造的なコンセプトを明確にしてください。ムードは何か?どのような視覚的ストーリーを語るのか?このプロジェクトを他のASCII動画と差別化するものは何か?ユーザーのプロンプトは出発点であり — 文字通りの解釈ではなく、創造的な野心を持って解釈してください。

初回レンダリングでの優秀さは絶対条件です。 出力は修正ラウンドを必要とせず、視覚的に印象的でなければなりません。何かが「AI生成ASCIIアート」のように一般的で、平坦で、または見える場合、それは間違いです — 出荷前に創造的コンセプトを再考してください。

リファレンスの語彙を超えてください。 リファレンス内のエフェクトカタログ、シェーダープリセット、パレットライブラリは出発点の語彙です。すべてのプロジェクトにおいて、新しいパターンを組み合わせ、修正し、発明してください。カタログは絵の具のパレットであり — あなたは絵を描くのです。

積極的に創造的であれ。 プロジェクトが求める場合、スキルの語彙を拡張してください。リファレンスにビジョンに必要なものがなければ、それを作り上げてください。ユーザーが要求しなかったが、喜ぶであろう視覚的な瞬間を少なくとも1つ含めてください — トランジション、エフェクト、作品全体を引き上げる色の選択。

技術的正確さよりも、まとまりのある美学。 動画内のすべてのシーンは、統一された視覚言語 — 共有された色温度、関連する文字パレット、一貫した動きの語彙 — によって結びついていなければなりません。すべてのシーンがランダムに異なるエフェクトを使用する技術的に正しい動画は、美的に失敗です。

密度が高く、重層的で、考慮されたもの。 すべてのフレームが視聴に値するものでなければなりません。決してフラットな黒背景にしてはいけません。常にマルチグリッド構成にしてください。常にシーンごとのバリエーションを入れてください。常に意図的な色を使用してください。

モード

モード入力出力リファレンス
動画→ASCII動画ファイルソース映像のASCII再現references/inputs.md § 動画サンプリング
音声反応音声ファイル音声特徴量から駆動される生成ビジュアルreferences/inputs.md § 音声解析
生成なし(またはシードパラメータ)手続き型ASCIIアニメーションreferences/effects.md
ハイブリッド動画+音声音声反応オーバーレイ付きASCII動画両方の入力リファレンス
歌詞/テキスト音声+テキスト/SRT視覚効果付きタイミングテキストreferences/inputs.md § テキスト/歌詞
TTSナレーションテキスト引用+TTS APIナレーション付き推薦/引用動画(タイプライターテキスト)references/inputs.md § TTS統合

スタック

プロジェクトごとに単一の自己完結型Pythonスクリプト。GPU不要。

レイヤーツール目的
コアPython 3.10+, NumPy数学、配列演算、ベクトル化エフェクト
信号処理SciPyFFT、ピーク検出(音声モード)
画像処理Pillow (PIL)フォントラスタライズ、フレームデコード、画像I/O
動画I/Offmpeg (CLI)入力デコード、出力エンコード、音声多重化
並列処理concurrent.futuresバッチ/クリップレンダリング用Nワーカー
TTSElevenLabs API(オプション)ナレーションクリップ生成
オプションOpenCV動画フレームサンプリング、エッジ検出

パイプラインアーキテクチャ

すべてのモードは同じ6段階パイプラインに従います。

入力 → 分析 → シーン関数 → トーンマップ → シェーディング → エンコード
  1. 入力 — ソース素材の読み込み/デコード(動画フレーム、音声サンプル、画像、またはなし)
  2. 分析 — フレームごとの特徴量抽出(音声帯域、動画輝度/エッジ、動きベクトル)
  3. シーン関数 — シーン関数がピクセルキャンバス(uint8 H,W,3)をレンダリング。_render_vf()+ピクセルブレンドモードを使用して複数の文字グリッドを合成。references/composition.md を参照
  4. トーンマップ — パーセンタイルベースの適応輝度正規化。references/composition.md § 適応トーンマップ を参照
  5. シェーディング — ShaderChain + FeedbackBufferによる後処理。references/shaders.md を参照
  6. エンコード — 生RGBフレームをffmpegにパイプしてH.264/GIFエンコード

クリエイティブディレクション

美的次元

次元オプションリファレンス
文字パレット濃度ランプ、ブロック要素、記号、スクリプト(カタカナ、ギリシャ文字、ルーン文字、点字)、プロジェクト固有architecture.md § パレット
色戦略HSV、OKLAB/OKLCH、離散RGBパレット、自動生成ハーモニー、モノクロ、色温度architecture.md § 色システム
背景テクスチャサイン波フィールド、fBMノイズ、ドメインワープ、ボロノイ、反応拡散、セルオートマトン、動画effects.md
主要エフェクトリング、スパイラル、トンネル、ボルテックス、波、干渉、オーロラ、炎、SDF、ストレンジアトラクターeffects.md
パーティクル火花、雪、雨、泡、ルーン文字、軌道、群れボイド、流れ場フォロワー、トレイルeffects.md § パーティクル
シェーダームードレトロCRT、クリーンモダン、グリッチアート、シネマティック、ドリームィ、インダストリアル、サイケデリックshaders.md
グリッド密度xs(8px) から xxl(40px)、レイヤーごとに混合architecture.md § グリッドシステム
座標空間直交座標、極座標、タイリング、回転、魚眼、メビウス、ドメインワープeffects.md § 変換
フィードバックズームトンネル、レインボートレイル、ゴーストエコー、回転曼荼羅、色進化composition.md § フィードバック
マスキング円、リング、グラデーション、テキストステンシル、アニメーションアイリス/ワイプ/ディゾルブcomposition.md § マスキング
トランジションクロスフェード、ワイプ、ディゾルブ、グリッチカット、アイリス、マスクベースのリビールshaders.md § トランジション

セクションごとのバリエーション

動画全体に同じ設定を使用しないでください。各セクション/シーンに対して:

  • 異なる背景エフェクト(または2-3つを合成)
  • 異なる文字パレット(ムードに合わせる)
  • 異なる色戦略(または少なくとも異なる色相)
  • シェーダー強度を変える(ピーク時により多くのブルーム、静かな時により多くのグレイン)
  • パーティクルがアクティブな場合は異なるパーティクルタイプ

プロジェクト固有の発明

すべてのプロジェクトに対して、少なくとも以下のうち1つを発明してください:

  • テーマにマッチするカスタム文字パレット
  • カスタム背景エフェクト(既存のビルディングブロックを組み合わせ/修正)
  • カスタムカラーパレット(ブランド/ムードにマッチする離散RGBセット)
  • カスタムパーティクル文字セット
  • 新しいシーントランジションまたは視覚的な瞬間

カタログから単に選ぶだけではいけません。カタログは語彙です — あなたが詩を書くのです。

ワークフロー

ステップ1: クリエイティブビジョン

コードを書く前に、創造的なコンセプトを明確にしてください:

  • ムード/雰囲気: 視聴者は何を感じるべきか?エネルギッシュ、瞑想的、カオティック、エレガント、不吉?
  • 視覚的ストーリー: 時間とともに何が起こるか?緊張を構築する?変容する?溶けていく?
  • 色の世界: 暖色/寒色?モノクロ?ネオン?アースカラー?支配的な色相は?
  • 文字テクスチャ: 密集したデータ?まばらな星?有機的なドット?幾何学的なブロック?
  • これをユニークにするもの: このプロジェクトをユニークにする一つのことは何か?
  • 感情の弧: シーンはどのように進行するか?エネルギーで始まり、クライマックスを築き、解決する?

ユーザーのプロンプトを美的選択にマッピングしてください。「chill lo-fi ビジュアライザー」は、「glitch cyberpunk データストリーム」とはまったく異なるものを要求します。

ステップ2: 技術設計

  • モード — 上記6つのモードのうちどれか
  • 解像度 — ランドスケープ 1920x1080(デフォルト)、ポートレート 1080x1920、スクエア 1080x1080 @ 24fps
  • ハードウェア検出 — 自動でコア/RAMを検出し、品質プロファイルを設定。references/optimization.md を参照
  • セクション — タイムスタンプをシーン関数にマッピングし、それぞれに独自のエフェクト/パレット/色/シェーダー設定を持たせる
  • 出力フォーマット — MP4(デフォルト)、GIF(640x360 @ 15fps)、PNGシーケンス

ステップ3: スクリプトの構築

単一のPythonファイル。コンポーネント(リファレンス付き):

  1. ハードウェア検出+品質プロファイル — references/optimization.md
  2. 入力ローダー — モード依存;references/inputs.md
  3. 特徴量アナライザー — 音声FFT、動画輝度、または合成
  4. グリッド+レンダラー — ビットマップキャッシュ付きマルチ密度グリッド;references/architecture.md
  5. 文字パレット — プロジェクトごとに複数;references/architecture.md § パレット
  6. 色システム — HSV+離散RGB+ハーモニー生成;references/architecture.md § 色
  7. シーン関数 — それぞれが canvas (uint8 H,W,3) を返す;references/scenes.md
  8. トーンマップ — 適応輝度正規化;references/composition.md
  9. シェーダーパイプライン — ShaderChain + FeedbackBuffer;references/shaders.md
  10. シーンテーブル+ディスパッチャー — 時間→シーン関数+設定;references/scenes.md
  11. 並列エンコーダー — Nワーカーのクリップレンダリングとffmpegパイプ
  12. メイン — 全パイプラインを調整

ステップ4: 品質検証

  • 最初にテストフレーム: フルレンダリング前に、キータイムスタンプで単一フレームをレンダリング
  • 輝度チェック: すべてのASCIIコンテンツで canvas.mean() > 8。暗い場合はガンマを下げる
  • 視覚的一貫性: すべてのシーンが同じ動画に属しているように感じられるか?
  • クリエイティブビジョンチェック: 出力はステップ1のコンセプトと一致しているか?一般的に見える場合は、戻ってやり直す

重要な実装ノート

輝度 — 線形乗数ではなく tonemap() を使用

これが最も多い視覚的問題です。黒背景上のASCIIは本質的に暗いです。canvas * N 乗数は絶対に使用しないでください — ハイライトがクリップされます。適応トーンマップを使用してください:

def tonemap(canvas, gamma=0.75):
    f = canvas.astype(np.float32)
    lo, hi = np.percentile(f[::4, ::4], [1, 99.5])
    if hi - lo < 10: hi = lo + 10
    f = np.clip((f - lo) / (hi - lo), 0, 1) ** gamma
    return (f * 255).astype(np.uint8)

パイプライン: scene_fn() → tonemap() → FeedbackBuffer → ShaderChain → ffmpeg

シーンごとのガンマ:デフォルト 0.75、ソラリゼーション 0.55、ポスタリゼーション 0.50、明るいシーン 0.85。暗いレイヤーには overlay ではなく screen ブレンドを使用してください。

フォントセルの高さ

macOS Pillow: textbbox() は間違った高さを返します。font.getmetrics() を使用してください:cell_height = ascent + descent。references/troubleshooting.md を参照。

ffmpeg パイプのデッドロック

長時間実行されるffmpegで stderr=subprocess.PIPE を決して使用しないでください — 64KBでバッファがいっぱいになりデッドロックします。ファイルにリダイレクトしてください。references/troubleshooting.md を参照。

フォントの互換性

すべてのUnicode文字がすべてのフォントでレンダリングされるわけではありません。初期化時にパレットを検証してください — 各文字をレンダリングし、空白出力をチェックしてください。references/troubleshooting.md を参照。

クリップごとのアーキテクチャ

セグメント化された動画(引用、シーン、チャプター)の場合、並列レンダリングと選択的な再レンダリングのために、各セグメントを個別のクリップファイルとしてレンダリングしてください。references/scenes.md を参照。

パフォーマンス目標

コンポーネント予算
特徴量抽出1-5ms
エフェクト関数2-15ms
文字レンダリング80-150ms(ボトルネック)
シェーダーパイプライン5-25ms
合計~100-200ms/フレーム

リファレンス

ファイル内容
references/architecture.mdグリッドシステム、解像度プリセット、フォント選択、文字パレット(20以上)、色システム(HSV+OKLAB+離散RGB+ハーモニー生成)、_render_vf() ヘルパー、GridLayerクラス
references/composition.mdピクセルブレンドモード(20モード)、blend_canvas()、マルチグリッド合成、適応 tonemap()、FeedbackBuffer、PixelBlendStack、マスキング/ステンシルシステム
references/effects.mdエフェクトビルディングブロック:値フィールドジェネレーター、色相フィールド、ノイズ/fBM/ドメインワープ、ボロノイ、反応拡散、セルオートマトン、SDF、ストレンジアトラクター、パーティクルシステム、座標変換、時間的コヒーレンス
references/shaders.mdShaderChain、_apply_shader_step() ディスパッチ、38シェーダーカタログ、音声反応型スケーリング、トランジション、ティントプリセット、出力フォーマットエンコード、端末レンダリング
references/scenes.mdシーンプロトコル、Renderer クラス、SCENES テーブル、render_clip()、ビート同期カッティング、並列レンダリング、デザインパターン(レイヤー階層、方向性アーク、視覚的メタファー、構成的テクニック)、すべての複雑さレベルでの完全なシーン例、シーンデザインチェックリスト
references/inputs.md音声解析(FFT、帯域、ビート)、動画サンプリング、画像変換、テキスト/歌詞、TTS統合(ElevenLabs、音声割り当て、音声ミキシング)
references/optimization.mdハードウェア検出、品質プロファイル、ベクトル化パターン、並列レンダリング、メモリ管理、パフォーマンス予算
references/troubleshooting.mdNumPyブロードキャストの落とし穴、ブレンドモードの落とし穴、マルチプロセッシング/ピクルス、輝度診断、ffmpeg問題、フォント問題、よくある間違い

クリエイティブな発散(ユーザーが実験的/創造的/ユニークな出力を要求した場合のみ使用)

ユーザーが創造的、実験的、驚きのある、または型破りな出力を求める場合、最適な戦略を選択し、コードを生成する前にそのステップを熟考してください。

  • 強制接続 — ユーザーが分野横断的なインスピレーションを求める場合(「有機的に見せて」「産業的な美学で」)
  • 概念ブレンディング — ユーザーが2つのものを組み合わせると名前を挙げた場合(「海と音楽の出会い」「宇宙+カリグラフィー」)
  • オブリークストラテジー — ユーザーが最大限にオープンな場合(「驚かせて」「見たことのないものを」)

強制接続

  1. 視覚目標とは無関係なドメインを選ぶ(気象システム、微生物学、建築、流体力学、テキスタイル織り)
  2. その核心的な視覚/構造要素をリストアップする(浸食→徐々に明らかにする;有糸分裂→分割重複;織り→連動パターン)
  3. それらの要素をASCII文字とアニメーションパターンにマッピングする
  4. 統合する — 文字グリッドにおける「浸食」や「結晶化」はどのように見えるか?

概念ブレンディング

  1. 2つの異なる視覚領域を挙げる
  2. それぞれからの主要なプロパティを抽出する
  3. 要素をブレンドする — ある領域の美的要素を別の領域上のASCII表現に重ねる
  4. 新しいパターンを定義する — 合成から生まれる新しい視覚言語を説明する

ライセンス

MIT

Individual skills in this repo

This repo contains 14 individual skills — each has its own dedicated page.

delorenj/skills

Plan and generate terminal ASCII animations/screensaver-style output (FPS, refresh rules, loop policy, low-flicker guidance), with a static poster frame and an optional local demo script.

delorenj/skills

Plan, build and quality-check a premium short commercial for a real business (roofing, property, ecommerce, B2B software) using AI-generated footage, code-built motion (HTML/GSAP), selective Three.js and an independent-critic "Gauntlet" loop. Use when asked to make a launch-style / SaaS-style video, business ad, explainer, sample reel or pitch video, or to review and improve one. Encodes motion principles distilled from 28 professional launch films, a quality bar, audio rules and a business-offer playbook.

delorenj/skills

CSS animation adapter patterns for HyperFrames. Use when authoring CSS keyframes, animation-delay based timing, animation-fill-mode, animation-play-state, or CSS-only motion that HyperFrames must seek deterministically during preview and rendering.

delorenj/skills

Generate professional voiceovers using ElevenLabs AI. Use when the user needs to create voiceovers for videos, audio narration, or text-to-speech content. Supports multiple voices with character presets (narrator, salesperson, expert) for natural delivery. Includes single scene regeneration for fine-tuning.

delorenj/skills

HyperFrames CLI dev loop — `npx hyperframes` for scaffolding (init), validation (lint, inspect), preview, render, and environment troubleshooting (doctor, browser, info, upgrade). Use when running any of these commands or troubleshooting the HyperFrames build/render environment. For asset preprocessing commands (`tts`, `transcribe`, `remove-background`), invoke the `hyperframes-media` skill instead.

delorenj/skills

Asset preprocessing for HyperFrames compositions — text-to-speech narration (Kokoro), audio/video transcription (Whisper), and background removal for transparent overlays (u2net). Use when generating voiceover from text, transcribing speech for captions, removing the background from a video or image to use as a transparent overlay, choosing a TTS voice or whisper model, or chaining these (TTS → transcribe → captions). Each command downloads its own model on first run.

delorenj/skills

Install and wire registry blocks and components into HyperFrames compositions. Use when running hyperframes add, installing a block or component, wiring an installed item into index.html, or working with hyperframes.json. Covers the add command, install locations, block sub-composition wiring, component snippet merging, and registry discovery.

delorenj/skills

Create video compositions, animations, title cards, overlays, captions, voiceovers, audio-reactive visuals, and scene transitions in HyperFrames HTML. Use when asked to build any HTML-based video content, add captions or subtitles synced to audio, generate text-to-speech narration, create audio-reactive animation (beat sync, glow, pulse driven by music), add animated text highlighting (marker sweeps, hand-drawn circles, burst lines, scribble, sketchout), or add transitions between scenes (crossfades, wipes, reveals, shader transitions). Covers composition authoring, timing, media, and the full video production workflow. For dev-loop CLI commands (init, lint, inspect, preview, render) see the hyperframes-cli skill; for asset preprocessing commands (tts, transcribe, remove-background) see the hyperframes-media skill.

delorenj/skills

Manim CE animations: 3Blue1Brown math/algo videos.

delorenj/skills

Join a Google Meet or Zoom call as a video meeting agent via PikaStreaming. Trigger: user drops a Google Meet or Zoom link, or asks to join a meeting.

delorenj/skills

Translate an existing Remotion (React-based) video composition into a HyperFrames HTML composition. Use ONLY when the user explicitly asks to port, convert, migrate, translate, or rewrite a Remotion composition as HyperFrames (e.g. "port my Remotion project to HyperFrames"). Do NOT use when (a) authoring a NEW HyperFrames composition (even if A/B-testing a Remotion video); (b) Remotion is mentioned in passing; (c) Remotion code is shared as reference, not for translation; (d) the user wants "the same video as my Remotion one" without explicitly asking to migrate the source — treat as a fresh HyperFrames build. When in doubt, default to the `hyperframes` skill. Detects unsupported patterns (useState, useEffect side effects, async calculateMetadata, third-party React component libraries, `@remotion/lambda`) and recommends the runtime interop escape hatch instead of a lossy translation.

delorenj/skills

Generate speech using the self-hosted voxxy (vox) TTS service at https://vox.delo.sh. Use when the user asks to speak, say, narrate, synthesize speech, clone a voice, create a voice, add or register a voice, pipe TTS, or control voice qualities by description (e.g. "a young woman with a cheerful voice"). Handles HTTP API usage, voice profile management, description-based voice design, cloning, MCP registration, and integration patterns for new platforms.

delorenj/skills

Capture a website and create a HyperFrames video from it. Use when: (1) a user provides a URL and wants a video, (2) someone says "capture this site", "turn this into a video", "make a promo from my site", (3) the user wants a social ad, product tour, or any video based on an existing website, (4) the user shares a link and asks for any kind of video content. Even if the user just pastes a URL — this is the skill to use.

delorenj/skills

YouTube transcripts to summaries, threads, blogs.

関連スキル