ASCII動画制作パイプライン
使用すべきタイミング
ユーザーが以下のリクエストを行った場合に使用します:ASCII動画、テキストアート動画、端末風動画、レトロテキスト可視化、ASCIIでのオーディオビジュアライザー、動画のASCIIアート変換、マトリックス風エフェクト、またはアニメーション化されたASCII出力全般。
内部構成
ASCIIアート動画のプロダクションパイプライン — あらゆるフォーマットに対応。動画/音声/画像/生成入力をカラー化されたASCII文字動画出力(MP4、GIF、画像シーケンス)に変換します。対応範囲:動画→ASCII変換、音声反応型音楽ビジュアライザー、生成型ASCIIアートアニメーション、ハイブリッド動画+音声反応、テキスト/歌詞オーバーレイ、リアルタイム端末レンダリング。
クリエイティブ基準
これは視覚芸術です。ASCII文字が媒体であり、映画が基準です。
コードを1行も書く前に、創造的なコンセプトを明確にしてください。ムードは何か?どのような視覚的ストーリーを語るのか?このプロジェクトを他のASCII動画と差別化するものは何か?ユーザーのプロンプトは出発点であり — 文字通りの解釈ではなく、創造的な野心を持って解釈してください。
初回レンダリングでの優秀さは絶対条件です。 出力は修正ラウンドを必要とせず、視覚的に印象的でなければなりません。何かが「AI生成ASCIIアート」のように一般的で、平坦で、または見える場合、それは間違いです — 出荷前に創造的コンセプトを再考してください。
リファレンスの語彙を超えてください。 リファレンス内のエフェクトカタログ、シェーダープリセット、パレットライブラリは出発点の語彙です。すべてのプロジェクトにおいて、新しいパターンを組み合わせ、修正し、発明してください。カタログは絵の具のパレットであり — あなたは絵を描くのです。
積極的に創造的であれ。 プロジェクトが求める場合、スキルの語彙を拡張してください。リファレンスにビジョンに必要なものがなければ、それを作り上げてください。ユーザーが要求しなかったが、喜ぶであろう視覚的な瞬間を少なくとも1つ含めてください — トランジション、エフェクト、作品全体を引き上げる色の選択。
技術的正確さよりも、まとまりのある美学。 動画内のすべてのシーンは、統一された視覚言語 — 共有された色温度、関連する文字パレット、一貫した動きの語彙 — によって結びついていなければなりません。すべてのシーンがランダムに異なるエフェクトを使用する技術的に正しい動画は、美的に失敗です。
密度が高く、重層的で、考慮されたもの。 すべてのフレームが視聴に値するものでなければなりません。決してフラットな黒背景にしてはいけません。常にマルチグリッド構成にしてください。常にシーンごとのバリエーションを入れてください。常に意図的な色を使用してください。
モード
| モード | 入力 | 出力 | リファレンス |
|---|---|---|---|
| 動画→ASCII | 動画ファイル | ソース映像のASCII再現 | references/inputs.md § 動画サンプリング |
| 音声反応 | 音声ファイル | 音声特徴量から駆動される生成ビジュアル | references/inputs.md § 音声解析 |
| 生成 | なし(またはシードパラメータ) | 手続き型ASCIIアニメーション | references/effects.md |
| ハイブリッド | 動画+音声 | 音声反応オーバーレイ付きASCII動画 | 両方の入力リファレンス |
| 歌詞/テキスト | 音声+テキスト/SRT | 視覚効果付きタイミングテキスト | references/inputs.md § テキスト/歌詞 |
| TTSナレーション | テキスト引用+TTS API | ナレーション付き推薦/引用動画(タイプライターテキスト) | references/inputs.md § TTS統合 |
スタック
プロジェクトごとに単一の自己完結型Pythonスクリプト。GPU不要。
| レイヤー | ツール | 目的 |
|---|---|---|
| コア | Python 3.10+, NumPy | 数学、配列演算、ベクトル化エフェクト |
| 信号処理 | SciPy | FFT、ピーク検出(音声モード) |
| 画像処理 | Pillow (PIL) | フォントラスタライズ、フレームデコード、画像I/O |
| 動画I/O | ffmpeg (CLI) | 入力デコード、出力エンコード、音声多重化 |
| 並列処理 | concurrent.futures | バッチ/クリップレンダリング用Nワーカー |
| TTS | ElevenLabs API(オプション) | ナレーションクリップ生成 |
| オプション | OpenCV | 動画フレームサンプリング、エッジ検出 |
パイプラインアーキテクチャ
すべてのモードは同じ6段階パイプラインに従います。
入力 → 分析 → シーン関数 → トーンマップ → シェーディング → エンコード
- 入力 — ソース素材の読み込み/デコード(動画フレーム、音声サンプル、画像、またはなし)
- 分析 — フレームごとの特徴量抽出(音声帯域、動画輝度/エッジ、動きベクトル)
- シーン関数 — シーン関数がピクセルキャンバス(
uint8 H,W,3)をレンダリング。_render_vf()+ピクセルブレンドモードを使用して複数の文字グリッドを合成。references/composition.mdを参照 - トーンマップ — パーセンタイルベースの適応輝度正規化。
references/composition.md§ 適応トーンマップ を参照 - シェーディング —
ShaderChain+FeedbackBufferによる後処理。references/shaders.mdを参照 - エンコード — 生RGBフレームをffmpegにパイプしてH.264/GIFエンコード
クリエイティブディレクション
美的次元
| 次元 | オプション | リファレンス |
|---|---|---|
| 文字パレット | 濃度ランプ、ブロック要素、記号、スクリプト(カタカナ、ギリシャ文字、ルーン文字、点字)、プロジェクト固有 | architecture.md § パレット |
| 色戦略 | HSV、OKLAB/OKLCH、離散RGBパレット、自動生成ハーモニー、モノクロ、色温度 | architecture.md § 色システム |
| 背景テクスチャ | サイン波フィールド、fBMノイズ、ドメインワープ、ボロノイ、反応拡散、セルオートマトン、動画 | effects.md |
| 主要エフェクト | リング、スパイラル、トンネル、ボルテックス、波、干渉、オーロラ、炎、SDF、ストレンジアトラクター | effects.md |
| パーティクル | 火花、雪、雨、泡、ルーン文字、軌道、群れボイド、流れ場フォロワー、トレイル | effects.md § パーティクル |
| シェーダームード | レトロCRT、クリーンモダン、グリッチアート、シネマティック、ドリームィ、インダストリアル、サイケデリック | shaders.md |
| グリッド密度 | xs(8px) から xxl(40px)、レイヤーごとに混合 | architecture.md § グリッドシステム |
| 座標空間 | 直交座標、極座標、タイリング、回転、魚眼、メビウス、ドメインワープ | effects.md § 変換 |
| フィードバック | ズームトンネル、レインボートレイル、ゴーストエコー、回転曼荼羅、色進化 | composition.md § フィードバック |
| マスキング | 円、リング、グラデーション、テキストステンシル、アニメーションアイリス/ワイプ/ディゾルブ | composition.md § マスキング |
| トランジション | クロスフェード、ワイプ、ディゾルブ、グリッチカット、アイリス、マスクベースのリビール | shaders.md § トランジション |
セクションごとのバリエーション
動画全体に同じ設定を使用しないでください。各セクション/シーンに対して:
- 異なる背景エフェクト(または2-3つを合成)
- 異なる文字パレット(ムードに合わせる)
- 異なる色戦略(または少なくとも異なる色相)
- シェーダー強度を変える(ピーク時により多くのブルーム、静かな時により多くのグレイン)
- パーティクルがアクティブな場合は異なるパーティクルタイプ
プロジェクト固有の発明
すべてのプロジェクトに対して、少なくとも以下のうち1つを発明してください:
- テーマにマッチするカスタム文字パレット
- カスタム背景エフェクト(既存のビルディングブロックを組み合わせ/修正)
- カスタムカラーパレット(ブランド/ムードにマッチする離散RGBセット)
- カスタムパーティクル文字セット
- 新しいシーントランジションまたは視覚的な瞬間
カタログから単に選ぶだけではいけません。カタログは語彙です — あなたが詩を書くのです。
ワークフロー
ステップ1: クリエイティブビジョン
コードを書く前に、創造的なコンセプトを明確にしてください:
- ムード/雰囲気: 視聴者は何を感じるべきか?エネルギッシュ、瞑想的、カオティック、エレガント、不吉?
- 視覚的ストーリー: 時間とともに何が起こるか?緊張を構築する?変容する?溶けていく?
- 色の世界: 暖色/寒色?モノクロ?ネオン?アースカラー?支配的な色相は?
- 文字テクスチャ: 密集したデータ?まばらな星?有機的なドット?幾何学的なブロック?
- これをユニークにするもの: このプロジェクトをユニークにする一つのことは何か?
- 感情の弧: シーンはどのように進行するか?エネルギーで始まり、クライマックスを築き、解決する?
ユーザーのプロンプトを美的選択にマッピングしてください。「chill lo-fi ビジュアライザー」は、「glitch cyberpunk データストリーム」とはまったく異なるものを要求します。
ステップ2: 技術設計
- モード — 上記6つのモードのうちどれか
- 解像度 — ランドスケープ 1920x1080(デフォルト)、ポートレート 1080x1920、スクエア 1080x1080 @ 24fps
- ハードウェア検出 — 自動でコア/RAMを検出し、品質プロファイルを設定。
references/optimization.mdを参照 - セクション — タイムスタンプをシーン関数にマッピングし、それぞれに独自のエフェクト/パレット/色/シェーダー設定を持たせる
- 出力フォーマット — MP4(デフォルト)、GIF(640x360 @ 15fps)、PNGシーケンス
ステップ3: スクリプトの構築
単一のPythonファイル。コンポーネント(リファレンス付き):
- ハードウェア検出+品質プロファイル —
references/optimization.md - 入力ローダー — モード依存;
references/inputs.md - 特徴量アナライザー — 音声FFT、動画輝度、または合成
- グリッド+レンダラー — ビットマップキャッシュ付きマルチ密度グリッド;
references/architecture.md - 文字パレット — プロジェクトごとに複数;
references/architecture.md§ パレット - 色システム — HSV+離散RGB+ハーモニー生成;
references/architecture.md§ 色 - シーン関数 — それぞれが
canvas (uint8 H,W,3)を返す;references/scenes.md - トーンマップ — 適応輝度正規化;
references/composition.md - シェーダーパイプライン —
ShaderChain+FeedbackBuffer;references/shaders.md - シーンテーブル+ディスパッチャー — 時間→シーン関数+設定;
references/scenes.md - 並列エンコーダー — Nワーカーのクリップレンダリングとffmpegパイプ
- メイン — 全パイプラインを調整
ステップ4: 品質検証
- 最初にテストフレーム: フルレンダリング前に、キータイムスタンプで単一フレームをレンダリング
- 輝度チェック: すべてのASCIIコンテンツで
canvas.mean() > 8。暗い場合はガンマを下げる - 視覚的一貫性: すべてのシーンが同じ動画に属しているように感じられるか?
- クリエイティブビジョンチェック: 出力はステップ1のコンセプトと一致しているか?一般的に見える場合は、戻ってやり直す
重要な実装ノート
輝度 — 線形乗数ではなく tonemap() を使用
これが最も多い視覚的問題です。黒背景上のASCIIは本質的に暗いです。canvas * N 乗数は絶対に使用しないでください — ハイライトがクリップされます。適応トーンマップを使用してください:
def tonemap(canvas, gamma=0.75):
f = canvas.astype(np.float32)
lo, hi = np.percentile(f[::4, ::4], [1, 99.5])
if hi - lo < 10: hi = lo + 10
f = np.clip((f - lo) / (hi - lo), 0, 1) ** gamma
return (f * 255).astype(np.uint8)
パイプライン: scene_fn() → tonemap() → FeedbackBuffer → ShaderChain → ffmpeg
シーンごとのガンマ:デフォルト 0.75、ソラリゼーション 0.55、ポスタリゼーション 0.50、明るいシーン 0.85。暗いレイヤーには overlay ではなく screen ブレンドを使用してください。
フォントセルの高さ
macOS Pillow: textbbox() は間違った高さを返します。font.getmetrics() を使用してください:cell_height = ascent + descent。references/troubleshooting.md を参照。
ffmpeg パイプのデッドロック
長時間実行されるffmpegで stderr=subprocess.PIPE を決して使用しないでください — 64KBでバッファがいっぱいになりデッドロックします。ファイルにリダイレクトしてください。references/troubleshooting.md を参照。
フォントの互換性
すべてのUnicode文字がすべてのフォントでレンダリングされるわけではありません。初期化時にパレットを検証してください — 各文字をレンダリングし、空白出力をチェックしてください。references/troubleshooting.md を参照。
クリップごとのアーキテクチャ
セグメント化された動画(引用、シーン、チャプター)の場合、並列レンダリングと選択的な再レンダリングのために、各セグメントを個別のクリップファイルとしてレンダリングしてください。references/scenes.md を参照。
パフォーマンス目標
| コンポーネント | 予算 |
|---|---|
| 特徴量抽出 | 1-5ms |
| エフェクト関数 | 2-15ms |
| 文字レンダリング | 80-150ms(ボトルネック) |
| シェーダーパイプライン | 5-25ms |
| 合計 | ~100-200ms/フレーム |
リファレンス
| ファイル | 内容 |
|---|---|
references/architecture.md | グリッドシステム、解像度プリセット、フォント選択、文字パレット(20以上)、色システム(HSV+OKLAB+離散RGB+ハーモニー生成)、_render_vf() ヘルパー、GridLayerクラス |
references/composition.md | ピクセルブレンドモード(20モード)、blend_canvas()、マルチグリッド合成、適応 tonemap()、FeedbackBuffer、PixelBlendStack、マスキング/ステンシルシステム |
references/effects.md | エフェクトビルディングブロック:値フィールドジェネレーター、色相フィールド、ノイズ/fBM/ドメインワープ、ボロノイ、反応拡散、セルオートマトン、SDF、ストレンジアトラクター、パーティクルシステム、座標変換、時間的コヒーレンス |
references/shaders.md | ShaderChain、_apply_shader_step() ディスパッチ、38シェーダーカタログ、音声反応型スケーリング、トランジション、ティントプリセット、出力フォーマットエンコード、端末レンダリング |
references/scenes.md | シーンプロトコル、Renderer クラス、SCENES テーブル、render_clip()、ビート同期カッティング、並列レンダリング、デザインパターン(レイヤー階層、方向性アーク、視覚的メタファー、構成的テクニック)、すべての複雑さレベルでの完全なシーン例、シーンデザインチェックリスト |
references/inputs.md | 音声解析(FFT、帯域、ビート)、動画サンプリング、画像変換、テキスト/歌詞、TTS統合(ElevenLabs、音声割り当て、音声ミキシング) |
references/optimization.md | ハードウェア検出、品質プロファイル、ベクトル化パターン、並列レンダリング、メモリ管理、パフォーマンス予算 |
references/troubleshooting.md | NumPyブロードキャストの落とし穴、ブレンドモードの落とし穴、マルチプロセッシング/ピクルス、輝度診断、ffmpeg問題、フォント問題、よくある間違い |
クリエイティブな発散(ユーザーが実験的/創造的/ユニークな出力を要求した場合のみ使用)
ユーザーが創造的、実験的、驚きのある、または型破りな出力を求める場合、最適な戦略を選択し、コードを生成する前にそのステップを熟考してください。
- 強制接続 — ユーザーが分野横断的なインスピレーションを求める場合(「有機的に見せて」「産業的な美学で」)
- 概念ブレンディング — ユーザーが2つのものを組み合わせると名前を挙げた場合(「海と音楽の出会い」「宇宙+カリグラフィー」)
- オブリークストラテジー — ユーザーが最大限にオープンな場合(「驚かせて」「見たことのないものを」)
強制接続
- 視覚目標とは無関係なドメインを選ぶ(気象システム、微生物学、建築、流体力学、テキスタイル織り)
- その核心的な視覚/構造要素をリストアップする(浸食→徐々に明らかにする;有糸分裂→分割重複;織り→連動パターン)
- それらの要素をASCII文字とアニメーションパターンにマッピングする
- 統合する — 文字グリッドにおける「浸食」や「結晶化」はどのように見えるか?
概念ブレンディング
- 2つの異なる視覚領域を挙げる
- それぞれからの主要なプロパティを抽出する
- 要素をブレンドする — ある領域の美的要素を別の領域上のASCII表現に重ねる
- 新しいパターンを定義する — 合成から生まれる新しい視覚言語を説明する
ライセンス
MIT