テキスト → アニメーション動画
これはFlikiスタイルの「テキスト→アニメーション」パイプラインです(references/fliki-notes.md 参照)。ただし、ビジュアルはコードで描画され、このコンテナ内でレンダリングされるため、Flikiやモデルのクレジット消費、透かし、3分間の制限はありません。
入力: 以下のいずれか
- 一言のアイデア
- スクリプト
- ブログURL
- PDFまたはPPT
- 既存のナレーションMP3
出力: ユーザーが選択したアスペクト比の完成したMP4と、WhatsApp用コピー。
手順
-
ブリーフィング. 以下の項目を収集します。ユーザーが明示しない場合はデフォルト値を使用します。
- 言語(デフォルト:ユーザーの言語;ヒングリッシュ/ヒンディー語も可)
- トーン(ニュートラル)
- 長さ(60秒)
- アスペクト比(リール/ショート用9:16、YouTube用16:9、フィード用1:1)
- スタイルプリセット(下記参照)
- 音声:ユーザーのMP3、ElevenLabs、またはなし
デフォルト化できない項目についてのみ質問します。
-
ソース → スクリプト.
- アイデア: 自身でスクリプトを作成します。
- URL / PDF / PPT: ソースを読み取り、それが裏付ける事実のみを保持し、エンドカードで引用します。
- 長さ: 英語では約140語/分、ヒンディー語では120語/分で、シーン分割されたスクリプトを作成します。
- 構造: 最初の3秒でフック、1シーンにつき1つのアイデア、最後にCTA。
- 確認: スクリプトを表示し、ユーザーがスクリプトを提供した場合を除き、承認を待ちます。
-
シーンプラン. 1シーンあたり4〜8秒で
plan.json(下記形状)を作成し、短い表として表示します。{"W":1080,"H":1920,"fps":30,"style":"2d-cartoon","scenes":[ {"id":1,"t0":0,"t1":5.2,"text":"<音声ライン>","visual":"<描画内容>","motion":"<カメラ/アニメーション>","sfx":["whoosh:0.1"]}]} -
音声. 以下のいずれかを選択:
- ユーザーMP3: そのまま使用します。音声の下に音楽がある場合は、先にボーカルを分離します(demucs)。
- ElevenLabs: ユーザーはキーが必要です。ホスト
api.elevenlabs.io、ヘッダーxi-api-keyに対してrequest_credentialで問い合わせます。キーをチャットに貼り付けさせないでください。その後、POST https://api.elevenlabs.io/v1/text-to-speech/{voice_id}をmodel_ideleven_multilingual_v2(またはAPIがリストする最新の多言語モデル)で呼び出し、シーンごとまたはスクリプト全体に対して1リクエスト送信します。 - 音声なし: キャプションと効果音のみを使用し、各シーンを計画された長さにタイミング設定します。
-
アライメント.
python scripts/align.py voice.wav script.txt words.json 30で単語のタイミングを取得し、さらにwords_mouth.jsonでリップシンク用データを取得します。- この実行には
pip install --break-system-packages torch torchaudio uroman librosa soundfileが必要で、download.pytorch.orgからモデルをダウンロードします(この環境では許可されています)。 - アライメントされた単語に合わせて
plan.jsonのシーンタイミングを再調整します。音声が存在する場合、タイミングを推測してはいけません。
-
キャラクターシートを最初に作成(動画にキャラクターが含まれる場合)。各キャラクターを、いくつかのポーズ(アイドル、話す、指差し、驚き)を持つ関数として一度描画し、PNGシートを保存します。すべてのシーンで同じ関数を再利用し、キャラクターの見た目が一貫するようにします。キャラクターはオリジナルでなければならず、既存のカートゥーンやアニメキャラクターをコピーしてはいけません。
-
scene.htmlを構築.- サイズ W×H の1つのキャンバス。
window.renderAt(t)は決定論的でなければなりません:シード付き乱数、Date.now()やCSSアニメーションは使用禁止。window.readyはフォントのロード後に解決されます。ローカルのwoff2ファイルを使用:ヒンディー語用のBaloo 2またはNoto Sans Devanagari、スタイルに応じてInter/Anton/Bangers/Caveat。- キャプションはキャンバスに描画されます:
- チャンクあたり2〜5語、句読点または0.35秒以上のポーズで区切ります
- アクティブな単語は開始と同時にハイライト表示されます
- テキストはセーフゾーン内に収めます。9:16の場合、上部250px、下部420pxには何も配置しません
- モーション: イーズド移動、2〜5秒ごとのまばたき、アイドル時の揺れ、シーンごとのスロープッシュイン、シーン間の1つのトランジション移動。
-
スチル確認.
node scripts/render.cjs stills scene.html <8–12回> stills/ W Hを実行し、次にffmpegtileでスチルをコンタクトシートにまとめます。自分でシートを確認し、問題を修正した後、ユーザーに表示してフルレンダリング前に承認を待ちます。 -
レンダリングとミキシング.
- 動画:
node scripts/render.cjs video scene.html 0 DUR v.mp4 30 W H - 効果音:
python scripts/sfx.py DUR sfx.wav whoosh:3.2 pop:8.1 chime:10.5 - 音声を0dB、効果音を約-12dBでミックスします。音楽はユーザーが提供した場合のみ使用し、
sidechaincompressで音声の下にダッキングします。 - 多重化後、
loudnorm=I=-14:TP=-1.5を適用します。
- 動画:
-
納品.
blackdetectで黒フレームを確認します。- 20MB未満のWhatsApp/720pコピーを作成します。
- 両方のファイルを
SendUserFileで送信します。 - 他のアスペクト比の場合は、レイアウトを (W,H) の関数として記述し、再レンダリングします。
スタイルプリセット
| プリセット | 見た目 | 動き |
|---|---|---|
2d-cartoon | 丸みを帯びた形状、1シェーディングのフラットカラー、濃い4〜6pxの輪郭線、明るい背景 | バウンシー(back/elasticイージング)、着地時のスカッシュ |
anime-style | 大きな目、太くてクリーンな線、フラットカラー+ハードシャドウ、空のグラデーション | スピード線、インパクトフレーム、ヒット時の小さな画面振動 |
comic-book | 重い黒インク、ハーフトーンシェーディング、パネル、バーストステッカー(POW、WAAH!) | パネルスラム、ズームパンチ、ページめくりトランジション |
storybook(ファンタジー) | 柔らかい絵画的なグラデーション、紙の質感、暖かい光、丸みを帯びたセリフ体 | スローパララックス、漂うパーティクル、優しいフェード |
whiteboard | 白いボード、stroke-dashoffsetで描かれる黒いマーカーのストローク、1つのアクセントカラー | 手/ペンが描かれるストロークを追従;消去ワイプ |
kinetic-type | 太字(Anton/Inter Black)、2〜3色、アクセントとしての形状 | 単語がビートに合わせてスラム、スライド、スケール;マスクとマッチカット |
cinematic-2d | セミリアリスティックなフラットイラスト、単一光源のドラマチックな光、落ち着いたパレット | スロープッシュインとパンのみ;ドキュメンタリー風のペース |
ルール
- コードで描画する。 すべてコードで描画されます:ストック映像や画像・動画生成は使用禁止です。ただし、ユーザーがメディアを提供したり、生成クリップを要求した場合(その場合は
ai-video-generatorを使用)は除きます。 - 実在の人物。 実在の存命する公人のリアルなAI似顔絵は作成しないでください。象徴的なイメージ、シルエット、またはユーザーの写真から描いた似顔絵を使用してください。
- 事実。 画面上の事実は、ユーザーのソースまたは検証済みの検索結果に基づく必要があります。統計、引用、推薦文を捏造してはいけません。
- 上書き。 既存の出力ファイルを上書きする前に確認を取ってください。