文字 → 動畫影片
這是一條 Fliki 風格的「文字轉動畫」流程(參見 references/fliki-notes.md),但所有視覺元素皆以程式碼繪製並在此容器內渲染,因此無需 Fliki 或模型點數、無浮水印、無三分鐘限制。
輸入: 下列之一
- 一句靈感
- 一篇劇本
- 一個部落格網址
- 一個 PDF 或 PPT
- 現成的配音 MP3
輸出: 完成的 MP4 檔案,加上 WhatsApp 複本,比例由使用者選擇。
步驟
-
簡報。 當使用者未指定時,使用以下預設值進行收集:
- 語言(預設:使用者的語言;英語式印度語/印度語亦可)
- 語調(中性)
- 時長(60 秒)
- 比例(短片/短影音用 9:16,YouTube 用 16:9,資訊流用 1:1)
- 風格預設(見下文)
- 語音:使用者的 MP3、ElevenLabs,或無語音
僅詢問無法預設的項目。
-
來源 → 劇本。
- 靈感: 自行撰寫。
- 網址 / PDF / PPT: 讀取來源,僅保留其支援的事實,並在結尾卡片中引用。
- 長度: 撰寫分段劇本,英語約 140 字/分鐘,印度語約 120 字/分鐘。
- 結構: 前 3 秒內要有鉤子,每個場景一個概念,結尾要有行動呼籲。
- 檢查: 顯示劇本並等待同意,除非使用者已提供劇本。
-
場景規劃。 撰寫
plan.json(形狀如下),每 4–8 秒一個場景,並以簡短表格顯示。{"W":1080,"H":1920,"fps":30,"style":"2d-cartoon","scenes":[ {"id":1,"t0":0,"t1":5.2,"text":"<配音行>","visual":"<繪製內容>","motion":"<攝影機/動畫>","sfx":["whoosh:0.1"]}]} -
語音。 選擇一種:
- 使用者 MP3: 直接使用。若音樂在語音下方,先分離人聲(demucs)再對齊。
- ElevenLabs: 使用者需要金鑰。使用
request_credential要求主機api.elevenlabs.io,標頭xi-api-key。切勿要求使用者直接貼上金鑰到對話中。然後呼叫POST https://api.elevenlabs.io/v1/text-to-speech/{voice_id},model_id使用eleven_multilingual_v2(或 API 所列的最新多語言模型),每個場景或整個劇本發送一次請求。 - 無語音: 僅使用字幕與音效,每個場景以其規劃長度計時。
-
對齊。
python scripts/align.py voice.wav script.txt words.json 30可取得單詞時間,以及words_mouth.json用於嘴型同步。- 需要
pip install --break-system-packages torch torchaudio uroman librosa soundfile,並從download.pytorch.org下載模型,此環境允許。 - 根據對齊後的單詞重新調整
plan.json場景時間。存在語音時,切勿猜測時間。
-
先建立角色表(如果影片中有角色)。將每個角色繪製成一個函數,包含數個姿勢(待機、說話、指著、驚訝),並儲存為 PNG 表。在每個場景中重複使用相同的函數,使角色外觀保持一致。角色必須為原創;切勿複製現有的卡通或動漫角色。
-
建立
scene.html。- 一個尺寸為 W×H 的畫布。
window.renderAt(t)必須是確定性的:使用種子亂數,禁用Date.now(),禁用 CSS 動畫。window.ready在字型載入後解析。使用本地 woff2 檔案:印度語用 Baloo 2 或 Noto Sans Devanagari,根據風格需求使用 Inter/Anton/Bangers/Caveat。- 字幕 繪製在畫布內:
- 每個區塊 2–5 個單詞,在標點符號或超過 0.35 秒的停頓處斷開
- 當前的單詞在其開始時立即高亮
- 文字保持在安全區域內;對於 9:16,頂部 250 px 和底部 420 px 內不得有內容
- 動畫: 緩動移動、每 2–5 秒眨眼、待機搖擺、每個場景緩慢推近,以及場景間的過渡動作。
-
靜態畫面檢查。 執行
node scripts/render.cjs stills scene.html <8–12 次> stills/ W H,然後使用 ffmpegtile將靜態畫面拼接成聯繫表。自行檢查看板,修正問題,然後顯示給使用者並等待同意後再進行完整渲染。 -
渲染與混音。
- 影片:
node scripts/render.cjs video scene.html 0 DUR v.mp4 30 W H - 音效:
python scripts/sfx.py DUR sfx.wav whoosh:3.2 pop:8.1 chime:10.5 - 將語音混音至 0 dB,音效約 −12 dB。僅在使用者提供音樂時才使用音樂;使用
sidechaincompress將音樂壓低於語音。 - 封裝,然後
loudnorm=I=-14:TP=-1.5。
- 影片:
-
交付。
- 使用
blackdetect檢查黑畫面。 - 製作 WhatsApp/720p 複本,大小低於 20 MB。
- 使用
SendUserFile傳送兩個檔案。 - 對於其他比例,將佈局寫為 (W, H) 的函數,然後重新渲染。
- 使用
風格預設
| 預設 | 外觀 | 動作 |
|---|---|---|
2d-cartoon | 圓形形狀、平塗色彩加一層陰影、深色 4–6 px 外框、亮色背景 | 彈跳(回彈/彈性緩動)、落地壓縮 |
anime-style | 大眼睛、粗而乾淨的線條、平塗色彩加硬陰影、天空漸層 | 速度線、衝擊幀、擊中時小幅度畫面震動 |
comic-book | 厚重黑色墨水、網點陰影、漫畫格、爆炸貼紙(POW、WAAH!) | 漫畫格碰撞、縮放重擊、翻頁過渡 |
storybook(奇幻) | 柔和繪畫式漸層、紙張紋理、溫暖光線、圓角襯線字體 | 慢速視差、漂浮粒子、柔和淡入淡出 |
whiteboard | 白板、黑色馬克筆筆觸以 stroke-dashoffset 繪製、一種強調色 | 手/筆跟隨正在繪製的筆觸;擦除拭除 |
kinetic-type | 粗體字型(Anton/Inter Black)、2–3 種顏色、形狀作為強調 | 單詞隨著節拍撞擊、滑動和縮放;遮罩和匹配剪輯 |
cinematic-2d | 半寫實平面插圖、單一光源戲劇性光線、柔和色調 | 僅緩慢推近和橫搖;紀錄片節奏 |
規則
- 以程式碼繪製。 所有內容皆以程式碼繪製:無素材庫,無影像或影片生成器,除非使用者提供素材或要求生成剪輯(則使用
ai-video-generator)。 - 真實人物。 請勿製作真實在世公眾人物的擬真 AI 肖像。使用象徵性圖像、輪廓,或根據使用者照片繪製的漫畫版本。
- 事實。 螢幕上顯示的事實必須來自使用者的來源或經過驗證的搜尋。切勿虛構統計數據、引言或見證。
- 覆寫。 在覆寫現有輸出檔案前先詢問。