AI 影片生成
文字轉影片 / 圖片轉影片 / 數位人首幀驅動。封裝
shared/scripts/ai_video.py,多提供者可插拔、非同步提交→輪詢→下載。使用者自備 API 金鑰(在.env設定)。
前置:設定 API 金鑰
設定檢查路徑鐵則:先
cd到AGENTS.md結尾給出的 Easel 專案根目錄,確認當前目錄有.env和skills/shared/scripts/,再執行註冊表、check或生成命令。不得改用工作區的./shared/scripts/...,也不得以env/printenv沒顯示變數為由判斷未設定。
先選提供者並在 .env 填入對應金鑰,然後 check 離線校驗:
python skills/shared/scripts/ai_video.py check --provider dashscope
| provider | 服務 | 需在 .env 設定 |
|---|---|---|
dashscope | 阿里通義萬相 Wan | DASHSCOPE_API_KEY(可選 DASHSCOPE_VIDEO_MODEL/DASHSCOPE_BASE_URL;相容舊名 DASHSCOPE_MODEL) |
ark | 火山引擎 Seedance | ARK_API_KEY(可選 ARK_MODEL/ARK_BASE_URL) |
kling | 快手可靈 | KLING_ACCESS_KEY + KLING_SECRET_KEY(JWT 鑑權) |
openai-compatible | 通用 /videos 端點 | VIDEO_API_KEY + VIDEO_BASE_URL(可選 VIDEO_MODEL) |
xhs-maas | 小紅書內網 MaaS(happyhorse 文/圖生影片) | XHS_MAAS_API_KEY(可選 XHS_MAAS_VIDEO_BASE/XHS_MAAS_T2V_MODEL/XHS_MAAS_I2V_MODEL)。DashScope 風格非同步 + api-key 標頭,內網直連 |
agnes | Agnes(agnes-video-2.5-flash) | AGNES_API_KEY(可選 AGNES_BASE_URL/AGNES_MODEL/AGNES_SIZE)。OpenAI Videos 相容建立 + 自訂端點輪詢;預設帶原生音訊(prompt 描述聲音);外網走代理 |
也可設定 VIDEO_PROVIDER 免去每次 --provider。
執行前先跑 model_registry.py configured --group video --env-file .env:只有一個可用就明確選它;多個可用且使用者沒點名時,列出 provider/模型詢問本次使用哪個,不按預設值擅自選擇。
輸入
畫幅確認硬門:使用者或上游任務未明確橫版/豎版(或 16:9/9:16/具體比例)時,任何生成/付費呼叫前必須追問並等確認;不得從平台、Profile 或腳本預設值靜默推斷。已明確則不重複問。
- 文生影片:畫面/鏡頭/風格描述(prompt)
- 圖生影片:一張輸入圖(本地路徑或 URL)+ 可選運動描述
- 可選:時長
--duration、畫幅--ratio(16:9 / 9:16 / 1:1)、模型--model、原生音訊--audio auto|on|off
輸出
生成的影片檔案;必須用 -o 指定到 outputs/主題名/。非同步任務自動輪詢到完成再下載。
執行步驟
- 確認設定與能力:先執行
check,再執行capabilities --provider <p> --model <m>。短劇不得根據品牌名猜測模型是否支援原生音訊;新模型用VIDEO_CAPABILITIES_JSON登記能力和請求欄位,無需修改呼叫流程。probe-dialogue(短劇用):真發 1 次生成 + ASR,測試該模型能否逐字忠實說出指定台詞,判dialogue_faithful並快取——短劇據此決定用原生對白,還是「無台詞生成 + 後期配音」。用法probe-dialogue --provider <p> --model <m>。
- 寫好 prompt:AI 影片對 prompt 敏感,按 AI 影片提示詞規範 寫鏡頭、運鏡、風格與時長。豎版短影片用
--ratio 9:16。 - 文生影片:
python skills/shared/scripts/ai_video.py text2video --provider dashscope \ --prompt "海邊日落,慢鏡頭推進,暖色調,電影感" --ratio 9:16 --duration 5 \ --audio auto \ -o outputs/主題名/clip.mp4 - 圖生影片 / 讓圖動起來 / 數位人首幀:
python skills/shared/scripts/ai_video.py image2video --provider kling \ --image outputs/主題名/cover.png --prompt "人物微笑揮手,頭髮輕微飄動" \ -o outputs/主題名/clip.mp4 - 後續加工:生成的片段可交給
video_ops.py(拼接/加字幕/加 BGM/橫豎轉)、auto-subtitle(字幕)、tts-voiceover(配音)串成成片,或直接進auto-short-video端到端流程。
Profile 感知
- 有 Profile:從
style.md取視覺風格傾向注入 prompt;platforms.md只用於給出畫幅建議,不能替代使用者確認。 - 無 Profile:先確認橫版/豎版,再按已確認比例生成。
注意
- 影片生成 API 均為非同步且耗時較長(數十秒到數分鐘)+ 按量計費,先與使用者確認。
- 各 provider 的 model 名/欄位各版本有差異,均可用
--model或 env 覆蓋;如報錯對照官方最新文件調整。 --audio auto只按 capability profile 映射已知欄位;能力聲明不等於品質保證,下載後仍須 ffprobe/ASR/視覺審計。閘道預設有聲但開關欄位未知時,不猜測注入參數。