Img-Video — 素材生成橋(多供應商)
Claude 無法直接生成像素,但可以呼叫外部模型服務。本 Skill 將此鏈路封裝成一個腳本:
給提示詞 → 拿到圖片/影片 → 存入 assets/ → 列印相對路徑,之後可直接寫進 HTML、PPT、Markdown 或設計稿。
模型層可插拔:預設走**介面AI(jiekou.ai)**中轉,某家沒金鑰或調不通時自動切到回退鏈上的
即夢 / 可靈 / Gemini 等。完整清單見 references/providers.md。
使用時機
成品裡該有一張圖或一段影片、且佔位符或純文字不合適時,都可用本 Skill 把它生成出來,典型場景:
- 網頁 / 落地頁 / 郵件模板:Banner、hero 圖、配圖、圖示底圖
- PPT / 幻燈片:封面、章節頁、內容配圖
- 平面設計:海報、封面、社群媒體卡片、縮圖
- UI 原型:示意圖、產品截圖佔位
- 短影片:動態背景、產品展示、由一張圖驅動的動畫
一句話原則:不要留空或寫「(此處放一張圖)」,直接生成。
前置:設定
首次使用前需在 Skill 根目錄準備一份 config.json(不存在時腳本會報錯提示):
- 複製模板:
cp config.example.json config.json - 至少設定一個供應商——金鑰須向使用者索取,切勿編造。每家填:
type:供應商類型(見下表)base_url:介面位址(有預設值可省略)- 憑證:多數是
api_key;可靈是access_key+secret_key image_model/video_model:模型名稱(不需要的能力留null)
- 設
default_provider(主用)與fallback(回退鏈,陣列)。
金鑰只存本地 config.json(已被 .gitignore 忽略),不要寫進程式碼、SKILL.md 或提交版本庫。
每次開工前先自我檢測可用性(確認金鑰/能力就緒、查看嘗試順序):
python <skill>/scripts/generate.py providers
用法
在專案工作目錄下執行,使輸出的 assets/ 相對路徑能被網頁/PPT 直接引用。
文生圖
python <skill>/scripts/generate.py image \
--prompt "扁平插畫風的科技公司首頁 hero 圖,藍紫漸層,簡潔留白" \
--size 1024x1024 --n 1 --output-dir assets/images
| 參數 | 必填 | 預設 | 說明 |
|---|---|---|---|
--prompt | ✅ | — | 寫具體(風格+主體+色調+構圖)效果更好 |
--size | 1024x1024 | 部分中轉按比例取圖,會自動換算成 1:1 等 | |
--n | 1 | 生成張數 | |
--output-dir | assets/images | 輸出目錄 | |
--provider | 按回退鏈 | 強制指定某家,跳過回退鏈 |
圖生影片
python <skill>/scripts/generate.py video \
--image assets/images/xxxx.png \
--prompt "鏡頭緩慢推進,背景光斑輕輕浮動" --output-dir assets/videos
| 參數 | 必填 | 預設 | 說明 |
|---|---|---|---|
--image | ✅ | — | 本地路徑或 http(s) URL |
--prompt | 空 | 運動/畫面描述,建議填寫 | |
--output-dir | assets/videos | 輸出目錄 | |
--provider | 按回退鏈 | 強制指定某家 |
圖生影片多為非同步任務,腳本自動輪詢到完成。
指定 / 切換供應商
- 不加
--provider時,按default_provider → fallback順序自動嘗試(跳過沒金鑰/不支援的)。 - 加
--provider <name>(如kling/ark/gemini/relay)強制指定某家、跳過回退鏈。 例:使用者說「用可靈生成」→--provider kling。
支援的模型服務
type | 服務 | 文生圖 | 圖生影片 |
|---|---|---|---|
jiekou | 介面AI 中轉(聚合 Midjourney/Flux/Seedance/可靈/Sora/Veo,預設) | ✅ | ✅ |
ark / jimeng | 位元組即夢 Seedream/Seedance(直連) | ✅ | ✅ |
kling | 快手可靈(直連) | ✅ | ✅ |
gemini | Google Imagen/Veo(直連) | ✅ | ✅ |
relay | 其它 OpenAI 相容中轉 | ✅ | ⚠️ 視閘道而定 |
實測推薦組合(jiekou):文生圖 mj-txt2img(Midjourney,一次出 4 張)、flux-2-pro;
圖生影片 veo-3.1-generate-img2video(Veo 3.1,可帶原生音訊)、sora-2-img2video、seedance-v1-pro-i2v。
⚠️ 換模型必看:不同模型的提示詞欄位名、時長/解析度列舉、必填項都不同(如 Midjourney 用
text、 Veo 用duration_seconds+generate_audio)。只改模型名而不改這些欄位會報 400。 config 已留好開關(prompt_field/send_aspect_ratio/duration/resolution/video_extra), 對照references/providers.md的「各模型欄位差異」速查表調整。
輸出
- 圖片存入
assets/images/,影片存入assets/videos/。 - 命名:
{時間戳}_{提示詞前若干字}.{png|jpg|mp4|…}(按檔頭識別真實格式,自動避免覆蓋)。 - 結束列印落地檔案的相對路徑清單——直接用到
<img src="assets/images/…">、PPT 佔位或 Markdown。
典型工作流程
providers子命令確認可用服務與嘗試順序。- 規劃成品需要哪些圖/影片、各自用途與風格。
- 逐個
image(或先image再video)生成,需要指定服務時加--provider。 - 收集列印的相對路徑,寫進成品。
範例:使用者「幫我做一個咖啡品牌落地頁」
→ image --prompt "溫暖色調手沖咖啡特寫,晨光,淺景深" 生成 hero
→ 再生成兩張產品配圖 → 用這些 assets/images/*.png 寫 HTML。
異常與回退(腳本已內建)
- 缺 config.json / 缺 providers 段:報錯並提示去設定。
- 主用供應商沒金鑰/沒配對應模型:自動跳過,嘗試下一個。
- 執行失敗(4xx/5xx/逾時):5xx 與網路異常按指數退避重試;仍失敗則降級到回退鏈下一家; 全部失敗才報錯,並彙總每家的失敗原因。
- 影片逾時:超過
poll_timeout報明確逾時。 - 輸入圖不存在(圖生影片):直接報錯,檢查
--image。
依賴與擴充
- 依賴:Python 3 +
requests(pip install requests)。可靈 JWT 鑑權用標準函式庫實作,無額外依賴。 - 加新供應商:在
scripts/providers.py新增一個Provider子類別,實作generate_image/generate_video,註冊到REGISTRY即可——回退鏈、儲存、命名等無需改動。詳見references/providers.md末尾。