生成媒體素材搜尋 是做什麼的?
目的
當節拍同步剪輯需要生成媒體而非僅限於找來的素材時,使用此技能。保持與Smash風格工作流程相同的品質標準:生成的素材必須支持剪輯標記、樂句轉折、主題轉變和視覺升級,而非成為通用填充物。
路由
- 對於生成的影片,在可用時使用已安裝的Gemini/Veo技能,例如
$gemini-video-generation或 Jake 的$gomez-cloud-veo-generation。 - 對於 Google Flow 瀏覽器生成,當用戶要求使用 Flow、瀏覽器額度、Google Omni、Chrome 中的 Veo 或可見的 Flow UI 時,使用 Gomez/Flow 路由。
- 對於生成的靜態圖像、底板、模型、摳圖、紋理或參考幀,在可用時使用 Codex 內建的
$imagegen技能/工具。 - 如果影片和圖像生成工具都不可用,則創建提示清單和編輯計劃,然後告訴用戶哪個生成步驟仍然受阻。
何時生成
在以下情況生成媒體:
- 用戶明確要求生成影片或圖像。
- 真實素材不可用、太弱、太重複,或因許可/來源訪問而受阻。
- 某個部分需要特定的無法獲得的視覺效果、轉場板、夢境圖像、無字抽象、產品安全插入鏡頭或節拍重音。
- 剪輯是探索性的,生成的佔位符將有助於在找到最終來源素材之前測試時間點。
在以下情況優先使用真實素材:
- 最終成品需要真實事件、人物、遊戲畫面、產品證據、幕後花絮、演唱會人群反應或紀錄片可信度。
- 生成的媒體會降低特異性或使剪輯感覺像庫存素材。
- 可以快速且合法地找到真實來源。
工作流程
- 從歌曲分析和蒙太奇計劃開始。在知道目標時間窗口、畫面比例、能量曲線和標記角色之前,不要生成素材。
- 為每個提示決定素材類型:
generated_video:用於樂句轉折、轉場、氛圍或不可能場景的短片。generated_still:用於動畫處理(平移、縮放、視差、疊加或快速閃爍)的圖像板。source_footage:對於有依據的動作和最終證明剪輯,真實素材仍然是首選。
- 為每個請求的素材創建一個生成清單,每個請求一行/一個物件:
- 提示 ID
- 標記時間或時間範圍
- 素材類型
- 畫面比例
- 提示詞
- 避免列表
- 在時間線中的預期用途
- 輸出路徑
- 除非用戶明確要求實際生成,否則在花費付費/API 影片額度前先詢問。
- 將生成的項目素材保存在忽略的本地文件夾下,例如
media/generated/、work/generated-media/或outputs/generated-media/。不要提交生成的 MP4、原始圖像、API 密鑰、下載文件或私人參考資料。 - 使用
ffprobe驗證生成的剪輯,並通過打開或檢查生成的圖像來驗證,然後再將其用於時間線。 - 將接受的生成素材添加到蒙太奇來源清單中,其
source_kind設置為generated_video或generated_still。 - 首先渲染乾淨的剪輯。將生成的素材視為源材料,而不是跳過時間線 CSV、聯繫表、簡報或
$edit-delivery-qa的理由。
程序化音訊反應式渲染(抽象視覺首選)
對於抽象/氛圍元素——隧道、傳送門、萬花筒曼陀羅、星爆場、事件視界、標題片——首選程序化 GPU 渲染而非 AI 生成:它是確定性的、無浮水印的、完全擁有的,並且可以由歌曲自身的起始包絡線驅動,因此每個脈衝都能通過構造精準落在音樂上。
骨架:Python + moderngl 獨立上下文,一個全屏三角形 #version 330 片段著色器,每幀統一變量(uTime、uPulse,來源於 librosa 起始包絡線,經過 95 百分位數標準化和 exp(-1/(fps*0.22)) 峰值保持衰減,整合的速度/旋轉累加器在節拍處激增),幀從 FBO 讀取並以原始 RGB 直接輸送到 ffmpeg -f rawvideo -pix_fmt rgb24 -vf vflip -c:v libx264 -crf 18 -pix_fmt yuv420p。標準 CLI:--audio --start --dur --out --fps 30 --w 1080 --h 1920,外加一個 --still --t 模式,用於在投入完整渲染之前進行藝術方向檢查。
經過驗證的音訊映射:起始點 → 撞擊縮放 / 白熱閃爍 / 旋轉踢;低音 → 核心光暈 / 內緣熱度;整合能量 → 行進速度。保持頻段為單獨的標準化信號。
藝術方向法則(學了兩次):近黑底色 + 發光霓虹。 密集的程序化場域會沖淡柔和色調,除非約 50% 的場域是黑色護城河,噪聲雕刻出光線(I = profile * pow(streak, 1.5+) * gradient),並且飽和度被提升。如果感覺平淡,增加深度分離並在添加細節前使周邊變暗。完成:Reinhard 色調映射 acc*1.35/(1+acc),飽和度提升約 1.3,伽馬 0.4545;為主要片段上的近黑漸變添加抖動。
整合規則: 程序化渲染不得作為獨立片段進行交叉剪輯(參見 $beat-synced-montage-builder 中的整合-FX 規則)。將其合成到鏡頭中——屏幕混合到天空(使用 RGB/gbrp,絕對不要使用 YUV——會導致洋紅色溢出),羽化圓盤 alpha 通道,反射,邊緣包裹光暈,角落固定屏幕——或者通過將基本剪輯解碼為相同片段著色器採樣的紋理,並將剪輯的剪切時間作為統一變量傳遞以便剪切落地為扭曲衝擊,從而在著色器中融合。始終在剪輯使用的確切窗口(--start/--dur)上進行渲染。
影片生成指導
使用 Gemini/Veo/Flow 生成影片。保持提示詞直接、視覺化且具有剪輯意識:
9:16 豎屏影片,8 秒,無可讀文字或標誌。
場景:<具體視覺效果>。
運動:<一個可以在節拍上剪輯的清晰動作>。
攝影機:<簡單的攝影機運動>。
風格:<視覺風格>。
燈光/氛圍:<能量>。
避免:文字、浮水印、品牌標誌、多餘角色、畸形的手/臉。
對於節拍同步剪輯,請求帶有清晰開始、中間和可用的衝擊時刻的短片。避免需要跨越多個節拍進行精確編排的提示;而是生成幾個簡單的選項。
如果使用 Google Flow,選擇與用戶的成本/品質要求相符的可見 Veo/Omni 模型。立即下載完成的剪輯並將其複製到項目本地被忽略的媒體文件夾中,使用穩定的全小寫名稱。
圖像生成指導
使用 Codex 圖像生成來創建靜態板、插入鏡頭、參考幀、專輯/故事視覺效果或可在本地進行動畫處理的不可能場景。當剪輯只需要以下內容時,優先使用圖像板:
- 快速閃爍
- 匹配剪輯幀
- 視差背景
- 象徵性插入
- 縮略圖/聯繫表概念
- 可以提示的視覺效果,而影片生成會使其過於複雜
提示靜態圖時要考慮預期的剪輯用途:
素材類型:節拍同步蒙太奇圖像板
主要請求:<視覺效果>
格式:9:16 豎屏或 16:9 橫屏
構圖:清晰的主體,在社交信息流大小下可讀,留有安全裁剪的移動空間
風格/媒介:<照片/插圖/3D 等>
限制:無可讀文字,無標誌,無浮水印
當項目將要使用該圖像時,將選定的輸出移動/複製到工作空間。不要將引用的素材僅保留在 Codex 默認的生成圖像緩存中。
品質規則
- 生成的素材必須繫結到特定的節拍、樂句或故事時刻。
- 避免諸如「酷炫的抽象視覺效果」之類的通用填充提示,除非該部分確實需要抽象。
- 當蒙太奇需要多樣性時,生成幾個狹義的提示,而不是一個寬泛的提示。
- 拒絕帶有錯誤文字、破損的臉/手、可見浮水印、運動模糊、主體可讀性差或沒有明顯剪輯點的生成素材。
- 在清單中清晰標記生成的佔位符,以便稍後可以用真實素材替換。
交接給蒙太奇構建器
生成或規劃完成後,將接受的素材作為常規來源傳遞給 $beat-synced-montage-builder。包括:
- 素材路徑
- 提示 ID 和預期的標記時間
- 來源類型
- 使用的提示詞
- 關於最佳幀或最佳運動時刻的註釋
- 替換優先級:
final_ok、replace_if_real_source_found或placeholder_only