Communitygithub.com

drama-audio-soundstage

短剧工业化管线·第 4 工序:声音工程与智能避让配乐。负责 H3 视频生成后的声音精修,包含谱减法音频门控、Whisper 语种漂移拦截与 FFmpeg 侧链动态避让混音。

Qu'est-ce que drama-audio-soundstage ?

该技能是短剧工业化管线中的声音工程与智能配乐工序,专门用于处理 H3 视频生成后的音频精修。它采用谱减法音频门控技术,精确滤除持续性的低频电流声、风噪和环境床音,同时 100% 保留人物对白和短促动作拟音。通过轻量 Whisper ASR 进行普通话语种漂移拦截,确保角色发音始终为中文,避免伪英语或乱码杂音影响交付。最后利用 FFmpeg 原生侧链压缩实现影视级动态避让混音(Sidechain Ducking),台词开口时 BGM 瞬时下潜 -14dB,闭嘴后 0.4 秒内丝滑回升,营造沉浸式视听体验。支持 Windows/macOS/Linux 平台,依赖 Python、FFmpeg 和 Whisper。

Compatible avec~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/abserari/drama-production-skills/tree/HEAD/skills/drama-audio-soundstage

Demander à votre IA préférée

Ouvre une nouvelle conversation avec cette compétence d'agent déjà préchargée.

Documentation

Drama Audio Soundstage (声音工程与智能配乐工序)

工序定位:短剧声音设计与商业配乐工序。 拒绝通用废话:不解释什么是音轨,只沉淀音频门控清洗参数、语种漂移拦截阈值与侧链避让混音曲线。


1. 运行契约与输入输出

  • 输入:
    1. 第 3 工序输出的带原生音频的视频分镜:segments/{seg_id}.mp4;
    2. 独立高质量电影配乐 BGM:assets/bgm/*.wav。
  • 输出:
    1. 滤除床音后的纯净分镜:cleaned_segments/{seg_id}.mp4;
    2. 挂载 90 秒悬疑商战配乐与人声侧链智能避让的成片:[集名]_final_ducked.mp4;
    3. ASR 语种与台词准确性质检单。

2. 硬核 SOP:谱减法音频门控清洗 (Audio Gate)

现象:H3 生成的音频往往自带持续的“嗡嗡”低频电流声、假风噪或刺耳环境床音,破坏视听沉浸感。 目标:彻底滤除持续床音,100% 保全人物对白与短促动作拟音(拔刀声、拍桌声、脚步声)。

2.1 门控核心参数与物理意义

调用 scripts/audio_gate.py 时执行黄金参数组:

  • --bed-q 15:时域滑动窗分位数(设为第 15 百分位),精确识别持续底噪;
  • --alpha-bed 6.0:持续床音扣除强度;
  • --alpha-fx 1.0:瞬态拟音/对白保护因子,越小对白越完整;
  • --fx-snr 4.0:信噪比判定阈值;
  • --quiet-gain 0.03:纯静音帧衰减系数。

命令:

python scripts/audio_gate.py --in segments/seg01.mp4 --out cleaned_segments/seg01.mp4

3. 硬核 SOP:ASR 普通话语种漂移自动化拦截

现象:角色发音漂移为伪英语、含糊乱码或非中文杂音,严重影响交付。

3.1 拦截与判据

落盘后通过轻量 Whisper 执行极速语种校验:

  1. 提取音轨前 5 秒进行 Language ID 判定;
  2. 通过判据:language == "zh" 且置信度 prob >= 0.85;
  3. 拦截处置:若判定为 en 或其他语种,自动抛出 LanguageDriftError 并将分镜标记为失败,触发换 seed 重跑。

4. 硬核 SOP:影视级侧链动态避让混音 (Sidechain Ducking)

禁令(反例):严禁无脑将 BGM 铺在视频底下固定音量!对白会被背景音乐淹没,毫无商业片层次感。

4.1 FFmpeg 原生 sidechaincompress 黄金曲线

使用人物对白作为侧链控制信号,实时动态压制 BGM:

  • BGM 基础底音:bgm_volume = 0.35;
  • 阈值 (Threshold):ducking_threshold = 0.06(只要人声开口,立即触发下潜);
  • 下潜深度 (Ratio):ducking_ratio = 5.0(台词说话时,BGM 瞬时下潜约 -14dB,给人声留出完全清晰的频段);
  • 起音时间 (Attack):ducking_attack_ms = 80ms(人声首字开口瞬间平滑下潜,无生硬爆音);
  • 释放时间 (Release):ducking_release_ms = 400ms(台词闭嘴后,BGM 在 0.4 秒内丝滑回升,烘托紧张情绪)。

命令:

python scripts/cinematic_audio_mixer.py --input concat_raw.mp4 --output final_ducked.mp4 --bgm assets/bgm/suspense.wav

Individual skills in this repo

This repo contains 5 individual skills — each has its own dedicated page.

comfy-h3-render-core

短剧工业化管线·第 3 工序:H3 物理视频渲染与防翻车调度。负责与本地 ComfyUI 服务交互,调度 MiniMax H3 进行 Turbo 8-step 视频生成。硬核沉淀:Windows WDDM 驱动锁防御、潜空间 32 整除铁律、单人发音锁定与全员闭嘴抑制指令装配、首帧 I2V 安全注入、分镜间显存防泄漏。

comfy-h3-video-producer

本地 ComfyUI 剧本转视频自动生产管线(MiniMax H3)。用户给剧本要求用 ComfyUI 出分镜视频,或提到"一采二采/超分/班长套件/CSGlide/工作流生成视频"时使用。覆盖:工作流握手(不写死节点号)、导演调度与段规划、H3 提示词、提交与自动监工、一采双检闸门、收片清床音与拼接、断点续产。

drama-director-staging

短剧工业化管线·第 1 工序:编剧与导演分镜调度。负责将剧情大纲或小说文本转化为符合短剧视听规律的工业级分镜。内置:6 大动态运镜轮换决策树、台词纯中文汉字归一化(数字大写)、短剧快节奏 20~28 字密度调控、单人发言与旁观者闭嘴标注。

drama-finishing-upscaler

短剧工业化管线·第 5 工序:终期成片与 1080p 超分增强。负责全集分镜无损拼接与院线级 1080p 超分辨率放大。硬核沉淀:FFmpeg concat 零损耗直拼、RealESRGAN x2plus GPU 独占 FP16 批量超分(~4.8fps)、原生高质量避让音轨无损混流、ffprobe 工业级物理参数验收。

drama-keyframe-forge

短剧工业化管线·第 2 工序:分镜定帧与资产一致性。负责在视频渲染前,建立全局风格母卡 (Style Bible),并为每个分镜前置生成“场景+人物+道具”三合一的 16:9 高清定帧垫图。彻底根治 T2V 盲跑带来的人脸变形、角色换脸、场景变色与道具软化。

Skills associés