Communitygithub.com

Drama Audio Soundstage(声音工程与智能配乐工序)

短剧工业化管线第4工序:声音工程与智能避让配乐。负责H3视频生成后的声音精修,包括谱减法音频门控、Whisper ASR语种漂移拦截和FFmpeg侧链动态避让混音。

Drama Audio Soundstage(声音工程与智能配乐工序) とは?

Drama Audio Soundstage是短剧工业化管线中的第4道工序,专注于视频生成后的声音精修与配乐混音。该工具针对H3生成音频常见的持续低频电流声、风噪等床音问题,通过谱减法音频门控(Audio Gate)精确滤除底噪,同时100%保留对白和短促拟音。此外,它利用Whisper ASR实现普通话语种漂移自动化拦截,确保输出内容符合语言要求。核心亮点是影视级侧链动态避让混音(Sidechain Ducking),通过FFmpeg的sidechaincompress滤波器,以人声为控制信号实时压制BGM音量,当台词开口时BGM瞬时降低约-14dB,闭嘴后0.4秒内丝滑回升,营造商业片的层次感和沉浸感。该工具支持本地Python脚本运行,适用于Linux、macOS和Windows平台。

対応~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/abserari/drama-production-skills/tree/HEAD/skills/drama-audio-soundstage

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

Drama Audio Soundstage(声音工程与智能配乐工序) は何をしますか?

工序定位:短剧声音设计与商业配乐工序。 拒绝通用废话:不解释什么是音轨,只沉淀音频门控清洗参数、语种漂移拦截阈值与侧链避让混音曲线。


1. 运行契约与输入输出

  • 输入:
    1. 第3工序输出的带原生音频的视频分镜:segments/{seg_id}.mp4
    2. 独立高质量电影配乐BGM:assets/bgm/*.wav
  • 输出:
    1. 滤除床音后的纯净分镜:cleaned_segments/{seg_id}.mp4
    2. 挂载90s悬疑商战配乐与人声侧链智能避让的成片:[集名]_final_ducked.mp4
    3. ASR语种与台词准确性质检单

2. 硬核SOP:谱减法音频门控清洗 (Audio Gate)

现象:H3生成的音频往往自带持续的“嗡嗡”低频电流声、假风噪或刺耳环境床音,破坏视听沉浸感。 目标:彻底滤除持续床音,100%保全人物对白与短促动作拟音(拔刀声、拍桌声、脚步声)。

2.1 门控核心参数与物理意义

调用 scripts/audio_gate.py 时执行黄金参数组:

  • --bed-q 15:时域滑动窗分位数(设为第15百分位),精确识别持续底噪
  • --alpha-bed 6.0:持续床音扣除强度
  • --alpha-fx 1.0:瞬态拟音/对白保护因子,越小对白越完整
  • --fx-snr 4.0:信噪比判定阈值
  • --quiet-gain 0.03:纯静音帧衰减系数

命令:

python scripts/audio_gate.py --in segments/seg01.mp4 --out cleaned_segments/seg01.mp4

3. 硬核SOP:ASR普通话语种漂移自动化拦截

现象:角色发音漂移为伪英语、含糊乱码或非中文杂音,严重影响交付。

3.1 拦截与判据

落盘后通过轻量Whisper执行极速语种校验:

  1. 提取音轨前5秒进行Language ID判定
  2. 通过判据:language == "zh" 且置信度 prob >= 0.85
  3. 拦截处置:若判定为 en 或其他语种,自动抛出 LanguageDriftError 并将分镜标记为失败,触发换seed重跑

4. 硬核SOP:影视级侧链动态避让混音 (Sidechain Ducking)

禁令(反例):严禁无脑将BGM铺在视频底下固定音量!对白会被背景音乐淹没,毫无商业片层次感。

4.1 FFmpeg原生 sidechaincompress 黄金曲线

使用人物对白作为侧链控制信号,实时动态压制BGM:

  • BGM基础底音:bgm_volume = 0.35
  • 阈值 (Threshold):ducking_threshold = 0.06(只要人声开口,立即触发下潜)
  • 下潜深度 (Ratio):ducking_ratio = 5.0(台词说话时,BGM瞬时下潜约 -14dB,给人声留出完全清晰的频段)
  • 起音时间 (Attack):ducking_attack_ms = 80ms(人声首字开口瞬间平滑下潜,无生硬爆音)
  • 释放时间 (Release):ducking_release_ms = 400ms(台词闭嘴后,BGM在0.4秒内丝滑回升,烘托紧张情绪)

命令:

python scripts/cinematic_audio_mixer.py --input concat_raw.mp4 --output final_ducked.mp4 --bgm assets/bgm/suspense.wav

Individual skills in this repo

This repo contains 5 individual skills — each has its own dedicated page.

comfy-h3-render-core

短剧工业化管线·第 3 工序:H3 物理视频渲染与防翻车调度。负责与本地 ComfyUI 服务交互,调度 MiniMax H3 进行 Turbo 8-step 视频生成。硬核沉淀:Windows WDDM 驱动锁防御、潜空间 32 整除铁律、单人发音锁定与全员闭嘴抑制指令装配、首帧 I2V 安全注入、分镜间显存防泄漏。

comfy-h3-video-producer

本地 ComfyUI 剧本转视频自动生产管线(MiniMax H3)。用户给剧本要求用 ComfyUI 出分镜视频,或提到"一采二采/超分/班长套件/CSGlide/工作流生成视频"时使用。覆盖:工作流握手(不写死节点号)、导演调度与段规划、H3 提示词、提交与自动监工、一采双检闸门、收片清床音与拼接、断点续产。

drama-director-staging

短剧工业化管线·第 1 工序:编剧与导演分镜调度。负责将剧情大纲或小说文本转化为符合短剧视听规律的工业级分镜。内置:6 大动态运镜轮换决策树、台词纯中文汉字归一化(数字大写)、短剧快节奏 20~28 字密度调控、单人发言与旁观者闭嘴标注。

drama-finishing-upscaler

短剧工业化管线·第 5 工序:终期成片与 1080p 超分增强。负责全集分镜无损拼接与院线级 1080p 超分辨率放大。硬核沉淀:FFmpeg concat 零损耗直拼、RealESRGAN x2plus GPU 独占 FP16 批量超分(~4.8fps)、原生高质量避让音轨无损混流、ffprobe 工业级物理参数验收。

drama-keyframe-forge

短剧工业化管线·第 2 工序:分镜定帧与资产一致性。负责在视频渲染前,建立全局风格母卡 (Style Bible),并为每个分镜前置生成“场景+人物+道具”三合一的 16:9 高清定帧垫图。彻底根治 T2V 盲跑带来的人脸变形、角色换脸、场景变色与道具软化。

関連スキル