Communitygithub.com

drama-audio-soundstage

Quarta etapa da linha de produção industrializada de séries curtas: engenharia de áudio e trilha sonora com ducking inteligente. Responsável pelo refinamento de áudio após a geração de vídeo H3. Técnicas consolidadas: gate de áudio por subtração espectral (eliminação de ruído de vento/corrente de fundo), interceptação de deriva de idioma Whisper ASR para mandarim puro e mixagem sidechain dinâmica com FFmpeg (ducking automático: quando o diálogo começa, o BGM cai instantaneamente -14dB; quando para, retorna suavemente).

O que é drama-audio-soundstage?

O skill **Drama Audio Soundstage** é a quarta etapa da pipeline industrializada de produção de séries curtas, focada em engenharia de áudio e mixagem de trilha sonora comercial. Sua principal função é refinar o áudio gerado pela etapa anterior (H3), que frequentemente contém ruídos indesejados (zumbido de corrente, vento falso, ruído ambiente), garantindo uma experiência imersiva. O skill implementa três técnicas principais: (1) **Gate de áudio por subtração espectral**, usando o script `audio_gate.py` com parâmetros calibrados para eliminar ruídos de fundo contínuos sem afetar diálogos e efeitos sonoros; (2) **Interceptação de deriva de idioma** via Whisper ASR, que verifica se o áudio está em mandarim puro com alta confiança, rejeitando automaticamente segmentos que desviam para inglês ou outros idiomas; (3) **Mixagem sidechain dinâmica (ducking)** usando FFmpeg e o script `cinematic_audio_mixer.py`, onde o BGM (música de fundo) é automaticamente atenuado em -14dB durante falas e retorna suavemente nos silêncios. O skill suporta vídeos no formato MP4 e arquivos de áudio WAV para BGM, gerando vídeos limpos e mixados prontos para entrega. É ideal para pipelines de automação de séries curtas, garantindo qualidade de áudio profissional sem intervenção manual.

Funciona com~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/abserari/drama-production-skills/tree/HEAD/skills/drama-audio-soundstage

Perguntar na sua IA favorita

Abre um novo chat com esta habilidade de agente já pré-carregada.

Documentação

Drama Audio Soundstage (Engenharia de Áudio e Trilha Sonora Comercial)

Posicionamento da etapa: Etapa de design de som e trilha sonora comercial para séries curtas. Sem jargão genérico: Não explicamos o que é uma trilha de áudio, apenas consolidamos parâmetros de filtragem por gate de áudio, limites de interceptação de deriva de idioma e curvas de mixagem sidechain com ducking.


1. Contrato de Execução e Entrada/Saída

  • Entrada:
    1. Vídeos segmentados com áudio nativo da etapa 3: segments/{seg_id}.mp4;
    2. Trilha sonora BGM de alta qualidade independente: assets/bgm/*.wav.
  • Saída:
    1. Segmentos limpos (sem ruído de fundo): cleaned_segments/{seg_id}.mp4;
    2. Vídeo final com BGM de suspense comercial de 90s e ducking inteligente por sidechain: [nome_do_episodio]_final_ducked.mp4;
    3. Relatório de qualidade de idioma e precisão de transcrição ASR.

2. SOP Técnico: Filtragem por Gate de Áudio com Subtração Espectral

Fenômeno: O áudio gerado pelo H3 frequentemente contém zumbido de corrente elétrica de baixa frequência, ruído de vento falso ou ruído ambiente irritante, prejudicando a imersão. Objetivo: Eliminar completamente o ruído ambiente contínuo, preservando 100% dos diálogos e efeitos sonoros curtos (som de desembainhar espada, batida na mesa, passos).

2.1 Parâmetros Principais do Gate e Significado Físico

Ao executar scripts/audio_gate.py, utilize o grupo de parâmetros ideais:

  • --bed-q 15: Quantil da janela deslizante no domínio do tempo (definido no 15º percentil), identifica com precisão o ruído de fundo contínuo;
  • --alpha-bed 6.0: Intensidade de subtração do ruído de fundo contínuo;
  • --alpha-fx 1.0: Fator de proteção para efeitos sonoros transientes/diálogos; quanto menor, mais íntegros os diálogos;
  • --fx-snr 4.0: Limiar de relação sinal-ruído para classificação;
  • --quiet-gain 0.03: Coeficiente de atenuação para quadros puramente silenciosos.

Comando:

python scripts/audio_gate.py --in segments/seg01.mp4 --out cleaned_segments/seg01.mp4

3. SOP Técnico: Interceptação Automática de Deriva de Idioma Mandarim com ASR

Fenômeno: A pronúncia do personagem pode derivar para pseudo-inglês, ruído confuso ou ruído não-chinês, impactando seriamente a entrega.

3.1 Interceptação e Critérios

Após a gravação, execute uma verificação rápida de idioma usando Whisper:

  1. Extraia os primeiros 5 segundos da trilha de áudio para identificação de idioma;
  2. Critério de aprovação: language == "zh" com confiança prob >= 0.85;
  3. Ação de interceptação: Se detectado como en ou outro idioma, levante automaticamente um LanguageDriftError e marque o segmento como falha, acionando uma nova execução com seed diferente.

4. SOP Técnico: Mixagem Sidechain Cinematográfica com Ducking

Proibição (contraexemplo): É estritamente proibido simplesmente colocar o BGM por baixo do vídeo com volume fixo! O diálogo será soterrado pela música de fundo, sem nenhuma camada de produção comercial.

4.1 Curva Ideal do sidechaincompress Nativo do FFmpeg

Use o diálogo como sinal de controle para o sidechain, comprimindo dinamicamente o BGM em tempo real:

  • Volume de base do BGM: bgm_volume = 0.35;
  • Limiar (Threshold): ducking_threshold = 0.06 (assim que a fala começar, ativa a redução imediatamente);
  • Profundidade de redução (Ratio): ducking_ratio = 5.0 (durante a fala, o BGM cai instantaneamente cerca de -14dB, deixando a faixa totalmente clara para a voz);
  • Tempo de ataque (Attack): ducking_attack_ms = 80ms (a redução ocorre suavemente no momento exato da primeira sílaba, sem estouros);
  • Tempo de liberação (Release): ducking_release_ms = 400ms (após o diálogo terminar, o BGM retorna suavemente em 0,4 segundos, realçando a tensão emocional).

Comando:

python scripts/cinematic_audio_mixer.py --input concat_raw.mp4 --output final_ducked.mp4 --bgm assets/bgm/suspense.wav

Individual skills in this repo

This repo contains 5 individual skills — each has its own dedicated page.

comfy-h3-render-core

短剧工业化管线·第 3 工序:H3 物理视频渲染与防翻车调度。负责与本地 ComfyUI 服务交互,调度 MiniMax H3 进行 Turbo 8-step 视频生成。硬核沉淀:Windows WDDM 驱动锁防御、潜空间 32 整除铁律、单人发音锁定与全员闭嘴抑制指令装配、首帧 I2V 安全注入、分镜间显存防泄漏。

comfy-h3-video-producer

本地 ComfyUI 剧本转视频自动生产管线(MiniMax H3)。用户给剧本要求用 ComfyUI 出分镜视频,或提到"一采二采/超分/班长套件/CSGlide/工作流生成视频"时使用。覆盖:工作流握手(不写死节点号)、导演调度与段规划、H3 提示词、提交与自动监工、一采双检闸门、收片清床音与拼接、断点续产。

drama-director-staging

短剧工业化管线·第 1 工序:编剧与导演分镜调度。负责将剧情大纲或小说文本转化为符合短剧视听规律的工业级分镜。内置:6 大动态运镜轮换决策树、台词纯中文汉字归一化(数字大写)、短剧快节奏 20~28 字密度调控、单人发言与旁观者闭嘴标注。

drama-finishing-upscaler

短剧工业化管线·第 5 工序:终期成片与 1080p 超分增强。负责全集分镜无损拼接与院线级 1080p 超分辨率放大。硬核沉淀:FFmpeg concat 零损耗直拼、RealESRGAN x2plus GPU 独占 FP16 批量超分(~4.8fps)、原生高质量避让音轨无损混流、ffprobe 工业级物理参数验收。

drama-keyframe-forge

短剧工业化管线·第 2 工序:分镜定帧与资产一致性。负责在视频渲染前,建立全局风格母卡 (Style Bible),并为每个分镜前置生成“场景+人物+道具”三合一的 16:9 高清定帧垫图。彻底根治 T2V 盲跑带来的人脸变形、角色换脸、场景变色与道具软化。

Habilidades Relacionadas