Communitygithub.com

VoxCPM Synthèse Vocale

Synthétisez de la parole à partir de texte chinois/anglais/multilingue avec OpenBMB VoxCPM. Deux niveaux de modèle, trois modes de saisie, trente langues, neuf dialectes chinois. Licence Apache-2.0.

Qu'est-ce que VoxCPM Synthèse Vocale ?

VoxCPM est un outil de synthèse vocale open source développé par OpenBMB, capable de convertir du texte en audio dans plus de 30 langues et 9 dialectes chinois. Il propose trois modes d'entrée : le contrôle vocal par langage naturel (description du style), le clonage vocal zero-shot à partir d'un échantillon audio de 3 à 30 secondes, et une combinaison des deux. Le modèle est disponible en deux tailles : VoxCPM-0.5B (5 Go VRAM) et VoxCPM2 (8 Go VRAM), nécessitant PyTorch 2.5+ et idéalement un GPU avec CUDA 12+. Conçu pour les développeurs et créateurs de contenu, il s'intègre parfaitement avec d'autres outils comme les rédacteurs de scripts pour produire des épisodes de podcast ou des bulletins multilingues. La licence Apache-2.0 autorise une utilisation libre, y compris commerciale.

Compatible avec~Claude Code✓Codex CLI~Cursor
npx skills add AaronAust1n/china-productivity-skills

Demander à votre IA préférée

Ouvre une nouvelle conversation avec cette compétence d'agent déjà préchargée.

Documentation

Que fait VoxCPM Synthèse Vocale ?

Synthétisez la parole à partir de texte chinois/anglais/multilingue en utilisant OpenBMB VoxCPM. Deux niveaux de modèle, trois modes de saisie, trente langues, neuf dialectes chinois. Licence Apache-2.0.

Vérifié le 04-07-2026 : voxcpm 2.0.3 sur PyPI, le graphe des dépendances se résout proprement (torch ≥ 2.5, transformers ≥ 4.36, gradio 6.x). PyPI est accessible. Les poids des modèles sont hébergés sur Hugging Face (openbmb/VoxCPM2, openbmb/VoxCPM-0.5B).

Cet environnement (bac à sable QoderWork) n'a pas de GPU et ne peut pas atteindre directement huggingface.co — la génération audio n'est pas exercée ici. Déployez sur une machine avec CUDA / Apple Silicon / un miroir HF pour synthétiser réellement.

Prérequis

ComposantExigence
Python≥ 3.10, < 3.13 (testé officiellement)
PyTorch≥ 2.5.0
CUDA≥ 12.0 (recommandé) ; MPS ou CPU fonctionnent aussi (plus lent)
VRAM GPU5 Go pour VoxCPM-0.5B, 8 Go pour VoxCPM2 (2B)
Disque~2 Go par modèle (poids téléchargés automatiquement depuis HF)
RéseauAccès à huggingface.co (ou définir HF_ENDPOINT sur un miroir)

Installation :

pip install voxcpm

Pour les déploiements en Chine où HF est lent, utilisez le miroir ModelScope :

export HF_ENDPOINT=https://hf-mirror.com
# ou utilisez directement ModelScope :
pip install modelscope

Démarrage rapide

CLI (la plus simple)

# Synthèse basique vers WAV
voxcpm design --text "你好,欢迎收听三分钟 AI 快报。" --output greeting.wav

# Avec description vocale en langage naturel
voxcpm design --text "(年轻女声,温柔甜美) 今天天气真好,我们来聊聊 AI。" --output warm.wav

# Anglais
voxcpm design --text "Welcome to today's AI briefing." --output en.wav

# Traitement par lot
voxcpm batch --input-file lines.txt --output-dir out/

SDK Python (programmatique)

from voxcpm import VoxCPM
import soundfile as sf

model = VoxCPM.from_pretrained("openbmb/VoxCPM2", load_denoiser=False)

wav = model.generate(
    text="你好,这是一段测试语音。",
    cfg_value=2.0,           # force de guidage sans classifieur (plus élevé = plus expressif)
    inference_timesteps=10,  # étapes de diffusion (plus = meilleure qualité, plus lent)
    seed=42                  # reproductibilité
)
sf.write("demo.wav", wav, model.tts_model.sample_rate)  # sortie à 24 kHz

Synthèse en flux (pour texte long)

for chunk in model.generate_streaming(text="很长的一段文本..."):
    # chunk est un np.ndarray d'échantillons PCM
    process(chunk)

Modes d'entrée

1. Conception (contrôle vocal en langage naturel)

Entourez la description vocale de () au début du texte :

"(年轻女声,语气甜美,稍快语速) 今天要给大家介绍一款有意思的 AI 工具。"
"(中年男声,稳重、专业) 欢迎收听本期节目。"
"(带四川口音的女生,轻松) 这个咋回事嘛!"

Indices disponibles (composables) :

  • Type de voix : 男声 / 女声 / 童声 / 老年男声 / 中年女声 ...
  • Ton : 温柔 / 严肃 / 兴奋 / 平静 / 忧郁 / 慵懒 ...
  • Rythme : 快语速 / 慢语速 / 稍快 / 稍慢
  • Style : 播音腔 / 口语化 / 说书人 / 儿童剧 / 广告腔
  • Dialecte : 四川话 / 粤语 / 吴语 / 东北话 / 河南话 / 陕西话 / 山东话 / 天津话 / 闽南话

2. Clonage vocal (zero-shot)

Fournissez un audio de référence de 3 à 30 secondes et sa transcription :

wav = model.generate(
    text="要合成的新文本。",
    prompt_wav_path="reference.wav",
    prompt_text="参考音频对应的原文(准确抄写)"
)

La voix générée correspond au locuteur de référence.

3. Combiné (clone + ajustement de style)

wav = model.generate(
    text="(稍快,兴奋) 要合成的新文本。",
    reference_wav_path="reference.wav"  # forme plus douce du clone ; conserve le timbre mais le style prévaut
)

Flux de travail courants

De bout en bout : script → audio

Associez avec podcast-scriptwriter. À partir d'un script :

A(轻松):欢迎收听《三分钟 AI 快报》。
B(认真):本周动作不小。
import re
from voxcpm import VoxCPM
import soundfile as sf, numpy as np

model = VoxCPM.from_pretrained("openbmb/VoxCPM2", load_denoiser=False)
voices = {
    'A': "reference_female.wav",   # ou utilisez "(年轻女声,语气理性犀利)" comme préfixe
    'B': "reference_male.wav",
}

segments = []
for line in open('script.txt', encoding='utf-8'):
    m = re.match(r'^([AB])(([^)]+)):(.+)$', line.strip())
    if not m: continue
    speaker, tone, text = m.groups()
    styled = f"({tone}) {text}"
    wav = model.generate(text=styled, prompt_wav_path=voices[speaker], cfg_value=2.0, inference_timesteps=10)
    segments.append(wav)
    segments.append(np.zeros(int(0.4 * model.tts_model.sample_rate)))  # pause de 0,4 s

full = np.concatenate(segments)
sf.write('episode.wav', full, model.tts_model.sample_rate)

Podcast multilingue

Fournissez le même script traduit en en/ja/ko/fr ; VoxCPM détecte automatiquement la langue par ligne. Gardez le même audio de référence pour préserver l'identité de l'hôte à travers les langues.

Service haute capacité avec vLLM

Pour le volume, utilisez le serveur Omni compatible OpenAI vLLM :

vllm serve openbmb/VoxCPM2 --omni --port 8000

Puis appelez /v1/audio/speech comme l'API TTS d'OpenAI.

Alternative : edge-tts (sans GPU)

Si VoxCPM est impossible dans l'environnement (pas de GPU, HF bloqué, délai serré), utilisez en repli Microsoft Edge TTS (gratuit, sans clé API, 400+ voix) :

pip install edge-tts
edge-tts --voice zh-CN-XiaoxiaoNeural --text "你好世界" --write-media hello.mp3

Compromis : pas de clonage vocal, pool de voix fixe, dépendant du réseau, pas open source. Solution de contournement acceptable.

Limitations

  • GPU fortement recommandé — le CPU fonctionne mais est ~10-50× plus lent.
  • Premier téléchargement ~2 Go depuis HF ; utilisez HF_ENDPOINT pour un miroir si lent.
  • CUDA 12+ nécessite un pilote récent — les pilotes plus anciens peuvent nécessiter une build CUDA 11 ; vérifiez torch.cuda.is_available().
  • Texte long (> 2 min) : utilisez generate_streaming et concaténez les morceaux ; generate pur peut atteindre la limite de VRAM.
  • Clone en anglais uniquement : fonctionne mais la qualité de l'échantillon est légèrement inférieure à celle du chinois natif.
  • Les dialectes nécessitent un format de préfixe — (粤语) 早晨。 pas 粤语:早晨。.
  • Pas de sortie de timing au niveau du mot — pour le karaoké, utilisez un alignement STT de type Whisper sur le WAV produit.
  • Le taux d'échantillonnage est fixé à 24 kHz — rééchantillonnez en aval si nécessaire.
  • Python 3.13+ non testé — utilisez 3.10-3.12.

Modes de défaillance

SymptômeCauseAction
torch.cuda.OutOfMemoryErrorModèle trop grand pour le GPUPassez à openbmb/VoxCPM-0.5B, ou utilisez le CPU
Le téléchargement du modèle bloqueConnectivité HFDéfinissez HF_ENDPOINT=https://hf-mirror.com
Voix robotique / métalliquecfg_value trop élevéEssayez 1.5-2.5 ; le point idéal est 2.0
Le clonage vocal ne correspond pasRéférence trop courte/bruitéeUtilisez un échantillon net de 5-15 s ; activez load_denoiser=True
Langue détectée automatiquement erronéeTexte mélangéSéparez par langue, générez par segment
CLI voxcpm: commande introuvablePas dans le PATH du venvpip install voxcpm dans l'environnement actif ; ou python -m voxcpm ...

Références

Skills associés