Que fait VoxCPM Synthèse Vocale ?
Synthétisez la parole à partir de texte chinois/anglais/multilingue en utilisant OpenBMB VoxCPM. Deux niveaux de modèle, trois modes de saisie, trente langues, neuf dialectes chinois. Licence Apache-2.0.
Vérifié le 04-07-2026 : voxcpm 2.0.3 sur PyPI, le graphe des dépendances se résout proprement (torch ≥ 2.5, transformers ≥ 4.36, gradio 6.x). PyPI est accessible. Les poids des modèles sont hébergés sur Hugging Face (openbmb/VoxCPM2, openbmb/VoxCPM-0.5B).
Cet environnement (bac à sable QoderWork) n'a pas de GPU et ne peut pas atteindre directement huggingface.co — la génération audio n'est pas exercée ici. Déployez sur une machine avec CUDA / Apple Silicon / un miroir HF pour synthétiser réellement.
Prérequis
| Composant | Exigence |
|---|---|
| Python | ≥ 3.10, < 3.13 (testé officiellement) |
| PyTorch | ≥ 2.5.0 |
| CUDA | ≥ 12.0 (recommandé) ; MPS ou CPU fonctionnent aussi (plus lent) |
| VRAM GPU | 5 Go pour VoxCPM-0.5B, 8 Go pour VoxCPM2 (2B) |
| Disque | ~2 Go par modèle (poids téléchargés automatiquement depuis HF) |
| Réseau | Accès à huggingface.co (ou définir HF_ENDPOINT sur un miroir) |
Installation :
pip install voxcpm
Pour les déploiements en Chine où HF est lent, utilisez le miroir ModelScope :
export HF_ENDPOINT=https://hf-mirror.com
# ou utilisez directement ModelScope :
pip install modelscope
Démarrage rapide
CLI (la plus simple)
# Synthèse basique vers WAV
voxcpm design --text "你好,欢迎收听三分钟 AI 快报。" --output greeting.wav
# Avec description vocale en langage naturel
voxcpm design --text "(年轻女声,温柔甜美) 今天天气真好,我们来聊聊 AI。" --output warm.wav
# Anglais
voxcpm design --text "Welcome to today's AI briefing." --output en.wav
# Traitement par lot
voxcpm batch --input-file lines.txt --output-dir out/
SDK Python (programmatique)
from voxcpm import VoxCPM
import soundfile as sf
model = VoxCPM.from_pretrained("openbmb/VoxCPM2", load_denoiser=False)
wav = model.generate(
text="你好,这是一段测试语音。",
cfg_value=2.0, # force de guidage sans classifieur (plus élevé = plus expressif)
inference_timesteps=10, # étapes de diffusion (plus = meilleure qualité, plus lent)
seed=42 # reproductibilité
)
sf.write("demo.wav", wav, model.tts_model.sample_rate) # sortie à 24 kHz
Synthèse en flux (pour texte long)
for chunk in model.generate_streaming(text="很长的一段文本..."):
# chunk est un np.ndarray d'échantillons PCM
process(chunk)
Modes d'entrée
1. Conception (contrôle vocal en langage naturel)
Entourez la description vocale de () au début du texte :
"(年轻女声,语气甜美,稍快语速) 今天要给大家介绍一款有意思的 AI 工具。"
"(中年男声,稳重、专业) 欢迎收听本期节目。"
"(带四川口音的女生,轻松) 这个咋回事嘛!"
Indices disponibles (composables) :
- Type de voix : 男声 / 女声 / 童声 / 老年男声 / 中年女声 ...
- Ton : 温柔 / 严肃 / 兴奋 / 平静 / 忧郁 / 慵懒 ...
- Rythme : 快语速 / 慢语速 / 稍快 / 稍慢
- Style : 播音腔 / 口语化 / 说书人 / 儿童剧 / 广告腔
- Dialecte : 四川话 / 粤语 / 吴语 / 东北话 / 河南话 / 陕西话 / 山东话 / 天津话 / 闽南话
2. Clonage vocal (zero-shot)
Fournissez un audio de référence de 3 à 30 secondes et sa transcription :
wav = model.generate(
text="要合成的新文本。",
prompt_wav_path="reference.wav",
prompt_text="参考音频对应的原文(准确抄写)"
)
La voix générée correspond au locuteur de référence.
3. Combiné (clone + ajustement de style)
wav = model.generate(
text="(稍快,兴奋) 要合成的新文本。",
reference_wav_path="reference.wav" # forme plus douce du clone ; conserve le timbre mais le style prévaut
)
Flux de travail courants
De bout en bout : script → audio
Associez avec podcast-scriptwriter. À partir d'un script :
A(轻松):欢迎收听《三分钟 AI 快报》。
B(认真):本周动作不小。
import re
from voxcpm import VoxCPM
import soundfile as sf, numpy as np
model = VoxCPM.from_pretrained("openbmb/VoxCPM2", load_denoiser=False)
voices = {
'A': "reference_female.wav", # ou utilisez "(年轻女声,语气理性犀利)" comme préfixe
'B': "reference_male.wav",
}
segments = []
for line in open('script.txt', encoding='utf-8'):
m = re.match(r'^([AB])(([^)]+)):(.+)$', line.strip())
if not m: continue
speaker, tone, text = m.groups()
styled = f"({tone}) {text}"
wav = model.generate(text=styled, prompt_wav_path=voices[speaker], cfg_value=2.0, inference_timesteps=10)
segments.append(wav)
segments.append(np.zeros(int(0.4 * model.tts_model.sample_rate))) # pause de 0,4 s
full = np.concatenate(segments)
sf.write('episode.wav', full, model.tts_model.sample_rate)
Podcast multilingue
Fournissez le même script traduit en en/ja/ko/fr ; VoxCPM détecte automatiquement la langue par ligne. Gardez le même audio de référence pour préserver l'identité de l'hôte à travers les langues.
Service haute capacité avec vLLM
Pour le volume, utilisez le serveur Omni compatible OpenAI vLLM :
vllm serve openbmb/VoxCPM2 --omni --port 8000
Puis appelez /v1/audio/speech comme l'API TTS d'OpenAI.
Alternative : edge-tts (sans GPU)
Si VoxCPM est impossible dans l'environnement (pas de GPU, HF bloqué, délai serré), utilisez en repli Microsoft Edge TTS (gratuit, sans clé API, 400+ voix) :
pip install edge-tts
edge-tts --voice zh-CN-XiaoxiaoNeural --text "你好世界" --write-media hello.mp3
Compromis : pas de clonage vocal, pool de voix fixe, dépendant du réseau, pas open source. Solution de contournement acceptable.
Limitations
- GPU fortement recommandé — le CPU fonctionne mais est ~10-50× plus lent.
- Premier téléchargement ~2 Go depuis HF ; utilisez
HF_ENDPOINTpour un miroir si lent. - CUDA 12+ nécessite un pilote récent — les pilotes plus anciens peuvent nécessiter une build CUDA 11 ; vérifiez
torch.cuda.is_available(). - Texte long (> 2 min) : utilisez
generate_streaminget concaténez les morceaux ;generatepur peut atteindre la limite de VRAM. - Clone en anglais uniquement : fonctionne mais la qualité de l'échantillon est légèrement inférieure à celle du chinois natif.
- Les dialectes nécessitent un format de préfixe —
(粤语) 早晨。pas粤语:早晨。. - Pas de sortie de timing au niveau du mot — pour le karaoké, utilisez un alignement STT de type Whisper sur le WAV produit.
- Le taux d'échantillonnage est fixé à 24 kHz — rééchantillonnez en aval si nécessaire.
- Python 3.13+ non testé — utilisez 3.10-3.12.
Modes de défaillance
| Symptôme | Cause | Action |
|---|---|---|
torch.cuda.OutOfMemoryError | Modèle trop grand pour le GPU | Passez à openbmb/VoxCPM-0.5B, ou utilisez le CPU |
| Le téléchargement du modèle bloque | Connectivité HF | Définissez HF_ENDPOINT=https://hf-mirror.com |
| Voix robotique / métallique | cfg_value trop élevé | Essayez 1.5-2.5 ; le point idéal est 2.0 |
| Le clonage vocal ne correspond pas | Référence trop courte/bruitée | Utilisez un échantillon net de 5-15 s ; activez load_denoiser=True |
| Langue détectée automatiquement erronée | Texte mélangé | Séparez par langue, générez par segment |
CLI voxcpm: commande introuvable | Pas dans le PATH du venv | pip install voxcpm dans l'environnement actif ; ou python -m voxcpm ... |
Références
- Dépôt : https://github.com/OpenBMB/VoxCPM ⭐ 32,4k
- Documentation : https://voxcpm.readthedocs.io/
- Modèle HF : https://huggingface.co/openbmb/VoxCPM2 (2B) ou https://huggingface.co/openbmb/VoxCPM-0.5B (petit)
- Démo : https://openbmb.github.io/VoxCPM-demopage/
- Licence : Apache-2.0
- Alternative : Microsoft Edge TTS (
pip install edge-tts) — sans clé API, sans clone