VoxCPM テキスト音声合成 は何をしますか?
OpenBMBのVoxCPMを使用して、中国語・英語・多言語テキストから音声を合成します。2つのモデル階層、3つの入力モード、30言語、9つの中国方言をサポート。Apache-2.0ライセンス。
2026-07-04 確認済み: PyPI上のvoxcpm 2.0.3、依存関係グラフは正常に解決(torch ≥ 2.5、transformers ≥ 4.36、gradio 6.x)。PyPIにアクセス可能。モデルウェイトはHugging Face(openbmb/VoxCPM2、openbmb/VoxCPM-0.5B)でホスト。
この環境(QoderWorkサンドボックス)にはGPUがなく、huggingface.coに直接アクセスできません — ここでは音声生成は実行されません。実際に合成するには、CUDA/Apple Silicon/HFミラーを備えたマシンにデプロイしてください。
前提条件
| コンポーネント | 要件 |
|---|---|
| Python | ≥ 3.10、< 3.13(公式テスト済み) |
| PyTorch | ≥ 2.5.0 |
| CUDA | ≥ 12.0(推奨); MPSまたはCPUでも動作(低速) |
| GPU VRAM | VoxCPM-0.5Bで5 GB、VoxCPM2(2B)で8 GB |
| ディスク | モデルあたり約2 GB(ウェイトはHFから自動ダウンロード) |
| ネットワーク | huggingface.coへのアクセス(またはHF_ENDPOINTでミラーを設定) |
インストール:
pip install voxcpm
中国でのデプロイでHFが遅い場合は、ModelScopeミラーを使用:
export HF_ENDPOINT=https://hf-mirror.com
# またはModelScopeを直接使用:
pip install modelscope
クイックスタート
CLI(最も簡単)
# WAVへの基本合成
voxcpm design --text "你好,欢迎收听三分钟 AI 快报。" --output greeting.wav
# 自然言語による音声スタイル指定
voxcpm design --text "(年轻女声,温柔甜美)今天天气真好,我们来聊聊 AI。" --output warm.wav
# 英語
voxcpm design --text "Welcome to today's AI briefing." --output en.wav
# バッチ処理
voxcpm batch --input-file lines.txt --output-dir out/
Python SDK(プログラム的)
from voxcpm import VoxCPM
import soundfile as sf
model = VoxCPM.from_pretrained("openbmb/VoxCPM2", load_denoiser=False)
wav = model.generate(
text="你好,这是一段测试语音。",
cfg_value=2.0, # classifier-free guidance強度(高いほど表現力豊か)
inference_timesteps=10, # 拡散ステップ数(多いほど品質向上、低速)
seed=42 # 再現性
)
sf.write("demo.wav", wav, model.tts_model.sample_rate) # 24 kHz出力
ストリーミング合成(長いテキスト向け)
for chunk in model.generate_streaming(text="長いテキスト..."):
# chunkはPCMサンプルのnumpy配列
process(chunk)
入力モード
1. デザイン(自然言語による音声制御)
テキストの先頭に()で音声の説明を付けます:
"(年轻女声,语气甜美,稍快语速)今天要给大家介绍一款有意思的 AI 工具。"
"(中年男声,稳重、专业)欢迎收听本期节目。"
"(带四川口音的女生,轻松)这个咋回事嘛!"
使用可能なキュー(組み合わせ可能):
- 声質: 男声 / 女声 / 童声 / 老年男声 / 中年女声 ...
- 口調: 温柔 / 严肃 / 兴奋 / 平静 / 忧郁 / 慵懒 ...
- 速度: 快语速 / 慢语速 / 稍快 / 稍慢
- スタイル: 播音腔 / 口语化 / 说书人 / 儿童剧 / 广告腔
- 方言: 四川话 / 粤语 / 吴语 / 东北话 / 河南话 / 陕西话 / 山东话 / 天津话 / 闽南话
2. 音声クローン(ゼロショット)
3〜30秒の参照音声とその書き起こしテキストを提供:
wav = model.generate(
text="合成したい新しいテキスト。",
prompt_wav_path="reference.wav",
prompt_text="参照音声に対応する原文(正確に書き起こす)"
)
生成された音声は参照話者と一致します。
3. 組み合わせ(クローン+スタイル調整)
wav = model.generate(
text="(稍快,兴奋)合成したい新しいテキスト。",
reference_wav_path="reference.wav" # よりソフトなクローン形式; 音色は保持、スタイルは上書き
)
一般的なワークフロー
エンドツーエンド:スクリプト → 音声
podcast-scriptwriterと組み合わせる。スクリプト例:
A(轻松):欢迎收听《三分钟 AI 快报》。
B(认真):本周动作不小。
import re
from voxcpm import VoxCPM
import soundfile as sf, numpy as np
model = VoxCPM.from_pretrained("openbmb/VoxCPM2", load_denoiser=False)
voices = {
'A': "reference_female.wav", # または前置詞として"(年轻女声,语气理性犀利)"を使用
'B': "reference_male.wav",
}
segments = []
for line in open('script.txt', encoding='utf-8'):
m = re.match(r'^([AB])(([^)]+)):(.+)$', line.strip())
if not m: continue
speaker, tone, text = m.groups()
styled = f"({tone}) {text}"
wav = model.generate(text=styled, prompt_wav_path=voices[speaker], cfg_value=2.0, inference_timesteps=10)
segments.append(wav)
segments.append(np.zeros(int(0.4 * model.tts_model.sample_rate))) # 0.4秒の休止
full = np.concatenate(segments)
sf.write('episode.wav', full, model.tts_model.sample_rate)
多言語ポッドキャスト
同じスクリプトをen/ja/ko/frに翻訳して入力。VoxCPMが各行の言語を自動検出。同じ参照音声を維持することで、ホストの声を言語間で統一。
高スループットvLLMサーバー
大量処理には、OpenAI互換のvLLM Omniサーバーを使用:
vllm serve openbmb/VoxCPM2 --omni --port 8000
その後、OpenAI TTSのように/v1/audio/speechにアクセス。
代替手段: edge-tts(GPUなし)
環境でVoxCPMが不可能な場合(GPUなし、HFブロック、時間制限)、Microsoft Edge TTS(無料、APIキー不要、400以上の音声)にフォールバック:
pip install edge-tts
edge-tts --voice zh-CN-XiaoxiaoNeural --text "你好世界" --write-media hello.mp3
トレードオフ: 音声クローンなし、固定音声プール、ネットワーク依存、オープンソースではない。許容できる暫定策。
制限事項
- GPUを強く推奨 — CPUでも動作するが約10〜50倍遅い。
- 初回ダウンロードは約2 GBをHFから実行。
HF_ENDPOINTでミラーを設定すれば高速化可能。 - CUDA 12+は最新ドライバが必要 — 古いドライバではCUDA 11ビルドが必要な場合あり。
torch.cuda.is_available()を確認。 - 長いテキスト(2分以上) :
generate_streamingを使用してチャンクを結合。純粋なgenerateではVRAM上限に達する可能性あり。 - 英語のみのクローン : 可能だが、音声品質は中国語ネイティブよりやや低い。
- 方言は前置き形式が必要 —
(粤语)早晨。はOK、粤语:早晨。はNG。 - 単語レベルのタイミング出力はなし — カラオケ用途には、生成されたWAVに対してwhisperのようなSTTアラインメントを使用。
- サンプリングレートは24 kHz固定 — 必要に応じて後段でリサンプリング。
- Python 3.13+は未テスト — 3.10〜3.12に固定。
障害モード
| 症状 | 原因 | 対処法 |
|---|---|---|
torch.cuda.OutOfMemoryError | モデルがGPUに大きすぎる | openbmb/VoxCPM-0.5Bに切り替えるか、CPUを使用 |
| モデルダウンロードが停止する | HF接続不良 | HF_ENDPOINT=https://hf-mirror.comを設定 |
| ロボット的/金属的な音声 | cfg_valueが高すぎる | 1.5〜2.5を試す。最適値は2.0 |
| 音声クローンが一致しない | 参照音声が短すぎる/ノイズが多い | 5〜15秒のクリーンサンプルを使用。load_denoiser=Trueを有効化 |
| 言語の自動検出が間違っている | テキストが混在している | 言語ごとに分割し、セグメントごとに生成 |
CLI voxcpm: command not found | venvのPATHにない | アクティブな環境でpip install voxcpm、またはpython -m voxcpm ...を実行 |
参考文献
- リポジトリ: https://github.com/OpenBMB/VoxCPM ⭐ 32.4k
- ドキュメント: https://voxcpm.readthedocs.io/
- HFモデル: https://huggingface.co/openbmb/VoxCPM2(2B)またはhttps://huggingface.co/openbmb/VoxCPM-0.5B(小)
- デモ: https://openbmb.github.io/VoxCPM-demopage/
- ライセンス: Apache-2.0
- 代替手段: Microsoft Edge TTS(
pip install edge-tts)— APIキー不要、クローン不可