Communitygithub.com

VoxCPM テキスト音声合成

OpenBMBのVoxCPMを使用して、中国語・英語・多言語テキストから音声を合成します。2つのモデル階層、3つの入力モード、30言語、9つの中国方言をサポート。Apache-2.0ライセンス。

VoxCPM テキスト音声合成 とは?

このスキルは、OpenBMB社が開発したVoxCPMモデルを用いて、中国語・英語を含む多言語テキストから高品質な音声を合成するためのものです。VoxCPM-0.5B(軽量)とVoxCPM2(2Bパラメータ)の2つのモデルサイズを提供し、自然言語による音声スタイル指定、ゼロショット音声クローニング、それらの組み合わせという3つの入力モードをサポートします。30言語と9つの中国方言(四川語、広東語、呉語など)に対応し、音声のトーン、速度、スタイルを細かく制御できます。CLI、Python SDK、OpenAI互換のvLLMサーバー経由での利用が可能で、GPU環境での利用が推奨されます。特に中国のインターネットデータ取得やAI研究モニタリング、コンテンツ制作のワークフローにおいて、パイロットデッキスキルエコシステムのギャップを埋める重要なコンポーネントです。

対応~Claude Code✓Codex CLI~Cursor
npx skills add AaronAust1n/china-productivity-skills

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

VoxCPM テキスト音声合成 は何をしますか?

OpenBMBのVoxCPMを使用して、中国語・英語・多言語テキストから音声を合成します。2つのモデル階層、3つの入力モード、30言語、9つの中国方言をサポート。Apache-2.0ライセンス。

2026-07-04 確認済み: PyPI上のvoxcpm 2.0.3、依存関係グラフは正常に解決(torch ≥ 2.5、transformers ≥ 4.36、gradio 6.x)。PyPIにアクセス可能。モデルウェイトはHugging Face(openbmb/VoxCPM2、openbmb/VoxCPM-0.5B)でホスト。

この環境(QoderWorkサンドボックス)にはGPUがなく、huggingface.coに直接アクセスできません — ここでは音声生成は実行されません。実際に合成するには、CUDA/Apple Silicon/HFミラーを備えたマシンにデプロイしてください。

前提条件

コンポーネント要件
Python≥ 3.10、< 3.13(公式テスト済み)
PyTorch≥ 2.5.0
CUDA≥ 12.0(推奨); MPSまたはCPUでも動作(低速)
GPU VRAMVoxCPM-0.5Bで5 GB、VoxCPM2(2B)で8 GB
ディスクモデルあたり約2 GB(ウェイトはHFから自動ダウンロード)
ネットワークhuggingface.coへのアクセス(またはHF_ENDPOINTでミラーを設定)

インストール:

pip install voxcpm

中国でのデプロイでHFが遅い場合は、ModelScopeミラーを使用:

export HF_ENDPOINT=https://hf-mirror.com
# またはModelScopeを直接使用:
pip install modelscope

クイックスタート

CLI(最も簡単)

# WAVへの基本合成
voxcpm design --text "你好,欢迎收听三分钟 AI 快报。" --output greeting.wav

# 自然言語による音声スタイル指定
voxcpm design --text "(年轻女声,温柔甜美)今天天气真好,我们来聊聊 AI。" --output warm.wav

# 英語
voxcpm design --text "Welcome to today's AI briefing." --output en.wav

# バッチ処理
voxcpm batch --input-file lines.txt --output-dir out/

Python SDK(プログラム的)

from voxcpm import VoxCPM
import soundfile as sf

model = VoxCPM.from_pretrained("openbmb/VoxCPM2", load_denoiser=False)

wav = model.generate(
    text="你好,这是一段测试语音。",
    cfg_value=2.0,           # classifier-free guidance強度(高いほど表現力豊か)
    inference_timesteps=10,  # 拡散ステップ数(多いほど品質向上、低速)
    seed=42                  # 再現性
)
sf.write("demo.wav", wav, model.tts_model.sample_rate)  # 24 kHz出力

ストリーミング合成(長いテキスト向け)

for chunk in model.generate_streaming(text="長いテキスト..."):
    # chunkはPCMサンプルのnumpy配列
    process(chunk)

入力モード

1. デザイン(自然言語による音声制御)

テキストの先頭に()で音声の説明を付けます:

"(年轻女声,语气甜美,稍快语速)今天要给大家介绍一款有意思的 AI 工具。"
"(中年男声,稳重、专业)欢迎收听本期节目。"
"(带四川口音的女生,轻松)这个咋回事嘛!"

使用可能なキュー(組み合わせ可能):

  • 声質: 男声 / 女声 / 童声 / 老年男声 / 中年女声 ...
  • 口調: 温柔 / 严肃 / 兴奋 / 平静 / 忧郁 / 慵懒 ...
  • 速度: 快语速 / 慢语速 / 稍快 / 稍慢
  • スタイル: 播音腔 / 口语化 / 说书人 / 儿童剧 / 广告腔
  • 方言: 四川话 / 粤语 / 吴语 / 东北话 / 河南话 / 陕西话 / 山东话 / 天津话 / 闽南话

2. 音声クローン(ゼロショット)

3〜30秒の参照音声とその書き起こしテキストを提供:

wav = model.generate(
    text="合成したい新しいテキスト。",
    prompt_wav_path="reference.wav",
    prompt_text="参照音声に対応する原文(正確に書き起こす)"
)

生成された音声は参照話者と一致します。

3. 組み合わせ(クローン+スタイル調整)

wav = model.generate(
    text="(稍快,兴奋)合成したい新しいテキスト。",
    reference_wav_path="reference.wav"  # よりソフトなクローン形式; 音色は保持、スタイルは上書き
)

一般的なワークフロー

エンドツーエンド:スクリプト → 音声

podcast-scriptwriterと組み合わせる。スクリプト例:

A(轻松):欢迎收听《三分钟 AI 快报》。
B(认真):本周动作不小。
import re
from voxcpm import VoxCPM
import soundfile as sf, numpy as np

model = VoxCPM.from_pretrained("openbmb/VoxCPM2", load_denoiser=False)
voices = {
    'A': "reference_female.wav",   # または前置詞として"(年轻女声,语气理性犀利)"を使用
    'B': "reference_male.wav",
}

segments = []
for line in open('script.txt', encoding='utf-8'):
    m = re.match(r'^([AB])(([^)]+)):(.+)$', line.strip())
    if not m: continue
    speaker, tone, text = m.groups()
    styled = f"({tone}) {text}"
    wav = model.generate(text=styled, prompt_wav_path=voices[speaker], cfg_value=2.0, inference_timesteps=10)
    segments.append(wav)
    segments.append(np.zeros(int(0.4 * model.tts_model.sample_rate)))  # 0.4秒の休止

full = np.concatenate(segments)
sf.write('episode.wav', full, model.tts_model.sample_rate)

多言語ポッドキャスト

同じスクリプトをen/ja/ko/frに翻訳して入力。VoxCPMが各行の言語を自動検出。同じ参照音声を維持することで、ホストの声を言語間で統一。

高スループットvLLMサーバー

大量処理には、OpenAI互換のvLLM Omniサーバーを使用:

vllm serve openbmb/VoxCPM2 --omni --port 8000

その後、OpenAI TTSのように/v1/audio/speechにアクセス。

代替手段: edge-tts(GPUなし)

環境でVoxCPMが不可能な場合(GPUなし、HFブロック、時間制限)、Microsoft Edge TTS(無料、APIキー不要、400以上の音声)にフォールバック:

pip install edge-tts
edge-tts --voice zh-CN-XiaoxiaoNeural --text "你好世界" --write-media hello.mp3

トレードオフ: 音声クローンなし、固定音声プール、ネットワーク依存、オープンソースではない。許容できる暫定策。

制限事項

  • GPUを強く推奨 — CPUでも動作するが約10〜50倍遅い。
  • 初回ダウンロードは約2 GBをHFから実行。HF_ENDPOINTでミラーを設定すれば高速化可能。
  • CUDA 12+は最新ドライバが必要 — 古いドライバではCUDA 11ビルドが必要な場合あり。torch.cuda.is_available()を確認。
  • 長いテキスト(2分以上) : generate_streamingを使用してチャンクを結合。純粋なgenerateではVRAM上限に達する可能性あり。
  • 英語のみのクローン : 可能だが、音声品質は中国語ネイティブよりやや低い。
  • 方言は前置き形式が必要 — (粤语)早晨。はOK、粤语:早晨。はNG。
  • 単語レベルのタイミング出力はなし — カラオケ用途には、生成されたWAVに対してwhisperのようなSTTアラインメントを使用。
  • サンプリングレートは24 kHz固定 — 必要に応じて後段でリサンプリング。
  • Python 3.13+は未テスト — 3.10〜3.12に固定。

障害モード

症状原因対処法
torch.cuda.OutOfMemoryErrorモデルがGPUに大きすぎるopenbmb/VoxCPM-0.5Bに切り替えるか、CPUを使用
モデルダウンロードが停止するHF接続不良HF_ENDPOINT=https://hf-mirror.comを設定
ロボット的/金属的な音声cfg_valueが高すぎる1.5〜2.5を試す。最適値は2.0
音声クローンが一致しない参照音声が短すぎる/ノイズが多い5〜15秒のクリーンサンプルを使用。load_denoiser=Trueを有効化
言語の自動検出が間違っているテキストが混在している言語ごとに分割し、セグメントごとに生成
CLI voxcpm: command not foundvenvのPATHにないアクティブな環境でpip install voxcpm、またはpython -m voxcpm ...を実行

参考文献

関連スキル