analyze-chatterbox-emotions は何をしますか?
生成されたChatterboxレンダリングを、話者の実際の感情に関する主張ではなく、音声品質アーティファクトとして評価します。
ChatterboxまたはPersona Dreamレンダリングにおいて、感情タグ、ポーズ、ペース、および音声品質が要求通りに動作したことを証明する必要がある場合に使用します。
契約
入力:
./run.sh analyze --audio path/to/render.wav \
--expected-text "optional source text" \
--target-label reassuring \
--target-arousal 0.35 \
--target-valence 0.4 \
--out /tmp/chatterbox_voice_eval.json \
--report /tmp/chatterbox_voice_eval.md
出力JSONスキーマ:analyze_chatterbox_emotions.voice_eval.v1。
評価者は以下を報告します:
affect:ターゲットラベルに加え、音響的な覚醒/価値プロキシと互換性スコア。prosody:継続時間、推定発話速度、RMS/ラウドネスプロキシ、利用可能な場合はF0推定値。pauses:無音比率、検出されたポーズ区間、およびChatterboxレンダリング計画または会話ターンが提供された場合の計画ポーズと測定ポーズの比較。quality:クリッピング、ピーク振幅、不連続フラグ、低信号警告。intelligibility:期待テキストの単語数とオプションのトランスクリプトフィールド。このスキルはASRを黙って発明しません。
オプション入力
--render-plan path.json:Chatterboxrender_plan.json、Persona Dreamジャーナルレシート、動的会話レシート、またはchatterbox_pause_planを含む会話ターンJSON。--transcript "text":呼び出し元が提供するASRトランスクリプト。省略された場合、トランスクリプト類似度はnullとなり、非主張としてリストされます。
判定
pass:深刻な技術的障害がなく、スコアが75以上。review:スコアが50~74、またはASRトランスクリプトがないなど重要な証拠が不足している場合。fail:深刻な技術的問題、使用不可能な音声、深刻なクリッピング、音声ファイルの欠落、またはスコアが50未満。
スコアは重み付けされた評価シグナルであり、絶対的な真実ではありません:
0.35 affect_match + 0.25 intelligibility + 0.20 prosody + 0.20 technical_quality
重要な境界
- 人やペルソナが「悲しい/怒っている/幸せである」とは言わない。波形と利用可能な分類器/プロキシが要求されたターゲットと互換性があるか、または互換性がないと述べること。
- 音声感情認識モデルはオプションのシグナルです。利用できない場合でも、このスキルは音響プロキシメトリクスを出力し、
emotion_classifier.available=falseを記録します。 - 正確なポーズは可能な場合に波形から検証されます。レンダリング計画内の
pause_after_msは要求されたポーズに過ぎません。
メンテナンス
実行:
./sanity.sh
../agentic-evals/run.sh run fixtures/agentic_eval.json --output /tmp/analyze-chatterbox-emotions-agentic-eval.json