grahama1970/analyser-emotions-chatterbox

analyse-chatterbox-emotions

Évaluer un rendu Chatterbox généré en tant qu'artefact de qualité vocale, et non comme une affirmation sur l'émotion réelle du locuteur.

Utilisez cette compétence lorsqu'un rendu Chatterbox ou Persona Dream nécessite une preuve que les balises émotionnelles, les pauses, le rythme et la qualité audio se sont comportés comme demandé.

Contrat

Entrée :

./run.sh analyze --audio chemin/vers/rendu.wav \
  --expected-text "texte source optionnel" \
  --target-label rassurant \
  --target-arousal 0.35 \
  --target-valence 0.4 \
  --out /tmp/eval_voix_chatterbox.json \
  --report /tmp/eval_voix_chatterbox.md

Schéma de sortie JSON : analyze_chatterbox_emotions.voice_eval.v1.

L'évaluateur rapporte :

• affect : étiquette cible plus proxies acoustiques d'éveil/valence et un score de compatibilité.
• prosody : durée, débit de parole estimé, proxy de volume/RMS, estimations F0 lorsque disponibles.
• pauses : rapport de silence, intervalles de pause détectés et comparaison pause planifiée vs mesurée lorsqu'un plan de rendu Chatterbox ou un tour de conversation est fourni.
• quality : écrêtage, amplitude crête, drapeaux de discontinuité et avertissements de signal faible.
• intelligibility : nombre de mots du texte attendu et champs de transcription optionnels ; cette compétence n'invente pas silencieusement de l'ASR.

Entrées optionnelles

• --render-plan chemin.json : render_plan.json Chatterbox, reçu journal Persona Dream, reçu de conversation dynamique ou JSON de tour de conversation contenant chatterbox_pause_plan.
• --transcript "texte" : transcription ASR fournie par l'appelant. Si omise, la similarité de transcription est null et répertoriée comme non-affirmation.

Verdicts

• pass : aucune défaillance technique grave et score >= 75.
• review : score 50-74 ou preuves importantes manquantes, comme l'absence de transcription ASR.
• fail : problème technique grave, audio inutilisable, écrêtage sévère, audio manquant ou score < 50.

Le score est un signal d'évaluation pondéré, pas une vérité absolue :

0.35 correspondance_affect + 0.25 intelligibilité + 0.20 prosodie + 0.20 qualité_technique

Limites importantes

• Ne dites pas que la personne ou le persona "est triste/en colère/heureux". Dites que la forme d'onde et les classifieurs/proxies disponibles sont compatibles ou incompatibles avec la cible demandée.
• Les modèles de reconnaissance des émotions vocales sont des signaux optionnels. S'ils ne sont pas disponibles, cette compétence émet toujours des métriques de proxies acoustiques et enregistre emotion_classifier.available=false.
• Les pauses exactes sont vérifiées à partir de la forme d'onde lorsque c'est possible ; pause_after_ms dans un plan de rendu n'est que la pause demandée.

Maintenance

Exécutez :

./sanity.sh
../agentic-evals/run.sh run fixtures/agentic_eval.json --output /tmp/analyse-chatterbox-emotions-eval-agentic.json