grahama1970/analyze-chatterbox-emotions

analyze-chatterbox-emotions은(는) 무엇을 하나요?

생성된 Chatterbox 렌더링을 음성 품질 아티팩트로 평가합니다. 화자의 실제 감정에 대한 주장으로 평가하지 마세요.

Chatterbox 또는 Persona Dream 렌더링이 감정 태그, 일시 중지, 템포, 오디오 품질이 요청대로 동작했는지 증명이 필요할 때 사용하세요.

계약

입력:

./run.sh analyze --audio path/to/render.wav \
  --expected-text "선택적 소스 텍스트" \
  --target-label calming \
  --target-arousal 0.35 \
  --target-valence 0.4 \
  --out /tmp/chatterbox_voice_eval.json \
  --report /tmp/chatterbox_voice_eval.md

출력 JSON 스키마: analyze_chatterbox_emotions.voice_eval.v1.

평가자가 보고하는 항목:

• affect: 대상 레이블과 음향 각성가/원자가 프록시 및 호환성 점수.
• prosody: 지속 시간, 예상 발화 속도, RMS/음량 프록시, 가능한 경우 F0 추정치.
• pauses: 무음 비율, 감지된 일시 중지 구간, Chatterbox 렌더 계획 또는 대화 턴이 제공된 경우 계획된 일시 중지와 측정된 일시 중지 비교.
• quality: 클리핑, 최대 진폭, 불연속 플래그, 저신호 경고.
• intelligibility: 예상 텍스트 단어 수 및 선택적 전사 필드; 이 스킬은 ASR을 자동으로 생성하지 않습니다.

선택적 입력

• --render-plan path.json: Chatterbox render_plan.json, Persona Dream 저널 영수증, 동적 대화 영수증, 또는 chatterbox_pause_plan을 포함하는 대화 턴 JSON.
• --transcript "text": 호출자가 제공한 ASR 전사. 생략하면 전사 유사도는 null이며, 비주장으로 표시됩니다.

판정

• pass: 심각한 기술적 실패가 없고 점수가 75점 이상.
• review: 점수가 50-74점이거나 ASR 전사 누락과 같은 중요한 증거가 없는 경우.
• fail: 심각한 기술적 문제, 사용 불가능한 오디오, 심각한 클리핑, 오디오 누락, 또는 점수가 50점 미만.

점수는 가중치 기반 평가 신호이며, 절대적 진실이 아닙니다:

0.35 감정 일치도 + 0.25 명료도 + 0.20 운율 + 0.20 기술 품질

중요한 경계

• 사람이나 페르소나가 "슬프다/화났다/행복하다"라고 말하지 마세요. 파형과 사용 가능한 분류기/프록시가 요청된 대상과 호환되거나 호환되지 않는다고 말하세요.
• 음성-감정 인식 모델은 선택적 신호입니다. 사용할 수 없는 경우 이 스킬은 여전히 음향 프록시 메트릭을 내보내고 emotion_classifier.available=false를 기록합니다.
• 정확한 일시 중지는 가능한 경우 파형에서 확인됩니다. 렌더 계획의 pause_after_ms는 요청된 일시 중지일 뿐입니다.

유지 관리

실행:

./sanity.sh
../agentic-evals/run.sh run fixtures/agentic_eval.json --output /tmp/analyze-chatterbox-emotions-agentic-eval.json