benchflow-ai/skillsbench

skillsbench とは？

このスキルは、動画ファイルにおける話者ダイアリゼーション（発話区間の特定と話者分類）の精度を向上させるために、視覚的特徴と音声特徴を統合する手法を提供します。OpenCVを用いて顔検出および唇の動き分析を実行し、フレーム間での連続性を基に話者候補の視覚的追跡を実現します。その後、抽出された視覚的手がかりを、既存の音声ベース話者埋め込み（例：pyannote-audioやSpeechBrainで生成）と融合することで、特に複数の話者が映る動画や、音声のみでは識別が困難なシナリオにおいてロバストな話者割り当てを可能にします。主にPython環境で動作し、OpenCV、NumPy、および音声処理ライブラリに依存します。このスキルは、会議録画、インタビュー動画、マルチカメラ映像など、話者の視覚情報が重要な場面で有効です。