Communitygithub.com

thetoyosibello/claude-sound-ear

Claudeにオーディオに対する「目」と「耳」を与えます。インストール可能なClaudeスキルで、あらゆるオーディオやビデオのサウンドトラックを、AIが実際に推論できるもの(読み取り可能なスペクトログラム、客観的なラウドネス/タイミング情報、すべての効果音のセマンティックマップ、オフライン音声文字起こし、音響駆動のサイマティックビジュアル)に変換します。

claude-sound-ear とは?

このスキルは、Claude CodeやCursor、CodexなどのAIエージェントに、音声・動画ファイルの詳細な分析と理解を可能にするツールを提供します。ユーザーが音声ファイルを入力すると、このスキルはまずスペクトログラム画像を生成し、続いて音量やタイミングの客観的なメトリクスを抽出します。さらに、すべてのサウンドエフェクトを検出してセマンティックマップを作成し、オフラインで音声をテキストに変換します。最後に、音の波形からサイマティックビジュアルを生成することで、音響特性を視覚的に理解できます。このスキルは、音声コンテンツの編集、ポッドキャストの文字起こし、動画の音響分析など、音声データの構造化された情報への変換が必要なあらゆるシナリオで有用です。

対応✓Claude Code~Codex CLI~Cursor
npx skills add thetoyosibello/claude-sound-ear

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

claude-sound-ear は何をしますか?

Claudeにオーディオに対する「目」と「耳」を与えます。インストール可能なClaudeスキルで、あらゆるオーディオやビデオのサウンドトラックを、AIが実際に推論できるもの(読み取り可能なスペクトログラム、客観的なラウドネス/タイミング情報、すべての効果音のセマンティックマップ、オフライン音声文字起こし、音響駆動のサイマティックビジュアル)に変換します。

主な機能

  • スペクトログラム生成: オーディオファイルから視覚的なスペクトログラム画像を作成します。
  • オーディオ分析: 音量、タイミング、その他の客観的なメトリクスを抽出します。
  • サウンドエフェクト検出: すべての効果音を特定し、セマンティックマップを作成します。
  • オフライン音声文字起こし: インターネット接続なしで音声をテキストに変換します。
  • サイマティックビジュアル: 音の波形から視覚的なパターンを生成します。

必要条件

  • ffmpeg: オーディオ処理に必要です。
  • whisper または類似のオフライン文字起こしツール。
  • Python 3.8 以上。

インストール

  1. このスキルをClaude Codeプロジェクトにインストールします。
  2. 必要な依存関係をインストールします:
    pip install -r requirements.txt
    
  3. システムに ffmpeg がインストールされていることを確認します。

使用方法

スキルをインストールした後、Claudeに以下のように依頼できます:

  • 「このオーディオファイルを分析して、スペクトログラムと音量情報を表示してください」
  • 「このビデオのサウンドトラックを文字起こしし、すべての効果音を特定してください」
  • 「この音声からサイマティックビジュアルを生成してください」

対応プラットフォーム

  • Claude Code
  • Cursor
  • Codex
  • その他のAIエージェント(スキルとしてインストール可能なもの)

ライセンス

MIT License

関連スキル