multi-modal-skill-md は何をしますか？
エージェントが同時に視覚、聴覚、コーディングを行えるスキル。
このスキルは、マルチモーダル（複数の入力形式）をサポートするAIエージェント向けに設計されています。エージェントは、画像、音声、テキストの3つのモダリティを同時に処理し、統合された応答やアクションを生成できます。
主な機能
- 視覚入力の処理: 画像やスクリーンショットを解析し、コードの変更点やUI要素を認識します。
- 聴覚入力の処理: 音声指示や環境音をテキストに変換し、コンテキストとして利用します。
- コード生成と編集: 上記の入力に基づいて、コードの新規作成、修正、リファクタリングを実行します。
- 同時実行: 各モダリティの処理を並行して行い、低レイテンシで結果を統合します。
対応プラットフォーム
- Claude Code
- その他のマルチモーダル対応AIエージェント
使用方法
このスキルを有効にするには、エージェント設定で以下のように指定します：
{
"skill": "avasis-ai/multi-modal-skill-md",
"config": {
"input_modalities": ["vision", "audio", "text"],
"output_modality": "code"
}
}
注意事項
- このスキルは、使用するエージェントがマルチモーダル入力に対応していることを前提とします。
- 音声入力は、事前にテキストに変換される場合があります（エージェントの実装に依存）。
- 画像や音声の処理には、追加のリソース（APIコスト、計算時間）が発生する可能性があります。