FunClipで長い動画や音声をレビュー可能なクリップと字幕に変換する
エージェントが長い動画や音声を文字起こしし、クリップのタイムスタンプを提案し、字幕ファイル付きのレビュー可能な動画セグメントを生成するための反復可能なローカルワークフローを必要とする場合にFunClipを使用します。
前提条件
Python環境、FunClipソースコードのチェックアウト、FunASR対応モデル、ローカルまたはサーバーのGradioランタイム、文字起こしとクリッピングを行うメディアファイル。
インストール
環境に合ったアップストリームのインストールまたはセットアップパスを使用します:
- git clone https://github.com/alibaba-damo-academy/FunClip.git
- pip install -r ./requirements.txt
- brew install imagemagick
アップストリームからの要件と注意点:
- 2026/05/20 FunClipはFun-ASR-NanoおよびSenseVoiceモデルをサポートするようになりました。Fun-ASR-Nanoは31言語に対応し、より高い精度を提供します。SenseVoiceは感情認識と音響イベント検出を追加します。
python funclip/launch.py ...を実行してください。 - 2024/06/12 FunClipは英語の音声ファイルの認識とクリッピングをサポートするようになりました。試すには
python funclip/launch.py -l enを実行してください。 - FunClipは近日中に英語ユーザー向けにWhisperモデルをサポートする予定です(Whisperを使用したASRはタイムスタンプ付きで大量のGPUメモリを必要とするため、FunASR内のバニラParaformerのタイムスタンプ予測をサポートしてこれを実現します)。
基本的な使用方法または入門メモ:
-
| 使い方
-
🔥2024/05/13 FunClip v2.0.0は大規模言語モデルを使用したスマートクリッピングをサポートするようになりました。Qwenシリーズ、GPTシリーズなどのモデルを統合し、デフォルトのプロンプトを提供します。設定に関するヒントを探求したり共有することもできます...
-
cd FunClip
-
アップストリームドキュメントから抽出: https://raw.githubusercontent.com/modelscope/FunClip/HEAD/README.md