Communitygithub.com

FilippTrigub/abra

動画の領域をテキストプロンプトで編集します(Wan2.1-VACE インペインティング使用)。背景(rembg による自動セグメンテーション)または領域(矩形を分数で指定)の2つのモードをサポート。CUDA GPU(空き VRAM 8GB 以上)が必要です。

abra とは?

このスキルは、Wan2.1-VACE-1.3B 拡散モデルを使用して、動画の各フレームのマスク領域をテキストプロンプトに基づいて編集します。ユーザーは「背景の置き換え」または「矩形領域の編集」を選択でき、背景モードでは rembg が自動的に被写体をセグメント化します。強度パラメータ(0.0~1.0)で編集の強さを調整可能で、元の動画の音声は保持されます。CUDA GPU(最低8GB VRAM)が必要で、初回実行時にモデルウェイト(約3GB)を HuggingFace から自動ダウンロードします。設定は config.json またはコマンドライン引数で行い、バッチ処理やフレームサイズの制限により VRAM 使用量を調整できます。

対応✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/FilippTrigub/abra/tree/HEAD/skills/video-editor

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

cutlab — AI 動画領域編集

Wan2.1-VACE-1.3B 拡散モデルを使用して、動画の各フレームのマスク領域を編集します。テキストプロンプトで希望する結果を記述すると、モデルがマスク領域をインペイントし、残りの部分は変更しません。音声は保持されます。

スキルディレクトリ(この SKILL.md がある場所)を以下 $SKILL_DIR と表記します。

GPU 必須。 CUDA GPU(空き VRAM ≥ 8 GB)が必要です。 実行前に LLM コンテキストを一時停止して VRAM を解放してください。


使用するタイミング

このスキルは、ユーザーが以下を行いたい場合に使用します:

  • トーキングヘッド動画の背景を別のシーンに置き換える
  • 動画の矩形領域(空、看板、画面など)を編集する
  • 被写体を維持しながら環境の詳細を変更する

セットアップ(初回のみ)

cd "$SKILL_DIR" && uv sync

Wan2.1-VACE-1.3B モデルウェイトは初回実行時に HuggingFace からダウンロードされます(~3 GB)。rembg モデルウェイトも初回の背景モード実行時にダウンロードされます。


エージェントのワークフロー

1. ユーザーに確認する

動画を編集する前に、以下を確認する必要があります:

💬 プロンプト(必須)
   編集領域がどのように見えるべきかを記述してください。例:
   「床から天井までの窓と街並みの見えるモダンなオフィス」

🎭 マスクモード
  - background — 背景を自動検出して置き換える [デフォルト]
  - region     — 矩形領域を編集(x1,y1,x2,y2 を 0.0~1.0 の分数で指定)

📐 region モードの場合: mask_region
   形式: "x1,y1,x2,y2"  例: フレーム上部30%を編集する場合 "0.0,0.0,1.0,0.3"

⚙️ 強度(0.0~1.0、デフォルト 0.85)
   編集の強さ。低いほど元の映像に忠実。

📁 入力 / 出力ディレクトリ(デフォルト: ./input および ./output)

ユーザーの応答を待ってから続行します。

2. config.json を編集する

ユーザーの選択に基づいて $SKILL_DIR/config.json を書き込むか更新します。

3. 実行する

cd "$SKILL_DIR" && uv run python scripts/vace.py --config config.json

4. 結果を報告する

出力ファイルのパス、使用したマスクモード、適用したプロンプトをユーザーに伝えます。


設定リファレンス

キー値デフォルト説明
input_dirパス./input入力動画を含むフォルダ
output_dirパス./output出力先フォルダ
prompt文字列(必須)編集領域の説明
negative_prompt文字列"worst quality, blurry, distorted"避けるべき内容
maskbackground, regionbackgroundマスク戦略
mask_region"x1,y1,x2,y2"(region の場合必須)分数で指定した矩形
strengthfloat (0, 1]0.85インペインティングの強度
num_inference_steps整数30拡散ステップ数
guidance_scalefloat5.0プロンプトへの忠実度
batch_size整数8推論バッチあたりの処理フレーム数(低いほど VRAM 使用量減少)
max_proc_dim整数384インペイント前の最大フレーム寸法(低いほど VRAM 使用量減少)
modelHuggingFace IDWan-AI/Wan2.1-VACE-1.3B-diffusers使用するモデル

一般的な実行例

# 背景を自動的に置き換える
cd "$SKILL_DIR" && uv run python scripts/vace.py \
  --prompt "夕焼けの静かな山の湖"

# 矩形領域を編集(フレーム上部3分の1 = 空の置き換え)
cd "$SKILL_DIR" && uv run python scripts/vace.py \
  --mask region --mask-region "0.0,0.0,1.0,0.33" \
  --prompt "薄い雲が浮かぶ澄んだ青空"

# 弱い編集(元の詳細をより保持)
cd "$SKILL_DIR" && uv run python scripts/vace.py \
  --prompt "居心地の良い在宅オフィス" --strength 0.6

# カスタムディレクトリ
cd "$SKILL_DIR" && uv run python scripts/vace.py \
  --input /path/to/videos --output /path/to/edited \
  --prompt "未来的な都市景観"

出力

各入力動画は、output_dir に同じファイル名の .mp4 を生成します。元の音声は再マルチプレクスされます。


エラーハンドリング

  • VRAM 不足 → 必要な容量と利用可能な容量を表示、VRAM 解放のヒントを表示、終了
  • CUDA GPU なし → 明確なエラーメッセージを表示、終了
  • input_dir に動画がない → 明確なメッセージを表示、終了
  • 無効な mask_region 形式 → 期待される形式とともに明確なエラーを表示、終了
  • 個々の動画のエラー → ログに記録、他の動画は処理を続行

Individual skills in this repo

This repo contains 7 individual skills — each has its own dedicated page.

FilippTrigub/abra

>- Animate a still image into a short video clip using fal.ai's LTX-2.3 Fast image-to-video model in the cloud. No GPU required - runs entirely on fal.ai serverless infrastructure.

FilippTrigub/abra

>- Auto-describe and caption images using a local vision-language model. Writes a JSON sidecar per image containing a one-sentence description, a suggested Instagram caption with hashtags, and detected content tags.

FilippTrigub/abra

>- Animated caption pipeline. Use this skill when the user wants to burn word-by-word animated captions into videos — using Whisper for transcription and pycaps for rendering. Supports default minimalist style or a futuristic CSS theme with alternating gold/magenta glowing words.

FilippTrigub/abra

>- Cut videos into segments, rearrange them, and produce an output video with a specific cuts-per-second rate. Uses MoviePy for video manipulation. Prioritizes audio transcription for timestamped cutting, falls back to adaptive scene detection.

FilippTrigub/abra

>- Video enhancement pipeline. Use this skill when the user wants to sharpen, colour grade, warm, or normalise the audio of videos — including presets for natural, cinematic, or vivid looks.

FilippTrigub/abra

Generate videos from text or images using Higgsfield's multi-model cloud platform. Supports kling, seedance, dop, and dop-preview models. Uses a small preset layer for common creative styles. Auto-detects text-to-video or image-to-video based on input. No GPU required.

FilippTrigub/abra

>- Remove the background from every frame of a video using AI (BiRefNet-general via rembg). Outputs transparent-background video or composites onto a solid colour or image. Requires a CUDA GPU with at least 3 GB free VRAM.

関連スキル