Communitygithub.com

FilippTrigub/abra

使用本地视觉语言模型自动描述和为图片生成标题。每张图片生成一个JSON侧边文件,包含一句话描述、建议的Instagram标题(含话题标签)以及检测到的内容标签。

abra 是什么?

这是一个AI代理技能,能够利用本地运行的视觉语言模型(VLM)自动为图片生成描述和社交媒体标题。它的核心价值在于批量处理图片内容,无需人工逐张审查即可快速理解图像内容,并生成结构化的JSON侧边文件,方便后续集成到内容流水线或调度工具中。该技能支持 moondream2(默认,可在CPU上快速运行)和 phi4(质量更高但需要GPU)两种模型,同时支持可选的远程推断服务(HuggingFace、Replicate)。用户还可以自定义标题风格和设备选项。除了基本的描述和标题生成,该技能还集成了专业的标题质量标准,确保生成的标题具有吸引力、平台适配性和非通用性,避免AI写作的常见问题。输出文件包含描述、标题和标签三个字段,当品牌字体相关时,会向下游渲染工具传递字体信息而非直接嵌入。

兼容平台✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/FilippTrigub/abra/tree/HEAD/skills/image-captioner

在你喜欢的 AI 中提问

打开一个已预加载此 Agent Skill 的新对话。

文档

alt — 自动标题生成

对 input_dir 中的每张图像运行本地VLM,并将JSON侧边文件写入 output_dir。可用于自动生成标题、理解批量内容,或为其他工具提供描述。

该技能目录(即此 SKILL.md 所在位置)以下统称为 $SKILL_DIR。


使用时机

当用户希望以下场景时使用此技能:

  • 自动从照片生成Instagram标题
  • 无需手动查看即可了解一批图像的内容
  • 将图像描述输入到内容流水线或调度工具中

设置(仅首次运行)

cd "$SKILL_DIR" && uv sync

moondream2 权重在首次使用时下载(约 4 GB,来自 HuggingFace)。 Phi-4 权重更大(约 8 GB),需要GPU支持。


代理工作流

1. 询问用户

在描述图像之前,我需要了解以下信息:

🧠 模型
  - moondream2  — 2B参数,速度快,可在CPU上运行(默认)
  - phi4        — 3.8B多模态,质量更高,需要GPU

💬 标题风格(可选——我会使用合理的默认值)
  例如“轻松有趣带表情符号”或“专业鼓舞人心”

⚙️ 设备
  - auto  — 优先使用GPU,否则使用CPU(默认)
  - cpu   — 仅 moondream2;在现代桌面CPU上每张图像约7秒

📁 输入/输出目录(默认:./input 和 ./output)

2. 编辑 config.json

如果用户提供了标题风格,请将其合并到 prompt_caption 中。 示例:"为这张照片写一个有趣、充满表情符号的Instagram标题。包含3-5个话题标签。"

如果用户要求品牌视觉,请检查 skills/brand-manager/brand-assets/asset-manifest.json 以获取可用字体,并在生成的标题指南或交接说明中提及优选品牌字体。此技能仅写入JSON侧边文件,因此不会自身渲染文本;下游渲染工具(如 visual-hook、video-captioner、end-cta)应在指定且可用时使用实际的品牌字体文件。

3. 运行

cd "$SKILL_DIR" && uv run python scripts/describe.py --config config.json

首次运行会下载模型权重——请告知用户这可能需要几分钟。

4. 报告结果

为每张图像显示描述和标题。告知用户JSON文件的写入位置。


配置参考

键值默认值描述
input_dir路径./input源图像文件夹
output_dir路径./outputJSON侧边文件的目标文件夹
modelmoondream2、phi4moondream2视觉语言模型
prompt_description字符串"请用一句话描述这张图像。"描述字段的提示词
prompt_caption字符串"写一个吸引人的Instagram标题……"标题字段的提示词
deviceauto、cpu、cudaauto推断设备

常见调用

# 默认(moondream2,自动设备)
cd "$SKILL_DIR" && uv run python scripts/describe.py

# 更高质量(需要GPU)
cd "$SKILL_DIR" && uv run python scripts/describe.py --model phi4

# 强制使用CPU
cd "$SKILL_DIR" && uv run python scripts/describe.py --device cpu

# 自定义标题提示词
cd "$SKILL_DIR" && uv run python scripts/describe.py \
  --prompt-caption "为这张图像写一个专业的LinkedIn标题。"

输出

对于 input_dir 中的每个 photo.jpg,在 output_dir 中写入 photo.json:

{
  "description": "一位女士在阳光明媚的咖啡馆里手持咖啡杯。",
  "caption": "晨间仪式 ☕✨ 以正确的方式开始新的一天。 #咖啡时光 #晨间氛围 #咖啡馆",
  "tags": ["人像", "咖啡", "室内", "暖光"]
}

当品牌字体相关时,在后续指令中包含字体名称/标签,而不是在此JSON中嵌入字体文件。渲染技能负责解析清单路径并应用字体。


错误处理

  • phi4 + cpu → 在配置验证时被拒绝,并显示清晰消息
  • 模型下载失败 → 显示HuggingFace错误详细信息
  • 单个图像错误 → 记录日志;其他图像继续处理

远程推断

此技能支持可选的远程标题生成,同时保持相同的JSON侧边文件输出。

  • 默认行为仍然是本地
  • 远程提供者是仅限选择加入
  • 支持的提供者:huggingface、replicate

配置键

键默认值说明
providernullnull、local 或 none 保持本地模式
remote_modelnull可选的提供者特定VLM模型覆盖
hf_token_envHF_TOKENHuggingFace认证环境变量名
replicate_api_key_envREPLICATE_API_TOKENReplicate认证环境变量名
remote_timeout_seconds300远程调用超时时间

示例

# HuggingFace远程图像标题生成
export HF_TOKEN=hf_your_token
uv run python scripts/describe.py --config config.json --provider huggingface

# Replicate远程图像标题生成
export REPLICATE_API_TOKEN=r8_your_token
uv run python scripts/describe.py --config config.json --provider replicate --remote-model <replicate-model-slug>

说明

  • 远程模式仍然写入相同的 description / caption / tags JSON侧边文件
  • 缺少凭据会快速失败;不会静默回退到本地模式
  • Replicate 需要一个明确的模型slug进行远程标题生成

标题质量标准

标题和图像同样重要。一个薄弱的标题会浪费一张强大的图像。在生成或提示标题时,请应用以下原则。

单一核心原则

每个标题应传达一个清晰的核心思想。如果标题试图表达多个观点,就会变得分散且失去影响力。最强的标题只有一个箭头尖端:一个承诺、一个教训、一个观察、一个故事节点。

测试:你能用一句话说出这个标题吗?所有内容是否都支持同一个观点?如果不是,请删减直到核心清晰明确。

开头要吸引人

任何标题的第一行都是钩子。在Instagram上,只有前~125个字符会在“更多”之前显示——第一行必须赢得点击。在LinkedIn上,第一行就是标题。

有效的钩子模式:

  • 反常规:“别再这样做了。”
  • 好奇心缺口:“大多数人没有意识到……”
  • 身份号召:“如果你是 [X],请注意。”
  • 权威/经验:“如果我要重新开始,我会这样做。”
  • 痛点:“这就是你卡在 [X] 的原因。”

避免以“我”开头,或以废话开头。第一行应该赢得继续阅读的权利。

平台特定结构

Instagram:

  • 开头要吸引人(≤125字符)
  • 正文:故事、教训或见解
  • 末尾添加3–5个相关话题标签
  • 真实的语气——避免过度营销的语言
  • 表情符号可以使用,但应增强含义,而非装饰

LinkedIn:

  • 最佳覆盖率为600–800字符;需要高点击率时为100–150字符
  • 第一行要有强有力的钩子
  • 帖子正文中不包含外部链接(LinkedIn会抑制外链的覆盖率)
  • 有效的框架:钩子→见解→分解→CTA;或故事→教训→行动→互动问题
  • 清晰胜过创意——读者快速浏览
  • 避免:大量表情符号、过多空白、连续相同格式、外部字体

反通用测试

在接受生成的标题之前,问自己:这听起来像是拍摄这张照片的专家写的,还是听起来像通用的AI写作?如果任何人都可以写出来,那就失败了。标题必须反映特定的观点、观察或生活瞬间。

避免

  • 以“我”开头作为第一个词
  • 没有具体观点的模糊励志语句
  • 用于视觉填充而非增强含义的表情符号
  • 单个标题中出现多个行动号召
  • LinkedIn上的标签垃圾(10个以上话题标签)

Individual skills in this repo

This repo contains 7 individual skills — each has its own dedicated page.

FilippTrigub/abra

>- Animate a still image into a short video clip using fal.ai's LTX-2.3 Fast image-to-video model in the cloud. No GPU required - runs entirely on fal.ai serverless infrastructure.

FilippTrigub/abra

>- Animated caption pipeline. Use this skill when the user wants to burn word-by-word animated captions into videos — using Whisper for transcription and pycaps for rendering. Supports default minimalist style or a futuristic CSS theme with alternating gold/magenta glowing words.

FilippTrigub/abra

>- Cut videos into segments, rearrange them, and produce an output video with a specific cuts-per-second rate. Uses MoviePy for video manipulation. Prioritizes audio transcription for timestamped cutting, falls back to adaptive scene detection.

FilippTrigub/abra

>- Edit a region of a video using a text prompt via Wan2.1-VACE inpainting. Supports two modes: background (auto-segment via rembg) or region (rectangle defined by fractions). Requires a CUDA GPU with at least 8 GB free VRAM.

FilippTrigub/abra

>- Video enhancement pipeline. Use this skill when the user wants to sharpen, colour grade, warm, or normalise the audio of videos — including presets for natural, cinematic, or vivid looks.

FilippTrigub/abra

Generate videos from text or images using Higgsfield's multi-model cloud platform. Supports kling, seedance, dop, and dop-preview models. Uses a small preset layer for common creative styles. Auto-detects text-to-video or image-to-video based on input. No GPU required.

FilippTrigub/abra

>- Remove the background from every frame of a video using AI (BiRefNet-general via rembg). Outputs transparent-background video or composites onto a solid colour or image. Requires a CUDA GPU with at least 3 GB free VRAM.

相关技能