Communitygithub.com

Zekiog/media-pipeline

Verarbeitet Video, Audio und Bilder auf der lokalen CPU. Normalisiert Videos, transkribiert Sprache, OCR für Bilder und übersetzt den extrahierten Text auf Anfrage.

Was ist media-pipeline?

Die Media Pipeline ist ein KI-Agenten-Skill, der CPU-basierte Transkription und OCR für Dateien auf dem lokalen Rechner bereitstellt. Sie nutzt FFmpeg für die Videoverarbeitung, faster-whisper (int8) für die Spracherkennung, RapidOCR (PP-OCRv4) für die Texterkennung in Bildern und optional Pollinations, Gemini oder LiteLLM für Übersetzungen. Das Whisper-Modell ist standardmäßig auf 'tiny' gesetzt, kann aber über Umgebungsvariablen auf 'base' oder 'small' erhöht werden. Der Skill wird über Kommandozeilenwerkzeuge (bin/mp) oder ein MCP-Interface (bin/mp-mcp) gesteuert und unterstützt Überwachungs-, Batch- und Diagnosefunktionen. Er ist für Entwickler und KI-Agenten wie Claude Code, Cursor oder Codex konzipiert, die auf lokalen Dateien arbeiten und keine GPU benötigen.

Funktioniert mit~Claude Code~Codex CLI~Cursor✓Gemini CLI
npx skills add https://github.com/Zekiog/media-pipeline/tree/HEAD/skills/media-pipeline

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

Media Pipeline

CPU-Transkription und OCR für Dateien auf diesem Rechner. FFmpeg, faster-whisper (int8), RapidOCR. Whisper-Modell standardmäßig tiny.

Struktur

Pfade sind relativ zum media-pipeline Checkout.

bin/mp              probe, process, translate, list, watch, selftest, doctor
bin/mp-mcp          stdio MCP-Server
inbox/              Dateien für `mp watch`
work/               16 kHz WAV und work/processed.json
outbox/<epoch>_<stem>/
                    normalized.mp4, thumbnail.jpg, transcript.txt,
                    transcript.srt, transcript.vtt, ocr.txt,
                    translation.<lang>.txt, manifest.json
failures/           Eingaben, die `mp watch` nicht verarbeiten konnte

install.sh kopiert diesen Skill nach $MP_SKILLS_DIR/media-pipeline, wenn dieses Verzeichnis bereits existiert. Standard ist $HOME/.local/share/prime-agent/0.9.6/skills.

Engines

AufgabeEngineHinweise
probeffprobeFormat, Dauer, Streams
videoFFmpegH.264 + AAC, yuv420p, faststart, CRF 28; Thumbnail bei 1s, Breite 1280
Audio für das ModellFFmpeg16 kHz Mono PCM, gespeichert unter work/
Sprache zu Textfaster-whisperCPU, MP_WHISPER_COMPUTE Standard int8, Modell MP_WHISPER_MODEL Standard tiny
BildtextRapidOCRPP-OCRv4 über ONNX Runtime, geschrieben in ocr.txt
ÜbersetzungPollinations, Gemini oder LiteLLMnur auf Anfrage; siehe references/engines.md

Befehle

bin/mp selftest
bin/mp probe DATEI
bin/mp process DATEI
bin/mp process DATEI --translate --target tr
bin/mp translate DATEI --target tr
bin/mp watch
bin/mp doctor

process belässt die Eingabedatei an ihrem Ort. watch verschiebt sie nach outbox/ oder failures/. Eine Datei, deren sha256 bereits in work/processed.json vorhanden ist, bleibt in inbox/.

doctor beendet sich mit Exit-Code 1, wenn eine kritische Prüfung fehlschlägt. Eine dieser Prüfungen ist $HOME/bin/prime-tg, das dieses Repository nicht enthält.

MCP-Werkzeuge

media_engines, media_probe, media_process, media_translate, media_batch.

media_process akzeptiert path, transcribe, ocr, translate und target_language. media_batch verarbeitet inbox/ mit aktivierter Transkription und OCR sowie deaktivierter Übersetzung.

Regeln

  • Belasse MP_LITELLM_KEY und MP_GEMINI_KEY in der Umgebung. Gib sie nicht aus.
  • tiny ist der Standard. Setze MP_WHISPER_MODEL auf base oder small, wenn die Aufnahme es erfordert. medium und large-v3 sind große Downloads.
  • Ein leeres Transkript mit probe.duration_s von 0 bedeutet, dass das Audio nicht dekodiert wurde.
  • Wenn eine Übersetzung einen Fehler zurückgibt, wird der Text nicht übersetzt. Sage das.
  • Der Text des Repositorys bleibt auf Englisch.

Referenz

  • references/engines.md für die Anbieter-Reihenfolge, OCR-Grenzen und die ARM-Host-Notizen
  • references/triggers.md für den Inbox-Pfad-Unit und mp watch
  • references/recipes.md für die venv-, ffmpeg- und OCR-Befehle

Verwandte Skills