Communitygithub.com

AlperTuncOrtak/crypto-data-pipeline

Zieht YouTube-Video-Transkripte in ein abfragbares Markdown-Vault mit yt-dlp Untertitel-Erkennung, VTT-Bereinigung, Metadaten-Frontmatter und Capture-Seed-Stubs.

Was ist crypto-data-pipeline?

Diese Fähigkeit wandelt YouTube-Video-URLs in strukturierte, abfragbare Markdown-Einträge in einem Vault um. Sie extrahiert Transkripte über yt-dlp, priorisiert manuelle vor automatischen Untertiteln und bereinigt VTT-Zeitmarkierungen zu Fließtext. Zusätzlich generiert sie Captures-Seeds, die Schlüsselwörter wie "Entscheidung" oder "Framework" erkennen und als separate Notizen zur weiteren Nutzung durch andere Skills (z. B. Wissensgraphen) ablegen. Unterstützt werden macOS und Linux, die Konfiguration erfolgt über Umgebungsvariablen oder Parameter. Ideal für Entwickler, die YouTube-Inhalte für KI-Agenten aufbereiten möchten.

Funktioniert mit✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/AlperTuncOrtak/crypto-data-pipeline/tree/HEAD/skills/ingest-youtube

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

ingest-youtube – YouTube-zu-Vault-Konnektor

Zieht YouTube-Transkripte als abfragbare, typisierte Gedächtniseinträge in ein Markdown-Vault, auf die nachgelagerte Skills (Wissensgraph-Extraktion, Sprachfingerabdruck-Training, Content-Wiederverwendung, Aktionspunkt-Extraktion) zugreifen können.

Gleiches Muster wie ingest-slack, ingest-whatsapp, ingest-notion, ingest-linear, ingest-github, ingest-gmail. YouTube hinzuzufügen bedeutet einen neuen Normalisierer, keine neue Architektur.

Wann verwenden

  • Benutzer fügt eine YouTube-URL ein und fragt nach einem Transkript oder einer Zusammenfassung
  • Benutzer sagt /ingest-youtube <url> für ein einzelnes Video
  • Benutzer bittet darum, einen Talk/Podcast/Vortrag zu erfassen, zu synchronisieren, zu importieren oder zu transkribieren

NICHT verwenden für:

  • Herunterladen der tatsächlichen Videodatei (verwende yt-dlp direkt mit -f best)
  • Kanalweites Importieren oder --days-Fenster; dieses Skript importiert eine Video-URL auf einmal
  • Live-Streams (Transkripte sind nicht stabil)
  • Nicht-YouTube-Quellen (Vimeo, Twitch, Twitter Spaces haben eigene Konnektoren)
  • Einmalige Transkript-Lesevorgänge, bei denen der Benutzer keine Vault-Datei möchte (führe yt-dlp --write-auto-sub direkt aus und leite an stdout weiter)

Funktionsweise

  1. Eingabe als eine YouTube-Video-URL parsen.
  2. Prüfen, ob yt-dlp installiert ist. Falls nicht, beendet sich das Skript mit Installationsanweisungen: brew install yt-dlp (macOS) oder pip3 install --user yt-dlp.
  3. URL als einzelnes http(s) YouTube-Video validieren und yt-dlp --ignore-config --list-subs -- <url> aufrufen, um verfügbare Untertitel aufzulisten.
  4. Untertitel-Priorität: Manuelle Untertitel > automatisch generierte Untertitel. Manuelle Untertitel erhalten die vom Ersteller bereitgestellte Zeichensetzung und Sprecherbeschriftungen; automatisch generierte sind Großbuchstaben ohne Zeichensetzung.
  5. Den Untertitel mit der höchsten Priorität als VTT herunterladen über yt-dlp --write-sub --sub-lang <lang> --skip-download. Standard-Sprachpräferenz: en,es (zuerst Englisch, dann Spanisch).
  6. VTT-Zeitmarkierungen entfernen und zu sauberen Prosa-Absätzen zusammenführen. Doppelte Zeilen entfernen (automatisch generierte VTTs haben Zeilenverdopplungen). Sprecherbeschriftungen erhalten, falls die Quelle sie hatte.
  7. Video-Metadaten (Titel, Kanal, Upload-Datum, Dauer, video_id, URL) über yt-dlp --print-json --skip-download abrufen.
  8. Kanalnamen und Videotitel in Slugs umwandeln. Schreiben nach External Inputs/YouTube/<channel-slug>/<YYYY-MM-DD>-<video-slug>.md.
  9. Transkript auf Auslöseschlüsselwörter scannen (Entscheidung, Rahmenwerk, Modell, Prinzip, "die Lektion ist", Playbook, Anti-Pattern, Fallstudie). Für jede Übereinstimmung einen Schreib-Seed-Stub unter Meta/Captures/<YYYY-MM-DD>-youtube-<channel-slug>-<video-id>.md erstellen, damit der Seed im Captures-Aggregator landet.
  10. Zusammenfassung ausgeben: Dateipfad, Transkript-Wortanzahl, Sprache, erkannte Seeds.

Aufruf

python3 ingest.py <youtube-url> [--vault <pfad>] [--lang <code>]

Standardwerte:

  • --vault: $VAULT_ROOT Umgebungsvariable oder aktuelles Verzeichnis
  • --lang: en,es (zuerst Englisch, dann Spanisch; passt zu einem häufigen bilingualen Standard)
  • --whisper: als zukünftiges Fallback-Flag akzeptiert, aber diese Version schreibt einen Stub, wenn keine Untertitel verfügbar sind

Ausgabe-Vertrag

Die Vault-Datei unter External Inputs/YouTube/<channel-slug>/<YYYY-MM-DD>-<video-slug>.md hat Frontmatter:

---
type: external-input
source: youtube
video_id: <11-Zeichen-ID>
url: https://www.youtube.com/watch?v=<id>
channel: <kanal-name>
channel_url: https://www.youtube.com/<handle>
title: <video-titel>
upload_date: <YYYY-MM-DD>
duration_seconds: <int>
language: <ISO-Code>
subtitle_source: manual | auto | whisper
word_count: <int>
ingested_at: <ISO 8601-Zeitstempel>
---

Textkörper ist das bereinigte Transkript als Absatzprosa. Wenn die Quelle Sprecherbeschriftungen hatte, als **<sprecher>:** <text> pro Wechsel formatieren.

Idempotenz

Das erneute Importieren derselben Video-URL überschreibt dieselbe Vault-Datei. Die Seed-Stub-Dateinamen hashen die video_id, sodass dasselbe Quellvideo über mehrere Durchläufe hinweg denselben Stub-Dateinamen erzeugt. Wiederholungen aktualisieren, verdoppeln nie.

Fehlende Untertitel

Wenn yt-dlp --list-subs keine manuellen oder automatischen Untertitel zurückgibt, schreibt das Skript einen Stub-Vault-Eintrag mit den Video-Metadaten und der Quell-URL, anstatt still zu scheitern. Das --whisper-Flag ist für einen zukünftigen lokalen Transkriptions-Fallback reserviert und meldet derzeit, dass der Fallback nicht implementiert ist.

Für einen manuellen Fallback heute lade Audio mit yt-dlp herunter, transkribiere es mit deinem lokalen Whisper-Workflow und füge Untertitel oder Transkripttext hinzu, bevor du den Import erneut ausführst.

Einschränkungen

  • Importiert eine YouTube-Video-URL pro Durchlauf; Kanal-Handles, Playlists und --days-Fenster sind außerhalb des Rahmens.
  • Hängt von den von yt-dlp zurückgegebenen Untertiteln ab; Videos ohne Untertitel erzeugen einen Metadaten-Stub, kein Transkript.
  • Lädt in dieser Version keine Videodateien herunter und führt keine integrierte Whisper-Transkription durch.
  • Netzwerkverfügbarkeit, YouTube-Untertitelzugriff und lokales yt-dlp-Verhalten bestimmen, ob der Import erfolgreich ist.

Akzeptanztest

Gegen das erste jemals hochgeladene YouTube-Video ausführen:

python3 ingest.py "https://www.youtube.com/watch?v=jNQXAC9IVRw" --vault /tmp/test

Erwartete Ausgabe:

Wrote 39 words to /tmp/test/External Inputs/YouTube/jawed/2005-04-24-me-at-the-zoo.md. Language: en. Subtitle source: manual.

Die Ausgabedatei enthält gültiges Frontmatter und einen sauberen Prosatextkörper.

Abhängigkeiten

  • yt-dlp (erforderlich): installieren über brew install yt-dlp oder pip3 install --user yt-dlp
  • whisper-cpp (optional für einen manuellen Fallback außerhalb dieses Skripts)

Quelle

Gebündelt in adelaidasofia/ai-brain-starter, einem Verifikations-Framework um einen KI-Agenten, sodass Gedächtnis sich anhäuft statt korrumpiert. Der Skill ist Teil der ingest-*-Familie von Vault-Konnektoren.

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

AlperTuncOrtak/crypto-data-pipeline

Skill for discovering and researching autonomous AI agents, tools, and ecosystems using the AgentFolio directory.

AlperTuncOrtak/crypto-data-pipeline

Advanced JavaScript animation library skill for creating complex, high-performance web animations.

AlperTuncOrtak/crypto-data-pipeline

One sentence - what this skill does and when to invoke it

AlperTuncOrtak/crypto-data-pipeline

Audit and fix animation performance issues including layout thrashing, compositor properties, scroll-linked motion, and blur effects. Use when animations stutter, transitions jank, or reviewing CSS/JS animation performance.

AlperTuncOrtak/crypto-data-pipeline

Internationalization and localization patterns. Detecting hardcoded strings, managing translations, locale files, RTL support.

AlperTuncOrtak/crypto-data-pipeline

Expert in building portfolios that actually land jobs and clients - not just showing work, but creating memorable experiences. Covers developer portfolios, designer portfolios, creative portfolios, and portfolios that convert visitors into opportunities.

AlperTuncOrtak/crypto-data-pipeline

Generates high-converting Next.js/React landing pages with Tailwind CSS. Uses PAS, AIDA, and BAB frameworks for optimized copy/components (Heroes, Features, Pricing). Focuses on Core Web Vitals/SEO.

AlperTuncOrtak/crypto-data-pipeline

AI-powered animation tool for creating motion in logos, UI, icons, and social media assets.

AlperTuncOrtak/crypto-data-pipeline

CRITICAL: Use for Makepad animation system. Triggers on: makepad animation, makepad animator, makepad hover, makepad state, makepad transition, "from: { all: Forward", makepad pressed, makepad 动画, makepad 状态, makepad 过渡, makepad 悬停效果

AlperTuncOrtak/crypto-data-pipeline

Best practices for Remotion - Video creation in React

AlperTuncOrtak/crypto-data-pipeline

Generate walkthrough videos from Stitch projects using Remotion with smooth transitions, zooming, and text overlays

AlperTuncOrtak/crypto-data-pipeline

Seek and analyze video content using Memories.ai Large Visual Memory Model for persistent video intelligence

AlperTuncOrtak/crypto-data-pipeline

Writes complete, structured landing pages optimized for SEO ranking, AEO citation, and visitor conversion. Activate when the user wants to write or generate a landing page for a product, service, or offer.

AlperTuncOrtak/crypto-data-pipeline

Three.js animation - keyframe animation, skeletal animation, morph targets, animation mixing. Use when animating objects, playing GLTF animations, creating procedural motion, or blending animations.

AlperTuncOrtak/crypto-data-pipeline

Automate TikTok tasks via Rube MCP (Composio): upload/publish videos, post photos, manage content, and view user profiles/stats. Always search tools first for current schemas.

AlperTuncOrtak/crypto-data-pipeline

Video and audio perception, indexing, and editing. Ingest files/URLs/live streams, build visual/spoken indexes, search with timestamps, edit timelines, add overlays/subtitles, generate media, and create real-time alerts.

AlperTuncOrtak/crypto-data-pipeline

Upload, stream, search, edit, transcribe, and generate AI video and audio using the VideoDB SDK.

AlperTuncOrtak/crypto-data-pipeline

One sentence - what this skill does and when to invoke it

AlperTuncOrtak/crypto-data-pipeline

Automate YouTube tasks via Rube MCP (Composio): upload videos, manage playlists, search content, get analytics, and handle comments. Always search tools first for current schemas.

AlperTuncOrtak/crypto-data-pipeline

Extract transcripts from YouTube videos and generate comprehensive, detailed summaries using intelligent analysis frameworks

Verwandte Skills