Communitygithub.com

AlperTuncOrtak/crypto-data-pipeline

Extrait la transcription d'une vidéo YouTube et la transforme en un coffre-fort markdown interrogeable, avec découverte des sous-titres via yt-dlp, nettoyage VTT, métadonnées en en-tête, et création de brouillons de capture.

Qu'est-ce que crypto-data-pipeline ?

Cette compétence est un connecteur YouTube vers un coffre-fort markdown, conçu pour les agents d'IA comme Claude Code ou Cursor. Elle prend l'URL d'une vidéo YouTube, utilise yt-dlp pour récupérer les sous-titres (manuels ou automatiques), nettoie les marqueurs temporels VTT et regroupe le texte en paragraphes cohérents. Les métadonnées (titre, chaîne, date, durée, ID vidéo) sont extraites et stockées dans l'en-tête frontmatter du fichier markdown. En plus de la transcription, la compétence analyse le contenu pour identifier des mots-clés déclencheurs (décision, framework, modèle, principe, anti-pattern, étude de cas) et crée des brouillons d'écriture dans un dossier dédié, facilitant la réutilisation par d'autres compétences en aval (extraction de graphe de connaissances, reformatage de contenu, extraction d'actions). Elle prend en charge les paramètres de langue (par défaut anglais, espagnol) et garantit l'idempotence : une nouvelle ingestion écrase le fichier existant sans le dupliquer.

Compatible avec✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/AlperTuncOrtak/crypto-data-pipeline/tree/HEAD/skills/ingest-youtube

Demander à votre IA préférée

Ouvre une nouvelle conversation avec cette compétence d'agent déjà préchargée.

Documentation

ingest-youtube — Connecteur YouTube vers coffre-fort

Récupère les transcriptions YouTube dans un coffre-fort markdown sous forme d'entrées de mémoire typées et interrogeables, que les compétences en aval (extraction de graphe de connaissances, entraînement d'empreinte vocale, reformatage de contenu, extraction d'actions) peuvent exploiter.

Même modèle que ingest-slack, ingest-whatsapp, ingest-notion, ingest-linear, ingest-github, ingest-gmail. Ajouter YouTube signifie un nouveau normalisateur, pas une nouvelle architecture.

Quand l'utiliser

  • L'utilisateur colle une URL YouTube et demande une transcription ou un résumé
  • L'utilisateur dit /ingest-youtube <url> pour une vidéo unique
  • L'utilisateur demande de capturer, synchroniser, ingérer, transcrire ou récupérer une conférence/podcast/keynote dans le coffre-fort

Ne PAS utiliser pour :

  • Télécharger le fichier vidéo lui-même (utilisez directement yt-dlp avec -f best)
  • L'ingestion d'une chaîne entière ou des fenêtres --days ; ce script ingère une seule URL vidéo à la fois
  • Les flux en direct (les transcriptions ne sont pas stables)
  • Les sources non YouTube (Vimeo, Twitch, Twitter Spaces ont leurs propres connecteurs)
  • Une lecture de transcription ponctuelle où l'utilisateur ne veut pas de fichier dans le coffre-fort (exécutez yt-dlp --write-auto-sub directement et redirigez vers stdout)

Comment ça fonctionne

  1. Analyser l'entrée comme une seule URL vidéo YouTube.
  2. Vérifier que yt-dlp est installé. Sinon, le script s'arrête avec des instructions d'installation : brew install yt-dlp (macOS) ou pip3 install --user yt-dlp.
  3. Valider l'URL comme une vidéo YouTube unique avec http(s) et appeler yt-dlp --ignore-config --list-subs -- <url> pour lister les sous-titres disponibles.
  4. Priorité des sous-titres : sous-titres manuels > sous-titres automatiques. Les sous-titres manuels conservent la ponctuation et les étiquettes de locuteur fournies par le créateur ; les sous-titres automatiques sont en majuscules et sans ponctuation.
  5. Télécharger le sous-titre de plus haute priorité au format VTT via yt-dlp --write-sub --sub-lang <lang> --skip-download. Langue par défaut : en,es (anglais d'abord, espagnol ensuite).
  6. Supprimer les marqueurs temporels VTT et fusionner en paragraphes de prose propres. Dédupliquer les lignes répétées (les VTT automatiques ont des lignes doublées). Conserver les étiquettes de locuteur si la source les avait.
  7. Récupérer les métadonnées de la vidéo (titre, chaîne, date de publication, durée, video_id, URL) via yt-dlp --print-json --skip-download.
  8. Slugifier le nom de la chaîne et le titre de la vidéo. Écrire dans External Inputs/YouTube/<slug-chaîne>/<AAAA-MM-JJ>-<slug-vidéo>.md.
  9. Analyser la transcription pour les mots-clés déclencheurs (décision, cadre, modèle, principe, "la leçon est", playbook, anti-modèle, étude de cas). Pour chaque correspondance, créer un brouillon de départ d'écriture dans Meta/Captures/<AAAA-MM-JJ>-youtube-<slug-chaîne>-<id-vidéo>.md afin que le brouillon atterrisse dans l'agrégateur de captures.
  10. Afficher un résumé : chemin du fichier, nombre de mots de la transcription, langue, brouillons détectés.

Invocation

python3 ingest.py <youtube-url> [--vault <chemin>] [--lang <code>]

Valeurs par défaut :

  • --vault : variable d'environnement $VAULT_ROOT ou répertoire courant
  • --lang : en,es (anglais d'abord, espagnol ensuite ; correspond à une valeur bilingue courante)
  • --whisper : accepté comme indicateur de repli futur, mais cette version écrit un brouillon quand aucun sous-titre n'est disponible

Contrat de sortie

Le fichier du coffre-fort dans External Inputs/YouTube/<slug-chaîne>/<AAAA-MM-JJ>-<slug-vidéo>.md a l'en-tête frontmatter :

---
type: external-input
source: youtube
video_id: <ID à 11 caractères>
url: https://www.youtube.com/watch?v=<id>
channel: <nom-chaîne>
channel_url: https://www.youtube.com/<handle>
title: <titre-vidéo>
upload_date: <AAAA-MM-JJ>
duration_seconds: <int>
language: <code ISO>
subtitle_source: manual | auto | whisper
word_count: <int>
ingested_at: <horodatage ISO 8601>
---

Le corps est la transcription nettoyée sous forme de prose par paragraphes. Si la source avait des étiquettes de locuteur, formater comme **<locuteur>:** <texte> par tour de parole.

Idempotence

Ré-ingérer la même URL vidéo écrase le même fichier du coffre-fort. Les noms de fichiers des brouillons de départ utilisent un hachage de l'ID vidéo, donc la même vidéo source produit le même nom de fichier de brouillon lors des ré-exécutions. Les ré-exécutions rafraîchissent, ne dupliquent jamais.

Sous-titres manquants

Si yt-dlp --list-subs ne retourne aucun sous-titre manuel ou automatique, le script écrit une note de brouillon dans le coffre-fort avec les métadonnées de la vidéo et l'URL source au lieu d'échouer silencieusement. L'indicateur --whisper est réservé pour un futur repli de transcription locale et signale actuellement que le repli n'est pas implémenté.

Pour un repli manuel aujourd'hui, téléchargez l'audio avec yt-dlp, transcrivez-le avec votre workflow Whisper local, et ajoutez les sous-titres ou le texte de transcription avant de relancer l'ingestion.

Limitations

  • Ingère une seule URL vidéo YouTube par exécution ; les poignées de chaîne, les playlists et les fenêtres --days ne sont pas prises en charge.
  • Dépend des sous-titres retournés par yt-dlp ; les vidéos sans sous-titres produisent un brouillon de métadonnées, pas une transcription.
  • Ne télécharge pas les fichiers vidéo ni n'effectue de transcription Whisper intégrée dans cette version.
  • La disponibilité réseau, l'accès aux sous-titres YouTube et le comportement local de yt-dlp déterminent si l'ingestion réussit.

Test d'acceptation

Exécutez sur la première vidéo YouTube jamais mise en ligne :

python3 ingest.py "https://www.youtube.com/watch?v=jNQXAC9IVRw" --vault /tmp/test

Sortie attendue :

Écrit 39 mots dans /tmp/test/External Inputs/YouTube/jawed/2005-04-24-me-at-the-zoo.md. Langue : en. Source des sous-titres : manuel.

Le fichier de sortie contient un en-tête frontmatter valide et un corps de prose propre.

Dépendances

  • yt-dlp (obligatoire) : installer via brew install yt-dlp ou pip3 install --user yt-dlp
  • whisper-cpp (facultatif pour un repli manuel en dehors de ce script)

Source

Inclus dans adelaidasofia/ai-brain-starter, un harnais de vérification autour d'un agent d'IA pour que la mémoire s'accumule au lieu de se corrompre. La compétence fait partie de la famille ingest-* de connecteurs de coffre-fort.

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

AlperTuncOrtak/crypto-data-pipeline

Skill for discovering and researching autonomous AI agents, tools, and ecosystems using the AgentFolio directory.

AlperTuncOrtak/crypto-data-pipeline

Advanced JavaScript animation library skill for creating complex, high-performance web animations.

AlperTuncOrtak/crypto-data-pipeline

One sentence - what this skill does and when to invoke it

AlperTuncOrtak/crypto-data-pipeline

Audit and fix animation performance issues including layout thrashing, compositor properties, scroll-linked motion, and blur effects. Use when animations stutter, transitions jank, or reviewing CSS/JS animation performance.

AlperTuncOrtak/crypto-data-pipeline

Internationalization and localization patterns. Detecting hardcoded strings, managing translations, locale files, RTL support.

AlperTuncOrtak/crypto-data-pipeline

Expert in building portfolios that actually land jobs and clients - not just showing work, but creating memorable experiences. Covers developer portfolios, designer portfolios, creative portfolios, and portfolios that convert visitors into opportunities.

AlperTuncOrtak/crypto-data-pipeline

Generates high-converting Next.js/React landing pages with Tailwind CSS. Uses PAS, AIDA, and BAB frameworks for optimized copy/components (Heroes, Features, Pricing). Focuses on Core Web Vitals/SEO.

AlperTuncOrtak/crypto-data-pipeline

AI-powered animation tool for creating motion in logos, UI, icons, and social media assets.

AlperTuncOrtak/crypto-data-pipeline

CRITICAL: Use for Makepad animation system. Triggers on: makepad animation, makepad animator, makepad hover, makepad state, makepad transition, "from: { all: Forward", makepad pressed, makepad 动画, makepad 状态, makepad 过渡, makepad 悬停效果

AlperTuncOrtak/crypto-data-pipeline

Best practices for Remotion - Video creation in React

AlperTuncOrtak/crypto-data-pipeline

Generate walkthrough videos from Stitch projects using Remotion with smooth transitions, zooming, and text overlays

AlperTuncOrtak/crypto-data-pipeline

Seek and analyze video content using Memories.ai Large Visual Memory Model for persistent video intelligence

AlperTuncOrtak/crypto-data-pipeline

Writes complete, structured landing pages optimized for SEO ranking, AEO citation, and visitor conversion. Activate when the user wants to write or generate a landing page for a product, service, or offer.

AlperTuncOrtak/crypto-data-pipeline

Three.js animation - keyframe animation, skeletal animation, morph targets, animation mixing. Use when animating objects, playing GLTF animations, creating procedural motion, or blending animations.

AlperTuncOrtak/crypto-data-pipeline

Automate TikTok tasks via Rube MCP (Composio): upload/publish videos, post photos, manage content, and view user profiles/stats. Always search tools first for current schemas.

AlperTuncOrtak/crypto-data-pipeline

Video and audio perception, indexing, and editing. Ingest files/URLs/live streams, build visual/spoken indexes, search with timestamps, edit timelines, add overlays/subtitles, generate media, and create real-time alerts.

AlperTuncOrtak/crypto-data-pipeline

Upload, stream, search, edit, transcribe, and generate AI video and audio using the VideoDB SDK.

AlperTuncOrtak/crypto-data-pipeline

One sentence - what this skill does and when to invoke it

AlperTuncOrtak/crypto-data-pipeline

Automate YouTube tasks via Rube MCP (Composio): upload videos, manage playlists, search content, get analytics, and handle comments. Always search tools first for current schemas.

AlperTuncOrtak/crypto-data-pipeline

Extract transcripts from YouTube videos and generate comprehensive, detailed summaries using intelligent analysis frameworks

Skills associés