Communitygithub.com

AlperTuncOrtak/pipeline-datos-cripto

Convierte transcripciones de videos de YouTube en un vault de markdown consultable usando yt-dlp para descubrimiento de subtítulos, limpieza de VTT, frontmatter de metadatos y stubs de captura.

¿Qué es pipeline-datos-cripto?

Este skill permite a un agente de IA (como Claude Code y otros) transformar videos de YouTube en entradas de memoria estructuradas dentro de un vault de markdown. Es parte de una familia de conectores de ingesta (Slack, WhatsApp, Notion, etc.) diseñados para normalizar fuentes de datos externas en un formato común que otras habilidades posteriores puedan procesar: extracción de grafos de conocimiento, reutilización de contenido, extracción de elementos de acción, etc. El flujo comienza con una URL de YouTube: el skill verifica que yt-dlp esté instalado, enumera subtítulos disponibles (priorizando subtítulos manuales sobre automáticos), descarga el mejor subtítulo en formato VTT, limpia las marcas de tiempo y líneas duplicadas, y extrae metadatos del video. Luego escribe un archivo markdown con frontmatter (título, canal, fecha, duración, idioma, fuente de subtítulos) y el cuerpo de la transcripción limpia. Además, escanea el texto en busca de palabras clave (decisión, framework, modelo, lección, etc.) y crea stubs de captura en una carpeta separada para que el agente pueda actuar sobre ellos. Si no hay subtítulos disponibles, el script crea un stub con metadatos en lugar de fallar. Es idempotente: volver a ingestar el mismo video sobrescribe el archivo existente sin duplicar. No descarga el video ni realiza transcripción local (el flag --whisper está reservado para futuras versiones). El skill se invoca con `python3 ingest.py <url-youtube>` y acepta parámetros opcionales para especificar la ruta del vault y el idioma de subtítulos.

Compatible con✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/AlperTuncOrtak/crypto-data-pipeline/tree/HEAD/skills/ingest-youtube

Preguntar en tu IA favorita

Abre un nuevo chat con esta habilidad de agente ya precargada.

Documentación

ingest-youtube — Conector de YouTube a vault

Convierte transcripciones de YouTube en entradas de memoria tipada y consultable dentro de un vault de markdown, listas para que habilidades posteriores (extracción de grafos de conocimiento, entrenamiento de huella de voz, reutilización de contenido, extracción de elementos de acción) puedan actuar sobre ellas.

Mismo patrón que ingest-slack, ingest-whatsapp, ingest-notion, ingest-linear, ingest-github, ingest-gmail. Agregar YouTube significa un nuevo normalizador, no una nueva arquitectura.

Cuándo usarlo

  • El usuario pega una URL de YouTube y pide una transcripción o resumen
  • El usuario dice /ingest-youtube <url> para un solo video
  • El usuario pide capturar, sincronizar, ingestar, transcribir o extraer una charla/podcast/conferencia al vault

NO usar para:

  • Descargar el archivo de video real (usa yt-dlp directamente con -f best)
  • Ingesta de todo un canal o ventanas de --days; este script ingesta una URL de video a la vez
  • Transmisiones en vivo (las transcripciones no son estables)
  • Fuentes que no sean YouTube (Vimeo, Twitch, Twitter Spaces tienen sus propios conectores)
  • Lecturas de transcripción únicas donde el usuario no quiere un archivo en el vault (ejecuta yt-dlp --write-auto-sub directamente y redirige a stdout)

Cómo funciona

  1. Analiza la entrada como una URL de video de YouTube.
  2. Verifica que yt-dlp esté instalado. Si no, el script termina con instrucciones de instalación: brew install yt-dlp (macOS) o pip3 install --user yt-dlp.
  3. Valida la URL como un único video de YouTube http(s) y llama a yt-dlp --ignore-config --list-subs -- <url> para enumerar los subtítulos disponibles.
  4. Prioridad de subtítulos: subtítulos manuales > subtítulos automáticos. Los manuales conservan la puntuación y etiquetas de hablante del creador; los automáticos están en mayúsculas y sin puntuación.
  5. Descarga el subtítulo de mayor prioridad como VTT mediante yt-dlp --write-sub --sub-lang <lang> --skip-download. Preferencia de idioma predeterminada: en,es (inglés primero, español segundo).
  6. Elimina las marcas de tiempo del VTT y fusiona en párrafos de prosa limpia. Deduplica líneas repetidas (los VTT automáticos tienen líneas duplicadas). Conserva las etiquetas de hablante si la fuente las tenía.
  7. Extrae metadatos del video (título, canal, fecha de subida, duración, video_id, URL) mediante yt-dlp --print-json --skip-download.
  8. Convierte a slug el nombre del canal y el título del video. Escribe en External Inputs/YouTube/<slug-canal>/<YYYY-MM-DD>-<slug-video>.md.
  9. Escanea la transcripción en busca de palabras clave (decisión, framework, modelo, principio, "la lección es", playbook, antipatrón, caso de estudio). Por cada coincidencia, crea un stub de semilla de escritura en Meta/Captures/<YYYY-MM-DD>-youtube-<slug-canal>-<id-video>.md para que la semilla llegue al agregador de capturas.
  10. Muestra un resumen: ruta del archivo, recuento de palabras de la transcripción, idioma, semillas detectadas.

Invocación

python3 ingest.py <url-youtube> [--vault <ruta>] [--lang <código>]

Valores predeterminados:

  • --vault: variable de entorno $VAULT_ROOT o directorio actual
  • --lang: en,es (inglés primero, español segundo; coincide con un bilingüe común)
  • --whisper: aceptado como bandera de fallback futuro, pero esta versión escribe un stub cuando no hay subtítulos disponibles

Contrato de salida

El archivo en External Inputs/YouTube/<slug-canal>/<YYYY-MM-DD>-<slug-video>.md tiene frontmatter:

---
type: external-input
source: youtube
video_id: <ID de 11 caracteres>
url: https://www.youtube.com/watch?v=<id>
channel: <nombre-del-canal>
channel_url: https://www.youtube.com/<handle>
title: <título-del-video>
upload_date: <YYYY-MM-DD>
duration_seconds: <int>
language: <código ISO>
subtitle_source: manual | auto | whisper
word_count: <int>
ingested_at: <marca de tiempo ISO 8601>
---

El cuerpo es la transcripción limpia en prosa en párrafos. Si la fuente tenía etiquetas de hablante, se formatean como **<hablante>:** <texto> por turno.

Idempotencia

Re-ingestar la misma URL de video sobrescribe el mismo archivo del vault. Los nombres de los archivos stub de semilla hashean el video_id, por lo que el mismo video fuente produce el mismo nombre de stub en ejecuciones repetidas. Las re-ejecuciones actualizan, nunca duplican.

Subtítulos faltantes

Si yt-dlp --list-subs no devuelve subtítulos manuales ni automáticos, el script escribe una nota stub en el vault con los metadatos del video y la URL fuente, en lugar de fallar silenciosamente. La bandera --whisper está reservada para un futuro fallback de transcripción local y actualmente informa que el fallback no está implementado.

Para un fallback manual hoy, descarga el audio con yt-dlp, transcríbelo con tu flujo de trabajo local de Whisper y agrega subtítulos o texto de transcripción antes de volver a ejecutar la ingesta.

Limitaciones

  • Ingesta una URL de video de YouTube por ejecución; los handles de canal, listas de reproducción y ventanas --days están fuera del alcance.
  • Depende de los subtítulos devueltos por yt-dlp; los videos sin subtítulos producen un stub de metadatos, no una transcripción.
  • No descarga archivos de video ni realiza transcripción Whisper integrada en esta versión.
  • La disponibilidad de red, el acceso a subtítulos de YouTube y el comportamiento local de yt-dlp determinan si la ingesta tiene éxito.

Prueba de aceptación

Ejecuta contra el primer video subido a YouTube:

python3 ingest.py "https://www.youtube.com/watch?v=jNQXAC9IVRw" --vault /tmp/test

Salida esperada:

Se escribieron 39 palabras en /tmp/test/External Inputs/YouTube/jawed/2005-04-24-me-at-the-zoo.md. Idioma: en. Fuente de subtítulos: manual.

El archivo de salida contiene frontmatter válido y un cuerpo de prosa limpia.

Dependencias

  • yt-dlp (obligatorio): instalar con brew install yt-dlp o pip3 install --user yt-dlp
  • whisper-cpp (opcional para un fallback manual fuera de este script)

Fuente

Incluido en adelaidasofia/ai-brain-starter, un harness de verificación para un agente de IA donde la memoria se compone en lugar de corromperse. El skill es parte de la familia de conectores de vault ingest-*.

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

AlperTuncOrtak/crypto-data-pipeline

Skill for discovering and researching autonomous AI agents, tools, and ecosystems using the AgentFolio directory.

AlperTuncOrtak/crypto-data-pipeline

Advanced JavaScript animation library skill for creating complex, high-performance web animations.

AlperTuncOrtak/crypto-data-pipeline

One sentence - what this skill does and when to invoke it

AlperTuncOrtak/crypto-data-pipeline

Audit and fix animation performance issues including layout thrashing, compositor properties, scroll-linked motion, and blur effects. Use when animations stutter, transitions jank, or reviewing CSS/JS animation performance.

AlperTuncOrtak/crypto-data-pipeline

Internationalization and localization patterns. Detecting hardcoded strings, managing translations, locale files, RTL support.

AlperTuncOrtak/crypto-data-pipeline

Expert in building portfolios that actually land jobs and clients - not just showing work, but creating memorable experiences. Covers developer portfolios, designer portfolios, creative portfolios, and portfolios that convert visitors into opportunities.

AlperTuncOrtak/crypto-data-pipeline

Generates high-converting Next.js/React landing pages with Tailwind CSS. Uses PAS, AIDA, and BAB frameworks for optimized copy/components (Heroes, Features, Pricing). Focuses on Core Web Vitals/SEO.

AlperTuncOrtak/crypto-data-pipeline

AI-powered animation tool for creating motion in logos, UI, icons, and social media assets.

AlperTuncOrtak/crypto-data-pipeline

CRITICAL: Use for Makepad animation system. Triggers on: makepad animation, makepad animator, makepad hover, makepad state, makepad transition, "from: { all: Forward", makepad pressed, makepad 动画, makepad 状态, makepad 过渡, makepad 悬停效果

AlperTuncOrtak/crypto-data-pipeline

Best practices for Remotion - Video creation in React

AlperTuncOrtak/crypto-data-pipeline

Generate walkthrough videos from Stitch projects using Remotion with smooth transitions, zooming, and text overlays

AlperTuncOrtak/crypto-data-pipeline

Seek and analyze video content using Memories.ai Large Visual Memory Model for persistent video intelligence

AlperTuncOrtak/crypto-data-pipeline

Writes complete, structured landing pages optimized for SEO ranking, AEO citation, and visitor conversion. Activate when the user wants to write or generate a landing page for a product, service, or offer.

AlperTuncOrtak/crypto-data-pipeline

Three.js animation - keyframe animation, skeletal animation, morph targets, animation mixing. Use when animating objects, playing GLTF animations, creating procedural motion, or blending animations.

AlperTuncOrtak/crypto-data-pipeline

Automate TikTok tasks via Rube MCP (Composio): upload/publish videos, post photos, manage content, and view user profiles/stats. Always search tools first for current schemas.

AlperTuncOrtak/crypto-data-pipeline

Video and audio perception, indexing, and editing. Ingest files/URLs/live streams, build visual/spoken indexes, search with timestamps, edit timelines, add overlays/subtitles, generate media, and create real-time alerts.

AlperTuncOrtak/crypto-data-pipeline

Upload, stream, search, edit, transcribe, and generate AI video and audio using the VideoDB SDK.

AlperTuncOrtak/crypto-data-pipeline

One sentence - what this skill does and when to invoke it

AlperTuncOrtak/crypto-data-pipeline

Automate YouTube tasks via Rube MCP (Composio): upload videos, manage playlists, search content, get analytics, and handle comments. Always search tools first for current schemas.

AlperTuncOrtak/crypto-data-pipeline

Extract transcripts from YouTube videos and generate comprehensive, detailed summaries using intelligent analysis frameworks

Skills relacionados