Habilidad de Resumen de Video y Podcast
Envía un enlace de video/podcast → obtén transcripción completa + resumen estructurado
Plataformas Soportadas
| Plataforma | Tipo | Subtítulos | Transcripción Whisper |
|---|---|---|---|
| YouTube | Video | ✅ | ✅ |
| Bilibili | Video | ✅ | ✅ |
| X/Twitter | Video | ❌ | ✅ |
| Xiaoyuzhou (小宇宙) | Podcast | ❌ | ✅ |
| Apple Podcasts | Podcast | ❌ | ✅ |
| Enlaces directos (mp3/mp4/m3u8) | Cualquiera | ❌ | ✅ |
Activación
Se activa automáticamente cuando se detecta una URL de medios:
- YouTube:
youtube.com,youtu.be - Bilibili:
bilibili.com,b23.tv - X/Twitter:
x.com,twitter.com(tweets con video) - Xiaoyuzhou:
xiaoyuzhoufm.com - Apple Podcasts:
podcasts.apple.com - Directo:
.mp3,.mp4,.m3u8,.m4a,.webm
Pipeline
Paso 0: Detectar Tipo de Medio
| Patrón de URL | Tipo | Pipeline |
|---|---|---|
xiaoyuzhoufm.com/episode/ | Podcast | → Paso 1b (Xiaoyuzhou) |
podcasts.apple.com | Podcast | → Paso 1c (Apple) |
bilibili.com, b23.tv | Video | → Paso 1d (API de Bilibili) |
.mp3, .m4a enlace directo | Audio | → Paso 2b (descarga directa) |
| Otro | Video | → Paso 1a (extracción de subtítulos) |
Paso 1a: Video — Extraer Subtítulos
# Limpiar archivos temporales
rm -f /tmp/media_sub*.vtt /tmp/media_audio.mp3 /tmp/media_transcript*.json /tmp/media_segment_*.mp3 2>/dev/null || true
# YouTube (preferir inglés, fallback chino)
yt-dlp --skip-download --write-auto-sub --sub-lang "en,zh-Hans" -o "/tmp/media_sub" "VIDEO_URL"
# Bilibili
yt-dlp --skip-download --write-auto-sub --sub-lang "zh-Hans,zh" -o "/tmp/media_sub" "VIDEO_URL"
Verificar subtítulos:
ls /tmp/media_sub*.vtt 2>/dev/null
- Tiene subtítulos → Leer contenido VTT, saltar al Paso 3
- Sin subtítulos → Paso 2a (descargar audio)
Paso 1b: Xiaoyuzhou (小宇宙) — Extraer URL de Audio
# Extraer enlace directo CDN desde __NEXT_DATA__
# Xiaoyuzhou es una SPA de Next.js, pero el HTML inicial contiene la URL de audio en __NEXT_DATA__
AUDIO_URL=$(curl -sL -H "User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36" \
"EPISODE_URL" \
| grep -oE 'https://media\.xyzcdn\.net/[^"]+\.(m4a|mp3)' \
| head -1)
echo "Audio URL: $AUDIO_URL"
# Descargar audio
curl -L -o /tmp/media_audio.mp3 "$AUDIO_URL"
Si la extracción con curl está vacía (raro), fallback: usar Puppeteer/navegador para obtener la página renderizada y extraer.
→ Paso 2b (verificar tamaño y transcribir)
Paso 1c: Apple Podcasts — mediante yt-dlp
yt-dlp -f "ba[ext=m4a]/ba/b" --extract-audio --audio-format mp3 --audio-quality 5 \
-o "/tmp/media_audio.%(ext)s" "APPLE_PODCAST_URL"
→ Paso 2b (verificar tamaño y transcribir)
Paso 1d: Bilibili — API de Audio Directo
yt-dlp devuelve 412 para Bilibili incluso con cookies. Usar la API de Bilibili en su lugar:
# 1. Extraer número BV de la URL
BV="BV1xxxxx" # Reemplazar con el BV real
# 2. Obtener info del video (título, duración, CID)
curl -s "https://api.bilibili.com/x/web-interface/view?bvid=$BV" \
-H "User-Agent: Mozilla/5.0" -H "Referer: https://www.bilibili.com/" \
| python3 -c "import json,sys; d=json.load(sys.stdin)['data']; print(f\"Title: {d['title']}\nDuration: {d['duration']}s\nCID: {d['cid']}\")"
# 3. Obtener URL del stream de audio
CID=<CID del paso anterior>
AUDIO_URL=$(curl -s "https://api.bilibili.com/x/player/playurl?bvid=$BV&cid=$CID&fnval=16&qn=64" \
-H "User-Agent: Mozilla/5.0" -H "Referer: https://www.bilibili.com/" \
| python3 -c "import json,sys; print(json.load(sys.stdin)['data']['dash']['audio'][0]['baseUrl'])")
# 4. Descargar audio (se requiere cabecera Referer, de lo contrario 403)
curl -L -o /tmp/media_audio.m4s \
-H "User-Agent: Mozilla/5.0" -H "Referer: https://www.bilibili.com/" "$AUDIO_URL"
# 5. Convertir a mp3
ffmpeg -y -i /tmp/media_audio.m4s -acodec libmp3lame -q:a 5 /tmp/media_audio.mp3
→ Paso 2b (verificar tamaño y transcribir)
Paso 2a: Video — Descargar Audio (cuando no hay subtítulos)
# YouTube puede necesitar --cookies-from-browser chrome para evitar detección de bots
yt-dlp --cookies-from-browser chrome -f "ba[ext=m4a]/ba/b" --extract-audio --audio-format mp3 --audio-quality 5 \
-o "/tmp/media_audio.%(ext)s" "VIDEO_URL"
Paso 2b: Verificar Tamaño de Audio y Segmentar
FILE_SIZE=$(stat -f%z /tmp/media_audio.* 2>/dev/null || stat -c%s /tmp/media_audio.* 2>/dev/null)
echo "File size: $FILE_SIZE bytes"
- ≤ 25MB (25000000) → Paso 2c (transcribir directamente)
- > 25MB → Dividir primero, luego transcribir cada segmento
Dividir audio grande (>25MB):
# Obtener duración total
DURATION=$(ffprobe -v error -show_entries format=duration -of csv=p=0 /tmp/media_audio.* | head -1)
# Dividir en segmentos de 10 minutos (cada uno se mantiene por debajo de 25MB)
SEGMENT_SEC=600
SEGMENTS=$(python3 -c "import math; print(math.ceil(float('$DURATION')/$SEGMENT_SEC))")
# Cortar segmentos
for i in $(seq 0 $((SEGMENTS-1))); do
START=$((i * SEGMENT_SEC))
ffmpeg -y -i /tmp/media_audio.* -ss $START -t $SEGMENT_SEC -acodec libmp3lame -q:a 5 \
"/tmp/media_segment_${i}.mp3" 2>/dev/null
done
→ Llamar al Paso 2c para cada segmento secuencialmente (el paralelismo provoca timeout 524 de Groq), concatenar resultados
Paso 2c: Transcripción Whisper
Requisito previo: variable de entorno GROQ_API_KEY
# Verificar clave API
if [ -z "$GROQ_API_KEY" ]; then
echo "❌ GROQ_API_KEY no está configurada. Obtén una en: https://console.groq.com/keys"
exit 1
fi
# Transcribir archivo único (reemplazar AUDIO_FILE con la ruta real)
curl -s -X POST "https://api.groq.com/openai/v1/audio/transcriptions" \
-H "Authorization: Bearer $GROQ_API_KEY" \
-H "Content-Type: multipart/form-data" \
-F "file=@AUDIO_FILE" \
-F "model=whisper-large-v3-turbo" \
-F "response_format=verbose_json" \
-F "language=zh" \
> /tmp/media_transcript.json
# Extraer texto plano
python3 -c "import json; print(json.load(open('/tmp/media_transcript.json'))['text'])"
Opciones del modelo Whisper:
| Modelo | Velocidad | Precisión | Caso de Uso |
|---|---|---|---|
whisper-large-v3-turbo | 10x tiempo real | Alta | Opción por defecto |
whisper-large-v3 | 5x tiempo real | Máxima | Contenido profesional/ruidoso |
Parámetro de idioma:
- Chino:
language=zh - Inglés:
language=en - Detección automática: omitir el parámetro de idioma
Paso 3: Resumen Estructurado
Elegir formato de salida según el tipo de medio:
Video (≤20 min):
- Resumen General (1-2 oraciones)
- Puntos Clave (3-5 viñetas)
- Citas Destacadas (si las hay)
- Acciones a Seguir (si aplica)
Podcast (>20 min):
- Resumen General (2-3 oraciones: quién habló de qué)
- Resumen por Capítulos (segmentado por tema, 2-3 oraciones cada uno)
- Puntos Clave (5-8 viñetas)
- Citas Destacadas
- Acciones a Seguir (si aplica)
Formato de Salida
Video
## 📺 Resumen de Video
**Título**: [Título del Video]
**Duración**: [x minutos]
**Idioma**: [Chino/Inglés]
### Resumen General
[Resumen de 1-2 oraciones]
### Puntos Clave
1. [Punto 1]
2. [Punto 2]
...
### Citas Destacadas
> "xxx" — [marca de tiempo]
### Acciones a Seguir
- [si aplica]
Podcast
## 🎙️ Resumen de Podcast
**Programa**: [Nombre del Podcast]
**Episodio**: [Título del Episodio]
**Duración**: [x minutos]
**Invitados**: [si los hay]
### Resumen General
[2-3 oraciones: quién habló de qué, conclusiones principales]
### Resumen por Capítulos
#### 1. [Tema] (~xx:xx-xx:xx)
[2-3 oraciones de contenido principal]
#### 2. [Tema] (~xx:xx-xx:xx)
[2-3 oraciones de contenido principal]
...
### Puntos Clave
1. [Punto 1]
2. [Punto 2]
...
### Citas Destacadas
> "xxx"
### Acciones a Seguir
- [si aplica]
Manejo de Errores
| Situación | Acción |
|---|---|
| Sin subtítulos + sin GROQ_API_KEY | Solicitar al usuario que configure la clave API |
| Sin subtítulos + con clave API | Transcripción automática con Whisper |
| Extracción Xiaoyuzhou con curl vacía | Usar Puppeteer/navegador para obtener HTML renderizado |
| Audio >25MB | Segmentar con ffmpeg (10min/segmento), transcribir secuencialmente |
| Podcast >2 horas | Advertir al usuario sobre la duración, confirmar antes de continuar |
| Timeout 524 de Groq | NO paralelizar — transcribir secuencialmente, esperar 5-8s entre segmentos |
| Límite de tasa 429 de Groq | Límite de 7200s/hora, esperar cabecera retry-after, luego reintentar |
| Bilibili 412 de yt-dlp | Usar API de Bilibili en su lugar (Paso 1d) |
| Detección de bot en YouTube de yt-dlp | Añadir --cookies-from-browser chrome |
| Timeout de red | Reintentar una vez |
| Enlaces de Spotify | Informar al usuario: no soportado (protegido por DRM) |
Límites de Groq Whisper
- Máximo 25MB por solicitud
- Nivel gratuito: 7200 segundos de audio/hora (ventana móvil), ~20 horas/día
- Formatos soportados: mp3, mp4, mpeg, mpga, m4a, wav, webm
Dependencias
yt-dlp: descarga de video + extracción de subtítulosffmpeg: conversión de audio + segmentacióncurl: descarga de audio Xiaoyuzhou, API de BilibiliGROQ_API_KEY: API de transcripción Whisper (gratis en https://console.groq.com/keys)