entendimento-de-video

Entendimento de Vídeo

Construa a camada de evidência compartilhada uma única vez. Mantenha as observações no tempo da fonte e deixe as decisões editoriais para habilidades downstream.

Esta habilidade é um pré-requisito para /video-cut, /video-to-shorts, /video-add-captions, /video-add-content-cards e /video-add-graphic-motion. Execute-a primeiro para que essas habilidades consumam a mesma evidência validada e linha do tempo.

Dependências

Requer ffmpeg/ffprobe, Python e faster-whisper para transcrição. Verifique-os antes de processar a mídia.

Fluxo de Trabalho

1. Inicialize um projeto a partir da fonte original:

   python scripts/init_project.py path/to/source.mp4 path/to/my-video-project
   

   Isso cria input/, review/00-video-understanding/, final/, a árvore mínima work/ voltada para máquina, uma linha do tempo de identidade, project.json, fatos de mídia e START-HERE.md. Não cria pastas para operações de edição não selecionadas.

2. Sonda novamente apenas quando a fonte precisar de uma atualização explícita de metadados:

   python scripts/probe.py input/original-video.mp4 work/understand/media.json
   

3. Extraia áudio mono de 16 kHz e transcreva-o:

   ffmpeg -y -i input/original-video.mp4 -ac 1 -ar 16000 work/cache/audio16k.wav
   python scripts/transcribe.py work/cache/audio16k.wav work/understand/transcript medium `
     --lang auto --cache-dir work/cache/faster-whisper
   

   Use --lang auto para fala desconhecida ou multilíngue. Nunca infira o idioma falado a partir do idioma do prompt do usuário. Passe um idioma fixo como --lang zh apenas quando o próprio áudio ou metadados explícitos do usuário o estabelecerem. Mantenha os downloads do modelo em cache local do projeto work/cache/faster-whisper/. O Faster-whisper pode emitir uma palavra ocasional com temporização pontual com valores de início/fim iguais; o mapeador de linha do tempo compartilhado preserva-a como um intervalo de 1 ms para que legendas e derivadas não percam texto silenciosamente.

4. Gere métricas objetivas e candidatos semânticos:

   python scripts/analyze.py work/understand/transcript.json work/understand/analysis.json
   

5. Leia a fonte, a transcrição e a análise. Crie work/understand/understanding.json com sumários factuais, intervalos de tempo da fonte, confiança e evidências da transcrição. Não prescreva cortes, cartões ou aparências.

6. Valide antes do uso downstream:

   python scripts/validate.py understanding work/understand/understanding.json work/understand/transcript.json
   

7. Crie apenas estes artefatos de revisão úteis em review/00-video-understanding/: video-summary.md, transcript.srt e contact-sheet.jpg. Verifique metadados, timestamps, referências de evidência e quadros visíveis. Não substitua PNG ou nomes de arquivo ad hoc pelos nomes do protocolo.

8. Marque o check.status da operação de entendimento como pass somente após os artefatos de revisão e a evidência semântica serem validados. O status do ciclo de vida da operação e o resultado da verificação são separados; nunca escreva verified em check.status.

Contratos

• Leia project-schema.md ao criar ou validar project.json.
• Leia timeline-schema.md ao mapear tempo da fonte e do programa.
• Leia understanding-schema.md antes de criar entendimento semântico.
• Use understanding.example.json como um exemplo compacto.

Todos os arquivos de máquina duráveis ficam em work/understand/. Trate work/cache/ como descartável.