Communitygithub.com

Observação de Vídeo

Inspecione ações em vídeos de referência, atenção ampla, diálogo falado e reações de parceiros. Use planos de cena e recortes contextuais, com transcrição opcional de fala local ou legendas importadas, para conectar o que é dito a quem age ou responde. Mantenha evidências visíveis, derivadas de áudio e interpretadas distintas.

O que é Observação de Vídeo?

Esta skill permite que um assistente de IA entenda performances visíveis ao público em vídeos, focando em quem presta atenção a quem ou ao quê, ações, respostas corporais e reações de parceiros. Ela utiliza ferramentas locais de observação de imagem, sem depender de pesos de modelo ou APIs de nuvem, e suporta transcrição opcional de fala ou importação de legendas. É útil para manter evidências visuais, auditivas e interpretadas separadas, ajudando o modelo a basear suas conclusões apenas no que realmente foi observado nos frames. A skill orienta o assistente a verificar imagens antes de explicar, distinguir fatos visíveis de interpretações, lidar com incertezas e evitar suposições não fundamentadas, garantindo que o trabalho seja concluído sem exigir confirmações rotineiras do usuário.

Funciona com~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/SharingYu/video-performance-skills/tree/HEAD/skills/video-observation

Perguntar na sua IA favorita

Abre um novo chat com esta habilidade de agente já pré-carregada.

Documentação

O que Observação de Vídeo faz?

Ajude o assistente existente a entender uma performance comum e visível ao público: quem atende a quem ou ao quê, o que fazem ou dizem, como o corpo responde e como um parceiro reage. Não transforme uma pergunta ampla sobre atuação em medição precisa de músculos faciais, esqueleto ou olhar.

Responda no idioma do usuário e preserve o escopo solicitado. Leia o fluxo de trabalho de observação de imagem para comandos, tratamento de evidências e transferência. Sua ferramenta CPU usa estas dependências, sem pesos de modelo ou API de nuvem. Quando a fala pode carregar significado narrativo ou uma dica de reação, leia também o fluxo de trabalho de diálogo: ASR local opcional ou legendas importadas suportam a mesma linha do tempo de origem, mas não certificam a escuta nem identificam um personagem visível.

Observe antes de explicar

  1. Cubra os planos. Inspecione as imagens de visão geral antes de decidir quais momentos importam. Os limites de corte automáticos são candidatos a navegação, não piadas detectadas ou limites de cena garantidos. As poses da visão geral não estabelecem todas as ações entre elas.
  2. Volte a uma pergunta. Se uma fala, ação interrompida ou resposta do parceiro não estiver clara, solicite uma janela curta ao redor dela. Comece com os quatro quadros por segundo padrão; aumente a amostragem ou abra um quadro original apenas quando a pergunta exigir. Não amplie exaustivamente cada momento.
  3. Mantenha a relação visível. Verifique a composição completa junto com um recorte útil. Um rosto sozinho pode esconder seu alvo de atenção; uma mão isolada pode esconder a dica do parceiro.
  4. Escreva fatos visíveis primeiro. Descreva direção aproximada, aproximação ou afastamento, mudanças de ação, resposta do parceiro e resultado. Separe direção corporal/de cabeça, direção legível dos olhos e o objeto sendo manuseado. Use linguagem qualificada para um alvo de atenção aparente; uma direção de olhos ilegível pode permanecer desconhecida sem bloquear o resto da cena.
  5. Verifique a incerteza importante. Um observador independente pode inspecionar o mesmo material antes de receber a primeira interpretação. Use o desacordo para escolher uma visão de retorno útil. A concordância entre assistentes não é verdade absoluta. Pare de repetir visões quando a fonte não puder resolver a pergunta; retenha a incerteza e continue o trabalho útil.

Para uma recriação de referência, estabeleça se o diálogo está presente e qual cobertura foi realmente obtida. Conecte falas relevantes ao falante, ação e resposta do ouvinte usando o fluxo de trabalho de diálogo. Uma trilha de áudio, resultado de ASR silencioso ou arquivo de legenda sozinho não pode estabelecer que a cena não tem fala.

Torne a observação real

A ferramenta exporta imagens e metadados. Um caminho, mensagem de sucesso, contagem de quadros, legenda ou decodificação completa não é evidência de que o assistente viu as imagens. Abra o views[].image_path relevante com a ferramenta de visualização de imagem do host ou inspecione o conteúdo real da imagem retornado ao host. Em seguida, registre os IDs de visualização reais com note.

Verifique a resposta do host para imagens omitidas ou descartadas. Se um lote for truncado, reabra as visualizações ausentes em lotes menores antes de registrá-las. Chamar uma ferramenta de imagem não é suficiente quando sua saída de imagem nunca alcançou o modelo.

Mantenha observação, interpretação e perguntas em aberto distintas. Vincule afirmações à versão da fonte fornecida e aos quadros visualizados. Lacunas de amostragem permanecem lacunas; não ver uma resposta em alguns quadros não prova que ela nunca aconteceu.

Sequências estáticas suportam poses e ordem visível. Elas não estabelecem ritmo cômico em tempo real ou qualidade audível. Registre esses limites em vez de afirmar reprodução ou escuta. Complete o trabalho disponível ao host sem tornar a confirmação rotineira do usuário por plano uma dependência.

Entregue ações amplas verificadas e detalhes não resolvidos ao fluxo de trabalho de adaptação, planejamento de planos ou revisão do usuário. Se performance-direction já estiver disponível, seu cartão de evento pode consumir essas observações; esta skill não o exige nem a qualquer backend de produção específico.

As ferramentas incluídas não fazem nenhuma solicitação de API de modelo; a observação de imagem e a importação de transcrições não precisam de modelo de fala. A transcrição opcional requer arquivos de modelo local preparados separadamente e o extra de fala. Ela não substitui silenciosamente um serviço de nuvem. Revisão adicional em nuvem é externa: use-a apenas dentro da autorização da tarefa e, quando nenhum custo extra de API for exigido, após confirmar que o projeto/modelo real está em um nível gratuito. Um site gratuito ou uma chave não verificada não é prova de uma API gratuita. Serviço ou cota indisponível deixa o fluxo de trabalho de importação de imagem local utilizável.

Reconhecimentos e limites da fonte: fontes.

Individual skills in this repo

This repo contains 1 individual skill — each has its own dedicated page.

Habilidades Relacionadas