Communitygithub.com

Pipeline de Vídeo Semântico

Cria e gerencia pipelines de processamento de vídeo semântico. Útil para extrair, analisar e indexar conteúdo de vídeo com base em descrições semânticas.

O que é Pipeline de Vídeo Semântico?

Esta skill habilita a criação de pipelines de processamento de vídeo orientados por semântica, permitindo que agentes de IA e desenvolvedores extraiam metadados, realizem análise de conteúdo e indexem vídeos com base em descrições textuais. Ela suporta operações como transcrição, detecção de objetos, reconhecimento facial e análise de cena, integrando-se com serviços de armazenamento e bancos de dados vetoriais para busca semântica. A skill é útil para aplicações que exigem compreensão avançada de conteúdo multimídia, como moderação automática, recomendação de vídeos e assistentes virtuais. Ela funciona através de uma arquitetura declarativa, onde o usuário define os estágios do pipeline usando uma sintaxe simples, e o sistema orquestra a execução distribuída, lidando com escalabilidade e tolerância a falhas.

Funciona com~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/Adrian7373/semantic-video-pipeline/tree/HEAD/packages/database/.agents/skills/prisma-composer-core-concepts

Perguntar na sua IA favorita

Abre um novo chat com esta habilidade de agente já pré-carregada.

Documentação

O que Pipeline de Vídeo Semântico faz?

Uma pipeline de vídeo semântico é uma árvore de estágios declarados em TypeScript que define o fluxo de processamento de um vídeo, desde a ingestão até a indexação semântica. O pipeline é executado por meio do comando pipeline run, e cada estágio é uma unidade atômica de processamento.

Conceitos Principais

Pipeline

Uma pipeline é um grafo acíclico de estágios, onde cada estágio recebe a saída do estágio anterior e produz uma nova saída. A pipeline é definida em um arquivo pipeline.ts e pode ser executada localmente ou em produção.

// pipeline.ts
import { pipeline, stage } from 'semantic-video-pipeline';

export default pipeline('video-analysis', ({ addStage }) => {
  addStage(stage('transcribe', { model: 'whisper' }));
  addStage(stage('analyze', { model: 'clip' }));
  addStage(stage('index', { database: 'pinecone' }));
});

Estágios

Cada estágio é declarado com stage() e possui um nome, um modelo (por exemplo, whisper, clip, detectron2) e uma configuração. Eles são executados em ordem, e o resultado de cada estágio é passado para o próximo.

EstágioModeloDescrição
TranscriçãowhisperTranscreve o áudio do vídeo
Detecção de Objetosdetectron2Detecta objetos em cada frame
Análise de CenaclipAnalisa a semântica da cena
IndexaçãopineconeIndexa os vetores no banco vetorial

Execução

A pipeline é executada com o comando:

pipeline run pipeline.ts --input video.mp4 --output results/

Você também pode executar estágios individualmente:

pipeline run pipeline.ts --stage transcribe

Configuração

A configuração é feita no arquivo pipeline.config.ts:

// pipeline.config.ts
import { defineConfig } from 'semantic-video-pipeline/config';

export default defineConfig({
  storage: 's3',
  database: 'pinecone',
  models: {
    whisper: { version: 'large-v3' },
    clip: { version: 'ViT-L-14' },
  },
});

Integração com Armazenamento

A pipeline suporta múltiplos backends de armazenamento: s3, gcs, e local. O estágio de ingestão baixa o vídeo do backend configurado, e o estágio de saída faz upload dos resultados.

Indexação Vetorial

Após a análise, os vetores semânticos são indexados em um banco vetorial (Pinecone, Weaviate, Qdrant). A indexação é feita automaticamente no estágio index.

Tratamento de Erros

Cada estágio pode falhar. O pipeline possui um mecanismo de retry e fallback configurável:

stage('analyze', {
  model: 'clip',
  retries: 3,
  fallback: 'detectron2',
});

Exemplo Completo

// pipeline.ts
import { pipeline, stage } from 'semantic-video-pipeline';
import { defineConfig } from 'semantic-video-pipeline/config';

export default pipeline('complete-analysis', ({ addStage }) => {
  addStage(stage('ingest', { storage: 's3', bucket: 'my-videos' }));
  addStage(stage('transcribe', { model: 'whisper' }));
  addStage(stage('analyze', { model: 'clip' }));
  addStage(stage('index', { database: 'pinecone', namespace: 'videos' }));
  addStage(stage('export', { format: 'json', path: 'results/' }));
});

Execute:

pipeline run pipeline.ts --input video.mp4

Observação

Para detalhes completos e atualizações, consulte a documentação oficial em https://docs.semantic-video-pipeline.dev.

Individual skills in this repo

This repo contains 1 individual skill — each has its own dedicated page.

Habilidades Relacionadas