O que Pipeline de Vídeo Semântico faz?
Uma pipeline de vídeo semântico é uma árvore de estágios declarados em TypeScript que define o fluxo de processamento de um vídeo, desde a ingestão até a indexação semântica. O pipeline é executado por meio do comando pipeline run, e cada estágio é uma unidade atômica de processamento.
Conceitos Principais
Pipeline
Uma pipeline é um grafo acíclico de estágios, onde cada estágio recebe a saída do estágio anterior e produz uma nova saída. A pipeline é definida em um arquivo pipeline.ts e pode ser executada localmente ou em produção.
// pipeline.ts
import { pipeline, stage } from 'semantic-video-pipeline';
export default pipeline('video-analysis', ({ addStage }) => {
addStage(stage('transcribe', { model: 'whisper' }));
addStage(stage('analyze', { model: 'clip' }));
addStage(stage('index', { database: 'pinecone' }));
});
Estágios
Cada estágio é declarado com stage() e possui um nome, um modelo (por exemplo, whisper, clip, detectron2) e uma configuração. Eles são executados em ordem, e o resultado de cada estágio é passado para o próximo.
| Estágio | Modelo | Descrição |
|---|---|---|
| Transcrição | whisper | Transcreve o áudio do vídeo |
| Detecção de Objetos | detectron2 | Detecta objetos em cada frame |
| Análise de Cena | clip | Analisa a semântica da cena |
| Indexação | pinecone | Indexa os vetores no banco vetorial |
Execução
A pipeline é executada com o comando:
pipeline run pipeline.ts --input video.mp4 --output results/
Você também pode executar estágios individualmente:
pipeline run pipeline.ts --stage transcribe
Configuração
A configuração é feita no arquivo pipeline.config.ts:
// pipeline.config.ts
import { defineConfig } from 'semantic-video-pipeline/config';
export default defineConfig({
storage: 's3',
database: 'pinecone',
models: {
whisper: { version: 'large-v3' },
clip: { version: 'ViT-L-14' },
},
});
Integração com Armazenamento
A pipeline suporta múltiplos backends de armazenamento: s3, gcs, e local. O estágio de ingestão baixa o vídeo do backend configurado, e o estágio de saída faz upload dos resultados.
Indexação Vetorial
Após a análise, os vetores semânticos são indexados em um banco vetorial (Pinecone, Weaviate, Qdrant). A indexação é feita automaticamente no estágio index.
Tratamento de Erros
Cada estágio pode falhar. O pipeline possui um mecanismo de retry e fallback configurável:
stage('analyze', {
model: 'clip',
retries: 3,
fallback: 'detectron2',
});
Exemplo Completo
// pipeline.ts
import { pipeline, stage } from 'semantic-video-pipeline';
import { defineConfig } from 'semantic-video-pipeline/config';
export default pipeline('complete-analysis', ({ addStage }) => {
addStage(stage('ingest', { storage: 's3', bucket: 'my-videos' }));
addStage(stage('transcribe', { model: 'whisper' }));
addStage(stage('analyze', { model: 'clip' }));
addStage(stage('index', { database: 'pinecone', namespace: 'videos' }));
addStage(stage('export', { format: 'json', path: 'results/' }));
});
Execute:
pipeline run pipeline.ts --input video.mp4
Observação
Para detalhes completos e atualizações, consulte a documentação oficial em https://docs.semantic-video-pipeline.dev.