Communitygithub.com

curiositech/windags-skills

Especialista em ferramentas de anotação 3D para visão computacional, fluxos de trabalho de rotulagem assistida por IA para LiDAR, nuvens de pontos e fusão de sensores. Cobre SAM4D/Point-SAM, arquiteturas human-in-the-loop e estratégias de treinamento verticais.

O que é windags-skills?

Esta skill é uma fonte de conhecimento abrangente para profissionais que trabalham com anotação de dados 3D, especialmente em nuvens de pontos (LiDAR). Ela fornece orientação especializada sobre ferramentas comerciais e de código aberto, como BasicAI e Supervisely, e explica as arquiteturas de ponta para segmentação 3D, como SAM4D e Point-SAM. A skill também detalha fluxos de trabalho modernos de 'human-in-the-loop', onde a IA pré-rotula os dados e os humanos validam apenas as áreas incertas, aumentando drasticamente a eficiência. Ela ajuda o usuário a tomar decisões críticas, como quando usar modelos especializados (ex: YOLO, PointPillars) versus grandes modelos de linguagem visual (VLMs) e como arquitetar soluções híbridas para cenários como direção autônoma, inspeção de infraestrutura e agricultura. Por fim, a skill alerta sobre anti-padrões comuns, como usar SAM 2D diretamente em dados 3D ou pular a validação humana, garantindo que o usuário evite erros caros em projetos de visão computacional.

Funciona com~Claude Code~Codex CLI~Cursor✓Gemini CLI
npx skills add https://github.com/curiositech/windags-skills/tree/HEAD/skills/3d-cv-labeling-2026

Perguntar na sua IA favorita

Abre um novo chat com esta habilidade de agente já pré-carregada.

Documentação

Especialista em Rotulagem 3D para Visão Computacional (2026)

Orientação especializada em ferramentas de anotação 3D, fluxos de trabalho de rotulagem assistida por IA e arquiteturas de treinamento para visão computacional LiDAR/nuvem de pontos em veículos autônomos, robótica, inspeção de infraestrutura e aplicações geoespaciais.

Quando Usar Esta Skill

✅ Use para:

  • Selecionar ferramentas de anotação de nuvens de pontos 3D (BasicAI, Supervisely, Segments.ai, Deepen AI)
  • Implementar SAM4D/Point-SAM para fluxos de trabalho de rotulagem automática
  • Projetar pipelines de anotação human-in-the-loop
  • Anotação de fusão de sensores (câmera + LiDAR + radar)
  • Decisões de arquitetura de treinamento: modelos especializados vs VLMs
  • Detecção 3D vertical específica (direção autônoma, inspeção, agricultura, incêndios florestais)

❌ NÃO use para:

  • Rotulagem de imagens 2D sem contexto 3D (use clip-aware-embeddings ou Label Studio docs)
  • Treinamento geral de modelos ML (use ml-engineer)
  • Anotação de vídeo sem nuvens de pontos (use computer-vision-pipeline)
  • Engenharia de prompt para VLM (use prompt-engineer)
  • Fotogrametria/reconstrução 3D (use ferramentas de geo processamento)

Panorama de Ferramentas 2026

Líderes Comerciais

FerramentaPontos FortesMelhor ParaPrincipal Funcionalidade de IA
BasicAIDetecção em um cliqueDireção autônomaModelos de pré-rotulagem ajustados para AV
SuperviselyPersonalizaçãoEquipes de P&DRastreamento de IA, 2D→3D em um clique
Segments.aiSincronia 2D+3DPercepção robóticaPropagação sequencial
Deepen AICalibração de sensoresPercepção internaMultissensor perfeito
DataloopMLOps empresarialGrandes equipes de anotaçãoAssistido por modelo + Foco em Nuvem de Pontos
EncordFluxo de trabalho completoProjetos multimodaisGerenciamento de Track-ID
Ango Hub (iMerit)Anotação densaMultimodal complexoPropagação quadro a quadro

Opções de Código Aberto

FerramentaMaturidadeLimitações
CVATEstávelApenas caixas delimitadoras 3D, interpolação limitada
3D BATBoaAnotação de entorno completo, rastreamento semi-automático
Label StudioParcial 3DMelhor para multiformato, não especializado em 3D

Evolução do SAM para 3D (2024-2026)

SAM4D (ICCV 2025) - Multimodal + Temporal

Inovação principal: O Codificador Posicional Multimodal Unificado (UMPE) alinha câmera e LiDAR em um espaço 3D compartilhado.

Fluxo da Câmera → Extração de Características → ┐
                                                  ├→ Alinhamento UMPE → Segmentação 3D Acionável
Fluxo do LiDAR → Codificação de Pontos     → ┘

Avanço do mecanismo de dados: Geração automática de pseudo-rótulos 100x+ mais rápida que anotação humana usando:

  1. Máscaras de vídeo conduzidas por VFM
  2. Reconstrução 4D espaço-temporal
  3. Fusão de máscaras multimodais

Dataset: Waymo-4DSeg (mais de 300 mil máscaras alinhadas câmera-LiDAR)

Point-SAM (ICLR 2025) - Solicitação Nativa 3D

Arquitetura: Transformer eficiente projetado especificamente para nuvens de pontos (não adaptado de 2D).

Destilação de conhecimento: 2D SAM → 3D Point-SAM via mecanismo de dados que gera:

  • Pseudo-rótulos de nível de partes
  • Pseudo-rótulos de nível de objeto

Benchmarks: Supera o estado da arte em datasets internos (ScanNet) e externos (nuScenes, Waymo).

SAMNet++ (2025) - Pipeline Híbrido

Abordagem em dois estágios:

  1. SAM realiza segmentação não supervisionada
  2. PointNet++ adaptado refina para precisão semântica

Melhor para: Fluxos de trabalho com drones/UAV onde nuvens de pontos colorizadas de LiDAR L1 + câmeras RGB estão disponíveis.


Arquitetura Human-in-the-Loop

O Paradigma Model-in-the-Loop (2023-2026)

Abordagem antiga: Humano rotula → Treina modelo → Implanta Nova abordagem: Modelo auxilia → Humano valida → Iteração rápida

┌─────────────────────────────────────────────────────────┐
│                    PIPELINE DE ROTULAGEM                 │
├─────────────────────────────────────────────────────────┤
│  Dados Brutos → Pré-rotulagem IA → Revisão Humana → QA  │
│        │                │                │          │   │
│        │          SAM4D/VLM          Correções   Amostragem│
│        │          gera               apenas onde  de     │
│        │          propostas          IA incerta   consenso│
└─────────────────────────────────────────────────────────┘

Ganhos de Eficiência

AbordagemTempo para 10k quadrosQualidade da Anotação
Apenas manual400 horas95% (especialista)
Pré-rotulagem IA + revisão50 horas97% (IA+humano)
Mecanismo de dados SAM4D4 horas92% (pseudo)

A regra 80/20: ~80% do tempo de projetos de ML é preparação de dados. Model-in-the-loop reduz isso drasticamente.

Estratégias de Garantia de Qualidade

  1. Amostragem de consenso: Múltiplos anotadores em um subconjunto, medir concordância
  2. Aprendizado ativo: Roteirizar previsões incertas para especialistas
  3. Revisão em camadas: Nível 1 (objetos críticos) obtém validação de especialistas, Nível 2/3 usa limites de confiança de IA

Por que Treinamento Especializado > VLMs para 3D

A Troca Central

AspectoEspecializado (YOLO, PointPillars)VLMs (GPT-4V, Gemini)
Latência10-50ms (tempo real)500-2000ms
Precisão 3DFortes prioris geométricasAlinhamento texto-3D ruidoso
Objetos novosConjunto fechado (o que treina)Vocabulário aberto
ComputaçãoImplantável em bordaCluster GPU necessário
AlucinaçõesNenhuma (determinístico)Sim (risco crítico de segurança)
Mudança de domínioDificuldade (nevoeiro, noite)Melhor generalização

Quando Usar Cada Um

Use Modelos Especializados Quando:

  • Inferência em tempo real necessária (veículos autônomos, robótica)
  • Classes de objetos conhecidas (defeitos de infraestrutura, tipos de cultura)
  • Implantação crítica de segurança (não pode tolerar alucinações)
  • Implantação em borda (drones, sistemas embarcados)

Use VLMs/Modelos Fundacionais Quando:

  • Exploração zero-shot de novos domínios
  • Geração de dados de treinamento (rótulos fracos)
  • Requisitos de vocabulário aberto ("encontre qualquer coisa danificada")
  • Inicialização de adaptação de domínio

A Arquitetura Híbrida (Melhores Práticas 2025+)

                    ┌───────────────────────────────────┐
                    │   VLM (Cérebro Lento)            │
                    │  • Compreensão da cena           │
                    │  • Vocabulário aberto            │
                    │  • Detecção de anomalias         │
                    └──────────┬───────────────────────┘
                               │ Contexto de alto nível
                               ▼
┌──────────────────────────────────────────────────────────┐
│              Detector Especializado (Cérebro Rápido)     │
│  • Inferência em tempo real (YOLO, PointPillars, CenterPoint)│
│  • Detecção e rastreamento de objetos conhecidos        │
│  • Decisões críticas de segurança                       │
└──────────────────────────────────────────────────────────┘

Exemplos:

  • VOLTRON: YOLOv8 + LLaMA2 para identificação de perigos
  • DrivePI: Nuvens de pontos + multivisão + instruções em linguagem (0.5B Qwen2.5)

Arquitetura de Treinamento Vertical Específica

Inspeção de Infraestrutura

Objetos: Postes de utilidade pública, isoladores, condutores, vegetação, tipos de danos Fusão de sensores: RGB + térmica + LiDAR Necessidades de dados de treinamento:

  • Amostras de anomalias térmicas (temperaturas variadas)
  • Taxonomia de danos (trincas, corrosão, níveis de ferrugem)
  • Medições de afastamento da vegetação

Arquitetura:

LiDAR → Codificador de nuvem de pontos → ┐
Térmica → Codificador 2D             → ├→ Fusão → Cabeça multitarefa
RGB → Codificador 2D                 → ┘          ├→ Detecção de objetos
                                                   ├→ Classificação de defeitos
                                                   └→ Regressão de afastamento

Direção Autônoma

Objetos: Veículos, pedestres, ciclistas, placas de trânsito, marcações de faixa Requisito principal: Consistência temporal (track-IDs entre quadros) Necessidades de dados de treinamento:

  • Cenários de cauda longa (veículos de emergência, animais, detritos)
  • Clima adverso (nevoeiro, chuva, neve, noite)
  • Casos extremos (zonas de construção, acidentes)

Arquitetura: CenterPoint, PointPillars, ou detectores baseados em voxel com representação BEV (Bird's Eye View).

Agricultura/Incêndios Florestais

Objetos: Fileiras de culturas, altura do dossel, carga de combustível, limites de propagação do fogo Fusão de sensores: RGB + multiespectral + LiDAR Necessidades de dados de treinamento:

  • Estágios de crescimento das culturas
  • Assinaturas visuais de doenças/pragas
  • Densidade de carga de combustível do CHM (Modelo de Altura do Dossel) LiDAR

Por que não apenas VLM? VLMs não podem:

  • Medir alturas precisas (regressão LiDAR)
  • Classificar em comprimentos de onda hiperespectrais
  • Manter precisão espacial para mapas de prescrição

Anti-Padrões Comuns

Anti-Padrão: "Apenas Use SAM em Tudo"

Pensamento iniciante: "SAM segmenta qualquer coisa, então vou apenas executá-lo nos meus dados LiDAR"

Realidade:

  • SAM 1/2 são modelos 2D — eles não entendem geometria 3D
  • Nuvens de pontos precisam de Point-SAM ou SAM4D especificamente
  • A aplicação bruta produz máscaras ruidosas sem prioris geométricas

Abordagem correta: Use Point-SAM para 3D nativo, ou projete para 2D para SAM → eleve de volta para 3D.

Anti-Padrão: Pular Validação Humana

Pensamento iniciante: "Pré-rótulos de IA têm 95% de precisão, podemos pular a revisão"

Realidade:

  • Erro de 5% em 100k objetos = 5.000 rótulos errados
  • Erros se acumulam em casos extremos (exatamente onde você precisa de precisão)
  • O modelo aprende a reproduzir erros de anotação

Abordagem correta: Nível 1 (crítico de segurança) sempre validado por humanos. Use limites de confiança para Nível 2/3.

Anti-Padrão: VLM para Inferência em Tempo Real

Pensamento iniciante: "GPT-4V pode identificar danos nas minhas fotos"

Realidade:

  • Latência de 500-2000ms por quadro
  • Não pode ser executado em dispositivos de borda
  • Risco de alucinação em contextos críticos de segurança

Abordagem correta: Use VLM para geração/exploração de dados, modelo especializado para implantação.

Anti-Padrão: Treinamento Monomodal

Pensamento iniciante: "LiDAR é suficiente para detecção 3D"

Realidade:

  • LiDAR: Geometria precisa, sem cor/textura
  • Câmera: Semântica rica, sem profundidade
  • Fusão supera monomodal em 5-15% mAP

Abordagem correta: Fusão de sensores desde o primeiro dia. SAM4D mostra pseudo-rótulos de fusão > monomodal.


Árvore de Decisão: Escolhendo Sua Abordagem

                        Você precisa de inferência em tempo real?
                              /                  \
                           SIM                    NÃO
                            |                      |
                    Use detector            É exploração?
                    especializado              /        \
                    (YOLO, CenterPoint)      SIM         NÃO
                            |                  |           |
                    Tem dados rotulados?  Use VLM     Gere pseudo-
                      /        \          para zero-    rótulos com
                   SIM         NÃO        shot         SAM4D
                    |            |
              Treine modelo    Use SAM4D/
                             Point-SAM para
                             rotulagem automática

Matriz de Decisão de Seleção de Ferramenta

RequisitoFerramenta Recomendada
Direção autônoma em escalaDeepen AI ou BasicAI
Flexibilidade de P&D/pesquisaSupervisely ou Segments.ai
Multimodal (câmera+LiDAR+radar)Ango Hub ou Dataloop
Auto-hospedado/código abertoCVAT + plugins 3D ou 3D BAT
Percepção robóticaSegments.ai (sincronia 2D+3D)
Orçamento limitadoLabel Studio + scripts personalizados

Referências

  • /references/sam4d-architecture.md - Aprofundamento sobre SAM4D UMPE e mecanismo de dados
  • /references/tool-comparison-matrix.md - Comparação detalhada de funcionalidades de todas as ferramentas
  • /references/hybrid-architecture-examples.md - Padrões de implementação VOLTRON, DrivePI
  • /references/vertical-training-recipes.md - Especificidades de infraestrutura, AV, agricultura

Fontes

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

curiositech/windags-skills

Expert in 2000s-era music visualization (Milkdrop, AVS, Geiss) and modern WebGL implementations. Specializes in Butterchurn integration, Web Audio API AnalyserNode FFT data, GLSL shaders for audio-reactive visuals, and psychedelic generative art. Activate on "Milkdrop", "music visualization", "WebGL visualizer", "Butterchurn", "audio reactive", "FFT visualization", "spectrum analyzer". NOT for simple bar charts/waveforms (use basic canvas), video editing, or non-audio visuals.

curiositech/windags-skills

Expert legal research agent for finding and scraping expungement data state by state. Knows authoritative sources, URL patterns, Firecrawl configuration, and 2026 legal landscape.

curiositech/windags-skills

Implement WCAG 2.2 AA/AAA compliance with automated testing, keyboard navigation, screen reader support, and focus management. Activate on: accessibility audit, WCAG compliance, keyboard navigation, screen reader, aria attributes, axe-core, focus trap. NOT for: design-level accessibility review (use design-accessibility-auditor), color contrast only (use css-in-js-architect).

curiositech/windags-skills

Time-blind friendly planning, executive function support, and daily structure for ADHD brains. Specializes in realistic time estimation, dopamine-aware task design, and building systems that actually work for neurodivergent minds.

curiositech/windags-skills

Designs digital experiences for ADHD brains using neuroscience research and UX principles. Expert in reducing cognitive load, time blindness solutions, dopamine-driven engagement, and compassionate design patterns. Activate on 'ADHD design', 'cognitive load', 'accessibility', 'neurodivergent UX', 'time blindness', 'dopamine-driven', 'executive function'. NOT for general accessibility (WCAG only), neurotypical UX design, or simple UI styling without ADHD context.

curiositech/windags-skills

>- Apply crisis decision-making research to agent routing, uncertainty triage, and coordination failure analysis in time-pressured systems. Use when diagnosing handoff failures, analytical paralysis, or expert judgment under incomplete information. NOT for routine coding, simple CRUD design, or static single-agent tasks with complete information.

curiositech/windags-skills

Extend and modify the admin dashboard, developer portal, and operations console. Use when adding new admin tabs, metrics, monitoring features, or internal tools. Activates for dashboard development, analytics, user management, and internal tooling.

curiositech/windags-skills

Conversation patterns and interaction protocols for multi-agent systems. Covers request/response, pub/sub, blackboard, delegation chains, debate, critique, consensus, fan-out/fan-in, supervisor-worker, and peer negotiation. Deep analysis of AutoGen conversation patterns, CrewAI delegation, LangGraph state passing, and FIPA-ACL performatives. Teaches how to design what agents say to each other and in what order. Activate on: "agent conversation", "agent protocol", "multi-agent debate", "agent delegation", "supervisor worker pattern", "agent voting", "consensus protocol", "fan-out fan-in", "agent negotiation", "blackboard pattern", "agent dialogue", "conversation topology", "agent handoff". NOT for: wire format or serialization (use agent-interchange-formats), orchestration infrastructure (use agentic-infrastructure-2026), single agent behavior (use agentic-patterns).

curiositech/windags-skills

Meta-agent for creating new custom agents, skills, and MCP integrations. Expert in agent design, MCP development, skill architecture, and rapid prototyping. Activate on 'create agent', 'new skill', 'MCP server', 'custom tool', 'agent design'. NOT for using existing agents (invoke them directly), general coding (use language-specific skills), or infrastructure setup (use deployment-engineer).

curiositech/windags-skills

AI-powered calendar management and agent-based scheduling coordination. Covers calendar APIs (Google Calendar, CalDAV/iCal), AI scheduling assistants (Reclaim, Clockwise, Motion, Cal.com), building custom calendar agents with MCP, multi-calendar merging, timezone management, focus block protection, meeting fatigue detection, and agent-to-agent meeting negotiation protocols. Activate on: "calendar agent", "AI scheduling", "calendar coordination", "meeting scheduling", "calendar API", "focus time protection", "calendar optimization", "Google Calendar MCP", "Reclaim", "Clockwise", "Motion", "Cal.com", "smart scheduling", "calendar-aware agent", "timezone scheduling", "agent negotiation meetings". NOT for: manual calendar UI component design (use form-validation-architect), project management scheduling or Gantt charts (use project-management-guru-adhd), general time-tracking or pomodoro apps (use adhd-daily-planner for time-awareness), building the agent itself from scratch (use agent-creator).

curiositech/windags-skills

Build and adopt production AI agent infrastructure in 2026. Covers framework selection (LangGraph, CrewAI, AutoGen, MCP), orchestration patterns, evaluation, observability, memory systems, and tool use. Also covers the SOCIAL dimension: how to sell agent infrastructure internally, change management, measuring ROI, building trust in autonomous systems, and scaling adoption across teams. Activate on: "agent infrastructure", "agent framework comparison", "which agent framework", "sell AI tools internally", "agent adoption", "agent observability", "agent evaluation", "MCP architecture", "agentic mesh", "enterprise AI agents", "AI change management", "agent ROI". NOT for: building specific agents (use ai-engineer), designing agent behavior patterns (use agentic-patterns), prompt tuning (use prompt-engineer).

curiositech/windags-skills

Fundamental patterns for effective agentic behavior. Teaches decomposition, tool orchestration, error recovery, context management, quality self-assessment, and knowing when to stop. Model-agnostic principles that make any agent more effective regardless of domain. Activate on: "how should I structure this agent", "agentic workflow", "agent patterns", "multi-step task", "tool orchestration", "/agentic-patterns", "decompose this", "agent best practices", "chain of actions", "when should the agent stop", "agent loop design". NOT for: creating agent infrastructure (use agent-creator), building DAGs (use windags-architect), specific tool implementation.

curiositech/windags-skills

Automated discovery and matching of agent skills for dynamic task routing and capability assessment

curiositech/windags-skills

Cryptographic security for agentic systems — zero-trust agent networking, signed message envelopes (JWS/JWE), capability-based security (ocaps), Merkle tree audit trails, WASM sandboxing, and formal verification. Covers CLI dev tool security, mTLS between agents, permission boundaries (least privilege for AI agents), and supply chain security for skills/plugins. Activate on: "agent security", "zero trust agents", "secure agent communication", "capability-based security", "ocap", "signed messages between agents", "agent audit trail", "sandbox agent execution", "agent permissions", "mTLS agents", "cryptographic verification", "agent supply chain", "OWASP agentic", "prove agent did X", "tamper-proof agent logs". NOT for: application-level SAST scanning (use security-auditor), network firewall rules (use infrastructure), SOC2/HIPAA compliance (organizational), or prompt injection defense (use prompt-engineer).

curiositech/windags-skills

Data structures and serialization formats for agent-to-agent communication. Covers message envelopes, structured output schemas, capability declarations, task handoff payloads, error/retry signaling, and context windows as data structures. Deep comparison of A2A protocol, MCP, OpenAI function calling, and LangChain message types. Teaches when to use rigid schemas vs free-form with validation, typed vs untyped, streaming vs batch. Activate on: "agent message format", "agent communication schema", "agent-to-agent protocol", "A2A protocol", "MCP message format", "structured output for agents", "agent interop", "interchange format", "agent serialization", "task handoff format", "capability declaration". NOT for: what agents say to each other (use agent-conversation-protocols), orchestration topology (use multi-agent-coordination), building agent infrastructure (use agentic-infrastructure-2026).

curiositech/windags-skills

Logic-based agent programming language implementing BDI architecture for practical autonomous agent development

curiositech/windags-skills

>- Design AgentSpeak(L)-style BDI agents with context-guarded plans, selection functions, and intention stacks. Use for interruptible autonomy, agent policy, and multi-agent orchestration in dynamic environments. NOT for simple rule engines, static planners, or centralized workflows.

curiositech/windags-skills

Foundational concurrent computation model where actors communicate exclusively through asynchronous message passing

curiositech/windags-skills

Build production-ready LLM applications, advanced RAG systems, and intelligent agents. Implements vector search, multimodal AI, agent orchestration, and enterprise AI integrations. Use PROACTIVELY for LLM features, chatbots, AI agents, or AI-powered applications.

curiositech/windags-skills

license: Apache-2.0 NOT for unrelated tasks outside this domain.

Habilidades Relacionadas