dhar174/hugging-face-vision-trainer

O que hugging-face-vision-trainer faz?

Treina e ajusta modelos de visão computacional para detecção de objetos (D-FINE, RT-DETR v2, DETR, YOLOS), classificação de imagens (modelos timm — MobileNetV3, MobileViT, ResNet, ViT/DINOv3 — além de qualquer classificador Transformers) e segmentação SAM/SAM2 usando Hugging Face Transformers e Hugging Face Jobs.

Visão Geral

Esta skill permite que você treine ou ajuste modelos de visão de última geração aproveitando a infraestrutura do Hugging Face. Você pode trabalhar com conjuntos de dados populares ou personalizados, e a skill gerencia automaticamente o ambiente de treinamento, configuração de GPU e registro de modelos.

Recursos

• Detecção de objetos: D-FINE, RT-DETR v2, DETR, YOLOS
• Classificação de imagens: modelos timm (MobileNetV3, MobileViT, ResNet, ViT/DINOv3) e classificadores Transformers
• Segmentação: SAM e SAM2
• Plataforma de treinamento: Hugging Face Jobs (treinamento gerenciado)
• Gerenciamento de dados: suporte para conjuntos de dados do Hugging Face Datasets ou upload customizado
• Registro de modelos: upload automático para o Hugging Face Hub

Como Usar

1. Prepare seu conjunto de dados: use um dataset do Hugging Face ou faça upload dos seus dados no formato esperado.
2. Configure o treinamento: defina a tarefa, o modelo base, hiperparâmetros e recursos de computação.
3. Execute: a skill submete um job no Hugging Face Jobs, gerencia o treinamento e salva o modelo final no Hub.

Exemplo de Comando

# Exemplo de uso via CLI ou interface da skill
python train.py --task detection --model D-FINE --dataset coco --epochs 50 --batch-size 16

Dependências

• transformers
• datasets
• accelerate
• torch
• timm (para classificação)
• huggingface_hub

Notas

• Certifique-se de ter um token do Hugging Face configurado via variável de ambiente HUGGINGFACE_TOKEN.
• Para segmentação SAM/SAM2, é necessário baixar os checkpoints oficiais.
• A skill suporta aceleração por GPU automaticamente quando disponível.