Communitygithub.com

DVC (Data Version Control)

Gestion de versions de données pour projets de ML. Suivez les grands ensembles de données et modèles avec Git, construisez des pipelines ML reproductibles et exécutez des expériences avec comparaison de métriques. Fonctionne avec n'importe quel backend de stockage, y compris S3, GCS, Azure et les systèmes de fichiers locaux.

Qu'est-ce que DVC (Data Version Control) ?

DVC (Data Version Control) est un outil open source qui étend Git pour gérer les versions de grands fichiers de données et modèles ML. Il permet de suivre les modifications des ensembles de données, de construire des pipelines reproductibles et de comparer les résultats d'expériences sans stocker les gros fichiers dans Git, en utilisant des fichiers `.dvc` comme pointeurs. DVC s'intègre avec n'importe quel backend de stockage (S3, GCS, Azure, SSH, HDFS, etc.) et prend en charge l'exécution d'expériences avec des paramètres modifiables, la visualisation de métriques et la génération de graphiques. Il fonctionne sur toutes les plateformes compatibles Python et Git, et offre des API en Python pour accéder aux fichiers suivis sans avoir à cloner l'intégralité du dépôt.

Compatible avec~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/TerminalSkills/skills/tree/HEAD/skills/dvc

Demander à votre IA préférée

Ouvre une nouvelle conversation avec cette compétence d'agent déjà préchargée.

Documentation

Que fait DVC (Data Version Control) ?

Installation

# Installer DVC avec le support du stockage cloud
pip install dvc[s3]    # Pour AWS S3
pip install dvc[gs]    # Pour Google Cloud Storage
pip install dvc[azure] # Pour Azure Blob Storage
pip install dvc[all]   # Tous les dépôts distants

# Initialiser DVC dans un dépôt Git
cd mon-projet-ml
git init
dvc init

Suivi des fichiers de données

# track_data.sh — Ajouter de gros fichiers au suivi DVC au lieu de Git
# Ajouter un grand ensemble de données
dvc add data/training_images/
dvc add data/dataset.csv

# DVC crée des fichiers .dvc (petits pointeurs) — commitez-les dans Git
git add data/training_images.dvc data/dataset.csv.dvc .gitignore
git commit -m "Suivi des données d'entraînement avec DVC"

Configuration du stockage distant

# setup_remote.sh — Configurer l'emplacement où DVC stocke le contenu réel des fichiers
# S3
dvc remote add -d myremote s3://mon-bucket/dvc-storage

# Google Cloud Storage
dvc remote add -d myremote gs://mon-bucket/dvc-storage

# Chemin local / réseau
dvc remote add -d myremote /mnt/partage/dvc-storage

# Pousser les données vers le dépôt distant
dvc push

# Récupérer les données depuis le dépôt distant (sur une autre machine ou après un clone)
dvc pull

Construction de pipelines reproductibles

# dvc.yaml — Définir les étapes du pipeline ML avec dépendances et sorties
stages:
  prepare:
    cmd: python src/prepare.py
    deps:
      - src/prepare.py
      - data/raw/
    outs:
      - data/processed/

  train:
    cmd: python src/train.py
    deps:
      - src/train.py
      - data/processed/
    params:
      - train.epochs
      - train.learning_rate
      - train.batch_size
    outs:
      - models/model.pkl
    metrics:
      - metrics/train.json:
          cache: false

  evaluate:
    cmd: python src/evaluate.py
    deps:
      - src/evaluate.py
      - models/model.pkl
      - data/processed/
    metrics:
      - metrics/eval.json:
          cache: false
    plots:
      - metrics/confusion_matrix.csv:
          x: predicted
          y: actual
# params.yaml — Paramètres du pipeline (suivis par DVC)
train:
  epochs: 50
  learning_rate: 0.001
  batch_size: 32
# Exécuter l'ensemble du pipeline (ne relance que les étapes modifiées)
dvc repro

# Exécuter une étape spécifique
dvc repro train

Suivi des expériences

# experiments.sh — Exécuter et comparer des expériences ML
# Exécuter une expérience avec des paramètres modifiés
dvc exp run --set-param train.learning_rate=0.01

# Exécuter plusieurs expériences en parallèle
dvc exp run --set-param train.learning_rate=0.001 --queue
dvc exp run --set-param train.learning_rate=0.01 --queue
dvc exp run --set-param train.learning_rate=0.1 --queue
dvc queue start --jobs 3

# Comparer les expériences
dvc exp show
dvc exp diff

# Appliquer une expérience réussie à l'espace de travail
dvc exp apply exp-abc123

# Pousser l'expérience vers une branche Git
dvc exp push origin exp-abc123

Métriques et graphiques

# train.py — Script d'entraînement qui génère des métriques suivies par DVC
import json
from sklearn.ensemble import RandomForestClassifier
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score, f1_score
import yaml
import pickle

# Charger les paramètres
with open("params.yaml") as f:
    params = yaml.safe_load(f)["train"]

X, y = load_iris(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

model = RandomForestClassifier(n_estimators=params["epochs"])
model.fit(X_train, y_train)

preds = model.predict(X_test)
metrics = {
    "accuracy": accuracy_score(y_test, preds),
    "f1_score": f1_score(y_test, preds, average="weighted"),
}

with open("metrics/train.json", "w") as f:
    json.dump(metrics, f, indent=2)

with open("models/model.pkl", "wb") as f:
    pickle.dump(model, f)
# Afficher les métriques entre expériences
dvc metrics show
dvc metrics diff

# Générer des graphiques
dvc plots show metrics/confusion_matrix.csv
dvc plots diff  # Comparer les graphiques entre expériences

Accès aux données sans clonage

# Accéder aux fichiers suivis depuis n'importe quel dépôt DVC sans clone complet
dvc get https://github.com/org/repo-ml data/processed/dataset.csv
dvc import https://github.com/org/repo-ml models/model.pkl
# dvc_api.py — Accéder aux fichiers suivis par DVC de manière programmatique
import dvc.api

# Lire un fichier depuis un dépôt DVC
with dvc.api.open("data/dataset.csv", repo="https://github.com/org/repo-ml") as f:
    import pandas as pd
    df = pd.read_csv(f)

# Obtenir l'URL d'un fichier suivi
url = dvc.api.get_url("models/model.pkl", repo="https://github.com/org/repo-ml")

Concepts clés

  • Fichiers .dvc : Petits fichiers pointeurs commités dans Git qui référencent les grandes données dans le stockage distant
  • dvc repro : Reproduire les pipelines — ne relance que les étapes dont les dépendances ont changé
  • Expériences : Suivi d'expériences sans branche — exécuter, comparer et appliquer les résultats
  • Paramètres : Fichiers YAML de paramètres suivis par DVC pour des configurations reproductibles
  • Métriques : Fichiers de métriques JSON/YAML avec des outils de comparaison intégrés
  • Stockage distant : S3, GCS, Azure, SSH, HDFS — les données restent où vous le souhaitez

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

TerminalSkills/skills

>- Run GitHub Actions locally with act. Use when a user asks to test GitHub Actions workflows locally, debug CI pipelines without pushing, or run workflows offline.

TerminalSkills/skills

>- You are an expert in AG2 (formerly AutoGen), the open-source multi-agent conversation framework. You help developers build systems where multiple AI agents collaborate through structured conversations — with tool use, human-in-the-loop, code execution, group chat orchestration, and nested conversations — for complex tasks like software development, research, and data analysis.

TerminalSkills/skills

>- Generate short-form videos with AI — script writing, text-to-speech narration, stock footage selection, subtitle generation, and video assembly. Use when: creating TikTok/YouTube Shorts/Reels content, automating video production, building content pipelines.

TerminalSkills/skills

>- Animate 3D objects and characters in Blender with Python. Use when the user wants to keyframe properties, create armatures and rigs, set up IK/FK chains, animate shape keys for facial animation, edit F-Curves, use the NLA editor to blend actions, add drivers for expression-based animation, or script any animation workflow in Blender.

TerminalSkills/skills

>- Automate motion capture and tracking workflows in Blender with Python. Use when the user wants to import BVH or FBX mocap data, retarget motion to armatures, track camera or object motion from video, solve camera motion, clean up motion capture data, or script any tracking pipeline in Blender.

TerminalSkills/skills

>- You are an expert in Bolt.new by StackBlitz, the AI-powered full-stack development environment that runs entirely in the browser. You help developers go from idea to deployed app in minutes using natural language prompts — Bolt generates complete applications with frontend, backend, database, and deployment, all running in a WebContainer without local setup.

TerminalSkills/skills

>- Assists with using Bun as an all-in-one JavaScript/TypeScript runtime, package manager, bundler, and test runner. Use when building HTTP servers, managing packages, running tests, or migrating from Node.js. Trigger words: bun, bun serve, bun install, bun test, bun build, javascript runtime, bun runtime.

TerminalSkills/skills

>- Self-host customer support with Chatwoot. Use when a user asks to set up open-source customer support, add live chat without SaaS costs, build a multi-channel inbox, or deploy a free Intercom alternative.

TerminalSkills/skills

>- You are an expert in Chi, the lightweight, idiomatic Go HTTP router built on `net/http`. You help developers build composable HTTP services using Chi's middleware stack, route groups, URL parameters, sub-routers, and context-based request scoping — providing Express-like ergonomics while staying 100% compatible with Go's standard library.

TerminalSkills/skills

When the user wants to edit, review, or improve existing marketing copy. Also use when the user mentions 'edit this copy,' 'review my copy,' 'copy feedback,' 'proofread,' 'polish this,' 'make this better,' or 'copy sweep.' This skill provides a systematic approach to editing marketing copy through multiple focused passes.

TerminalSkills/skills

>- Add live chat and customer support with Crisp. Use when a user asks to add a chat widget, implement live customer support, set up a help desk, create a knowledge base, or add a chatbot to a website.

TerminalSkills/skills

>- Assists with building custom interactive data visualizations using D3.js. Use when creating charts, graphs, maps, force layouts, or hierarchical diagrams that require fine-grained control beyond what charting libraries provide. Trigger words: d3, data visualization, chart, svg, scales, force graph, treemap, choropleth.

TerminalSkills/skills

dbt (data build tool) transforms data in your warehouse using SQL SELECT statements. Learn project setup, models, tests, documentation, incremental materializations, and integration with data warehouses like PostgreSQL, BigQuery, and Snowflake.

TerminalSkills/skills

>- You are an expert in dlt, the open-source Python library for building data pipelines. You help developers load data from any API, file, or database into warehouses and lakes using simple Python decorators — with automatic schema inference, incremental loading, and built-in data contracts. dlt is the "requests library for data pipelines.

TerminalSkills/skills

>- You are an expert in E2B, the cloud platform for running AI-generated code in secure sandboxes. You help developers give AI agents the ability to execute code, install packages, read/write files, and run long processes in isolated cloud environments — each sandbox is a lightweight VM that boots in ~150ms with full Linux, filesystem, and networking.

TerminalSkills/skills

>- Transcode, convert, edit, and process audio and video with FFmpeg. Use when a user asks to convert video formats (webm to mp4, mkv to mp4), extract audio from video, compress video files, trim or cut clips, concatenate videos, add subtitles, create thumbnails, apply filters, change resolution or bitrate, re-encode media, create GIFs from video, add watermarks, normalize audio, stream media, or build automated media processing pipelines.

TerminalSkills/skills

>- Create advanced animations with GSAP. Use when building complex timelines, scroll-driven animations, SVG morphing, text animations, or high-performance web animations beyond CSS capabilities.

TerminalSkills/skills

>- Generate deterministic MP4 videos from HTML, CSS, media, and seekable animations using HeyGen's HyperFrames framework. Use when someone asks to "render HTML to video", "make a video with HyperFrames", "create a programmatic video", "turn an animation into MP4", "build a launch/product video from HTML", "render GSAP/Lottie/Three.js to video", or set up an agent-driven video pipeline. Covers init/preview/render/add/lint/inspect commands, data-* timing attributes, animation adapters, and the component catalog.

TerminalSkills/skills

When the user wants to perform load testing, stress testing, or performance testing of APIs and websites using k6. Also use when the user mentions "k6," "load test," "performance test," "stress test," "spike test," "soak test," "thresholds," "virtual users," or "VUs." For browser-based testing, see selenium.

TerminalSkills/skills

>- Lovable (formerly GPT Engineer) is a browser-based AI app builder that turns a natural-language description into a working full-stack web app with a built-in backend, authentication, database and one-click publishing. Use when the user wants to prototype or ship a web app with Lovable, write effective Lovable prompts, connect Supabase or GitHub, review generated security rules, or move a Lovable project into their own editor.

Skills associés