DVC（データバージョン管理）

DVC（データバージョン管理） は何をしますか？

インストール

# クラウドストレージサポート付きでDVCをインストール
pip install dvc[s3]    # AWS S3用
pip install dvc[gs]    # Google Cloud Storage用
pip install dvc[azure] # Azure Blob Storage用
pip install dvc[all]   # すべてのリモート対応

# GitリポジトリでDVCを初期化
cd my-ml-project
git init
dvc init

データファイルの追跡

# track_data.sh — 大きなファイルをGitの代わりにDVCで追跡
# 大きなデータセットを追加
dvc add data/training_images/
dvc add data/dataset.csv

# DVCは.dvcファイル（小さなポインタ）を作成 — これらをGitにコミット
git add data/training_images.dvc data/dataset.csv.dvc .gitignore
git commit -m "トレーニングデータをDVCで追跡"

リモートストレージの設定

# setup_remote.sh — DVCが実際のファイル内容を保存する場所を設定
# S3
dvc remote add -d myremote s3://my-bucket/dvc-storage

# Google Cloud Storage
dvc remote add -d myremote gs://my-bucket/dvc-storage

# ローカル / ネットワークパス
dvc remote add -d myremote /mnt/shared/dvc-storage

# データをリモートにプッシュ
dvc push

# リモートからデータをプル（別のマシン上、またはクローン後に）
dvc pull

再現可能なパイプラインの構築

# dvc.yaml — 依存関係と出力を含むMLパイプラインのステージを定義
stages:
  prepare:
    cmd: python src/prepare.py
    deps:
      - src/prepare.py
      - data/raw/
    outs:
      - data/processed/

  train:
    cmd: python src/train.py
    deps:
      - src/train.py
      - data/processed/
    params:
      - train.epochs
      - train.learning_rate
      - train.batch_size
    outs:
      - models/model.pkl
    metrics:
      - metrics/train.json:
          cache: false

  evaluate:
    cmd: python src/evaluate.py
    deps:
      - src/evaluate.py
      - models/model.pkl
      - data/processed/
    metrics:
      - metrics/eval.json:
          cache: false
    plots:
      - metrics/confusion_matrix.csv:
          x: predicted
          y: actual

# params.yaml — パイプラインパラメータ（DVCで追跡）
train:
  epochs: 50
  learning_rate: 0.001
  batch_size: 32

# パイプライン全体を実行（変更されたステージのみ再実行）
dvc repro

# 特定のステージを実行
dvc repro train

実験の追跡

# experiments.sh — ML実験の実行と比較
# パラメータを変更して実験を実行
dvc exp run --set-param train.learning_rate=0.01

# 複数の実験を並列実行
dvc exp run --set-param train.learning_rate=0.001 --queue
dvc exp run --set-param train.learning_rate=0.01 --queue
dvc exp run --set-param train.learning_rate=0.1 --queue
dvc queue start --jobs 3

# 実験を比較
dvc exp show
dvc exp diff

# 成功した実験をワークスペースに適用
dvc exp apply exp-abc123

# 実験をGitブランチにプッシュ
dvc exp push origin exp-abc123

メトリクスとプロット

# train.py — DVCで追跡されるメトリクスを出力するトレーニングスクリプト
import json
from sklearn.ensemble import RandomForestClassifier
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score, f1_score
import yaml
import pickle

# パラメータの読み込み
with open("params.yaml") as f:
    params = yaml.safe_load(f)["train"]

X, y = load_iris(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

model = RandomForestClassifier(n_estimators=params["epochs"])
model.fit(X_train, y_train)

preds = model.predict(X_test)
metrics = {
    "accuracy": accuracy_score(y_test, preds),
    "f1_score": f1_score(y_test, preds, average="weighted"),
}

with open("metrics/train.json", "w") as f:
    json.dump(metrics, f, indent=2)

with open("models/model.pkl", "wb") as f:
    pickle.dump(model, f)

# 実験間のメトリクスを表示
dvc metrics show
dvc metrics diff

# プロットを生成
dvc plots show metrics/confusion_matrix.csv
dvc plots diff  # 実験間のプロットを比較

クローンなしでのデータアクセス

# 完全なクローンなしで、任意のDVCリポジトリから追跡ファイルにアクセス
dvc get https://github.com/org/ml-repo data/processed/dataset.csv
dvc import https://github.com/org/ml-repo models/model.pkl

# dvc_api.py — DVCで追跡されたファイルにプログラムからアクセス
import dvc.api

# DVCリポジトリからファイルを読み込む
with dvc.api.open("data/dataset.csv", repo="https://github.com/org/ml-repo") as f:
    import pandas as pd
    df = pd.read_csv(f)

# 追跡ファイルのURLを取得
url = dvc.api.get_url("models/model.pkl", repo="https://github.com/org/ml-repo")

キーコンセプト

• .dvcファイル: Gitにコミットされる小さなポインタファイル。リモートストレージ上の大きなデータを参照します。
• dvc repro: パイプラインを再現 — 依存関係が変更されたステージのみ再実行します。
• 実験: ブランチ不要の実験追跡 — 実行、比較、結果の適用が可能です。
• パラメータ: 再現可能な設定のためにDVCで追跡されるYAMLパラメータファイル。
• メトリクス: ビルトインの比較ツールを備えたJSON/YAMLメトリクスファイル。
• リモートストレージ: S3、GCS、Azure、SSH、HDFS — データは任意の場所に保管できます。