DVC（資料版本控制）

DVC（資料版本控制） 是做什麼的？

安裝

# 安裝 DVC 並支援雲端儲存
pip install dvc[s3]    # 用於 AWS S3
pip install dvc[gs]    # 用於 Google Cloud Storage
pip install dvc[azure] # 用於 Azure Blob Storage
pip install dvc[all]   # 所有遠端儲存

# 在 Git 儲存庫中初始化 DVC
cd my-ml-project
git init
dvc init

追蹤資料檔案

# track_data.sh — 將大型檔案加入 DVC 追蹤，而非 Git
# 加入大型資料集
dvc add data/training_images/
dvc add data/dataset.csv

# DVC 會建立 .dvc 檔案（小型的指標檔）— 將這些檔案提交到 Git
git add data/training_images.dvc data/dataset.csv.dvc .gitignore
git commit -m "使用 DVC 追蹤訓練資料"

設定遠端儲存

# setup_remote.sh — 設定 DVC 存放實際檔案內容的位置
# S3
dvc remote add -d myremote s3://my-bucket/dvc-storage

# Google Cloud Storage
dvc remote add -d myremote gs://my-bucket/dvc-storage

# 本機或網路路徑
dvc remote add -d myremote /mnt/shared/dvc-storage

# 將資料推送到遠端
dvc push

# 從遠端拉取資料（在另一台機器上或複製儲存庫後）
dvc pull

建置可重現的管線

# dvc.yaml — 定義 ML 管線階段，包含相依性與輸出
stages:
  prepare:
    cmd: python src/prepare.py
    deps:
      - src/prepare.py
      - data/raw/
    outs:
      - data/processed/

  train:
    cmd: python src/train.py
    deps:
      - src/train.py
      - data/processed/
    params:
      - train.epochs
      - train.learning_rate
      - train.batch_size
    outs:
      - models/model.pkl
    metrics:
      - metrics/train.json:
          cache: false

  evaluate:
    cmd: python src/evaluate.py
    deps:
      - src/evaluate.py
      - models/model.pkl
      - data/processed/
    metrics:
      - metrics/eval.json:
          cache: false
    plots:
      - metrics/confusion_matrix.csv:
          x: predicted
          y: actual

# params.yaml — 管線參數（由 DVC 追蹤）
train:
  epochs: 50
  learning_rate: 0.001
  batch_size: 32

# 執行整個管線（僅重新執行有變更的階段）
dvc repro

# 執行特定階段
dvc repro train

實驗追蹤

# experiments.sh — 執行與比較 ML 實驗
# 使用修改後的參數執行實驗
dvc exp run --set-param train.learning_rate=0.01

# 平行執行多個實驗
dvc exp run --set-param train.learning_rate=0.001 --queue
dvc exp run --set-param train.learning_rate=0.01 --queue
dvc exp run --set-param train.learning_rate=0.1 --queue
dvc queue start --jobs 3

# 比較實驗
dvc exp show
dvc exp diff

# 將成功的實驗套用到工作空間
dvc exp apply exp-abc123

# 將實驗推送到 Git 分支
dvc exp push origin exp-abc123

指標與圖表

# train.py — 訓練腳本，輸出由 DVC 追蹤的指標
import json
from sklearn.ensemble import RandomForestClassifier
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score, f1_score
import yaml
import pickle

# 載入參數
with open("params.yaml") as f:
    params = yaml.safe_load(f)["train"]

X, y = load_iris(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

model = RandomForestClassifier(n_estimators=params["epochs"])
model.fit(X_train, y_train)

preds = model.predict(X_test)
metrics = {
    "accuracy": accuracy_score(y_test, preds),
    "f1_score": f1_score(y_test, preds, average="weighted"),
}

with open("metrics/train.json", "w") as f:
    json.dump(metrics, f, indent=2)

with open("models/model.pkl", "wb") as f:
    pickle.dump(model, f)

# 檢視跨實驗的指標
dvc metrics show
dvc metrics diff

# 產生圖表
dvc plots show metrics/confusion_matrix.csv
dvc plots diff  # 比較不同實驗的圖表

無須複製即可存取資料

# 從任何 DVC 儲存庫存取受追蹤的檔案，無須完整複製
dvc get https://github.com/org/ml-repo data/processed/dataset.csv
dvc import https://github.com/org/ml-repo models/model.pkl

# dvc_api.py — 以程式化方式存取 DVC 追蹤的檔案
import dvc.api

# 從 DVC 儲存庫讀取檔案
with dvc.api.open("data/dataset.csv", repo="https://github.com/org/ml-repo") as f:
    import pandas as pd
    df = pd.read_csv(f)

# 取得受追蹤檔案的 URL
url = dvc.api.get_url("models/model.pkl", repo="https://github.com/org/ml-repo")

關鍵概念

• .dvc 檔案：提交到 Git 的小型指標檔，用於參照遠端儲存中的大型資料
• dvc repro：重現管線 — 僅重新執行相依性有變更的階段
• 實驗：無分支的實驗追蹤 — 執行、比較並套用結果
• 參數：由 DVC 追蹤的 YAML 參數檔，用於可重現的組態設定
• 指標：JSON/YAML 格式的指標檔，內建比較工具
• 遠端儲存：S3、GCS、Azure、SSH、HDFS — 資料存放在您想要的位置