billus-model-skill-library は何をしますか？
PyTorch、Hugging Face および関連ツールを使用して、大規模言語モデルと視覚モデルのトレーニング、チューニング、変更を行うためのモデルエンジニアリングスキルを提供します。
概要
このスキルライブラリは、AI エージェントがモデルエンジニアリングタスクを実行できるようにするためのツールと機能を提供します。以下の主要コンポーネントが含まれます：
- モデルローディング: Hugging Face Hub およびローカルファイルからの事前学習済みモデルのロード
- データ前処理: テキストおよび画像データセットのトークン化と拡張
- トレーニング: 標準的なトレーニングループ、カスタム損失関数、勾配蓄積
- ファインチューニング: 転移学習、PEFT（LoRA など）、層ごとの重み設定
- 最適化: 混合精度（AMP）、勾配チェックポイント、学習率スケジューリング
- 評価: 検証ループ、メトリクス計算（精度、F1 スコアなど）
サポートプラットフォーム
- Claude Code: スキルファイルを AI エージェントの設定に追加します。
- Cursor:
.cursorrules設定ファイルとして使用します。 - Codex: スキル定義をワークフローに統合します。
使用方法
前提条件
- Python 3.10 以上
- PyTorch 2.0 以上
- Transformers 4.30 以上
- 必要な依存関係は
requirements.txtにリストされています。
モデルのロード
from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "microsoft/phi-2"
model = AutoModelForCausalLM.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)
基本的なトレーニングループ
# トレーニングループの例
for epoch in range(num_epochs):
for batch in dataloader:
outputs = model(**batch)
loss = outputs.loss
loss.backward()
optimizer.step()
optimizer.zero_grad()
設定
環境変数 HF_HOME を使用して、Hugging Face キャッシュの場所を設定します。デフォルトは ~/.cache/huggingface です。
寄稿
改善やバグ修正に関するプルリクエストを歓迎します。
ライセンス
MIT