pytorch-training-optimizer-skill は何をしますか？
PyTorchトレーニングのスループット、GPU使用率、メモリ効率、分散スケーリングを最適化するためのCodexスキル。
概要
このスキルは、PyTorchを使用したトレーニングパイプラインのパフォーマンスを分析し、改善するためのツールを提供します。
機能
- トレーニングスループットの向上
- GPU使用率の最大化
- メモリ効率の改善
- 分散トレーニングのスケーリング最適化
使用方法
Codex上でこのスキルを有効にすると、次のようなタスクを実行できます：
- プロファイリングの実行:
torch.profilerを使用してトレーニングのボトルネックを特定します。 - データローダーの最適化:
num_workers、prefetch_factorなどのパラメータを調整します。 - メモリ最適化:
torch.cuda.empty_cache()や勾配チェックポイントなどの手法を提案します。 - 分散トレーニング設定:
torch.distributedを使用した効率的な並列化戦略を提供します。
対応プラットフォーム
- Codex
注意事項
- トレーニング環境に応じて設定を調整してください。
- GPUメモリ制限を考慮した最適化を推奨します。