codex-skill-local-ai-systems-studio

codex-skill-local-ai-systems-studio は何をしますか？

Codexスキル：MLX、GGUF、Ollama、LM Studioを使用したローカルLLMシステムの計画とデプロイ。

概要

このスキルは、Codexエージェント向けに設計されており、以下の主要プラットフォームでローカルLLMシステムを計画・デプロイするためのガイダンスと自動化を提供します：

• MLX（Apple Silicon向け）
• GGUF（llama.cpp、CPU/GPU）
• Ollama（簡単なモデル管理と実行）
• LM Studio（GUIベースのローカルLLM）

機能

• モデル選択：タスクに適したモデル（Llama、Mistral、Qwenなど）と量子化レベル（4bit、8bit、FP16）の推奨。
• 環境設定：各プラットフォームのインストール手順と依存関係の自動化。
• デプロイスクリプト：サーバーの起動、APIエンドポイントの設定、クライアントコードの生成。
• パフォーマンス最適化：ハードウェアに応じたバッチサイズ、コンテキスト長、GPUレイヤー数の調整。

使用方法

1. モデルの選択とダウンロード

   # Ollamaを使った例
   ollama pull llama3.2:1b
   

2. サーバーの起動

   # Ollamaサーバー（デフォルトで11434ポート）
   ollama serve
   

3. 推論の実行

   import requests
   response = requests.post(
       "http://localhost:11434/api/generate",
       json={"model": "llama3.2:1b", "prompt": "Hello!"}
   )
   print(response.json()["response"])
   

サポートされるプラットフォーム

プラットフォーム	サポートハードウェア	主な特徴
MLX	Apple Silicon（M1/M2/M3）	高速なMetalバックエンド
GGUF	CPU, NVIDIA GPU, AMD GPU	幅広いモデル互換性
Ollama	CPU, GPU	シンプルなCLIとモデル管理
LM Studio	CPU, GPU（NVIDIA）	直感的なGUIとAPIサーバー

注意事項

• ローカル実行には十分なRAM（最低8GB、推奨16GB以上）が必要です。
• GPUアクセラレーションを使用する場合は、適切なドライバ（CUDA、ROCm、Metal）がインストールされていることを確認してください。
• モデルのライセンスを確認し、商用利用の可否を判断してください。

関連リソース

• Ollama公式ドキュメント
• MLX GitHubリポジトリ
• llama.cpp
• LM Studio