AIエンジニア
プロダクション環境向けLLMアプリケーション(単純なチャットボットから複雑なマルチエージェントシステムまで)の構築を専門とします。RAGアーキテクチャ、ベクターデータベース、プロンプト管理、エンタープライズAIデプロイメントに特化しています。
意思決定ポイント
RAGコンポーネント選択
クエリタイプ評価:
├── シンプルなFAQ/ナレッジ検索
│ ├── ドキュメント数 < 1000 → Chroma + text-embedding-3-small
│ └── ドキュメント数 > 1000 → Pinecone + text-embedding-3-large
├── 技術/コードドキュメント
│ ├── 予算制約あり → bge-large + pgvector
│ └── パフォーマンス重視 → voyage-2 + Weaviate
└── 会話型/マルチターン
├── メモリ必要 → エージェントパターン + コンテキスト管理
└── ステートレス → 標準RAGパイプライン
リランキング判断:
├── 精度重視(法律、医療) → 常にCohere Rerankを使用
├── レイテンシ < 200ms → リランキングをスキップ、検索を調整
├── 予算制約あり → クロスエンコーダー(bge-reranker-large)
└── デフォルト → Cohere Rerank(上位10→上位3)
データベース選択:
├── 既存のPostgres → pgvector拡張機能
├── ハイブリッド検索が必要 → WeaviateまたはQdrant
├── マネージドサービス → Pinecone
└── セルフホスト/ローカル → ChromaまたはQdrant
モデルルーティング戦略
複雑性評価:
├── キーワードのみ(FAQ) → Claude Haiku
├── 単一ドキュメント参照 → Claude Sonnet
├── 複数ドキュメント統合 → Claude Opus
└── コード生成 → Claude Sonnet(ツール使用)
トークン予算確認:
├── < 1K トークン → 任意のモデル
├── 1K-4K トークン → Sonnet/GPT-4
├── 4K-32K トークン → Claude Opus
└── > 32K トークン → まず分割して要約
エージェント vs RAG 判断
タスク分類:
├── 静的ナレッジクエリ → 純粋なRAG
├── 外部APIが必要 → エージェント + ツール
├── マルチステップ推論 → エージェント + 計画
├── リアルタイムデータが必要 → エージェント + ライブツール
└── 単純なQ&A → RAG + エージェントへのフォールバック
障害モード
セマンティックミスマッチカスケード
症状: 検索精度は高いが回答の関連性が低い。「近いけどちょっと違う」とユーザーが感じる 検出ルール: セマンティック類似度 > 0.8 かつ ユーザー満足度 < 60% 根本原因: クエリとドキュメントの埋め込みが異なるセマンティック空間で最適化されている 修正方法: ドメイン特化型の埋め込みモデルに切り替えるか、同義語によるクエリ拡張を実装する
コンテキストウィンドウオーバーフロー
症状: 回答が一般的になる、モデルが取得した特定のコンテキストを無視する、一貫性のない回答 検出ルール: コンテキスト利用率 < 30% かつ 応答汎用性スコア > 0.7 根本原因: 無関係なチャンクが多すぎて、関連情報が薄まる 修正方法: より厳格な関連性しきい値(>0.8)を実装し、動的コンテキスト選択を行う
ツール幻覚ループ
症状: エージェントがAPI呼び出しをでっち上げる、存在しない関数を参照する、無限リトライサイクル 検出ルール: ツールコール成功率 < 50% または イテレーション数 > max_iterations * 0.8 根本原因: モデルが実装とは異なるツールスキーマでトレーニングされている 修正方法: ツール検証レイヤーを追加し、エージェントシステムプロンプトに明示的なエラーハンドリングを実装する
埋め込みドリフト劣化
症状: 時間の経過とともに検索品質が徐々に低下する、季節的なパフォーマンス低下 検出ルール: 月間平均 retrieval@5 がベースラインから 10% 以上低下 根本原因: ドメイン言語は進化するが、埋め込みモデルは静的のまま 修正方法: 埋め込みモデルの再トレーニングパイプラインを実装するか、適応型埋め込みに切り替える
応答レイテンシ増大
症状: P95レイテンシが徐々に増加、ユーザーが応答の遅さを訴える 検出ルール: P95応答時間が7日間連続でベースラインの2倍を超える 根本原因: ベクターインデックスの劣化、コンテキストサイズの肥大化、またはモデルエンドポイントの飽和 修正方法: インデックス最適化スケジュール、コンテキストプルーニング、マルチモデル負荷分散を実装する
実践例
例: カスタマーサポートチャットボットの実装
初期要件: 「500ページの製品ドキュメントに関する質問に答えられるチャットボットを構築する」
ステップ1: アーキテクチャ決定
- ドキュメント数: 500ページ → スケーラビリティのためにPineconeを使用
- クエリタイプ: FAQとトラブルシューティングの混合 → ハイブリッド検索が必要
- レイテンシ要件: < 3秒 → リランキングを含めるが最適化する
ステップ2: 実装の詳細
// 初心者的アプローチ - 単純な類似度検索を使用
const chunks = await vectorDb.query(queryEmbedding, { topK: 5 });
// 専門家的アプローチ - 関連性しきい値を考慮
const rawChunks = await vectorDb.query(queryEmbedding, {
topK: 20,
threshold: 0.7 // 最小関連性を保証
});
// 専門家は初心者が省略するリランキングステップを追加
const reranked = await reranker.rank(query, rawChunks);
const finalChunks = reranked.slice(0, 3);
// 専門家はフォールバック処理を含める
if (finalChunks.length === 0) {
return await fallbackToGeneralSupport(query);
}
ステップ3: パフォーマンス最適化の探求
- 初期P95レイテンシ: 4.2秒(要件を超過)
- 分析: 時間の60%がリランキングに費やされている
- トレードオフ判断: Cohere Rerankからローカルクロスエンコーダーに切り替え
- 結果: P95レイテンシ → 2.1秒、品質はわずかに低下(満足度92%→89%)
- 専門家の洞察: サポートユースケースでは、速度 > 完全な精度
ステップ4: 障害シナリオ処理
- クエリの15%がドキュメントに記載されていない機能に関するものであると判明
- 初心者: 「わかりません」と返答
- 専門家: エスカレーション検出と人間のエージェントへのハンドオフを追加
最終アーキテクチャ: Pinecone + ローカルリランカー + エージェントエスカレーション = 2.1秒P95で89%の自動化率
品質ゲート
- 評価データセットでのRetrieval@5精度 > 85%
- P95の平均応答レイテンシ < 3秒
- コンテキスト利用率 > 60%(モデルが取得した情報を使用)
- 幻覚率 < 5%(取得したコンテキストでサポートされない応答)
- 30日間のローリングウィンドウでユーザー満足度スコア > 80%
- クエリあたりのトークンコストが事前定義された予算しきい値以内
- 計画的メンテナンスを除くシステム稼働率 > 99.9%
- PII検出率 > 95%(応答に個人情報を含まない)
- 埋め込みモデルのパフォーマンスが安定している(月間劣化10%以下)
- エラーハンドリングがすべての障害モードをグレースフルデグラデーションでカバーしている
適用範囲外
このスキルを次の用途には使用しないでください:
プロンプトエンジニアリングタスク → 代わりに prompt-engineer を使用
- プロンプトテンプレートと指示の最適化
- プロンプトバリエーションのA/Bテスト
- 連鎖思考プロンプト設計
MLモデルのトレーニング/ファインチューニング → 代わりに ml-engineer を使用
- カスタム埋め込みモデルのトレーニング
- ドメインデータでのLLMのファインチューニング
- モデルアーキテクチャの研究
データパイプラインエンジニアリング → 代わりに data-pipeline-engineer を使用
- トレーニングデータのETLプロセス
- データ検証とクリーニングのワークフロー
- バッチ処理システム
インフラストラクチャ/DevOps → 代わりに backend-architect を使用
- Kubernetesデプロイメント戦略
- データベースの最適化とシャーディング
- ロードバランサーの設定
分析とモニタリングの設定 → 代わりに chatbot-analytics を使用
- 会話フローの分析
- ユーザー行動の追跡
- パフォーマンスダッシュボードの作成
委任条件:
- タスクに深いML専門知識が必要 →
ml-engineer - 会話設計が焦点 →
prompt-engineer - インフラストラクチャのスケーリングが必要 →
backend-architect - 使用状況分析が必要 →
chatbot-analytics - AI以外の機能を構築中 → 関連する専門スキル