apple-on-device-ai は何をしますか?
Foundation Modelsフレームワーク、Core ML、オープンソースのLLMランタイムを使用してApple Silicon上でオンデバイスAIを統合します。Foundation Models(LanguageModelSession、@Generable、@Guide、SystemLanguageModel、構造化出力、ツール呼び出し)、Core ML(coremltools、モデル変換、量子化、パレタイゼーション、プルーニング、Neural Engine、MLTensor)、MLX Swift(トランスフォーマー推論、ユニファイドメモリ)、llama.cpp(GGUF、クロスプラットフォームLLM)をカバーします。ツール呼び出しAI機能の構築、ガイド付き生成スキーマの操作、モデル変換、またはオンデバイス推論の実行時に使用します。