apple-on-device-ai 是做什麼的?
在 Apple Silicon 上使用 Foundation Models 框架、Core ML 和開源 LLM 執行環境,整合裝置端 AI 功能。涵蓋 Foundation Models(LanguageModelSession、@Generable、@Guide、SystemLanguageModel、結構化輸出、工具呼叫)、Core ML(coremltools、模型轉換、量化、調色盤化、修剪、神經引擎、MLTensor)、MLX Swift(Transformer 推理、統一記憶體)與 llama.cpp(GGUF、跨平台 LLM)。適用於建構支援工具呼叫的 AI 功能、處理引導式生成模式、轉換模型,或執行裝置端推理。