O que apple-on-device-ai faz?
Integre IA no dispositivo usando Foundation Models framework, Core ML e runtimes LLM de código aberto no Apple Silicon. Abrange Foundation Models (LanguageModelSession, @Generable, @Guide, SystemLanguageModel, saída estruturada, chamada de ferramentas), Core ML (coremltools, conversão de modelos, quantização, paletização, poda, Neural Engine, MLTensor), MLX Swift (inferência de transformers, memória unificada) e llama.cpp (GGUF, LLM multiplataforma). Utilize ao construir recursos de IA com chamadas de ferramentas, trabalhar com esquemas de geração guiada, converter modelos ou executar inferência no dispositivo.