open-autoglm/open-autoglm

O que é open-autoglm?

O open-autoglm é um modelo e framework de agente de telefone de código aberto, projetado para automatizar dispositivos móveis. Ele permite que desenvolvedores e pesquisadores criem agentes de IA capazes de interagir com interfaces de smartphones, executando tarefas como abrir aplicativos, navegar por menus, preencher formulários e extrair informações da tela. O projeto fornece componentes modulares, incluindo um modelo de linguagem otimizado para compreensão de UI, um pipeline de percepção visual para interpretar capturas de tela e um sistema de execução de ações. Ele suporta plataformas Android e iOS, podendo ser integrado a ambientes como ADB (Android Debug Bridge) ou XCUITest para iOS. A estrutura é útil para automação de testes, assistência pessoal, acessibilidade e pesquisa em agentes autônomos. O código-fonte, os modelos pré-treinados e a documentação de uso estão disponíveis publicamente no repositório GitHub open-autoglm/open-autoglm.