O que trajrl-bench faz?
TrajRL-Bench: benchmark de habilidades de agentes de IA. Sandbox SSH com serviços simulados, pontuação por juiz LLM, avaliação delta dividida ao meio. Leaderboard em trajrl.com/bench
TrajRL-Bench: benchmark de habilidades de agentes de IA. Sandbox SSH com serviços simulados, pontuação por juiz LLM, avaliação delta dividida ao meio. Leaderboard em trajrl.com/bench
O TrajRL-Bench é um benchmark projetado para avaliar habilidades de agentes de IA em ambientes realistas simulados. Ele utiliza um sandbox SSH contendo serviços mock (como APIs, bancos de dados e sistemas de arquivos), onde o agente deve completar tarefas específicas. A pontuação é realizada por um juiz baseado em um modelo de linguagem (LLM), que verifica se os resultados gerados pelo agente atendem aos critérios definidos. Além disso, o benchmark emprega uma metodologia de avaliação delta chamada 'split-half', que mede a consistência dos resultados ao dividir os testes em duas metades e comparar o desempenho. Isso permite uma análise robusta e confiável das capacidades do agente. O TrajRL-Bench é compatível com ferramentas como Claude Code, Cursor e Codex, e seus resultados são publicados em um leaderboard público em trajrl.com/bench. Ele é útil para desenvolvedores que buscam comparar e melhorar o desempenho de seus agentes de IA em tarefas de engenharia de software e automação.
npx skills add trajectoryRL/trajrl-benchInstalled? Explore more Programação e Desenvolvimento skills: steipete/bluebubbles, steipete/eightctl, steipete/blucli · View all 6 →
TrajRL-Bench: benchmark de habilidades de agentes de IA. Sandbox SSH com serviços simulados, pontuação por juiz LLM, avaliação delta dividida ao meio. Leaderboard em trajrl.com/bench
Send and manage iMessages via BlueBubbles, including attachments, tapbacks, edits, replies, and groups.
Control Eight Sleep pods (status, temperature, alarms, schedules).
BluOS CLI (blu) for discovery, playback, grouping, and volume.
Create, search, and manage Bear notes via grizzly CLI.
Capture frames or clips from RTSP/ONVIF cameras.
Search GIF providers with CLI/TUI, download results, and extract stills/sheets.