SkillBench 是做什么的?
SkillBench 是一个开源框架,用于评估和演进 Codex 技能,支持测试案例生成、仅评判/全智能体评分、可追溯仪表板、CI 门控以及 GEPA 风格的反馈循环,以改进技能文档。
SkillBench 是一个开源框架,用于评估和演进 Codex 技能,支持测试案例生成、仅评判/全智能体评分、可追溯仪表板、CI 门控以及 GEPA 风格的反馈循环,以改进技能文档。
SkillBench 是一个面向 Codex 技能的开源评估与演进框架,专为希望系统化提升 AI 智能体技能质量和可靠性的开发者设计。该框架提供自动生成评估测试案例的能力,支持两种评分模式:仅使用评判模型进行快速评估,或由全智能体模拟用户交互进行全面评测。通过可追溯的仪表板,用户可以清晰查看每个技能在不同测试案例上的表现历史,便于追踪改进。此外,SkillBench 集成了 CI 门控机制,确保技能在持续集成流程中达到预设质量标准。其核心创新在于 GEPA(生成-评估-分析-演进)风格的反馈循环,该循环会分析评估结果、识别技能文档中的常见缺陷(如不准确的描述、缺失的用例或模糊的边界条件),并生成具体的改进建议,从而帮助开发者迭代优化技能行为。该框架支持主流 AI 智能体平台(如 Codex),并可作为独立工具或集成到现有开发工作流中使用。
npx skills add helloJamest/SkillBenchInstalled? Explore more 编程与开发 skills: steipete/bluebubbles, steipete/eightctl, steipete/blucli · View all 6 →
SkillBench 是一个开源框架,用于评估和演进 Codex 技能,支持测试案例生成、仅评判/全智能体评分、可追溯仪表板、CI 门控以及 GEPA 风格的反馈循环,以改进技能文档。
Send and manage iMessages via BlueBubbles, including attachments, tapbacks, edits, replies, and groups.
Control Eight Sleep pods (status, temperature, alarms, schedules).
BluOS CLI (blu) for discovery, playback, grouping, and volume.
Create, search, and manage Bear notes via grizzly CLI.
Capture frames or clips from RTSP/ONVIF cameras.
Search GIF providers with CLI/TUI, download results, and extract stills/sheets.