Evaluierungsframework für LLM-Wissenseingaben – Prompts, RAG-Korpora, Skills, Agent-Workflows. Fix the model, vary the artifact. Integrierte statistische Strenge: Bootstrap-KI, Krippendorff-α, Längenentzerrung, Sättigungskurven.
Oh-My-Knowledge ist ein umfassendes Evaluierungs-Framework, das speziell für die systematische Bewertung von Wissenseingaben in Large Language Models (LLMs) entwickelt wurde. Es richtet sich an Entwickler und Forscher, die Prompts, RAG-Korpora, Skills oder Agent-Workflows testen und optimieren müssen. Der zentrale Ansatz lautet „Fix the model, vary the artifact“ – das LLM bleibt konstant, während die Eingabequalität variiert wird, um deren Einfluss isoliert zu messen. Das Framework bietet integrierte statistische Methoden wie Bootstrap-Konfidenzintervalle, Krippendorff-α für Inter-Rater-Reliabilität, Längenentzerrung zur Vermeidung von Verzerrungen und Sättigungskurven zur Bestimmung des optimalen Stichprobenumfangs. Es unterstützt gängige KI-Entwicklungsumgebungen wie Claude Code, Cursor und Codex und ermöglicht reproduzierbare, datengestützte Entscheidungen bei der Verbesserung von Wissensgrundlagen.
npx skills add lizhiyao/oh-my-knowledgeInstalled? Explore more Schreiben & Editieren skills: steipete/notion, langchain-ai/langchain, bytedance/podcast-generation · View all 6 →
Evaluierungsframework für LLM-Wissenseingaben – Prompts, RAG-Korpora, Skills, Agent-Workflows. Fix the model, vary the artifact. Integrierte statistische Strenge: Bootstrap-KI, Krippendorff-α, Längenentzerrung, Sättigungskurven.
Notion CLI/API for pages, Markdown content, data sources, files, comments, search, Workers, and raw API calls.
The agent engineering platform.
Use this skill when the user requests to generate, create, or produce podcasts from text content. Converts written content into a two-host conversational podcast audio format with natural dialogue.
Analyze and optimize tweets for maximum reach using Twitter's open-source algorithm insights. Rewrite and edit user tweets to improve engagement and visibility based on how the recommendation system ranks content.
Extracts and analyzes competitors' ads from ad libraries (Facebook, LinkedIn, etc.) to understand what messaging, problems, and creative approaches are working. Helps inspire and improve your own ad campaigns.
Context7 Platform -- Up-to-date code documentation for LLMs and AI code editors