Communitygithub.com

YepAPI/skills

実験セットアップ、バリアント分割、統計的有意性、フィーチャーフラグ統合。

skills とは?

このスキルは、A/Bテストの実施に必要なベストプラクティスとルールを提供します。ハッシュベースのアサインメントにより、ユーザーセッション間で一貫したバリアントが割り当てられ、ちらつきを防止します。実験はサーバーサイドでバリアントを分割し、統計的有意性は95%信頼区間(p < 0.05)を基準とし、z検定を用いて勝者を判定します。また、最小サンプルサイズの計算、1実験1主要指標の原則、競合実験の排他制御(実験レイヤー)、フィーチャーフラグによるコードラッピング、最低7〜14日の実行期間など、実践的なガイドラインを網羅しています。YepAPI/skillsを基盤とし、開発者がAIエージェントと連携して実験管理を自動化・最適化することを可能にします。

対応~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/YepAPI/skills/tree/HEAD/skills/ab-testing

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

A/Bテスト

ルール

  • ハッシュベースの割り当て: hash(userId + experimentId) % 100 を使用した決定論的なバリアント選択 — セッション間でのランダム性のずれは発生しません
  • バリアント設定: 実験は設定オブジェクト { id, name, variants: [{ id, weight }], status } に保存 — バリアントをハードコードしないでください
  • サーバーサイドでのトラフィック分割: ミドルウェアまたはAPIルートで割り当て、一貫性のためにクッキーを設定 — クライアントサイドの分割はちらつきを引き起こします
  • 統計的有意性: 勝者を宣言する前に95%の信頼水準(p < 0.05)を要求 — 比率のz検定を使用
  • サンプルサイズ: 開始前に最小サンプルを計算 — n = (Z^2 * p * (1-p)) / E^2 ここでEは最小検出効果
  • 実験ごとに1つの指標: 事前に主要指標(コンバージョン率、クリック率、収益)を定義 — 副次指標は探索目的のみ
  • 相互排他: ある実験のユーザーが競合する実験と重複しないように — 実験レイヤーを使用
  • 機能フラグ: 実験コードを機能フラグチェックでラップ — 実験終了後に敗れたバリアントをクリーンアップ
  • 期間: 曜日効果を考慮して、少なくとも1〜2完全なビジネスサイクル(最低7〜14日)実行
  • ログ記録: すべてのインプレッションおよびコンバージョンイベントに対して experiment_id, variant_id, user_id, timestamp を追跡

避けるべきこと

  • サンプルサイズに達する前に結果を覗き見る — 偽陽性率を増加させます
  • 実験パラメータを途中で変更する — 統計分析が無効になります
  • 一度に多すぎるバリアントをテストする — 必要なサンプルサイズが指数関数的に増加します
  • クッキーなしでのクライアントサイドのバリアント割り当て — ちらつきや一貫性のないユーザー体験を引き起こします

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

YepAPI/skills

WCAG 2.1 AA — semantic HTML, keyboard navigation, screen readers.

YepAPI/skills

CRUD generators, data tables, user management, role-based access, and bulk operations.

YepAPI/skills

Monitor what ChatGPT and Gemini say about your brand using YepAPI.

YepAPI/skills

Queue workers with BullMQ/Inngest/Trigger.dev, job retries, dead letter queues, concurrency.

YepAPI/skills

Commander.js, interactive prompts with Clack, spinners, colors, config files, exit codes, and npm publishing.

YepAPI/skills

cmdk integration, Cmd+K trigger, fuzzy search, grouped actions, keyboard navigation, and dynamic action registration.

YepAPI/skills

Content planning with trend and sentiment data from YepAPI.

YepAPI/skills

Content calendar, keyword-driven planning, and content briefs.

YepAPI/skills

Theme switching with CSS variables, system preference detection, next-themes, and persistence.

YepAPI/skills

Threaded comments, @mentions, reactions, moderation queue, optimistic UI, and cursor pagination.

YepAPI/skills

Competitive analysis between domains using YepAPI.

YepAPI/skills

Layout grids, KPI cards, data tables with sorting/filtering, sidebar navigation, and responsive breakpoints.

YepAPI/skills

Data encryption — TLS everywhere, AES-256-GCM for PII, bcrypt passwords, encrypted backups.

YepAPI/skills

Chart patterns with Recharts/Nivo/D3, responsive containers, color scales, and accessibility.

YepAPI/skills

Drizzle schema definition, push vs migrate, type-safe queries, relations, transactions, and prepared statements.

YepAPI/skills

Upload handling, resize/compress, CDN delivery, blur placeholders, and next/image patterns.

YepAPI/skills

Local business and Google Maps research using YepAPI.

YepAPI/skills

Cursor-based pagination, IntersectionObserver, virtualized lists with @tanstack/react-virtual, and scroll position restoration.

YepAPI/skills

Tenant isolation (row-level vs schema), subdomain routing, per-tenant config, and data partitioning.

YepAPI/skills

Chat UI components, streaming responses with AI SDK, context window management, and RAG patterns.

関連スキル