desktop-controller-skill は何をしますか？
Claude Code向けAIコンピュータ操作——OpenAI Codexのplaywright-interactiveに対するオープンソース代替。デュアルエンジン：Win32 API + Playwright。WeChat、DingTalk、Feishu、QQ、Slack、Teams、あらゆるWeb/Electronアプリを制御。自動QA、ビューポートテスト、ビジュアルフィードバックループ。
概要
このスキルは、Claude CodeエージェントがデスクトップアプリケーションやWebアプリケーションを直接操作できるようにします。これは、OpenAI Codexのplaywright-interactiveに触発されたオープンソースの代替品であり、以下の2つのエンジンを組み合わせています：
- Win32 API：ネイティブWindowsアプリケーション（WeChat、DingTalk、Feishu、QQなど）を操作するため
- Playwright：WebアプリケーションとElectronアプリを操作するため
主な機能
- 自動QA：自動化されたテストシナリオの実行
- ビューポートテスト：異なるビューポートサイズでのアプリケーション表示の検証
- ビジュアルフィードバックループ：AIがスクリーンショットを分析し、アクションを決定し、結果を検証
- マルチプラットフォームサポート：Windows、macOS、Linuxでの主要なデスクトップアプリとWebアプリ
使用方法
# スキルをインストール
claude skills install 24kchengYe/desktop-controller-skill
# 例：WeChatの起動とメッセージ送信
claude "WeChatを開いて、連絡先'山田太郎'に'こんにちは'と送信してください"
設定
| 環境変数 | 説明 | デフォルト値 |
|---|---|---|
DESKTOP_CONTROLLER_ENGINE | 使用するエンジン（win32 / playwright / auto） | auto |
DESKTOP_CONTROLLER_VIEWPORT | ビューポートサイズ（例：1920x1080） | 1920x1080 |
DESKTOP_CONTROLLER_TIMEOUT | 操作のタイムアウト（ミリ秒） | 30000 |
アーキテクチャ
このスキルは、以下のコンポーネントで構成されています：
- コアエンジン：Win32 APIとPlaywrightの両方を管理
- ビジョンパイプライン：スクリーンショットをキャプチャし、UI要素を検出
- アクション実行：クリック、入力、スワイプ、ドラッグなどの操作を実行
- フィードバックループ：アクションの成功を検証し、必要に応じて再試行
ライセンス
MIT