stablyai/computer-use

computer-use は何をしますか？

Orcaのcomputer-use CLIを使用して、アクセシビリティツリー、スクリーンショット、安全なUIアクションを通じてローカルデスクトップアプリケーションのウィンドウを検査・操作します。デスクトップアプリとの対話に使用します：アプリ/ウィンドウの一覧表示、アプリの状態取得、可視UIの読み取り、コントロールのクリック、テキスト入力、キー押下、スクロール、ドラッグ、値の設定、またはアクセシビリティアクションの実行。ブラウザウィンドウ、WebView、OrcaアプリUI、その他のデスクトップUIにも使用できます。トリガーとしては「computer use」「orca computer」「Spotifyを読む」「Slackを読む」「デスクトップアプリを操作/クリック/読み取る」「アプリの状態を取得する」などがあります。