sidmohan0/skills

Mac Context (Eyes)

Dies ist die grundlegende Beobachtungsfähigkeit. Sie ermöglicht es dem Agenten, die lokale macOS-Sitzung mit minimalen Nebenwirkungen zu beobachten. Sie ist die erste von vier Fakultäten: Augen (diese Fähigkeit), Ohren/Stimme, Hände und Gedächtnis. Diese setzen sich zu einem persönlichen Produktivitätsassistenten zusammen.

Sie übernimmt die Projekt-Schutzcharta. Lesen Sie references/charter.md und befolgen Sie sie.

Kernmethode

Bevorzugen Sie deterministische Beobachtung gegenüber UI-Raten. Verwenden Sie AppleScript und Shell, um strukturierte Zustände zu lesen (App-Name, Fenstertitel, Tab-URLs, Zwischenablage). Reservieren Sie Screenshots für Oberflächen ohne strukturierte Schnittstelle und lesen Sie das Bild dann mit Vision.

Führen Sie das gebündelte Skript aus:

SKILL_DIR="${CODEX_SKILL_DIR:-$HOME/.codex/skills/mac-context}"
bash "$SKILL_DIR/scripts/mac_context.sh"

Standardverhalten: Gibt die oberste App und deren vorderen Fenstertitel aus.

Häufige Aufgaben

Welche App/welches Fenster hat gerade den Fokus:

SKILL_DIR="${CODEX_SKILL_DIR:-$HOME/.codex/skills/mac-context}"
bash "$SKILL_DIR/scripts/mac_context.sh" --frontmost

Aktiven Browser-Tab abrufen (URL + Titel) oder Browser-Tabs über Browserfenster hinweg:

bash "$SKILL_DIR/scripts/mac_context.sh" --browser
bash "$SKILL_DIR/scripts/mac_context.sh" --browser-tabs

Zwischenablage lesen oder aktuelle Auswahl erfassen:

bash "$SKILL_DIR/scripts/mac_context.sh" --clipboard
bash "$SKILL_DIR/scripts/mac_context.sh" --selection

--selection führt Cmd+C aus, um markierten Text zu kopieren, gibt ihn aus und stellt dann die vorherige Text-Zwischenablage wieder her. Es weigert sich auszuführen, wenn die Zwischenablage derzeit Nicht-Text-Formate enthält, da pbcopy diese nicht sicher wiederherstellen kann. Informieren Sie den Benutzer vor der Verwendung, wenn er nicht speziell nach Auswahlerfassung gefragt hat.

Einen stillen Screenshot machen und dann mit Vision lesen:

# Vollbild zu einem temporären Pfad
bash "$SKILL_DIR/scripts/mac_context.sh" --screenshot
# Vom Benutzer ausgewählter Bereich
bash "$SKILL_DIR/scripts/mac_context.sh" --screenshot --interactive /tmp/shot.png
# Ein angeklicktes Fenster
bash "$SKILL_DIR/scripts/mac_context.sh" --screenshot --window /tmp/win.png

Das Skript gibt screenshot=<Pfad> aus. Öffnen Sie diesen Pfad mit dem Lese/Vision-Tool, um nicht-scriptbare UI zu interpretieren (Slack, Notion, ein PDF, ein Design-Tool).

Kombinierte „Was sehe ich gerade“-Momentaufnahme (oberste App + Browser + Zwischenablage):

bash "$SKILL_DIR/scripts/mac_context.sh" --snapshot

Fähigkeiten auflisten und die jeweils benötigte macOS-Berechtigung anzeigen:

bash "$SKILL_DIR/scripts/mac_context.sh" --list

Berechtigungsmodell

• Hauptsächlich lesend. Das Skript sendet, veröffentlicht, bearbeitet, verschiebt oder löscht nichts.
• Die einzigen bewussten Nebenwirkungen sind: --selection überschreibt vorübergehend eine reine Text-Zwischenablage (stellt dann den vorherigen Text wieder her) und --screenshot schreibt eine Bilddatei.
• macOS schützt diese Fähigkeiten. Beim ersten Ausführen eines Modus kann eine Aufforderung erscheinen:
  • Fenstertitel und --selection: Bedienungshilfen.
  • Browser-Modi: Automation (pro Browser).
  • Screenshots: Bildschirmaufnahme.
• Wenn macOS eine Aufforderung anzeigt, pausieren Sie und teilen Sie dem Benutzer genau mit, welche Berechtigung benötigt wird und wo sie zu erteilen ist (Systemeinstellungen > Datenschutz & Sicherheit).

Komposition

Diese Fähigkeit ist dazu gedacht, andere zu speisen. Typische Ketten:

• Erfassen-zu-Aufgabe: Den aktuellen Kontext als Momentaufnahme erfassen, dann eine Erinnerung/ein Ticket erstellen, das darauf verweist, was der Benutzer gerade angesehen hat.
• Besprechungsvorbereitung / Triage: Den aktiven Tab oder die Auswahl lesen, um eine Nachverfolgung zu untermauern.
• Vision-Notluke: Wenn keine AppleScript-Schnittstelle existiert, Screenshot und lesen.

Beim Komponieren zuerst mit dieser Fähigkeit beobachten, dann das strukturierte Ergebnis an eine handelnde Fähigkeit übergeben. Handlungsfähigkeiten erfordern weiterhin eine explizite, benannte Zustimmung des Ziels gemäß der Charta.

Leitplanken

• Standardmäßig passiv beobachten. Keinen Screenshot machen, keine Auswahl lesen oder alle Tabs auflisten, es sei denn, die Aufgabe erfordert es; den engsten Modus bevorzugen.
• Erfasste Inhalte (Zwischenablage, Tabs, Bildschirmtext, Auswahlen) als privat behandeln. Nicht mehr ausgeben als für die Aufgabe nötig und niemals in git-verfolgten Dateien speichern.
• Klar sagen, wenn eine Fähigkeit durch eine fehlende Berechtigung blockiert ist, anstatt es erneut zu versuchen oder einen Umweg zu suchen.
• Kein UI-Scripting verwenden, um auf Apps zuzugreifen. Diese Fähigkeit nimmt nur wahr; Aktionen gehören in dedizierte, zustimmungsgesteuerte Fähigkeiten.