Was macht neox?
Verwende ein iPhone als lokalen MCP-Medien-Server über die Neox-App: Durchsuche die Foto- und Videobibliothek des Telefons nach Inhalten (Bilderkennung), analysiere lokal (Klassifizierung, OCR, Personenerkennung, Transkription) und übertrage Originaldateien per WiFi mit bereichsgesteuertem HTTP. Inklusive des Neoy-Bridge — einem Bonjour-angekündigten HTTP-Endpunkt, den du implementierst und ausführst (über Session-Hook), der „Run Agent Task“-Übergaben vom Telefon empfängt. Verwende diese Fähigkeit, wenn eine Aufgabe die Medien des Telefons benötigt: „Finde Fotos von X“, „Hole die neuesten Videos von meinem Telefon“, „Erstelle ein Vlog aus meinen Urlaubsvideos“.
Voraussetzungen
- iPhone mit installierter Neox-App (ab iOS 17)
- Neoy-Bridge: Ein von dir bereitgestellter HTTP-Endpunkt, der über Bonjour im lokalen Netzwerk bekannt gemacht wird und „Run Agent Task“-Aufrufe vom Telefon empfängt.
- Agent, der MCP (Model Context Protocol) unterstützt (z. B. Claude Code, Cursor, Codex).
Einrichtung
- Installiere die Neox-App auf deinem iPhone.
- Stelle sicher, dass iPhone und Entwicklerrechner im selben WiFi-Netz sind.
- Starte den Neoy-Bridge-Server auf deinem Rechner (z. B. über einen Session-Hook).
- Verbinde den Agenten mit dem MCP-Server der Neox-App.
Verwendung
Medien durchsuchen
# Nach Fotos mit bestimmten Inhalten suchen
neox search "Fotos von meinem Hund letztes Jahr"
# Videos nach Datum filtern
neox search "Videos von letzter Woche"
Medien analysieren
# Bild analysieren (Klassifizierung, OCR, Personen)
neox analyze <bild-id>
# Video transkribieren (wenn es Audio enthält)
neox transcribe <video-id>
Medien abrufen
# Originalfoto in voller Auflösung herunterladen
neox download <foto-id> --output ./downloads/
# Video mit Bereichsanfrage streamen
neox stream <video-id> --range 0-1048576
Neoy-Bridge: Aufgaben vom Telefon empfangen
Die Neoy-Bridge läuft als HTTP-Server auf deinem Rechner und wird über Bonjour als _neoy._tcp bekannt gemacht. Das Telefon kann dann Anfragen an diesen Server senden, um Agentenaufgaben zu starten.
// Beispiel-Implementierung (Node.js mit Express)
const express = require('express');
const app = express();
app.use(express.json());
app.post('/run-task', (req, res) => {
const { task } = req.body;
console.log(`Aufgabe vom Telefon erhalten: ${task}`);
// Hier könnte der Agent seine Logik ausführen
res.json({ status: 'ok' });
});
app.listen(3000, () => {
console.log('Neoy-Bridge läuft auf Port 3000');
});
Konfiguration
| Variable | Beschreibung | Standard |
|---|---|---|
NEOX_PORT | Port des Neox-MCP-Servers | 8080 |
NEOY_PORT | Port des Neoy-Bridge-Servers | 3000 |
NEOY_SERVICE_NAME | Bonjour-Dienstname | _neoy._tcp |
NEOX_DEBUG | Debug-Ausgaben aktivieren | false |
Tipps
- Stelle sicher, dass die Neox-App im Hintergrund läuft, während der Agent auf sie zugreift.
- Bei großen Mediatheken kann die erste Indexierung einige Minuten dauern.
- Nutze die Bereichsanfragen (Range Requests) für große Videodateien, um Bandbreite zu sparen.
- Die Neoy-Bridge ermöglicht bidirektionale Kommunikation: Das Telefon kann Aufgaben anfordern, und der Agent kann Ergebnisse zurückgeben.
Lizenz
MIT