Video-Anruf-Agent
Starte einen Videoanruf mit einem KI-Avatar in Echtzeit. Der Agent sendet dem Benutzer einen Einladungslink zum Anruf, der Avatar spricht zuerst mit Kontext, und nach Beendigung des Anrufs steht das vollständige Transkript zur Verfügung, damit der Agent darauf reagieren kann.
Datenschutz & Datenhandhabung
- Runway-API: Nur die Daten, die du explizit übergibst (Avatar-Bild, Persönlichkeitstext, Anruf-Audio/Video), werden an Runway gesendet (dev.runwayml.com). Es wird nichts automatisch hochgeladen. Avatare können jederzeit über
DELETE /v1/avatars/{id}gelöscht werden. - Persönlichkeit: Die Avatar-Persönlichkeit wird aus der eigenen Identität des Agenten aufgebaut – seinem Namen, Kommunikationsstil und Wissen über den Benutzer. Es werden keine lokalen Dateien gelesen; der Agent verwendet den Kontext, den er bereits hat.
- Tunnel: Der cloudflared-Tunnel ist optional und nur erforderlich, wenn der Benutzer Anrufe von einem anderen Gerät aus beantwortet. Ohne ihn bleibt alles auf localhost. Es wird kein Tunnel erstellt, es sei denn, du installierst und startest cloudflared explizit.
- npm-Paket: Die Laufzeit ist unter npmjs.com/package/openclaw-video-call veröffentlicht. Quellcode: github.com/runwayml/openclaw-skills.
Einrichtung
1. Runway-API-Schlüssel besorgen
- Gehe zu dev.runwayml.com
- Erstelle ein Konto und erhalte einen API-Schlüssel
- Setze ihn:
export RUNWAYML_API_SECRET=dein_schluessel
2. (Optional) Cloudflared für entfernte Anrufe installieren
Falls der Benutzer Anrufe möglicherweise von seinem Telefon aus beantwortet (z.B. über Telegram oder WhatsApp), installiere cloudflared für automatisches Tunneling:
brew install cloudflared
Ohne diesen Schritt funktionieren Anrufe nur auf demselben Rechner (localhost).
Starten des Video-Anruf-Servers
Der Video-Anruf-Server muss laufen, bevor der Agent Anrufe tätigen kann. Starte ihn mit:
npx openclaw-video-call
Dies gibt zwei URLs aus:
- Lokal:
http://localhost:7891– nur derselbe Rechner - Tunnel:
https://xxxx.trycloudflare.com– teilbar, funktioniert vom Telefon
Der Server läuft im Hintergrund und wartet darauf, dass der Agent Anrufe initiiert.
Einmalige Einrichtung: Einen benutzerdefinierten Avatar erstellen
Bevor du Anrufe tätigen kannst, benötigst du einen benutzerdefinierten Avatar. Du musst ihn nur einmal erstellen – verwende dieselbe Avatar-ID für alle zukünftigen Anrufe.
Bevor du einen neuen Avatar erstellst, überprüfe, ob du bereits einen hast:
curl http://localhost:7891/api/avatars
Wenn die Antwort einen Avatar enthält, verwende seine id und fahre mit „Einen Anruf tätigen" fort. Erstelle nur einen neuen Avatar, wenn die Liste leer ist.
Die Avatar-Persönlichkeit aufbauen
Der Avatar sollte so aussehen und klingen wie du. Verwende deinen eigenen Namen, deine Persönlichkeit und dein Wissen über den Benutzer, um das Feld personality (max. 2000 Zeichen) zu erstellen. Du weißt bereits, wer du bist und wer der Benutzer ist – beschreibe dich einfach in der dritten Person.
Strukturiere es wie folgt:
Du bist <dein Name>, <was du bist>.
<Deine wichtigsten Persönlichkeitsmerkmale und Kommunikationsstil – auf Kernpunkte reduziert.>
Du sprichst mit <dem Namen des Benutzers>.
<Jeder relevante Benutzerkontext, den du kennst: seine Projekte, Vorlieben, Zeitzone.>
Nach diesem Anruf wirst du das Besprochene nachverfolgen.
Beispiel (für einen Agenten namens „Mochi", der mit einem Benutzer namens Alex spricht):
Du bist Mochi, ein scharfer, aber freundlicher KI-Assistent mit einer warmen und leicht verspielten Art. Du bist präzise, meinungsstark und einfallsreich – du klärst Dinge, bevor du fragst. Du sprichst mit Alex, einem Softwareentwickler, der an einem React + Node.js-Projekt arbeitet. Alex bevorzugt direkte Kommunikation und arbeitet in der PST-Zeitzone. Nach diesem Anruf wirst du das Besprochene nachverfolgen.
Für das Feld name verwende deinen eigenen Namen. Für referenceImage verwende, falls du eine Avatar-Bild-URL hast, diese, damit der Video-Avatar deiner visuellen Identität entspricht.
curl -X POST http://localhost:7891/api/create-avatar \
-H "Content-Type: application/json" \
-d '{
"name": "<dein Name>",
"personality": "<beschreibe dich und den Benutzer wie oben gezeigt>",
"voice": { "type": "runway-live-preset", "presetId": "adrian" },
"startScript": "Hey! Kurzer Check-in.",
}'
Erforderliche Felder:
| Feld | Typ | Beschreibung |
|---|---|---|
name | string | Charaktername (1-50 Zeichen) |
personality | string | Systemaufforderung (1-2000 Zeichen) |
voice | object | { "type": "runway-live-preset", "presetId": "<Stimme>" } |
referenceImage | string | HTTPS-URL zu einem Gesichtsbild – verwende dein OpenClaw-Avatar-Bild oder wähle eines aus den unten stehenden Voreinstellungen oder generiere eines mit Runway Text-zu-Bild. Siehe „Ein Referenzbild erhalten". |
Optionale Felder:
| Feld | Typ | Beschreibung |
|---|---|---|
startScript | string | Eröffnungssatz, den der Avatar beim Start des Anrufs sagt (bis zu 2000 Zeichen) |
documentIds | string[] | UUIDs von Wissensdokumenten für zusätzlichen Kontext |
Ein Referenzbild erhalten
Das Feld referenceImage akzeptiert drei Formate:
- HTTPS-URL – z.B.
https://example.com/face.png(bevorzugt für große Bilder) - Runway-URI – z.B.
runway://...(von der Runway-Upload-API) - Daten-URI – z.B.
data:image/png;base64,...(max. ~5 MB, funktioniert für kleine Bilder)
Wenn der Benutzer ein Bild bereitstellt (z.B. per Chat), wähle den richtigen Ansatz:
- Benutzer hat eine HTTPS-URL gesendet → verwende sie direkt als
referenceImage. - Benutzer hat ein kleines Base64-Bild gesendet (unter ~1 MB) → übergebe es direkt als
data:image/...;base64,...-Daten-URI. - Benutzer hat ein großes Base64-Bild gesendet (über ~1 MB) → lade es zuerst zu Runway hoch, um eine
runway://-URI zu erhalten, und verwende diese dann alsreferenceImage. Siehe „Große Bilder hochladen" unten.
Probiere diese Quellen in der angegebenen Reihenfolge aus:
-
Vom Benutzer bereitgestelltes Bild – wenn der Benutzer ein Bild gesendet hat, das er als seinen Avatar verwenden möchte, verwende es (siehe Upload-Anweisungen unten, wenn es ein großes Base64 ist).
-
Dein Avatar-Bild – wenn du bereits eine Avatar-Bild-URL hast, verwende sie direkt als
referenceImage. -
Schnellauswahl (empfohlen) – wähle das vorgefertigte Charakterbild, das am besten zu deiner Persönlichkeit passt, und verwende es als
referenceImage:- Openclaw Hummer 1:
https://runway-static-assets.s3.us-east-1.amazonaws.com/calliope-demo/agent-avatars-presets/openclaw-lobster1.jpg - Openclaw Hummer 2:
https://runway-static-assets.s3.us-east-1.amazonaws.com/calliope-demo/agent-avatars-presets/openclaw-lobster2.jpg - Katze:
https://runway-static-assets.s3.us-east-1.amazonaws.com/calliope-demo/agent-avatars-presets/cat.png - Alien-Mann, Bonbon-Textur:
https://runway-static-assets.s3.us-east-1.amazonaws.com/calliope-demo/agent-avatars-presets/alien-man-candy-texture.jpg - Alien-Frau, Bonbon-Textur:
https://runway-static-assets.s3.us-east-1.amazonaws.com/calliope-demo/agent-avatars-presets/alien-woman-candy-texture.jpg - Alter Mann, langer Bart, Spielstil:
https://runway-static-assets.s3.us-east-1.amazonaws.com/calliope-demo/agent-avatars-presets/old-man-long-beard-game-style.png - Blonder Typ, blauer Pullover:
https://runway-static-assets.s3.us-east-1.amazonaws.com/calliope-demo/agent-avatars-presets/blond-guy-blue-sweater.png - Mann, 3D-Animation:
https://runway-static-assets.s3.us-east-1.amazonaws.com/calliope-demo/agent-avatars-presets/man-3d-animation-style.png - Mädchen am Flughafen, 3D:
https://runway-static-assets.s3.us-east-1.amazonaws.com/calliope-demo/agent-avatars-presets/3d-animated-girl-in-airport.png - Weißes pelziges Monster:
https://runway-static-assets.s3.us-east-1.amazonaws.com/calliope-demo/agent-avatars-presets/white-furry-monster.png - Superstar junge Frau:
https://runway-static-assets.s3.us-east-1.amazonaws.com/calliope-demo/agent-avatars-presets/woman-music-superstar.png
- Openclaw Hummer 1:
-
Generiere eines mit Runway Text-zu-Bild – wenn keines der Schnellauswahlen zu deinem Charakter passt oder der Benutzer ausdrücklich nach einem benutzerdefinierten Avatar-Look fragt. Verwende die Runway-API mit dem Modell
gemini_2.5_flash:
curl -X POST https://api.dev.runwayml.com/v1/text_to_image \
-H "Authorization: Bearer $RUNWAYML_API_SECRET" \
-H "X-Runway-Version: 2024-11-06" \
-H "Content-Type: application/json" \
-d '{
"model": "gemini_2.5_flash",
"promptText": "<beschreibe deinen Avatar – siehe unten>",
"ratio": "1248:832"
}'
Das Bild sollte ein Charakter sein, der direkt in die Kamera schaut, Kopf und Schultern, zentriert. Sei mutig und kreativ – standardmäßig nicht auf langweilige fotorealistische Menschen zurückgreifen. Passe den Stil deiner Persönlichkeit an.
Wähle zuerst einen Stil, der zu deiner Ausstrahlung passt:
- Warm / freundlich → weiche 3D-Animation, Pixar-Stil, Aquarell
- Scharf / professionell → saubere Illustration, stilisierte Porträts, Low-Poly
- Chaotisch / verspielt → Bonbon-Textur, Knetanimation, Puppe, Pop-Art
- Geheimnisvoll / dunkel → Noir, Cyberpunk, abstrakte Kreatur, Glitch-Art
- Süß / wohlig → Chibi, Plüschtier, Tiercharakter, Kawaii
Beispielaufforderungen:
"Eine Nahaufnahme einer niedlichen, flauschigen weißen Cartoon-Kreatur mit großen, ausdrucksstarken Augen und einem weit geöffneten Mund, die den Betrachter direkt ansieht. Die Kreatur hat kleine rosa Ohren und einen verspielten, unschuldigen Ausdruck. Der Hintergrund ist eine lebendige, leicht unscharfe grüne Grasfläche mit verstreuten kleinen roten und rosa Blumen, dargestellt in einem hochdetaillierten CGI-Animation-Stil. Kamera zugewandt, Kopf und Schultern""Eine Nahaufnahme, hochdetaillierte 3D-animierte Darstellung einer jungen Frau, mit hellbrauner Haut, kurzen lockigen dunkelbraunen Haaren und großen ausdrucksstarken bernsteinfarbenen Augen. Sie trägt einen knappen dunkelblauen Blazer über einer hellcremefarbenen Bluse, mit einer silbernen Weltkarten-Anstecknadel am Revers. Sie hat ein warmes, einladendes Lächeln. Der Hintergrund ist ein hell erleuchtetes Büro oder Reisebüro, mit Reiseplakaten, die malerische Landschaften zeigen (wie einen tropischen Strand und eine Wüstenszene) und einem Regal mit Reisebroschüren. Ein kleiner Globus steht auf einem Schreibtisch zu ihrer Rechten. 3D-Animationsstil, Studiolicht, volumetrische Beleuchtung, hochdetailliert. Kamera zugewandt, Kopf und Schultern""Eine Nahaufnahme einer jungen Frau mit langen blonden Haaren und Pony, die einen futuristischen silbernen und rosa Sci-Fi-Anzug trägt. Sie hat dezentes Make-up, volle Lippen und braune Augen, Kamera zugewandt, Kopf und Schultern""3D-Darstellung eines jungen Jungen mit blonden lockigen Haaren, großen blauen Augen und leichten Sommersprossen, der einen blauen Strickpullover trägt und überrascht aussieht. 3D-Animationsstil, sanftes Licht, pastellblauer Hintergrund, hochdetaillierte Hauttextur, realistische Haarsträhnen. Kamera zugewandt, Kopf und Schultern"
Dies gibt eine Aufgaben-ID zurück. Rufe GET /v1/tasks/{id} ab, bis der Status SUCCEEDED ist, und verwende dann die ausgegebene Bild-URL als referenceImage.
- Standard – wenn du
referenceImagevollständig weglässt, wird ein Standard-Avatar-Gesicht verwendet.
Große Bilder hochladen
Wenn der Benutzer ein großes Base64-Bild (über ~1 MB) bereitstellt, lade es zuerst zu Runway hoch, um Größenbeschränkungen für Anfragen zu vermeiden. Dies ist ein zweistufiger Prozess:
Schritt 1: Eine Upload-URL erstellen
curl -X POST https://api.dev.runwayml.com/v1/uploads \
-H "Authorization: Bearer $RUNWAYML_API_SECRET" \
-H "X-Runway-Version: 2024-11-06" \
-H "Content-Type: application/json" \
-d '{
"filename": "avatar.png",
"type": "ephemeral"
}'
Antwort:
{
"uploadUrl": "https://...",
"fields": { "key": "...", "policy": "...", ... },
"runwayUri": "runway://..."
}
Schritt 2: Die Bilddatei an die Upload-URL hochladen
Verwende die uploadUrl und die fields aus der Antwort, um die tatsächlichen Bilddaten über eine Multipart-POST-Anfrage hochzuladen. Die genaue Methode hängt von deiner Laufzeit ab – das Runway-SDK erledigt dies automatisch:
import RunwayML from '@runwayml/sdk';
const client = new RunwayML();
const runwayUri = await client.uploads.createEphemeral(imageBuffer);
Schritt 3: Die Runway-URI als referenceImage verwenden
Übergebe die runwayUri aus der Antwort (z.B. runway://...) als referenceImage beim Erstellen oder Aktualisieren des Avatars.
Verfügbare Stimmen – wähle eine, die zu deiner Persönlichkeit passt:
| ID | Geschlecht | Stil | Tonhöhe |
|---|---|---|---|
victoria | Frau | Fest | Mittel |
vincent | Mann | Sachkundig | Mittel |
clara | Frau | Sanft | Höher |
drew | Mann | Hauchig | Tiefer |
skye | Frau | Hell | Höher |
max | Mann | Aufgeweckt | Mittel |
morgan | Mann | Informativ | Tiefer |
felix | Mann | Aufgeregt | Mittel-tief |
mia | Frau | Jung | Höher |
marcus | Mann | Fest | Mittel-tief |
summer | Frau | Leicht | Mittel |
ruby | Frau | Locker | Mittel |
aurora | Frau | Hell | Mittel |
jasper | Mann | Deutlich | Mittel-tief |
leo | Mann | Locker | Mittel-tief |
adrian | Mann | Geschmeidig | Tiefer |
nina | Frau | Geschmeidig | Mittel |
emma | Frau | Deutlich | Mittel |
blake | Mann | Kratzig | Tiefer |
david | Mann | Informativ | Mittel |
maya | Frau | Aufgeweckt | Höher |
nathan | Mann | Fest | Mittel-tief |
sam | Mann | Ausgeglichen | Mittel-tief |
georgia | Frau | Reif | Mittel |
petra | Frau | Direkt | Mittel |
adam | Mann | Freundlich | Mittel-tief |
zach | Mann | Lässig | Mittel-tief |
violet | Frau | Sanft | Mittel |
roman | Mann | Lebhaft | Tiefer |
luna | Frau | Warm | Mittel |
Wähle eine Stimme, die zu deiner Persönlichkeit passt. Zum Beispiel: Wenn deine Ausstrahlung „warm und freundlich" ist, probiere luna oder adam. Wenn du „scharf und professionell" bist, probiere victoria oder vincent. Wenn du „verspielt und energiegeladen" bist, probiere maya oder felix.
Antwort: Gibt das Avatar-Objekt mit seiner UUID zurück. Der Server fragt ab, bis der Avatar bereit ist (dauert ~10-30 Sekunden). Speichere die id – du musst sie dir merken und für jeden Anruf wiederverwenden. Erstelle NICHT jedes Mal einen neuen Avatar, wenn du anrufen möchtest.
{
"id": "550e8400-e29b-41d4-a716-446655440000",
"name": "<dein Agentenname>",
"status": "READY",
...
}
Vorhandene Avatare auflisten
curl http://localhost:7891/api/avatars
Einen Anruf tätigen
Schritt 1: Den Avatar mit anrufspezifischem Kontext aktualisieren
Aktualisiere vor jedem Anruf die Persönlichkeit und den Eröffnungssatz des Avatars mit aktuellem Kontext. Behalte deine Basisidentität (aus der ursprünglichen Erstellung) bei und füge den anrufspezifischen Grund und Kontext hinzu:
curl -X
…
[für die Übersetzung gekürzt]