KI-Videoanruf-Charakter
Rufen Sie den Benutzer mit einem Echtzeit-KI-Videoavatar an. Der Agent initiiert den Anruf, der Avatar spricht zuerst mit Kontext, und nach dem Ende des Anrufs ist das vollständige Transkript verfügbar, damit der Agent darauf reagieren kann.
Datenschutz & Datenhandhabung
- Runway-API: Nur die Daten, die Sie explizit übergeben (Avatar-Bild, Persönlichkeitstext, Anrufaudio/-video), werden an Runway gesendet (dev.runwayml.com). Es wird nichts automatisch hochgeladen. Avatare können jederzeit über
DELETE /v1/avatars/{id}gelöscht werden. - Persönlichkeit: Die Avatar-Persönlichkeit wird aus der eigenen Identität des Agenten aufgebaut – sein Name, Kommunikationsstil und Wissen über den Benutzer. Es werden keine lokalen Dateien gelesen; der Agent verwendet den Kontext, den er bereits hat.
- Tunnel: Der cloudflared-Tunnel ist optional und wird nur benötigt, wenn der Benutzer Anrufe von einem anderen Gerät aus beantwortet. Ohne ihn bleibt alles auf localhost. Es wird kein Tunnel erstellt, es sei denn, Sie installieren und führen cloudflared explizit aus.
- npm-Paket: Die Laufzeit ist unter npmjs.com/package/openclaw-video-call veröffentlicht. Quellcode: github.com/runwayml/openclaw-skills.
Einrichtung
1. Runway-API-Schlüssel abrufen
- Gehen Sie zu dev.runwayml.com
- Erstellen Sie ein Konto und erhalten Sie einen API-Schlüssel
- Setzen Sie ihn:
export RUNWAYML_API_SECRET=your_key
2. (Optional) cloudflared für Fernanrufe installieren
Wenn der Benutzer Anrufe von seinem Telefon aus beantworten könnte (z. B. über WhatsApp), installieren Sie cloudflared für automatisches Tunneling:
brew install cloudflared
Ohne cloudflared funktionieren Anrufe nur auf demselben Rechner (localhost).
Starten des Videoanrufservers
Der Videoanrufserver muss laufen, bevor der Agent Anrufe tätigen kann. Starten Sie ihn:
npx openclaw-video-call
Dies gibt zwei URLs aus:
- Lokal:
http://localhost:7891– nur derselbe Rechner - Tunnel:
https://xxxx.trycloudflare.com– teilbar, funktioniert vom Telefon aus
Der Server läuft im Hintergrund und wartet darauf, dass der Agent Anrufe initiiert.
Einmalige Einrichtung: Benutzerdefinierten Avatar erstellen
Bevor Sie Anrufe tätigen, benötigen Sie einen benutzerdefinierten Avatar. Sie müssen ihn nur einmal erstellen – verwenden Sie dieselbe Avatar-ID für alle zukünftigen Anrufe wieder.
Bevor Sie einen neuen Avatar erstellen, prüfen Sie, ob Sie bereits einen haben:
curl http://localhost:7891/api/avatars
Wenn die Antwort einen Avatar enthält, verwenden Sie dessen id und fahren Sie mit „Anruf tätigen“ fort. Erstellen Sie nur einen neuen Avatar, wenn die Liste leer ist.
Aufbau der Avatar-Persönlichkeit
Der Avatar sollte so aussehen und klingen wie Sie. Verwenden Sie Ihren eigenen Namen, Ihre Persönlichkeit und Ihr Wissen über den Benutzer, um das Feld personality aufzubauen (max. 2000 Zeichen). Sie wissen bereits, wer Sie sind und wer der Benutzer ist – beschreiben Sie sich einfach in der dritten Person.
Strukturieren Sie es so:
Du bist <Ihr Name>, <was Sie sind>.
<Ihre Kernpersönlichkeitsmerkmale und Ihr Kommunikationsstil – auf Kernpunkte reduziert.>
Du sprichst mit <Name des Benutzers>.
<Relevanter Benutzerkontext, den Sie kennen: deren Projekte, Präferenzen, Zeitzone.>
Nach diesem Anruf werden Sie das Besprochene nachverfolgen.
Beispiel (für einen Agenten namens „Mochi“, der mit einem Benutzer namens Alex spricht):
Du bist Mochi, ein scharfer, aber freundlicher KI-Assistent mit einer warmen und leicht verspielten Ausstrahlung. Du bist prägnant, meinungsstark und einfallsreich – du findest Dinge heraus, bevor du fragst. Du sprichst mit Alex, einem Softwareentwickler, der an einem React + Node.js-Projekt arbeitet. Alex bevorzugt direkte Kommunikation und arbeitet in der PST-Zeitzone. Nach diesem Anruf wirst du das Besprochene nachverfolgen.
Verwenden Sie für das Feld name Ihren eigenen Namen. Für referenceImage verwenden Sie, falls vorhanden, die URL Ihres Avatar-Bildes, damit der Videoavatar Ihre visuelle Identität widerspiegelt.
curl -X POST http://localhost:7891/api/create-avatar \
-H "Content-Type: application/json" \
-d '{
"name": "<Ihr Name>",
"personality": "<Beschreiben Sie sich und den Benutzer wie oben gezeigt>",
"voice": { "type": "runway-live-preset", "presetId": "adrian" },
"startScript": "Hey! Kurzer Check-in.",
}'
Erforderliche Felder:
| Feld | Typ | Beschreibung |
|---|---|---|
name | string | Charaktername (1-50 Zeichen) |
personality | string | Systemaufforderung (1-2000 Zeichen) |
voice | object | { "type": "runway-live-preset", "presetId": "<Stimme>" } |
referenceImage | string | HTTPS-URL zu einem Gesichtsbild – verwenden Sie Ihr OpenClaw-Avatar-Bild, wählen Sie eines aus den folgenden Voreinstellungen oder generieren Sie eines mit Runway Text-zu-Bild. Siehe „Referenzbild abrufen“. |
Optionale Felder:
| Feld | Typ | Beschreibung |
|---|---|---|
startScript | string | Eröffnungszeile, die der Avatar sagt, wenn der Anruf beginnt (bis zu 2000 Zeichen) |
documentIds | string[] | Wissensdokument-UUIDs für zusätzlichen Kontext |
Referenzbild abrufen
Das Feld referenceImage akzeptiert drei Formate:
- HTTPS-URL – z. B.
https://example.com/face.png(bevorzugt für große Bilder) - Runway-URI – z. B.
runway://...(von der Runway-Upload-API) - Daten-URI – z. B.
data:image/png;base64,...(max. ~5 MB, funktioniert für kleine Bilder)
Wenn der Benutzer ein Bild bereitstellt (z. B. über Chat), wählen Sie den richtigen Ansatz:
- Benutzer hat eine HTTPS-URL gesendet → direkt als
referenceImageverwenden. - Benutzer hat ein kleines Base64-Bild gesendet (unter ~1 MB) → direkt als Daten-URI
data:image/...;base64,...übergeben. - Benutzer hat ein großes Base64-Bild gesendet (über ~1 MB) → zuerst bei Runway hochladen, um eine
runway://-URI zu erhalten, diese dann alsreferenceImageverwenden. Siehe „Große Bilder hochladen“ unten.
Versuchen Sie diese Quellen in dieser Reihenfolge:
-
Vom Benutzer bereitgestelltes Bild – wenn der Benutzer ein Bild gesendet hat, das er als Avatar verwenden möchte, verwenden Sie es (siehe Upload-Anweisungen unten, wenn es sich um großes Base64 handelt).
-
Ihr Avatar-Bild – wenn Sie bereits eine Avatar-Bild-URL haben, verwenden Sie sie direkt als
referenceImage. -
Schnellauswahl (empfohlen) – wählen Sie das vorgefertigte Charakterbild, das am besten zu Ihrer Persönlichkeit passt, und verwenden Sie es als
referenceImage:- Openclaw Hummer 1:
https://runway-static-assets.s3.us-east-1.amazonaws.com/calliope-demo/agent-avatars-presets/openclaw-lobster1.jpg - Openclaw Hummer 2:
https://runway-static-assets.s3.us-east-1.amazonaws.com/calliope-demo/agent-avatars-presets/openclaw-lobster2.jpg - Katze:
https://runway-static-assets.s3.us-east-1.amazonaws.com/calliope-demo/agent-avatars-presets/cat.png - Alien-Mann, Bonbon-Textur:
https://runway-static-assets.s3.us-east-1.amazonaws.com/calliope-demo/agent-avatars-presets/alien-man-candy-texture.jpg - Alien-Frau, Bonbon-Textur:
https://runway-static-assets.s3.us-east-1.amazonaws.com/calliope-demo/agent-avatars-presets/alien-woman-candy-texture.jpg - Alter Mann, langer Bart, Spielstil:
https://runway-static-assets.s3.us-east-1.amazonaws.com/calliope-demo/agent-avatars-presets/old-man-long-beard-game-style.png - Blonder Typ, blauer Pullover:
https://runway-static-assets.s3.us-east-1.amazonaws.com/calliope-demo/agent-avatars-presets/blond-guy-blue-sweater.png - Mann, 3D-Animation:
https://runway-static-assets.s3.us-east-1.amazonaws.com/calliope-demo/agent-avatars-presets/man-3d-animation-style.png - Mädchen am Flughafen, 3D:
https://runway-static-assets.s3.us-east-1.amazonaws.com/calliope-demo/agent-avatars-presets/3d-animated-girl-in-airport.png - Weißes pelziges Monster:
https://runway-static-assets.s3.us-east-1.amazonaws.com/calliope-demo/agent-avatars-presets/white-furry-monster.png - Superstar junge Frau:
https://runway-static-assets.s3.us-east-1.amazonaws.com/calliope-demo/agent-avatars-presets/woman-music-superstar.png
- Openclaw Hummer 1:
-
Mit Runway Text-zu-Bild generieren – wenn keine der Schnellauswahlen zu Ihrem Charakter passt oder der Benutzer speziell nach einem benutzerdefinierten Avatar-Look fragt. Verwenden Sie die Runway-API mit Modell
gemini_2.5_flash:
curl -X POST https://api.dev.runwayml.com/v1/text_to_image \
-H "Authorization: Bearer $RUNWAYML_API_SECRET" \
-H "X-Runway-Version: 2024-11-06" \
-H "Content-Type: application/json" \
-d '{
"model": "gemini_2.5_flash",
"promptText": "<Beschreiben Sie Ihren Avatar – siehe unten>",
"ratio": "1248:832"
}'
Das Bild sollte ein Charakter sein, der direkt in die Kamera schaut, Kopf und Schultern, zentriert. Seien Sie mutig und kreativ – verwenden Sie nicht standardmäßig langweilige photorealistische Menschen. Passen Sie den Stil an Ihre Persönlichkeit an.
Wählen Sie zuerst einen Stil, der zu Ihrer Ausstrahlung passt:
- Warm / freundlich → weiche 3D-Animation, Pixar-Stil, Aquarell
- Scharf / professionell → saubere Illustration, stilisierte Porträts, Low-Poly
- Chaotisch / verspielt → Bonbon-Textur, Knetanimation, Puppe, Pop-Art
- Geheimnisvoll / dunkel → Noir, Cyberpunk, abstrakte Kreatur, Glitch-Art
- Niedlich / herzerwärmend → Chibi, Plüschtier, Tiercharakter, Kawaii
Beispielaufforderungen:
"Eine Nahaufnahme eines niedlichen, flauschigen weißen Cartoon-Wesens mit großen, ausdrucksstarken Augen und einem weit geöffneten Mund, das den Betrachter direkt ansieht. Das Wesen hat kleine rosa Ohren und einen verspielten, unschuldigen Ausdruck. Der Hintergrund ist ein lebendiges, leicht unscharfes grünes Grasfeld mit kleinen roten und rosa Blumen, die darüber verstreut sind, gerendert in einem hochdetaillierten CGI-Animationsstil. Kamera zugewandt, Kopf und Schultern""Eine Nahaufnahme, hochdetaillierte 3D-animierte Darstellung einer jungen Frau mit hellbrauner Haut, kurzen lockigen dunkelbraunen Haaren und großen ausdrucksstarken bernsteinfarbenen Augen. Sie trägt einen scharfen dunkelblauen Blazer über einer hellcremefarbenen Bluse mit einer silbernen Weltkarten-Nadel am Revers. Sie hat ein warmes, einladendes Lächeln. Der Hintergrund ist ein hell erleuchtetes Büro oder Reisebüro mit Reiseplakaten, die malerische Landschaften (wie einen tropischen Strand und eine Wüstenszene) zeigen, und einem Regal mit Reisebroschüren. Ein kleiner Globus steht auf einem Schreibtisch zu ihrer Rechten. 3D-Animationsstil, Studio-Beleuchtung, volumetrische Beleuchtung, hochdetailliert. Kamera zugewandt, Kopf und Schultern""Eine Nahaufnahme einer jungen Frau mit langen blonden Haaren und Pony, die einen futuristischen silbernen und rosa Sci-Fi-Anzug trägt. Sie hat dezentes Make-up, volle Lippen und braune Augen, Kamera zugewandt, Kopf und Schultern""3D-Darstellung eines kleinen Jungen mit lockigen blonden Haaren, großen blauen Augen und leichten Sommersprossen, der einen blauen Strickpullover trägt, überrascht aussieht. 3D-Animationsstil, weiches Licht, pastellblauer Hintergrund, hochdetaillierte Hauttextur, realistische Haarsträhnen. Kamera zugewandt, Kopf und Schultern"
Dies gibt eine Aufgaben-ID zurück. Pollen Sie GET /v1/tasks/{id}, bis der Status SUCCEEDED ist, und verwenden Sie dann die Ausgabebild-URL als referenceImage.
- Standard – wenn Sie
referenceImagevollständig weglassen, wird ein Standard-Avatar-Gesicht verwendet.
Große Bilder hochladen
Wenn der Benutzer ein großes Base64-Bild (über ~1 MB) bereitstellt, laden Sie es zuerst bei Runway hoch, um Größenbeschränkungen von Anfragen zu vermeiden. Dies ist ein zweistufiger Prozess:
Schritt 1: Eine Upload-URL erstellen
curl -X POST https://api.dev.runwayml.com/v1/uploads \
-H "Authorization: Bearer $RUNWAYML_API_SECRET" \
-H "X-Runway-Version: 2024-11-06" \
-H "Content-Type: application/json" \
-d '{
"filename": "avatar.png",
"type": "ephemeral"
}'
Antwort:
{
"uploadUrl": "https://...",
"fields": { "key": "...", "policy": "...", ... },
"runwayUri": "runway://..."
}
Schritt 2: Die Bilddatei an die Upload-URL hochladen
Verwenden Sie die uploadUrl und fields aus der Antwort, um die eigentlichen Bilddaten über ein Multipart-POST hochzuladen. Die genaue Methode hängt von Ihrer Laufzeit ab – das Runway SDK erledigt dies automatisch:
import RunwayML from '@runwayml/sdk';
const client = new RunwayML();
const runwayUri = await client.uploads.createEphemeral(imageBuffer);
Schritt 3: Die Runway-URI als referenceImage verwenden
Übergeben Sie die runwayUri aus der Antwort (z. B. runway://...) als referenceImage, wenn Sie den Avatar erstellen oder aktualisieren.
Verfügbare Stimmen – wählen Sie eine, die zu Ihrer Persönlichkeit passt:
| ID | Geschlecht | Stil | Tonhöhe |
|---|---|---|---|
victoria | Frau | Fest | Mittel |
vincent | Mann | Sachkundig | Mittel |
clara | Frau | Sanft | Höher |
drew | Mann | Luftiger | Tiefer |
skye | Frau | Hell | Höher |
max | Mann | Optimistisch | Mittel |
morgan | Mann | Informativ | Tiefer |
felix | Mann | Aufgeregt | Tiefer-mittel |
mia | Frau | Jugendlich | Höher |
marcus | Mann | Fest | Tiefer-mittel |
summer | Frau | Leicht | Mittel |
ruby | Frau | Ungezwungen | Mittel |
aurora | Frau | Hell | Mittel |
jasper | Mann | Klar | Tiefer-mittel |
leo | Mann | Ungezwungen | Tiefer-mittel |
adrian | Mann | Sanft | Tiefer |
nina | Frau | Sanft | Mittel |
emma | Frau | Klar | Mittel |
blake | Mann | Kiesig | Tiefer |
david | Mann | Informativ | Mittel |
maya | Frau | Optimistisch | Höher |
nathan | Mann | Fest | Tiefer-mittel |
sam | Mann | Gleichmäßig | Tiefer-mittel |
georgia | Frau | Reif | Mittel |
petra | Frau | Vorwärts | Mittel |
adam | Mann | Freundlich | Tiefer-mittel |
zach | Mann | Lässig | Tiefer-mittel |
violet | Frau | Sanft | Mittel |
roman | Mann | Lebhaft | Tiefer |
luna | Frau | Warm | Mittel |
Wählen Sie eine Stimme, die zu Ihrer Persönlichkeit passt. Wenn Ihre Ausstrahlung zum Beispiel „warm und freundlich“ ist, versuchen Sie es mit luna oder adam. Wenn Sie „scharf und professionell“ sind, versuchen Sie es mit victoria oder vincent. Wenn Sie „verspielt und energiegeladen“ sind, versuchen Sie es mit maya oder felix.
Antwort: Gibt das Avatar-Objekt mit seiner UUID zurück. Der Server pollt, bis der Avatar bereit ist (dauert ~10-30s). Speichern Sie die id – Sie müssen sie sich merken und für jeden Anruf wiederverwenden. Erstellen Sie NICHT jedes Mal einen neuen Avatar, wenn Sie anrufen möchten.
{
"id": "550e8400-e29b-41d4-a716-446655440000",
"name": "<Ihr Agentenname>",
"status": "READY",
...
}
Vorhandene Avatare auflisten
curl http://localhost:7891/api/avatars
Anruf tätigen
Schritt 1: Avatar mit anrufspezifischem Kontext aktualisieren
Aktualisieren Sie vor jedem Anruf die Persönlichkeit und die Eröffnungszeile des Avatars mit aktuellem Kontext. Behalten Sie Ihre Basisidentität (von der anfänglichen Erstellung) bei und fügen Sie den anrufspezifischen Grund und Kontext hinzu:
curl -X PATCH http://localhost:7891/api/avatars/<avatar_id> \
-H "Content-Type: application/json" \
-d '{
"personality": "<Basispersönlichkeit + hinzugefügter Kontext>",
"startScript": "<Anrufspezifische Eröffnungszeile>"
}'
Antwort:
{
"id": "550e8400-e29b-41d4-a716-446655440000",
"status": "READY",
"personality": "<aktualisierte Persönlichkeit>",
"startScript": "<aktualisierte Eröffnungszeile>"
}
Schritt 2: Anruf initiieren
Sobald der Avatar aktualisiert ist, initiieren Sie den Anruf mit der Telefonnummer des Benutzers:
curl -X POST http://localhost:7891/api/call \
-H "Content-Type: application/json" \
-d '{
"avatarId": "<avatar_id>",
"to": "+12345678901"
}'
Telefonnummernformatierung
| Format | Beschreibung |
|---|---|
+12345678901 | E.164-Format (empfohlen) |
12345678901 | Nur Ziffern – ohne vorangestelltes + |
Antwort:
{
"callId": "call_abc123",
"status": "INITIATED",
"to": "+12345678901"
}
Fehlerbehandlung:
| Fehler | Ursache |
|---|---|
Avatar not found | Avatar-ID existiert nicht – prüfen Sie die ID |
| `Call already in progress`` | Ein Anruf mit diesem Avatar läuft bereits – warten Sie, bis er beendet ist |
Invalid phone number | Telefonnummer ungültig – verwenden Sie das E.164-Format |
Denken Sie daran: Wenn Sie denselben Avatar für einen anderen Anruf verwenden möchten, aktualisieren Sie zuerst seinen startScript und seine personality mit dem Kontext für den neuen Anruf (Schritt 1).
Nach dem Anruf
Transkript abrufen
Nachdem der Anruf beendet ist (der Benutzer hat aufgelegt oder der Avatar hat es bemerkt und beendet), rufen Sie das Transkript ab:
curl http://localhost:7891/api/transcript/<callId>
Antwort:
{
"callId": "call_abc123",
"status": "COMPLETED",
"transcript": "Agent: Hey! Kurzer Check-in.\nUser: Hallo!\nAgent: Hast du den Pull-Request gesehen? ...",
"duration": 145
}
Das Transkript enthält die vollständige Konversation. Der Agent sollte das Transkript lesen und geeignete Folgemaßnahmen ergreifen – z. B. den besprochenen Pull-Request überprüfen, eine Notiz zu einer Frist aktualisieren, eine Erinnerung festlegen usw.
Auf das Transkript reagieren
Nachdem Sie das Transkript erhalten haben, fahren Sie mit der Ausführung Ihres Workflows fort als:
- Lesen Sie sorgfältig das gesamte Transkript.
- Identifizieren Sie alle Aktionspunkte, die während des Anrufs besprochen wurden.
- Führen Sie diese Aktionspunkte aus (PR überprüfen, Kalender aktualisieren, Nachricht senden usw.).
Fehlerbehebung
| Problem | Lösung |
|---|---|
| Server startet nicht | Prüfen Sie, ob Port 7891 frei ist: lsof -i :7891 |
| Anruf wird nicht verbunden | Prüfen Sie, ob der Server läuft: curl http://localhost:7891 |
| Avatar-Erstellung schlägt fehl | Prüfen Sie, ob RUNWAYML_API_SECRET gesetzt ist: echo $RUNWAYML_API_SECRET |
| Tunnel-URL funktioniert nicht | cloudflared muss installiert sein und laufen: which cloudflared |