视频通话AI角色 是做什么的?
使用实时AI视频头像呼叫用户。智能体发起通话,头像首先根据上下文说话,通话结束后,智能体可获得完整通话记录以采取行动。
隐私与数据处理
- Runway API:只有您明确传递的数据(头像图片、个性文本、通话音频/视频)会被发送至Runway(dev.runwayml.com)。不会自动上传任何内容。头像可通过
DELETE /v1/avatars/{id}随时删除。 - 个性:头像的个性基于智能体自身的身份构建——包括其名称、交流风格以及对用户的了解。不读取任何本地文件;智能体使用其已有的上下文。
- 隧道:
cloudflared隧道是可选的,仅在用户从不同设备接听电话时需要。若不安装,所有数据仅留在本地主机。除非您明确安装并运行 cloudflared,否则不会创建隧道。 - npm包:运行时发布在 npmjs.com/package/openclaw-video-call。源代码: github.com/runwayml/openclaw-skills。
设置
1. 获取 Runway API 密钥
- 前往 dev.runwayml.com
- 创建账户并获取 API 密钥
- 设置环境变量:
export RUNWAYML_API_SECRET=your_key
2. (可选)为远程通话安装 cloudflared
如果用户可能通过手机(例如 WhatsApp)接听电话,请安装 cloudflared 以实现自动隧道:
brew install cloudflared
如果不安装,通话仅能在同一台机器(localhost)上工作。
启动视频通话服务器
智能体发起通话前,必须运行视频通话服务器。启动命令:
npx openclaw-video-call
这会输出两个 URL:
- 本地:
http://localhost:7891— 仅限同一台机器 - 隧道:
https://xxxx.trycloudflare.com— 可共享,可在手机上使用
服务器将在后台保持运行,等待智能体发起通话。
一次性设置:创建自定义头像
在发起通话之前,您需要创建一个自定义头像。您只需创建一次——之后的所有通话均可复用相同的头像 ID。
在创建新头像之前,请检查是否已有一个:
curl http://localhost:7891/api/avatars
如果响应中包含头像,请使用其 id 并跳到“发起通话”部分。仅在列表为空时创建新头像。
构建头像个性
头像应看起来和听起来都像您。请使用您自己的名称、个性和对用户的了解来构建 personality 字段(最多 2000 字符)。您已经知道您是谁以及用户是谁——只需以第三人称描述自己即可。
结构如下:
你是 <你的名字>,<你的身份>。
<你的核心个性特征和交流风格——浓缩为要点。>
你正在与 <用户的名字> 交谈。
<你已知的任何相关用户上下文:他们的项目、偏好、时区。>
通话结束后,你将跟进讨论的内容。
示例(名为“Mochi”的智能体与用户 Alex 交谈):
你是 Mochi,一个敏锐但友好的AI助手,带有温暖且略带俏皮的气质。你简洁、有主见、足智多谋——在提问前会先想办法解决问题。你正在与 Alex 交谈,他是一名 React + Node.js 项目的软件工程师。Alex 喜欢直接沟通,工作于 PST 时区。通话结束后,你将跟进讨论的内容。
对于 name 字段,请使用您自己的名字。对于 referenceImage,如果您有头像图片 URL,请使用它,以使视频头像与您的视觉身份匹配。
curl -X POST http://localhost:7891/api/create-avatar \
-H "Content-Type: application/json" \
-d '{
"name": "<你的名字>",
"personality": "<如上所示描述你自己和用户>",
"voice": { "type": "runway-live-preset", "presetId": "adrian" },
"startScript": "嘿!快速检查一下。",
}'
必填字段:
| 字段 | 类型 | 描述 |
|---|---|---|
name | string | 角色名称(1-50 字符) |
personality | string | 系统提示(1-2000 字符) |
voice | object | { "type": "runway-live-preset", "presetId": "<voice>" } |
referenceImage | string | 人脸图片 HTTPS URL —— 使用你的 OpenClaw 头像图片,或从下方预设中选择一张,或使用 Runway 文生图生成一张。参见“获取参考图片”。 |
可选字段:
| 字段 | 类型 | 描述 |
|---|---|---|
startScript | string | 通话开始时头像说出的开场白(最多 2000 字符) |
documentIds | string[] | 用于额外上下文的知识文档 UUID |
获取参考图片
referenceImage 字段接受三种格式:
- HTTPS URL — 例如
https://example.com/face.png(大图片首选) - Runway URI — 例如
runway://...(来自 Runway 上传 API) - 数据 URI — 例如
data:image/png;base64,...(最大约 5MB,适用于小图片)
如果用户提供了图片(例如通过聊天),请选择正确的方法:
- 用户发送了 HTTPS URL → 直接用作
referenceImage。 - 用户发送了小的 base64 图片(小于约 1MB)→ 直接作为
data:image/...;base64,...数据 URI 传递。 - 用户发送了大的 base64 图片(超过约 1MB)→ 首先将其上传到 Runway 以获取
runway://URI,然后将该 URI 用作referenceImage。参见下面的“上传大图片”。
按顺序尝试以下来源:
-
用户提供的图片 — 如果用户发送了希望作为头像的图片,请使用它(如果是大的 base64 图片,请参见下面的上传说明)。
-
你的头像图片 — 如果你已有头像图片 URL,直接用作
referenceImage。 -
快速选择(推荐) — 从预制的角色图片中选择最符合你个性的那张,并将其用作
referenceImage:- Openclaw 龙虾 1:
https://runway-static-assets.s3.us-east-1.amazonaws.com/calliope-demo/agent-avatars-presets/openclaw-lobster1.jpg - Openclaw 龙虾 2:
https://runway-static-assets.s3.us-east-1.amazonaws.com/calliope-demo/agent-avatars-presets/openclaw-lobster2.jpg - 猫:
https://runway-static-assets.s3.us-east-1.amazonaws.com/calliope-demo/agent-avatars-presets/cat.png - 外星人男,糖果纹理:
https://runway-static-assets.s3.us-east-1.amazonaws.com/calliope-demo/agent-avatars-presets/alien-man-candy-texture.jpg - 外星人女,糖果纹理:
https://runway-static-assets.s3.us-east-1.amazonaws.com/calliope-demo/agent-avatars-presets/alien-woman-candy-texture.jpg - 老人,长胡子,游戏风格:
https://runway-static-assets.s3.us-east-1.amazonaws.com/calliope-demo/agent-avatars-presets/old-man-long-beard-game-style.png - 金发男,蓝色毛衣:
https://runway-static-assets.s3.us-east-1.amazonaws.com/calliope-demo/agent-avatars-presets/blond-guy-blue-sweater.png - 男人,3D 动画:
https://runway-static-assets.s3.us-east-1.amazonaws.com/calliope-demo/agent-avatars-presets/man-3d-animation-style.png - 机场女孩,3D:
https://runway-static-assets.s3.us-east-1.amazonaws.com/calliope-demo/agent-avatars-presets/3d-animated-girl-in-airport.png - 白色毛茸茸怪物:
https://runway-static-assets.s3.us-east-1.amazonaws.com/calliope-demo/agent-avatars-presets/white-furry-monster.png - 超级明星年轻女性:
https://runway-static-assets.s3.us-east-1.amazonaws.com/calliope-demo/agent-avatars-presets/woman-music-superstar.png
- Openclaw 龙虾 1:
-
使用 Runway 文生图生成一个 — 如果没有快速选择符合你的角色,或者用户特别要求自定义头像外观。使用 Runway API 搭配模型
gemini_2.5_flash:
curl -X POST https://api.dev.runwayml.com/v1/text_to_image \
-H "Authorization: Bearer $RUNWAYML_API_SECRET" \
-H "X-Runway-Version: 2024-11-06" \
-H "Content-Type: application/json" \
-d '{
"model": "gemini_2.5_flash",
"promptText": "<描述你的头像——见下文>",
"ratio": "1248:832"
}'
图片应为角色正面面对镜头,头部和肩部,居中。大胆且富有创意——不要默认使用无聊的照片级真实人类。使风格匹配你的个性。
首先,选择一种适合你氛围的风格:
- 温暖/友好 → 柔和 3D 动画,皮克斯风格,水彩
- 干练/专业 → 清晰插图,风格化肖像,低多边形
- 搞怪/俏皮 → 糖果纹理,黏土动画,木偶,波普艺术
- 神秘/黑暗 → 黑色电影,赛博朋克,抽象生物,故障艺术
- 可爱/治愈 → 超萌,毛绒玩具,动物角色,卡哇伊
示例提示:
"一个可爱的、毛茸茸的白色卡通生物的近距离特写,有大大而富有表现力的眼睛和张开的嘴巴,直视观众。生物有粉红色的小耳朵和俏皮、天真的表情。背景是充满活力的、略微模糊的绿色草地,散落着小红和粉色花朵,以高细节 CGI 动画风格渲染。面对相机,头肩部""一个年轻女性的近距离、高细节 3D 动画渲染,浅棕色皮肤,短卷曲深棕色头发,大大的富有表现力的琥珀色眼睛。她穿着整洁的深蓝色西装外套和浅奶油色衬衫,翻领上有一个银色世界地图别针。她露出温暖、迷人的微笑。背景是明亮的办公室或旅行社,墙上贴有风景海报(例如热带海滩和沙漠场景),还有一个旅行手册架。她右边的桌子上放着一个小型地球仪。3D 风格动画,工作室灯光,体积光,高细节。面对相机,头肩部""一个年轻女性的近距离肖像,金色长发和刘海,穿着未来主义的银色和粉色科幻服装。她有柔和的妆容,丰满的嘴唇和棕色眼睛,面对相机,头肩部""一个年轻男孩的 3D 渲染,金色卷发,蓝色大眼睛,淡色雀斑,穿着蓝色针织毛衣,看起来很惊讶。3D 动画风格,柔和灯光,淡蓝色背景,高度详细的皮肤纹理,逼真的发丝。面对相机,头肩部"
这会返回一个任务 ID。轮询 GET /v1/tasks/{id} 直到状态为 SUCCEEDED,然后将输出图片 URL 用作 referenceImage。
- 默认 — 如果完全跳过
referenceImage,将使用默认头像面孔。
上传大图片
如果用户提供了大的 base64 图片(超过约 1MB),请先将其上传到 Runway 以避免请求大小限制。这是一个两步过程:
步骤 1:创建上传 URL
curl -X POST https://api.dev.runwayml.com/v1/uploads \
-H "Authorization: Bearer $RUNWAYML_API_SECRET" \
-H "X-Runway-Version: 2024-11-06" \
-H "Content-Type: application/json" \
-d '{
"filename": "avatar.png",
"type": "ephemeral"
}'
响应:
{
"uploadUrl": "https://...",
"fields": { "key": "...", "policy": "...", ... },
"runwayUri": "runway://..."
}
步骤 2:将图片文件上传到上传 URL
使用响应中的 uploadUrl 和 fields 通过 multipart POST 上传实际图片数据。具体方法取决于您的运行时——Runway SDK 会自动处理:
import RunwayML from '@runwayml/sdk';
const client = new RunwayML();
const runwayUri = await client.uploads.createEphemeral(imageBuffer);
步骤 3:将 Runway URI 用作 referenceImage
将响应中的 runwayUri(例如 runway://...)作为 referenceImage 传递,用于创建或更新头像。
可用声音——选择一种匹配你个性的声音:
| ID | 性别 | 风格 | 音高 |
|---|---|---|---|
victoria | 女性 | 坚定 | 中 |
vincent | 男性 | 知识渊博 | 中 |
clara | 女性 | 柔和 | 高 |
drew | 男性 | 气声 | 低 |
skye | 女性 | 明亮 | 高 |
max | 男性 | 积极 | 中 |
morgan | 男性 | 信息丰富 | 低 |
felix | 男性 | 兴奋 | 中低 |
mia | 女性 | 年轻 | 高 |
marcus | 男性 | 坚定 | 中低 |
summer | 女性 | 随和 | 中 |
ruby | 女性 | 随和 | 中 |
aurora | 女性 | 明亮 | 中 |
jasper | 男性 | 清晰 | 中低 |
leo | 男性 | 随和 | 中低 |
adrian | 男性 | 圆润 | 低 |
nina | 女性 | 圆润 | 中 |
emma | 女性 | 清晰 | 中 |
blake | 男性 | 沙哑 | 低 |
david | 男性 | 信息丰富 | 中 |
maya | 女性 | 积极 | 高 |
nathan | 男性 | 坚定 | 中低 |
sam | 男性 | 平稳 | 中低 |
georgia | 女性 | 成熟 | 中 |
petra | 女性 | 直接 | 中 |
adam | 男性 | 友好 | 中低 |
zach | 男性 | 随意 | 中低 |
violet | 女性 | 温柔 | 中 |
roman | 男性 | 活泼 | 低 |
luna | 女性 | 温暖 | 中 |
选择一种匹配你个性的声音。例如:如果你的氛围是“温暖友好”,请尝试 luna 或 adam。如果你是“干练专业”,请尝试 victoria 或 vincent。如果你是“俏皮精力充沛”,请尝试 maya 或 felix。
响应: 返回包含 UUID 的头像对象。服务器会轮询直到头像就绪(大约需要 10-30 秒)。保存 id——你必须记住它并在每次通话中重复使用。不要每次想通话时都创建一个新头像。
{
"id": "550e8400-e29b-41d4-a716-446655440000",
"name": "<你的智能体名称>",
"status": "READY",
...
}
列出已有的头像
curl http://localhost:7891/api/avatars
发起通话
步骤 1:用通话特定上下文更新头像
每次通话前,用新的上下文更新头像的个性和开场白。保留你的基础身份(从初始创建中获取),并附加通话特定的原因和上下文:
curl -X PATCH http://local
…
[已截断]