Communitygithub.com

VoiceLens 音频转写 / 语音输入

提供音频转写、语音转文字功能的技能,支持多种 ASR 引擎(OpenAI、Groq、whisper.cpp),并适配不同的 AI 宿主平台。

语音输入 是什么?

VoiceLens 是一个具备音频转写能力的 AI 技能,主要用于将用户提供的音频文件(路径或 URL)或语音输入转换成文本。它能够处理“转写/听写/语音转文字/提取音频内容”这类请求。该技能支持多种宿主环境:在 DeepSeek Harness 中直接调用内置的 `transcribe_audio` 工具;在 Claude Code、Codex 等宿主中则通过 CLI 命令 `voicelens transcribe` 执行。它提供三种可配置的 ASR 引擎方案:Groq(推荐免费额度)、OpenAI 兼容端点(如 whisper-1 模型)、以及本地 whisper.cpp(无需 API Key),用户可以通过环境变量或配置文件选择。此外,还内置 `voicelens doctor` 诊断命令,帮助排查配置问题。该技能的核心价值在于让无法直接“听”音频的模型能够获取音频内容,通过统一的 JSON 输出格式 `{ text, language?, provider }` 将转写结果作为证据引用,从而在对话中利用文本内容。

兼容平台✓Claude Code✓Codex CLI~Cursor✓OpenCode
npx skills add EthanHuangEbor/VoiceLens

在你喜欢的 AI 中提问

打开一个已预加载此 Agent Skill 的新对话。

文档

语音输入 是做什么的?

触发条件

  • 用户给了一个音频文件路径或 URL,要求"转写 / 听写 / 语音转文字 / 提取音频内容"。
  • 用户询问如何配置 voicelens 的 ASR 引擎(OpenAI 兼容端点 / Groq / whisper.cpp)。
  • (仅 DSH)用户在输入框点麦克风按钮说话 —— 这条路径由客户端插件自动完成,不需要本技能介入。

核心规则

音频出现但当前模型"听不到"时,不要自己写 ffmpeg / OCR / 转写脚本,先转写并引用返回的 text 作为证据。

执行(按宿主检测)

  1. DeepSeek Harness(有 transcribe_audio 工具)→ 直接调用该工具,传 path 或 url。
  2. 其他宿主(Claude Code / Codex / Pi / OpenClaw / OpenCode …)→ 运行 CLI:
    voicelens transcribe <file-or-url> [--lang zh] [--provider groq]
    
    输出 JSON:{ "text", "language", "provider" },引用 text 作为证据。
  3. 诊断(任何宿主):
    voicelens doctor
    

配置(供 agent 替用户执行)

配置分层:环境变量 VOICELENS_* > ~/.voicelens/config.json > 内置默认。

方案 A:Groq(免费额度,推荐)

VOICELENS_PROVIDER=groq
VOICELENS_GROQ_API_KEY=<gsk_...>

方案 B:OpenAI 兼容端点(任意 whisper 网关)

VOICELENS_PROVIDER=openai
VOICELENS_OPENAI_API_KEY=<key>
VOICELENS_OPENAI_BASE_URL=https://api.openai.com/v1
VOICELENS_OPENAI_MODEL=whisper-1

方案 C:本地 whisper.cpp(零 key)

VOICELENS_PROVIDER=whisper-local
VOICELENS_WHISPER_CPP=/path/to/whisper.cpp/build/bin/main
VOICELENS_WHISPER_MODEL=/path/to/ggml-base.bin

或写入 ~/.voicelens/config.json:

{ "provider": "groq", "groqApiKey": "gsk_..." }

输出契约

{ text, language?, provider } —— 模型侧转写统一走这个形状(工具与 CLI 一致)。

已知边界

  • DSH 当前没有音频消息管线(attachments 仅图片、ModelModality 仅 text|image),所以语音摄入端在 DSH 客户端麦克风按钮;模型侧文件转写走本技能/工具。
  • DSH 麦克风按钮依赖 Chrome/Edge 的 SpeechRecognition(零配置);其余浏览器提示切换。

相关技能