Communitygithub.com

EthanHuangEbor/VoiceLens

語音轉寫與語音輸入技能,支援多種 ASR 引擎(OpenAI 相容、Groq、whisper.cpp),可在不同 AI 代理宿主中將音訊轉為文字。

VoiceLens 是什麼?

VoiceLens 是一個專為 AI 代理(如 Claude Code、Codex、DeepSeek Harness 等)設計的語音轉寫技能。它提供統一的轉寫介面,無論音訊來源是檔案路徑還是 URL,都能透過工具呼叫或 CLI 命令將語音轉換為文字,並以標準化的 JSON 格式(包含 `text`、`language`、`provider`)回傳結果。此技能支援三種 ASR 引擎:Groq(具免費額度且推薦)、OpenAI 相容端點(如 Whisper 閘道)、以及本機 whisper.cpp(無需 API 金鑰),代理可根據使用者需求自動配置環境變數或設定檔。在 DeepSeek Harness 環境中,它直接使用 `transcribe_audio` 工具;在其他宿主中則執行 `voicelens transcribe` CLI 命令。此外,`voicelens doctor` 診斷命令可協助排查問題。此技能明確描述了已知邊界,例如 DSH 用戶端的麥克風按鈕依賴瀏覽器的 `SpeechRecognition` API,而模型側的檔案轉寫則由此技能負責。

相容平台✓Claude Code✓Codex CLI~Cursor✓OpenCode
npx skills add EthanHuangEbor/VoiceLens

在你喜歡的 AI 中提問

開啟一個已預先載入此 Agent Skill 的新對話。

說明文件

voicelens 音訊轉寫 / 語音輸入

觸發條件

  • 使用者提供了一個音訊檔案路徑或 URL,要求「轉寫 / 聽寫 / 語音轉文字 / 提取音訊內容」。
  • 使用者詢問如何配置 voicelens 的 ASR 引擎(OpenAI 相容端點 / Groq / whisper.cpp)。
  • (僅 DSH)使用者在輸入框點麥克風按鈕說話——這條路徑由用戶端外掛自動完成,不需要本技能介入。

核心規則

音訊出現但當前模型「聽不到」時,不要自己寫 ffmpeg / OCR / 轉寫腳本,先轉寫並引用回傳的 text 作為證據。

執行(依宿主偵測)

  1. DeepSeek Harness(有 transcribe_audio 工具)→ 直接呼叫該工具,傳 path 或 url。
  2. 其他宿主(Claude Code / Codex / Pi / OpenClaw / OpenCode …)→ 執行 CLI:
    voicelens transcribe <file-or-url> [--lang zh] [--provider groq]
    
    輸出 JSON:{ "text", "language", "provider" },引用 text 作為證據。
  3. 診斷(任何宿主):
    voicelens doctor
    

配置(供代理替使用者執行)

配置分層:環境變數 VOICELENS_* > ~/.voicelens/config.json > 內建預設。

方案 A:Groq(免費額度,推薦)

VOICELENS_PROVIDER=groq
VOICELENS_GROQ_API_KEY=<gsk_...>

方案 B:OpenAI 相容端點(任意 whisper 閘道)

VOICELENS_PROVIDER=openai
VOICELENS_OPENAI_API_KEY=<key>
VOICELENS_OPENAI_BASE_URL=https://api.openai.com/v1
VOICELENS_OPENAI_MODEL=whisper-1

方案 C:本機 whisper.cpp(零 key)

VOICELENS_PROVIDER=whisper-local
VOICELENS_WHISPER_CPP=/path/to/whisper.cpp/build/bin/main
VOICELENS_WHISPER_MODEL=/path/to/ggml-base.bin

或寫入 ~/.voicelens/config.json:

{ "provider": "groq", "groqApiKey": "gsk_..." }

輸出契約

{ text, language?, provider } —— 模型側轉寫統一走這個形狀(工具與 CLI 一致)。

已知邊界

  • DSH 當前沒有音訊訊息管線(attachments 僅圖片、ModelModality 僅 text|image),所以語音攝入端在 DSH 用戶端麥克風按鈕;模型側檔案轉寫走本技能/工具。
  • DSH 麥克風按鈕依賴 Chrome/Edge 的 SpeechRecognition(零配置);其餘瀏覽器提示切換。

相關技能