VoiceLens

voicelens Transcripción de Audio / Entrada de Voz

Condiciones de Activación

• El usuario proporciona una ruta de archivo de audio o URL y solicita "transcribir / dictado / voz a texto / extraer contenido de audio".
• El usuario pregunta cómo configurar el motor ASR de voicelens (punto final compatible con OpenAI / Groq / whisper.cpp).
• (Solo DSH) El usuario presiona el botón del micrófono en el campo de entrada para hablar — esta ruta se completa automáticamente por el complemento del cliente y no requiere la intervención de esta habilidad.

Regla Principal

Cuando aparece audio pero el modelo actual "no puede oír", no escribas tu propio script de ffmpeg / OCR / transcripción, primero transcribe y cita el text devuelto como evidencia.

Ejecución (según detección del host)

1. DeepSeek Harness (tiene la herramienta transcribe_audio) → Llama a esa herramienta directamente, pasando path o url.
2. Otros hosts (Claude Code / Codex / Pi / OpenClaw / OpenCode …) → Ejecuta CLI:

   voicelens transcribe <archivo-o-url> [--lang zh] [--provider groq]
   

   Salida JSON: { "text", "language", "provider" }, cita text como evidencia.
3. Diagnóstico (cualquier host):

   voicelens doctor
   

Configuración (para que el agente la realice por el usuario)

La configuración se prioriza: variables de entorno VOICELENS_* > ~/.voicelens/config.json > valores predeterminados incorporados.

Opción A: Groq (crédito gratuito, recomendado)

VOICELENS_PROVIDER=groq
VOICELENS_GROQ_API_KEY=<gsk_...>

Opción B: Punto final compatible con OpenAI (cualquier puerta de enlace whisper)

VOICELENS_PROVIDER=openai
VOICELENS_OPENAI_API_KEY=<clave>
VOICELENS_OPENAI_BASE_URL=https://api.openai.com/v1
VOICELENS_OPENAI_MODEL=whisper-1

Opción C: whisper.cpp local (sin clave)

VOICELENS_PROVIDER=whisper-local
VOICELENS_WHISPER_CPP=/ruta/a/whisper.cpp/build/bin/main
VOICELENS_WHISPER_MODEL=/ruta/a/ggml-base.bin

O escribe en ~/.voicelens/config.json:

{ "provider": "groq", "groqApiKey": "gsk_..." }

Contrato de Salida

{ text, language?, provider } — la transcripción del lado del modelo sigue siempre esta forma (consistente entre herramienta y CLI).

Límites Conocidos

• DSH actualmente no tiene una tubería de mensajes de audio (attachments solo imágenes, ModelModality solo text|image), por lo que el lado de entrada de voz depende del botón de micrófono del cliente DSH; la transcripción de archivos del lado del modelo se realiza a través de esta habilidad/herramienta.
• El botón de micrófono de DSH depende de SpeechRecognition de Chrome/Edge (sin configuración); en otros navegadores se solicita cambiar.