O que agents faz?
Um framework para construir agentes de IA de voz em tempo real 🤖🎙️📹
Visão Geral
O LiveKit Agents é um framework open-source que permite a criação de agentes de IA multimodais em tempo real, suportando interações por voz, áudio e vídeo. Ele simplifica a integração de pipelines de IA, como reconhecimento de fala (ASR/STT), raciocínio com LLMs e síntese de fala (TTS), tudo em um ambiente de baixa latência.
Como Funciona
O skill expõe funções para:
- Entrar em salas de áudio/vídeo do LiveKit.
- Capturar áudio do microfone em tempo real.
- Processar áudio com serviços de ASR/STT (ex: Whisper, Deepgram).
- Usar LLMs (ex: GPT-4, Claude) para raciocínio e geração de respostas.
- Sintetizar respostas de áudio via TTS (ex: ElevenLabs, Azure).
- Gerenciar ciclo de vida de agentes: conexão, desconexão, troca de mídia.
Plataformas Suportadas
- LiveKit Cloud: Hospedagem gerenciada.
- Self-hosted: Servidor LiveKit próprio.
- Clientes: Python, Node.js, Web, Mobile.
Exemplo de uso
from livekit import agents
async def on_room_joined(room):
agent = agents.VoiceAgent(
stt=agents.DeepgramSTT(),
llm=agents.OpenAILLM(model="gpt-4"),
tts=agents.ElevenLabsTTS()
)
await agent.start(room)
Configuração
Defina as variáveis de ambiente:
LIVEKIT_URLLIVEKIT_API_KEYLIVEKIT_API_SECRETOPENAI_API_KEY(para LLM)DEEPGRAM_API_KEY(opcional, para STT)ELEVENLABS_API_KEY(opcional, para TTS)