VPS 4 Builder
318592e75e
Marca a transcrição de áudio/imagem como implementada no motor (Gemini → messages.transcription) no roadmap da Secretária e na fase 5 do contrato de integração; satélite media-transcribe vira redundante. Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
3.9 KiB
3.9 KiB
newwhats.clube67.com — Secretária IA: roadmap de evolução (humanização + memória)
Estado DESEJADO / sugestões (não é o estado atual — esse está em
secretaria-ia.md). Levantamento de 28/jun/2026. Atualizar conforme for implementado, movendo o que entrar em produção para a doc de estado.
Onde está hoje
Persona/Regras/Conhecimento (Cérebro) + context_window (últimas N msgs) +
summary da conversa + RAG no conhecimento (embeddings+cosseno, sem pgvector).
Lacunas: não lembra do cliente entre conversas; responde só por texto.
1) Memória de longo prazo ("memória virtual")
Frameworks de mercado (2026):
| Framework | Abordagem | Melhor para |
|---|---|---|
| Mem0 | escopos usuário/sessão/agente; vetor+grafo+KV | personalização (cliente que volta) |
| Zep / Graphiti | grafo de conhecimento temporal (fatos com validade) | fatos que mudam no tempo |
| Letta (MemGPT) | core (RAM) + arquival (disco) + recall | memória de horizonte longo |
- Mem0/Zep têm cloud gerenciado (dispensa pgvector) — porém dependência externa + custo.
- Recomendado p/ este projeto: memória própria por contato — tabela
sec_contact_memorycom fatos extraídos + embeddings em JSON + cosseno (mesma técnica do RAG já implementado). ~80% do valor do Mem0 sem infra nova.
2) Humanização
| Recurso | Tecnologia | Impacto |
|---|---|---|
| Entender áudios do cliente | Whisper (OpenAI) / Gemini audio | alto (hoje ignora áudios) |
| Responder em áudio (voz) | OpenAI TTS / ElevenLabs | alto |
| Ritmo humano | "digitando…", delay proporcional, quebra em 2–3 msgs | médio-alto |
| Memória do cliente | item 1 | alto |
| Modelo mais natural | Claude / GPT-4o no diálogo | médio |
Prioridade sugerida
- ✅ Memória própria por contato — IMPLEMENTADA (28/jun/2026). Ver
secretaria-ia.md→ "Memória de longo prazo por contato" (sec_contact_memory). - ✅ Transcrição de áudios / descrição de imagens — IMPLEMENTADA no MOTOR
(28/jun/2026) via Gemini 2.0 Flash →
messages.transcription(genérica p/ todos os satélites;media-transcribe.ts+MessageHandler.processMedia). - Ritmo humano (typing + delay + chunks) — barato, muda a percepção.
- Resposta em áudio (TTS) — opcional, alto impacto, custo por uso.
- Mem0/Zep cloud — só se a memória própria não escalar.
Nota técnica — transcrição de áudios (prioridade 2)
Desenho recomendado: transcrever no SERVIDOR via API gerenciada do Google.
- O áudio recebido nasce no servidor (Baileys roda no backend) — não há como o dispositivo do operador interceptar antes. Além disso, a secretária responde automaticamente, sem operador na tela, então a transcrição client-side não serviria para o fluxo automático.
- A economia real de servidor vem de não rodar o modelo localmente: usar a
API gerenciada do Google (Gemini — já há
gemini_key— ou Cloud Speech-to-Text). O modelo roda no Google; o servidor só faz I/O. - Salvar a transcrição (texto) na mensagem; o áudio é opcional (arquivar/descartar para economizar storage).
- Client-side só faz sentido para áudios que o operador grava (nascem no navegador) e para cache de UI (IndexedDB) — não para áudio recebido.
Fluxo: áudio recebido → backend transcreve via Gemini → grava transcrição na
messages (e a secretária passa a "entender" o áudio) → áudio opcionalmente arquivado.
Fontes
- Mem0 — State of Agent Memory 2026: https://mem0.ai/blog/state-of-ai-agent-memory-2026
- Atlan — Best Memory Frameworks 2026: https://atlan.com/know/best-ai-agent-memory-frameworks-2026/
- Particula — Mem0 vs Zep vs Letta: https://particula.tech/blog/agent-memory-frameworks-tested-mem0-zep-letta-cognee-2026
- Vectorize — Best Memory Systems: https://vectorize.io/articles/best-ai-agent-memory-systems