feat(secretaria): RAG sem pgvector no conhecimento (embeddings + cosseno)

Adiciona busca semântica na Base de Conhecimento da secretária: - embeddings.ts: chunking, embed (OpenAI text-embedding-3-small ou Gemini text-embedding-004) e similaridade cosseno — tudo na aplicação, sem pgvector. - tabela sec_knowledge_chunks (vetor em JSON/text) com índices. - brain.ts: no nó 'knowledge', injeta só os top-4 trechos relevantes à pergunta do usuário; indexação lazy por hash do conteúdo. Fallback para o conteúdo inteiro se não houver chave de embedding ou em qualquer falha (não regride). Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
2026-06-28 07:08:42 +02:00
parent 36405a46f0
commit 31bf45faf5
6 changed files with 368 additions and 7 deletions
@@ -0,0 +1,82 @@
+/**
+ * RAG sem pgvector — embeddings + similaridade calculados na aplicação.
+ *
+ * Os vetores são gerados via OpenAI (text-embedding-3-small) ou Gemini
+ * (text-embedding-004), conforme a chave configurada no plugin, e guardados
+ * como JSON em coluna text. A busca por similaridade (cosseno) roda em Node.
+ * Para a base pequena da secretária (dezenas/centenas de chunks) é rápido e
+ * dispensa a extensão pgvector.
+ */
+import crypto from 'crypto'
+
+/** Quebra o texto em chunks (~maxLen chars), preferindo limites de parágrafo. */
+export function chunkText(text: string, maxLen = 600): string[] {
+  const paras = text.split(/\n\s*\n/).map((p) => p.trim()).filter(Boolean)
+  const merged: string[] = []
+  let buf = ''
+  for (const p of paras) {
+    if (buf && (buf.length + 2 + p.length) > maxLen) { merged.push(buf); buf = p }
+    else { buf = buf ? `${buf}\n\n${p}` : p }
+  }
+  if (buf) merged.push(buf)
+  // Fatia parágrafos gigantes que excedam bastante o limite.
+  const out: string[] = []
+  for (const c of merged) {
+    if (c.length <= maxLen * 1.5) { out.push(c); continue }
+    for (let i = 0; i < c.length; i += maxLen) out.push(c.slice(i, i + maxLen))
+  }
+  return out.filter(Boolean)
+}
+
+export function hashText(text: string): string {
+  return crypto.createHash('md5').update(text).digest('hex')
+}
+
+export function cosineSimilarity(a: number[], b: number[]): number {
+  const len = Math.min(a.length, b.length)
+  let dot = 0, na = 0, nb = 0
+  for (let i = 0; i < len; i++) { dot += a[i] * b[i]; na += a[i] * a[i]; nb += b[i] * b[i] }
+  if (!na || !nb) return 0
+  return dot / (Math.sqrt(na) * Math.sqrt(nb))
+}
+
+/**
+ * Gera o embedding de um texto. Usa OpenAI se houver openai_key, senão Gemini.
+ * Retorna null em qualquer falha (o chamador deve cair no fallback).
+ */
+export async function embed(text: string, cfg: any): Promise<number[] | null> {
+  const input = (text ?? '').slice(0, 8000)
+  if (!input.trim()) return null
+  const openaiKey = cfg?.openai_key as string | undefined
+  const geminiKey = cfg?.gemini_key as string | undefined
+  try {
+    if (openaiKey) {
+      const res = await fetch('https://api.openai.com/v1/embeddings', {
+        method: 'POST',
+        headers: { 'Content-Type': 'application/json', Authorization: `Bearer ${openaiKey}` },
+        body: JSON.stringify({ model: 'text-embedding-3-small', input }),
+      })
+      if (!res.ok) return null
+      const data: any = await res.json()
+      return data?.data?.[0]?.embedding ?? null
+    }
+    if (geminiKey) {
+      const url = `https://generativelanguage.googleapis.com/v1beta/models/text-embedding-004:embedContent?key=${geminiKey}`
+      const res = await fetch(url, {
+        method: 'POST',
+        headers: { 'Content-Type': 'application/json' },
+        body: JSON.stringify({ model: 'models/text-embedding-004', content: { parts: [{ text: input }] } }),
+      })
+      if (!res.ok) return null
+      const data: any = await res.json()
+      return data?.embedding?.values ?? null
+    }
+  } catch {
+    return null
+  }
+  return null
+}
+
+export function hasEmbeddingKey(cfg: any): boolean {
+  return !!(cfg?.openai_key || cfg?.gemini_key)
+}