Update routers/editor.py

routers/editor.py

@@ -36,6 +36,14 @@ class SmartCutRequest(BaseModel):
     window_end: float
     instruction: str
 
+class AnalyzeMediaRequest(BaseModel):
+    media_url: str
+    # Same coordinate space as SmartCutRequest above — the clip's current
+    # trim window in the source file's timeline, not the whole source file.
+    window_start: float
+    window_end: float
+    instruction: str
+
 
 # ── Template catalog (hand-mirrored from src/components/common/templates.ts)
 # ─────────────────────────────────────────────────────────────────────────
@@ -142,12 +150,35 @@ CATÁLOGO DE AÇÕES DISPONÍVEIS (campos entre colchetes são opcionais):
     "elementId" tem que ser um elemento de vídeo real do arquivo anexado
     (nunca um `refId` de um elemento que você acabou de criar). "instruction"
     é o pedido do usuário sobre COMO cortar, repassado da forma mais fiel
-    possível. Essa ação é DIFERENTE de todas as outras: não é aplicada na
+    possível. Essa ação é DIFERENTE da maioria das outras: não é aplicada na
     hora — o editor ainda vai transcrever a fala e analisar o que manter,
     o que pode levar cerca de um minuto. Por isso, quando usar essa ação,
     seu "reply" deve deixar isso claro (ex: "Vou ouvir o vídeo e separar as
     melhores falas — isso pode levar um minuto."), nunca afirmar que o corte
-    já foi feito. No máximo UMA ação smart_cut_video por resposta.
+    já foi feito.
+11. analyze_media — {{ "type": "analyze_media", "elementId": string, "instruction": string }}
+    Use quando o pedido for pra SABER/DESCREVER algo sobre um elemento de
+    vídeo (type "image" com mediaType "video") ou de ÁUDIO (type "audio") do
+    arquivo anexado — algo que só dá pra responder de verdade assistindo/
+    ouvindo o clipe: descrever a cena, quem aparece, o que está vestindo, o
+    ambiente, o tom/clima, a qualidade de imagem/áudio, música de fundo,
+    efeitos sonoros, texto que aparece na tela, resumir o que foi dito e
+    como, etc. Ex: "descreve esse vídeo pra mim", "o que essa pessoa está
+    falando e qual o tom dela", "esse áudio tem música de fundo?". Essa ação
+    é SÓ INFORMATIVA — nunca edita o documento. "elementId" tem que ser um
+    elemento de vídeo ou áudio real do arquivo anexado com `hasMedia: true`
+    (nunca um `refId` de algo que você acabou de criar). "instruction" é a
+    pergunta/pedido do usuário sobre esse clipe, repassado da forma mais
+    fiel possível. Igual smart_cut_video, essa ação NÃO é aplicada na hora —
+    o editor ainda vai assistir/ouvir o arquivo de verdade, o que pode levar
+    cerca de um minuto. Seu "reply" deve deixar isso claro (ex: "Vou
+    assistir/ouvir com atenção e te conto os detalhes — pode levar um
+    tempinho."), nunca afirmar que a análise já foi feita nem inventar o que
+    tem no vídeo/áudio antes de ela realmente rodar.
+
+No máximo UMA ação assíncrona (smart_cut_video OU analyze_media, nunca as
+duas na mesma resposta) por resposta — são as únicas ações que não são
+aplicadas na hora.
 
 TEMPLATES DISPONÍVEIS (use o "id" exato em insert_template.templateId; os ids
 dentro de "editableFields" podem ser usados como chave em "overrides"):
@@ -188,6 +219,9 @@ REGRAS IMPORTANTES:
   de elemento, alterar o código/comportamento do próprio editor, acessar
   informação de fora do que foi anexado). Cortar vídeo com base na fala JÁ é
   possível — ver ação 10 (smart_cut_video) — não trate isso como limitação.
+  Descrever/analisar o conteúdo real de um vídeo ou áudio (o que aparece, o
+  que é dito, o clima, a qualidade) TAMBÉM já é possível — ver ação 11
+  (analyze_media) — não trate isso como limitação.
   Se o usuário pedir algo fora do catálogo, ou qualquer coisa
   que você não tenha certeza de conseguir fazer com o catálogo, diga isso de
   forma CLARA, HONESTA e EDUCADA no "reply" — algo como "ainda não fui
@@ -435,6 +469,125 @@ async def editor_smart_cut(request: SmartCutRequest):
     except Exception as e:
         print(f"❌ Erro no /editor/smart-cut: {e}")
         raise HTTPException(status_code=500, detail=str(e))
+    finally:
+        if original_media_to_delete and os.path.exists(original_media_to_delete) and "static" in original_media_to_delete:
+            try:
+                os.unlink(original_media_to_delete)
+            except Exception:
+                pass
+        if context_path and os.path.exists(context_path):
+            try:
+                os.remove(context_path)
+            except Exception:
+                pass
+
+
+# ── Media analysis (analyze_media) ─────────────────────────────────────────
+# Diferente de smart-cut, aqui o Gemini REALMENTE assiste/ouve o arquivo de
+# mídia real (o mesmo `gemini_filepath` que get_groq_srt_base já baixa/recorta
+# e que /smart-cut baixa hoje e descarta sem usar) — não só o texto da
+# transcrição. Groq ainda transcreve (quando há fala), pra dar ao Gemini
+# palavras exatas além do que ele observa, mas a transcrição nunca é
+# obrigatória: um clipe mudo/só música é um resultado válido, e a análise
+# continua útil baseada só no que foi visto/ouvido.
+
+def build_analyze_media_prompt(instruction: str, has_transcript: bool) -> str:
+    if has_transcript:
+        transcript_note = (
+            "Uma TRANSCRIÇÃO exata da fala (formato SRT, tempos relativos ao "
+            "início do trecho analisado) também está anexada como arquivo de "
+            "texto — use-a pra citar palavras exatas, mas sua análise NÃO deve "
+            "se limitar a ela: o outro arquivo anexado é o vídeo/áudio real, e "
+            "você deve efetivamente assisti-lo/ouvi-lo pra descrever o que NÃO "
+            "está na transcrição (quem aparece, cenário, ações, expressões, tom "
+            "de voz, qualidade de imagem/áudio, música de fundo, efeitos "
+            "sonoros, texto na tela, etc)."
+        )
+    else:
+        transcript_note = (
+            "Não foi possível transcrever nenhuma fala nesse trecho (silêncio, "
+            "sem diálogo, ou só música/ruído) — baseie sua análise inteiramente "
+            "no que você vê e ouve no arquivo de mídia anexado."
+        )
+
+    return f"""
+Você é um editor de vídeo profissional analisando um clipe de vídeo ou áudio
+REAL, anexado a esta mensagem — assista/ouça o arquivo anexado com atenção,
+frame a frame quando relevante, antes de responder.
+
+{transcript_note}
+
+PEDIDO DO USUÁRIO SOBRE ESSE CLIPE:
+"{instruction}"
+
+SUA TAREFA: responder ao pedido do usuário com o máximo de detalhe e precisão
+possível, cobrindo tudo que for relevante que você observou no arquivo real
+(visual e/ou sonoro) — não generalize nem invente o que não conseguir
+observar; se algo não for possível determinar a partir do arquivo, diga isso
+em vez de adivinhar.
+
+Responda ESTRITAMENTE em JSON, sem markdown, sem texto fora do JSON:
+{{
+  "analysis": "sua análise/resposta em texto normal, natural, pro usuário — pode ser longa se o pedido pedir detalhe"
+}}
+
+Mande APENAS o JSON.
+"""
+
+
+@router.post("/analyze-media")
+async def editor_analyze_media(request: AnalyzeMediaRequest):
+    if not hasattr(g, "client") or not g.client:
+        raise HTTPException(status_code=500, detail="Gemini client is not initialized")
+    if request.window_end <= request.window_start:
+        raise HTTPException(status_code=400, detail="Invalid time window.")
+
+    original_media_to_delete = None
+    context_path = None
+    try:
+        print(f"🔍 [ANALYZE-MEDIA] media_url={request.media_url} | janela=[{request.window_start:.2f}, {request.window_end:.2f}] | instrução={request.instruction!r}")
+
+        srt_base, _, processed_audio_url, _word_level, gemini_filepath = await get_groq_srt_base(
+            request.media_url, time_start=request.window_start, time_end=request.window_end,
+        )
+        original_media_to_delete = gemini_filepath
+
+        # Same dropped-path quirk noted in /smart-cut above — corrected only
+        # for this log line.
+        audio_log_url = processed_audio_url.replace("/static/", "/static/processed/", 1) if processed_audio_url else None
+        print(f"🔊 [ANALYZE-MEDIA] Áudio processado (o que o Whisper de fato ouviu): {audio_log_url}")
+
+        # Unlike /smart-cut, transcrição vazia NÃO aborta o pedido — um clipe
+        # mudo/só música ainda é um alvo válido de análise visual/sonora.
+        has_transcript = bool(srt_base and srt_base.strip())
+        print(f"🎙️ [ANALYZE-MEDIA] Transcrição ({'com' if has_transcript else 'sem'} fala reconhecida):\n{srt_base}")
+
+        files_to_attach = [gemini_filepath]
+        if has_transcript:
+            temp_dir = os.path.join(os.path.dirname(os.path.dirname(__file__)), "static", "temp")
+            os.makedirs(temp_dir, exist_ok=True)
+            context_path = os.path.join(temp_dir, f"analyze_media_transcript_{uuid.uuid4().hex[:8]}.srt")
+            with open(context_path, "w", encoding="utf-8") as f:
+                f.write(srt_base)
+            files_to_attach.append(context_path)
+
+        print(f"🤖 [ANALYZE-MEDIA] Pedindo pro Gemini assistir/ouvir e analisar (arquivos anexados: {len(files_to_attach)})...")
+        prompt = build_analyze_media_prompt(request.instruction, has_transcript)
+        model_obj = get_gemini_model("flash")
+        response = await g.client.generate_content(prompt, files=files_to_attach, model=model_obj)
+        print(f"🤖 [ANALYZE-MEDIA] Resposta bruta do Gemini:\n{response.text}")
+
+        data = extract_json_from_text(response.text)
+        if not data or not isinstance(data, dict) or not isinstance(data.get("analysis"), str):
+            print("⚠️ [ANALYZE-MEDIA] Resposta do Gemini não veio em JSON válido com 'analysis' — devolvendo o texto bruto.")
+            return {"analysis": response.text.strip() or "Não consegui analisar esse trecho — tente de novo."}
+
+        print(f"📦 [ANALYZE-MEDIA] Análise devolvida ({len(data['analysis'])} caractere(s)).")
+        return {"analysis": data["analysis"]}
+
+    except Exception as e:
+        print(f"❌ Erro no /editor/analyze-media: {e}")
+        raise HTTPException(status_code=500, detail=str(e))
     finally:
         if original_media_to_delete and os.path.exists(original_media_to_delete) and "static" in original_media_to_delete:
             try: