Upload 4 files

.gitattributes

@@ -33,3 +33,4 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
 *.zip filter=lfs diff=lfs merge=lfs -text
 *.zst filter=lfs diff=lfs merge=lfs -text
 *tfevents* filter=lfs diff=lfs merge=lfs -text
+Regimento.pdf filter=lfs diff=lfs merge=lfs -text

Dockerfile

@@ -0,0 +1,20 @@
+FROM python:3.10
+
+ENV PYTHONIOENCODING=utf-8
+
+# Diretório de trabalho
+WORKDIR /app
+
+# Copia requisitos e instala
+COPY requirements.txt .
+RUN pip install --no-cache-dir -r requirements.txt
+
+# Copia o app e o PDF
+COPY app.py .
+COPY Regimento.pdf ./Regimento.pdf
+
+# Expor porta do Gradio
+EXPOSE 7860
+
+# Rodar app automaticamente
+CMD ["python", "app.py"]

Regimento.pdf

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:b987432f9f88e8de1384c7f27c94f75b02af946bede2d39c0779135f90ea7c8a
+size 1639996

app.py

@@ -0,0 +1,244 @@
+# -*- coding: utf-8 -*-
+"""app.ipynb
+
+Automatically generated by Colab.
+
+Original file is located at
+    https://colab.research.google.com/drive/1qA2X2N5BFz5EHDp4nbroVT1WNAWp8kaw
+"""
+
+# -*- coding: utf-8 -*-
+import os
+import torch
+import gradio as gr
+
+from pypdf import PdfReader
+from langchain_text_splitters import RecursiveCharacterTextSplitter
+from langchain_core.documents import Document
+from langchain_community.vectorstores import Chroma
+from langchain_community.embeddings import HuggingFaceEmbeddings
+from langchain_core.prompts import PromptTemplate
+from transformers import pipeline, AutoModelForCausalLM, AutoTokenizer
+
+
+CAMINHO_PDF = "Regimento.pdf"
+CAMINHO_DB = "db"
+
+
+# ==========================
+# 1. FUNÇÕES DE CONSTRUÇÃO DO RAG
+# ==========================
+
+def carregar_pdf(caminho):
+    reader = PdfReader(caminho)
+    textos = []
+    for i, pagina in enumerate(reader.pages):
+        texto = pagina.extract_text()
+        if texto:
+            textos.append(Document(page_content=texto, metadata={"page": i + 1}))
+    return textos
+
+
+def dividir_em_chunks(documentos):
+    splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=200)
+    chunks = splitter.split_documents(documentos)
+    print(f"Dividido em {len(chunks)} chunks")
+    return chunks
+
+
+def vetorizar_em_lotes(chunks):
+    embeddings = HuggingFaceEmbeddings(
+        model_name="intfloat/multilingual-e5-small",
+        model_kwargs={"device": "cpu"},
+        encode_kwargs={"batch_size": 32}
+    )
+
+    db = Chroma(collection_name="regimento", embedding_function=embeddings, persist_directory=CAMINHO_DB)
+    db.add_documents(chunks)
+    return db
+
+
+def criar_db(caminho_pdf):
+    documentos = carregar_pdf(caminho_pdf)
+    chunks = dividir_em_chunks(documentos)
+    db = vetorizar_em_lotes(chunks)
+    return db
+
+
+# ==============================
+# 2. GARANTIR QUE O DB EXISTE
+# ==============================
+if not os.path.exists(CAMINHO_DB):
+    print("DB não encontrado. Criando base vetorial...")
+    criar_db(CAMINHO_PDF)
+else:
+    print("DB encontrado. Usando base existente.")
+
+
+# ==============================
+# 3. CARREGAR RAG
+# ==============================
+
+# Embeddings
+_emb = HuggingFaceEmbeddings(model_name="intfloat/multilingual-e5-small")
+
+# Base vetorial
+_db = Chroma(
+    collection_name="regimento",
+    persist_directory=CAMINHO_DB,
+    embedding_function=_emb
+)
+
+# Carregar modelo LLM
+MODEL = "Qwen/Qwen2.5-1.5B-Instruct"
+tok = AutoTokenizer.from_pretrained(MODEL)
+
+mdl = AutoModelForCausalLM.from_pretrained(
+    MODEL,
+    device_map="auto",
+    torch_dtype=torch.float16 if torch.cuda.is_available() else torch.float32,
+)
+
+generator = pipeline(
+    "text-generation",
+    model=mdl,
+    tokenizer=tok,
+    max_new_tokens=300,
+    temperature=0.2,
+    do_sample=False,
+    pad_token_id=tok.eos_token_id,
+    return_full_text=False
+)
+
+
+# Prompt template
+prompt_template = """
+Primeiramente, inicie a resposta com "Oi, querido!".
+Depois responda a pergunta do usuário:
+{pergunta}
+Com base somente nessas informações:
+{base_conhecimento}
+Caso não encontre a resposta, diga: "não sei te dizer isso".
+"""
+
+_prompt = PromptTemplate(
+    template=prompt_template,
+    input_variables=["pergunta", "base_conhecimento"]
+)
+
+
+def _listar_fontes(resultados):
+    pags = []
+    for doc, score in resultados:
+        p = doc.metadata.get("page")
+        if p and p not in pags:
+            pags.append(p)
+    return ", ".join([f"p.{p}" for p in pags])
+
+
+# ================
+# 4. RAG CHAT
+# ================
+def rag_chat(user_msg, history):
+    resultados = _db.similarity_search_with_relevance_scores(user_msg, k=3)
+
+    if not resultados or resultados[0][1] < 0.7:
+        resp = "Oi, querido! Não consegui encontrar algo relevante na base para responder com segurança."
+        return history + [(user_msg, resp)]
+
+    textos = [f"(p.{doc.metadata.get('page')}) {doc.page_content}" for doc, score in resultados]
+    base_conhecimento = "\n\n----\n\n".join(textos)
+
+    mensagem = _prompt.format(pergunta=user_msg, base_conhecimento=base_conhecimento)
+
+    messages = [
+        {"role": "system", "content": "Você é um assistente útil. Responda em PT-BR e fiel ao contexto."},
+        {"role": "user", "content": mensagem},
+    ]
+
+    prompt_chat = tok.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
+
+    out = generator(prompt_chat, return_full_text=False)[0]["generated_text"].strip()
+
+    fontes = _listar_fontes(resultados)
+    if fontes:
+        out += f"\n\nFontes: {fontes}"
+
+    return history + [(user_msg, out)]
+
+
+# ================
+# 5. FRONT (GRADIO)
+# ================
+with gr.Blocks(
+    title="CHAT IEPG",
+    css="""
+    .gradio-container {max-width: 760px; margin: auto;}
+    #title {text-align: center; font-size: 32px; font-weight: 700;}
+    #subtitle {text-align: center; margin-bottom: 25px;}
+    """
+) as demo:
+
+    gr.Markdown("<h1 id='title'>CHAT IEPG</h1>")
+    gr.Markdown(
+        "<p id='subtitle'>Faça perguntas sobre o Regimento/Documentos.<br>"
+        "Chatbot usando RAG (Chroma + E5) + Qwen 2.5 1.5B Instruct.</p>"
+    )
+
+    chat = gr.Chatbot(height=450, bubble_full_width=False)
+
+    txt = gr.Textbox(
+        placeholder="Digite sua pergunta e pressione Enter…",
+        label="Pergunta",
+        lines=1,
+        autofocus=True
+    )
+
+    btn = gr.Button("🚀 Enviar", variant="primary")
+    clear = gr.Button("🧹 Limpar", variant="secondary")
+
+    def _respond(user_msg, history):
+        return rag_chat(user_msg, history), gr.update(value="")
+
+    txt.submit(_respond, [txt, chat], [chat, txt])
+    btn.click(_respond, [txt, chat], [chat, txt])
+    clear.click(lambda: ([], ""), None, [chat, txt])
+
+    # --- Uma pequena caixa informativa para debug (opcional)
+    gr.Markdown("### Status: App carregado")
+
+
+# ==============================
+# 6. REGISTRAR ROTA DE API PARA O SPACES (evita "No API found")
+# ==============================
+
+# API wrapper que o Hugging Face Spaces vai reconhecer
+@gr.wrap_api
+def api_respond(payload: dict):
+    """
+    Espera payload no formato:
+    { "user_msg": "texto", "history": [] }
+    Retorna o mesmo formato que rag_chat espera (history atualizado).
+    """
+    user_msg = payload.get("user_msg", "") if isinstance(payload, dict) else ""
+    history = payload.get("history", []) if isinstance(payload, dict) else []
+    # Garante que retornamos em um formato simples serializável
+    return rag_chat(user_msg, history)
+
+
+# Adiciona rota explícita que o HF Spaces detecta como API
+# Rota: POST /ask
+demo.add_api_route("/ask", api_respond)
+
+
+# ==============================
+# 7. LAUNCH (sem forçar host/port no Spaces)
+# ==============================
+# if __name__ == "__main__":
+#     # No ambiente local, pode usar porta do env ou 7860
+#     port = int(os.getenv("PORT", 7860))
+#     # Use launch padrão (Spaces gerencia host/port), mas deixamos explícito para local
+#     demo.launch(server_name="0.0.0.0", server_port=port)
+
+
+demo.launch(server_name="0.0.0.0", server_port=int(os.getenv("PORT", 7860)))

requirements.txt

@@ -0,0 +1,21 @@
+# --- Interface ---
+gradio==4.44.1
+
+# --- PDF ---
+pypdf==4.2.0
+
+# --- Embeddings e modelos ---
+sentence-transformers==3.0.1
+transformers==4.44.2
+accelerate==0.33.0
+huggingface-hub==0.24.0
+torch==2.2.2
+
+# --- LangChain ecossistema estável ---
+langchain==0.2.9
+langchain-core==0.2.20
+langchain-community==0.2.0
+langchain-text-splitters==0.2.2
+
+# --- Vector Store antigo (compatível com LC 0.2.x) ---
+chromadb==0.4.24