Create app.py

app.py

@@ -0,0 +1,157 @@
+import random
+import time
+from datasets import load_dataset, Dataset, DatasetDict
+from huggingface_hub import HfApi, HfFolder
+from transformers import AutoTokenizer, AutoModelForCausalLM, pipeline
+
+# -------------------------------------
+# CONFIGURAÇÕES DO MODELO LOCAL
+# -------------------------------------
+MODEL_NAME = "Qwen/Qwen2.5-0.5B-Instruct"
+DATASET_REPO = "caarleexx/AM"
+LOCAL_DATA_FILE = "data.json"
+
+print("[LOG] Carregando modelo...")
+tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
+model = AutoModelForCausalLM.from_pretrained(
+    MODEL_NAME,
+    device_map="cpu"
+)
+generator = pipeline(
+    "text-generation",
+    model=model,
+    tokenizer=tokenizer,
+    max_new_tokens=200,
+    temperature=0.9
+)
+
+# -------------------------------------
+# FUNÇÃO: gerar pergunta + N opções
+# -------------------------------------
+def gerar_pergunta_e_opcoes():
+    N = random.randint(2, 6)  # número aleatório de alternativas
+    prompt = (
+        f"Crie uma pergunta curta. "
+        f"A pergunta deve ter exatamente {N} respostas possíveis, todas bem diferentes entre si."
+    )
+
+    print(f"[LOG] Gerando pergunta com N={N} opções...")
+    pergunta = generator(prompt)[0]["generated_text"]
+
+    return pergunta, N
+
+# -------------------------------------
+# FUNÇÃO: gerar resposta principal
+# -------------------------------------
+def gerar_resposta(pergunta):
+    print(f"[LOG] Gerando resposta principal...")
+    resp = generator(f"Pergunta: {pergunta}\nResponda de forma curta e direta.")[0]["generated_text"]
+    return resp
+
+# -------------------------------------
+# FUNÇÃO: gerar alternativas divergentes
+# -------------------------------------
+def gerar_alternativas(pergunta, N):
+    prompt = (
+        f"Pergunta: {pergunta}\n"
+        f"Liste {N} respostas possíveis, todas diferentes entre si, "
+        f"sem justificativas. Apenas a lista."
+    )
+
+    print(f"[LOG] Gerando {N} alternativas divergentes...")
+    texto = generator(prompt)[0]["generated_text"]
+
+    alternativas = []
+    for linha in texto.split("\n"):
+        linha = linha.strip("-•1234567890. ")
+        if len(linha) > 2:
+            alternativas.append(linha)
+
+    return alternativas[:N]
+
+# -------------------------------------
+# FUNÇÃO: calcular divergência
+# -------------------------------------
+def divergencia(resposta_principal, alternativas):
+    print("[LOG] Calculando divergência...")
+    divs = []
+    base = resposta_principal.lower()
+
+    for alt in alternativas:
+        alt_l = alt.lower()
+        diff = abs(len(base) - len(alt_l))
+        divs.append(diff)
+
+    return divs
+
+# -------------------------------------
+# FUNÇÃO: gerar explicação final
+# -------------------------------------
+def gerar_explicacao(pergunta):
+    prompt = (
+        f"Explique, de forma detalhada, por que a pergunta abaixo pode gerar respostas tão diferentes:\n"
+        f"{pergunta}"
+    )
+
+    print("[LOG] Gerando explicação...")
+    return generator(prompt)[0]["generated_text"]
+
+# -------------------------------------
+# INICIAR OU CARREGAR DATASET
+# -------------------------------------
+def carregar_dataset():
+    try:
+        print("[LOG] Tentando carregar dataset remoto...")
+        ds = load_dataset(DATASET_REPO)
+        return ds
+    except:
+        print("[LOG] Criando dataset novo...")
+        return DatasetDict({"train": Dataset.from_dict({"pergunta": [], "resposta": [], "alternativas": [], "divergencias": [], "explicacao": []})})
+
+# -------------------------------------
+# SALVAR NO HF DATASET A CADA LOOP
+# -------------------------------------
+def salvar_dataset(ds):
+    print("[LOG] Salvando dataset no HuggingFace...")
+    ds.push_to_hub(DATASET_REPO)
+
+# -------------------------------------
+# LOOP PRINCIPAL
+# -------------------------------------
+def loop_geracao(qtd=10):
+    ds = carregar_dataset()
+
+    for i in range(qtd):
+        print("\n====================================")
+        print(f"[LOG] ITERAÇÃO {i+1}")
+        print("====================================")
+
+        pergunta, N = gerar_pergunta_e_opcoes()
+        resposta = gerar_resposta(pergunta)
+        alternativas = gerar_alternativas(pergunta, N)
+        divergencias = divergencia(resposta, alternativas)
+        explicacao = gerar_explicacao(pergunta)
+
+        novo_registro = {
+            "pergunta": pergunta,
+            "resposta": resposta,
+            "alternativas": alternativas,
+            "divergencias": divergencias,
+            "explicacao": explicacao
+        }
+
+        print("[LOG] Adicionando exemplo ao dataset...")
+        ds["train"] = ds["train"].add_item(novo_registro)
+
+        salvar_dataset(ds)
+
+        time.sleep(1)
+
+    print("[LOG] Concluído.")
+
+# -------------------------------------
+# EXECUTAR O GERADOR
+# -------------------------------------
+if __name__ == "__main__":
+    loop_geracao(qtd=50)
+