import json, sys, urllib.request
sys.path.insert(0, "/home/ubuntu/campanha_e/scripts")
from avaliar_veredicto import chave_caso, split_por_caso

K = int(sys.argv[1]) if len(sys.argv) > 1 else 25
ouro = [json.loads(l) for l in open("/home/ubuntu/campanha_e/data/processed/ouro_gold.jsonl")]
_, teste = split_por_caso(ouro, 42)

def load(p):
    d = {}
    for line in open(p):
        r = json.loads(line)
        d[(r["caso"], r["q"])] = r
    return d

b2 = load("/home/ubuntu/campanha_b2/outputs/veredicto_b2/full_ouro/preds.jsonl")
e1 = load("/home/ubuntu/campanha_e/outputs/veredicto_e1/full_ouro/preds.jsonl")
v4 = load("/home/ubuntu/campanha_e/data/gold_preds_v4.jsonl")
fonte = {"categoria": b2, "decisao": e1, "urgencia": v4}

estados = {}
for row in ouro:
    ck = chave_caso(row["estado"])
    if ck in teste:
        estados[ck] = row["estado"]

ok = {"categoria": 0, "decisao": 0, "urgencia": 0}
tot = lat = 0
for ck in sorted(estados)[:K]:
    req = urllib.request.Request(
        "http://localhost:8200/decidir",
        data=json.dumps({"estado": estados[ck], "limiar": 0.8}).encode(),
        headers={"Content-Type": "application/json"})
    resp = json.loads(urllib.request.urlopen(req, timeout=120).read())
    lat += resp["latencia_ms"]
    tot += 1
    for q in ("categoria", "decisao", "urgencia"):
        esperado = fonte[q][(ck, q)]["option_ids"][fonte[q][(ck, q)]["pred"]]
        got = resp["respostas"][q]["resposta"]
        if got == esperado:
            ok[q] += 1
        else:
            print(f"  MISMATCH {ck[:8]} {q}: api={got} esperado={esperado}")
print(f"\n{tot} casos | latência média {lat//max(tot,1)} ms/caso (3 forwards)")
for q in ("categoria", "decisao", "urgencia"):
    print(f"  {q}: {ok[q]}/{tot} concordam com o teste de mesa")