File size: 2,154 Bytes
9cb4eda | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 | #!/usr/bin/env python3
"""Chat interativo usando exclusivamente pesos treinados do zero."""
from __future__ import annotations
import argparse
from pathlib import Path
import torch
from usar_gpt_zero import carregar
from treinar_gpt_zero import gerar
SYSTEM_DEFAULT = "Você é um assistente local útil e educado."
def main() -> None:
parser = argparse.ArgumentParser(description="Conversa com o GPT treinado do zero.")
parser.add_argument("--checkpoint", type=Path, default=Path("modelo_dialogos_multi_v2.pt"))
parser.add_argument("--system", default=SYSTEM_DEFAULT)
parser.add_argument("--tokens", type=int, default=80)
parser.add_argument("--temperature", type=float, default=0.05)
parser.add_argument("--top-k", type=int, default=20)
parser.add_argument("--top-p", type=float, default=0.9)
parser.add_argument("--repetition-penalty", type=float, default=1.15)
parser.add_argument("--device", choices=["auto", "cpu", "cuda"], default="auto")
args = parser.parse_args()
if args.device == "auto":
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
else:
device = torch.device(args.device)
modelo, tokenizer, checkpoint, bos_id, eos_id = carregar(args.checkpoint, device)
print("Modelo treinado do zero pronto. Digite /sair para terminar.")
historico: list[tuple[str, str]] = []
while True:
pergunta = input("Você: ").strip()
if pergunta == "/sair":
break
historico.append(("user", pergunta))
partes = [f"<|system|>{args.system}<|end|>"]
for indice, (papel, conteudo) in enumerate(historico[-4:]):
partes.append(f"<|{papel}|>{conteudo}<|end|>")
if indice == len(historico[-4:]) - 1 and papel == "user":
partes.append("<|assistant|>")
prompt = "".join(partes)
resposta = gerar(modelo, tokenizer, prompt, device, args.tokens, args.temperature, args.top_k, args.top_p, bos_id, eos_id, args.repetition_penalty)
historico.append(("assistant", resposta))
print(f"Modelo: {resposta}\n")
if __name__ == "__main__":
main()
|