Update README.md

README.md

@@ -29,7 +29,9 @@ pipeline_tag: summarization
 >>> from transformers import Qwen3ForCausalLM, Qwen2TokenizerFast
 >>> import torch
 
+>>> device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
 >>> model = Qwen3ForCausalLM.from_pretrained("te-sla/sum600")
+>>> model.to(device)
 >>> model.eval()
 >>> tokenizer = Qwen2TokenizerFast.from_pretrained("te-sla/sum600", padding_side="left")
 >>> eos_token = "<|endoftext|>"
@@ -42,7 +44,8 @@ pipeline_tag: summarization
 >>> text = "Trombofilija nastaje kao rezultat kompleksne interakcije između negenetičkih i genetičkih faktora rizika koji hemostaznu ravnotežu pomeraju u smeru hiperkoagulacije i dovode do pojave tromboze. Veoma značajan faktor rizika za nastanak trombofilije je deficijencija inhibitora koagulacije: antitrombina, proteina C ili proteina S. Veliki korak u razumevanju genetičke osnove i molekularne dijagnostike trombofilije napravljen je otkrićem rezistencije na aktivirani protein C i faktor V Leiden mutacije. Ubrzo je otkrivena i varijanta u 3'-nekodirajucem regionu gena za faktor II (FII G20210A), za koju je pokazano da dovodi do povišene koncentracije protrombina u plazmi. Ove dve genske varijante su najučestaliji genetički faktori rizika za nastanak trombofilije. Nedavno je opisana nova mutacija u genu za protrombin (c.1787G gt T) za koju je pokazano da dovodi do rezistencije na antitrombin, odnosno do smanjene mogućnosti inaktivacije mutiranog trombina od strane antitrombina, sto predstavlja novi mehanizam za nastanak trombofilije. U toku poslednjih decenija, opisan je veliki broj genetičkih faktora rizika za nastanak trombofilije, uključuju}i one koji dovode do: nedostatka inhibitora koagulacije, povećanog nivoa ili smanjene inaktivacije koagulacionih faktora ili defekata sistema za fibrinolizu. Međutim, većina njih nije od dijagnostičke važnosti zbog njihovog malog ili još uvek nepoznatog uticaja na etiologiju trombofilije. Primena novih tehnologija koje omogućavaju analizu velikog broja gena kod jednog pacijenta otvoriće mogućnost individualnog utvrđivanja genetičkih faktora rizika, samim tim i adekvatan terapeutski pristup."
 >>> text += eos_token
 >>> inputs = tokenizer(text, return_tensors="pt", padding="longest", truncation=True, max_length=1024)
->>> prompt_lengths = inputs["input_ids"].shape[1]
+>>> inputs = {k: v.to(device) for k, v in inputs.items()}
+>>> prompt_length = inputs["input_ids"].shape[1]
 
 >>> with torch.no_grad():
 >>>     generated_ids = model.generate(
@@ -57,6 +60,7 @@ pipeline_tag: summarization
 >>>     pad_token_id = tokenizer.pad_token_id,
 >>>     eos_token_id = tokenizer.pad_token_id)
 
+>>> generated_ids = generated_ids.cpu()
 >>> decoded_output = tokenizer.decode(generated_ids[0][prompt_length:], skip_special_tokens=True).strip()
 
 >>> print(decoded_output)