File size: 8,384 Bytes
3ab7abc b0e2000 3ab7abc b0e2000 3ab7abc b0e2000 3ab7abc e7ef4b1 b304377 e7ef4b1 b304377 e7ef4b1 3ab7abc b0e2000 3ab7abc b304377 3ab7abc |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207 208 209 210 211 212 213 214 215 216 217 218 219 220 221 222 223 224 225 226 227 228 229 230 231 232 233 234 235 236 237 238 239 |
---
license: cc-by-4.0
base_model:
- Qwen/Qwen3-0.6B
tags:
- transformers
datasets:
- te-sla/sumarizacija
pipeline_tag: summarization
---
<table style="width:100%;height:100%">
<tr>
<td colspan=2>
<h4><i class="highlight-container"><b class="highlight">Qwen3-0.6B - sumarizacija</b></i></h4>
</td>
</tr>
<tr style="width:100%;height:100%">
<td width=50%>
<p>Модел за сумаризацију заснован на Qwen3 моделу - 600 милиона параметара</p>
</td>
<td>
<p>Summarization model based on Qwen3 model - 600 million parameters</p>
</td>
</tr>
</table>
```python
>>> from transformers import Qwen3ForCausalLM, Qwen2TokenizerFast
>>> import torch
>>> device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
>>> model = Qwen3ForCausalLM.from_pretrained("te-sla/sum600")
>>> model.to(device)
>>> model.eval()
>>> tokenizer = Qwen2TokenizerFast.from_pretrained("te-sla/sum600", padding_side="left")
>>> eos_token = "<|endoftext|>"
>>> tokenizer.pad_token = eos_token
>>> tokenizer.pad_token_id = tokenizer.convert_tokens_to_ids(tokenizer.pad_token)
>>> tokenizer.eos_token = tokenizer.pad_token
>>> tokenizer.eos_token_id = tokenizer.pad_token_id
>>> tokenizer.padding_side = "left"
>>> text = "Trombofilija nastaje kao rezultat kompleksne interakcije između negenetičkih i genetičkih faktora rizika koji hemostaznu ravnotežu pomeraju u smeru hiperkoagulacije i dovode do pojave tromboze. Veoma značajan faktor rizika za nastanak trombofilije je deficijencija inhibitora koagulacije: antitrombina, proteina C ili proteina S. Veliki korak u razumevanju genetičke osnove i molekularne dijagnostike trombofilije napravljen je otkrićem rezistencije na aktivirani protein C i faktor V Leiden mutacije. Ubrzo je otkrivena i varijanta u 3'-nekodirajucem regionu gena za faktor II (FII G20210A), za koju je pokazano da dovodi do povišene koncentracije protrombina u plazmi. Ove dve genske varijante su najučestaliji genetički faktori rizika za nastanak trombofilije. Nedavno je opisana nova mutacija u genu za protrombin (c.1787G gt T) za koju je pokazano da dovodi do rezistencije na antitrombin, odnosno do smanjene mogućnosti inaktivacije mutiranog trombina od strane antitrombina, sto predstavlja novi mehanizam za nastanak trombofilije. U toku poslednjih decenija, opisan je veliki broj genetičkih faktora rizika za nastanak trombofilije, uključuju}i one koji dovode do: nedostatka inhibitora koagulacije, povećanog nivoa ili smanjene inaktivacije koagulacionih faktora ili defekata sistema za fibrinolizu. Međutim, većina njih nije od dijagnostičke važnosti zbog njihovog malog ili još uvek nepoznatog uticaja na etiologiju trombofilije. Primena novih tehnologija koje omogućavaju analizu velikog broja gena kod jednog pacijenta otvoriće mogućnost individualnog utvrđivanja genetičkih faktora rizika, samim tim i adekvatan terapeutski pristup."
>>> text += eos_token
>>> inputs = tokenizer(text, return_tensors="pt", padding="longest", truncation=True, max_length=1024)
>>> inputs = {k: v.to(device) for k, v in inputs.items()}
>>> prompt_length = inputs["input_ids"].shape[1]
>>> with torch.no_grad():
>>> generated_ids = model.generate(
>>> input_ids=inputs["input_ids"],
>>> attention_mask=inputs["attention_mask"],
>>> max_new_tokens=200,
>>> no_repeat_ngram_size=3,
>>> num_beams=6,
>>> min_length = 50,
>>> length_penalty = 0,
>>> early_stopping = True,
>>> pad_token_id = tokenizer.pad_token_id,
>>> eos_token_id = tokenizer.pad_token_id)
>>> generated_ids = generated_ids.cpu()
>>> decoded_output = tokenizer.decode(generated_ids[0][prompt_length:], skip_special_tokens=True).strip()
>>> print(decoded_output)
```
```python
>>> Nova mutacija kod gena za prodovebina omogućava rezibilnost na antidovebina, što je ključno za mehanizme nastanka trombozi.
```
<!--table style="width:100%;height:100%">
<tr>
<td width=50%>
<h5><i><b>Евалуација на задатку сумаризације - српски језик</b></i></h4>
</td>
<td>
<h5><i><b>Evaluation on the summarization task - Serbian language</b></i></h4>
</td>
</tr>
<tr colspan=2 style="width:100%;height:100%">
<td colspan=2 >
<img src="res.png" class="cover" style="max-width:650px">
</td>
</tr>
</table-->
<div class="inline-flex flex-col" style="line-height: 1.5;padding-right:50px">
<div style="text-align: center; margin-top: 3px; font-size: 16px; font-weight: 800">Author</div>
<a href="https://huggingface.co/procesaur">
<div class="flex">
<div
style="display:DISPLAY_1; margin-left: auto; margin-right: auto; width: 92px; height:92px; border-radius: 50%;
background-size: cover; background-image: url('https://cdn-uploads.huggingface.co/production/uploads/1673534533167-63bc254fb8c61b8aa496a39b.jpeg?w=200&h=200&f=face')">
</div>
</div>
</a>
<div style="text-align: center; font-size: 16px; font-weight: 800">Mihailo Škorić</div>
<div>
<a href="https://huggingface.co/procesaur">
<div style="text-align: center; font-size: 14px;">@procesaur</div>
</a>
</div>
</div>
</div>
<div class="inline-flex flex-col" style="line-height: 1.5;">
<div style="text-align: center; margin-top: 3px; font-size: 16px; font-weight: 800">Computation</div>
<a href="https://tesla.rgf.bg.ac.rs">
<div class="flex">
<div
style="display:DISPLAY_1; margin-left: auto; margin-right: auto; width: 92px; height:92px; border-radius: 50%;
background-size: cover; background-image: url(https://cdn-avatars.huggingface.co/v1/production/uploads/63bc254fb8c61b8aa496a39b/TfM_-sc8-b34ddfhHBGTA.png?w=200&h=200&f=face)">
</div>
</div>
</a>
<div style="text-align: center; font-size: 16px; font-weight: 800">TESLA project</div>
<div>
<a href="https://huggingface.co/te-sla">
<div style="text-align: center; font-size: 14px;">@te-sla</div>
</a>
</div>
</div>
</div>
<!--div>
## Cit.
```bibtex
@inproceedings{skorict5,
author = {Mihailo Škorić},
title = {Pilot Text to Text Transfer Transformer Model for Serbian Language},
booktitle = {ARTIFICAL INTELLIGENCE CONFERENCE},
year = {2025},
address = {Belgrade}
publisher = {SASA, Belgrade},
url = {}
}
```
</div-->
<br/>
<br/>
<div id="zastava">
<div class="grb">
<img src="https://www.ai.gov.rs/img/logo_60x120-2.png" style="position:relative; left:30px; z-index:10; height:85px">
</div>
<table width=100% style="border:0px">
<tr style="background-color:#C6363C;width:100%;border:0px;height:30px"><td style="width:100vw"></td></tr>
<tr style="background-color:#0C4076;width:100%;border:0px;height:30px"><td></td></tr>
<tr style="background-color:#ffffff;width:100%;border:0px;height:30px"><td></td></tr>
</table>
</div>
<table style="width:100%;height:100%">
<tr style="width:100%;height:100%">
<td width=50%>
<p>Истраживање jе спроведено уз подршку Фонда за науку Републике Србиjе, #7276, Text Embeddings – Serbian Language Applications – TESLA</p>
</td>
<td>
<p>This research was supported by the Science Fund of the Republic of Serbia, #7276, Text Embeddings - Serbian Language Applications - TESLA</p>
</td>
</tr>
</table>
<style>
.ffeat: {
color:red
}
.cover {
width: 100%;
margin-bottom: 5pt
}
.highlight-container, .highlight {
position: relative;
text-decoration:none
}
.highlight-container {
display: inline-block;
}
.highlight{
color:white;
text-transform:uppercase;
font-size: 16pt;
}
.highlight-container{
padding:5px 10px
}
.highlight-container:before {
content: " ";
display: block;
height: 100%;
width: 100%;
margin-left: 0px;
margin-right: 0px;
position: absolute;
background: #e80909;
transform: rotate(2deg);
top: -1px;
left: -1px;
border-radius: 20% 25% 20% 24%;
padding: 10px 18px 18px 10px;
}
div.grb, #zastava>table {
position:absolute;
top:0px;
left: 0px;
margin:0px
}
div.grb>img, #zastava>table{
margin:0px
}
#zastava {
position: relative;
margin-bottom:120px
}
p {
font-size:14pt
}
</style> |