Update README.md

README.md

@@ -1,3 +1,235 @@
----
-license: cc-by-4.0
----
+---
+license: cc-by-4.0
+base_model:
+- Qwen/Qwen3-0.6B
+tags:
+- transformers
+datasets:
+- te-sla/sumarizacija
+pipeline_tag: summarization
+---
+
+<table style="width:100%;height:100%">
+  <tr>
+<td colspan=2>
+  <h4><i class="highlight-container"><b class="highlight">Qwen3-0.6B - sumarizacija</b></i></h4>
+</td>
+</tr>
+  <tr style="width:100%;height:100%">
+    <td width=50%>
+      <p>Модел за сумаризацију заснован на Qwen3 моделу - 600 милиона параметара</p>
+    </td>
+    <td>
+      <p>Summarization model based on Qwen3 model - 600 million parameters</p>
+    </td>
+  </tr>
+  </table>
+
+```python
+>>> from transformers import Qwen3ForCausalLM, Qwen2TokenizerFast
+>>> import torch
+
+>>> model = Qwen3ForCausalLM.from_pretrained("te-sla/sum600")
+>>> model.eval()
+>>> tokenizer = Qwen2TokenizerFast.from_pretrained("te-sla/sum600", padding_side="left")
+>>> eos_token = "<|endoftext|>"
+>>> tokenizer.pad_token = eos_token
+>>> tokenizer.pad_token_id = tokenizer.convert_tokens_to_ids(tokenizer.pad_token)
+>>> tokenizer.eos_token = tokenizer.pad_token
+>>> tokenizer.eos_token_id = tokenizer.pad_token_id
+>>> tokenizer.padding_side = "left"
+
+>>> text = "Trombofilija nastaje kao rezultat kompleksne interakcije između negenetičkih i genetičkih faktora rizika koji hemostaznu ravnotežu pomeraju u smeru hiperkoagulacije i dovode do pojave tromboze. Veoma značajan faktor rizika za nastanak trombofilije je deficijencija inhibitora koagulacije: antitrombina, proteina C ili proteina S. Veliki korak u razumevanju genetičke osnove i molekularne dijagnostike trombofilije napravljen je otkrićem rezistencije na aktivirani protein C i faktor V Leiden mutacije. Ubrzo je otkrivena i varijanta u 3'-nekodirajucem regionu gena za faktor II (FII G20210A), za koju je pokazano da dovodi do povišene koncentracije protrombina u plazmi. Ove dve genske varijante su najučestaliji genetički faktori rizika za nastanak trombofilije. Nedavno je opisana nova mutacija u genu za protrombin (c.1787G gt T) za koju je pokazano da dovodi do rezistencije na antitrombin, odnosno do smanjene mogućnosti inaktivacije mutiranog trombina od strane antitrombina, sto predstavlja novi mehanizam za nastanak trombofilije. U toku poslednjih decenija, opisan je veliki broj genetičkih faktora rizika za nastanak trombofilije, uključuju}i one koji dovode do: nedostatka inhibitora koagulacije, povećanog nivoa ili smanjene inaktivacije koagulacionih faktora ili defekata sistema za fibrinolizu. Međutim, većina njih nije od dijagnostičke važnosti zbog njihovog malog ili još uvek nepoznatog uticaja na etiologiju trombofilije. Primena novih tehnologija koje omogućavaju analizu velikog broja gena kod jednog pacijenta otvoriće mogućnost individualnog utvrđivanja genetičkih faktora rizika, samim tim i adekvatan terapeutski pristup."
+>>> text += eos_token
+>>> inputs = tokenizer(text, return_tensors="pt", padding="longest", truncation=True, max_length=1024)
+>>> prompt_lengths = inputs["input_ids"].shape[1]
+
+>>> with torch.no_grad():
+>>> generated_ids = model.generate(
+  input_ids=inputs["input_ids"],
+  attention_mask=inputs["attention_mask"],
+  max_new_tokens=100,
+  no_repeat_ngram_size=3,
+  num_beams=6,
+  min_length = 30,
+  length_penalty = -0.5,
+  early_stopping = True,
+  pad_token_id = tokenizer.pad_token_id,
+  eos_token_id = tokenizer.pad_token_id)
+
+>>> decoded_output = tokenizer.decode(generated_ids[0][prompt_length:], skip_special_tokens=True).strip()
+
+>>> print(decoded_output)
+```
+
+```python
+>>> Trombofilija nastaje kao rezultat kompleksne interakcije između negenetičkih i genetičkih faktora rizika koji hemostaznu ravnotežu pomeraju hiperkoagulacije i pojave tromboze. Nedavno je nova mutacija u genu za protrombin, što je novi mehanizam za nastanak trombofilije.
+```
+
+
+<!--table style="width:100%;height:100%">
+<tr>
+<td width=50%>
+  <h5><i><b>Евалуација на задатку сумаризације - српски језик</b></i></h4>
+</td>
+<td>
+  <h5><i><b>Evaluation on the summarization task - Serbian language</b></i></h4>
+</td>
+</tr>
+  <tr colspan=2 style="width:100%;height:100%">
+    <td colspan=2 >
+      <img src="res.png" class="cover" style="max-width:650px">
+    </td>
+  </tr>
+  </table-->
+
+
+<div class="inline-flex flex-col" style="line-height: 1.5;padding-right:50px">
+  <div style="text-align: center; margin-top: 3px; font-size: 16px; font-weight: 800">Author</div>
+    <a href="https://huggingface.co/procesaur">  
+      <div class="flex">
+          <div
+  			style="display:DISPLAY_1; margin-left: auto; margin-right: auto; width: 92px; height:92px; border-radius: 50%; 
+            background-size: cover; background-image: url(&#39;https://cdn-uploads.huggingface.co/production/uploads/1673534533167-63bc254fb8c61b8aa496a39b.jpeg?w=200&h=200&f=face&#39;)">
+          </div>
+      </div>
+    </a>
+    <div style="text-align: center; font-size: 16px; font-weight: 800">Mihailo Škorić</div>
+    <div>  
+      <a href="https://huggingface.co/procesaur">
+      	<div style="text-align: center; font-size: 14px;">@procesaur</div>
+      </a>
+    </div>
+  </div>
+</div>
+
+
+
+<div class="inline-flex flex-col" style="line-height: 1.5;"> 
+  <div style="text-align: center; margin-top: 3px; font-size: 16px; font-weight: 800">Computation</div>
+    <a href="https://tesla.rgf.bg.ac.rs">  
+      <div class="flex">
+          <div
+  			style="display:DISPLAY_1; margin-left: auto; margin-right: auto; width: 92px; height:92px; border-radius: 50%; 
+            background-size: cover; background-image: url(https://cdn-avatars.huggingface.co/v1/production/uploads/63bc254fb8c61b8aa496a39b/TfM_-sc8-b34ddfhHBGTA.png?w=200&h=200&f=face)">
+          </div>
+      </div>
+    </a>
+    <div style="text-align: center; font-size: 16px; font-weight: 800">TESLA project</div>
+    <div>  
+      <a href="https://huggingface.co/te-sla">
+      	<div style="text-align: center; font-size: 14px;">@te-sla</div>
+      </a>
+    </div>
+  </div>
+</div>
+
+
+<!--div>
+## Cit.
+
+```bibtex
+@inproceedings{skorict5,
+  author    = {Mihailo Škorić},
+  title     = {Pilot Text to Text Transfer Transformer Model for Serbian Language},
+  booktitle   = {ARTIFICAL INTELLIGENCE CONFERENCE},
+  year      = {2025},
+  address = {Belgrade}
+  publisher = {SASA, Belgrade},
+  url       = {}
+}
+```
+</div-->
+<br/>
+
+<br/>
+<div id="zastava">
+  <div class="grb">
+    <img src="https://www.ai.gov.rs/img/logo_60x120-2.png" style="position:relative; left:30px; z-index:10; height:85px">
+  </div>
+  <table width=100% style="border:0px">
+    <tr style="background-color:#C6363C;width:100%;border:0px;height:30px"><td style="width:100vw"></td></tr>
+    <tr style="background-color:#0C4076;width:100%;border:0px;height:30px"><td></td></tr>
+    <tr style="background-color:#ffffff;width:100%;border:0px;height:30px"><td></td></tr>
+  </table>
+</div>
+
+<table style="width:100%;height:100%">
+  <tr style="width:100%;height:100%">
+    <td width=50%>
+       <p>Истраживање jе спроведено уз подршку Фонда за науку Републике Србиjе, #7276, Text Embeddings – Serbian Language Applications – TESLA</p>
+    </td>
+    <td>
+      <p>This research was supported by the Science Fund of the Republic of Serbia, #7276, Text Embeddings - Serbian Language Applications - TESLA</p>
+    </td>
+  </tr>
+</table>
+
+
+
+<style>
+  .ffeat: {
+  color:red
+  }
+  
+  .cover {
+    width: 100%;
+    margin-bottom: 5pt
+  }
+  
+.highlight-container, .highlight {
+  position: relative;
+  text-decoration:none
+}
+
+.highlight-container {
+  display: inline-block;
+  
+}
+
+.highlight{
+  color:white;
+  text-transform:uppercase;
+  font-size: 16pt;
+}
+
+  .highlight-container{
+    padding:5px 10px
+  }
+
+.highlight-container:before {
+  content: " ";
+  display: block;
+  height: 100%;
+  width: 100%;
+  margin-left: 0px;
+  margin-right: 0px;
+  position: absolute;
+  background: #e80909;
+  transform: rotate(2deg);
+  top: -1px;
+  left: -1px;
+  border-radius: 20% 25% 20% 24%;
+  padding: 10px 18px 18px 10px;
+}
+
+div.grb, #zastava>table {
+  position:absolute;
+  top:0px;
+  left: 0px;
+  margin:0px
+}
+
+  div.grb>img, #zastava>table{
+    margin:0px
+  }
+  
+#zastava {
+  position: relative;
+  margin-bottom:120px
+}
+
+  p {
+    font-size:14pt
+  }
+</style>