README.md

---

base_model: jerteh/Jerteh-355
library_name: sentence-transformers
pipeline_tag: sentence-similarity
tags:
- sentence-transformers
- sentence-similarity
- feature-extraction
- generated_from_trainer
- dataset_size:11968
- loss:MSELoss
widget:
- source_sentence: Pazi, sanse za pune stipendije su uvek male, prvo razmisli da li
    kod nas mozes da ulises master na stipendiju, pa onda tek kod njih. Realno neces
    se kajati ako probas cak i da te odbiju.
  sentences:
  - Ako radis samo ux/ui onda mislim da ne bi trebao da imas problema sa 7410. Ukoliko
    dodatno nesto petljas oko koda ili koristis neke CMS-ove onda 6201. Postavi ovo
    pitanje na dizajnzoni, moguce da je neko imao slicne nedoumice...
  - 'Polagao sam pre par meseci pa ovako: \n\n1. Od kada je korona polaže se isključivo

    na računaru, nema više papira, ali ne od kuće već u njihovim test centrima. Reading,

    writing i listening se rade uvek u test centru, dok se za speaking ide u prostorije

    kod kalemegdana gde pričaš. \n\n2. Cena je koliko se secam bila oko 20k \n\n3.

    Zavisi od tvog znanja, ja i par drugara smo polagali bez pripreme i svi smo imali

    8, 8.5 ili 9 od 9, ali zato par ljudi nikako da položi. \n\n4. Ima dosta koji

    imaju istu težinu kao što su CAE, TOEFL itd. ali IELTS ti je najlakši.'
  - Ključna reč je *classified as*. Pojam/klasifikacija "naroda Han" je u formulaciji
    iz 1911 - dovoljno govori to koliko jezika govore. Danas su u "narodu Han" i Mandžurijci,
    o kojima su kineski antropolozi pisali pre 100 godina kao o drugoj rasi i isticali
    koliko su Mandžurijci "rasno inferiorni". Čak i da to zanemarimo, obrati pažnju
    koliki procenat kineske teritorije ima drugačiju kulturu - i koliko takvih regiona
    danas ima separatističke pokrete.\n\nAli čak i to da zanemarimo sve i uzmemo da
    je situacija takva kakvom je predstavljaš - dakle oblasti naroda Han su ubedljivo
    najrazvijenije i oni nemaju problema sa time, dok ostale teritorije predstavljaju
    nešto više od izvoznika sirovina. Da li takva treba i Srbija da bude - hoće li
    u Srbiji svođenje vlaških oblasti na izvoznika sirovina dovesti do pojave separatizma?\n\nU
    stvari, kako je ova situacija u Kini drastično drugačija od srpske - Beograd i
    njegovi produžeci danas nemaju nikakve separatističke namere. Da li bi ti pristao
    na Srbiju u kojoj skoro sva industrija biva u Vojvodini, a ostatak Srbije za nju
    proizvodi sirovine i radnu snagu - da li je to model ravnomernog razvoja koji
    promovišeš?
- source_sentence: '@user @user Pobogu, ljudi, pa zato što toliko kradu i dobijaju

    nezaslužena mesta sa lažnim diplomama, da im se ne isplati da se stvarno svađaju.

    Ove nameštene sukobe ne računam.'
  sentences:
  - Kako nema veze?
  - Dokle će sve ovo trajati?,S obzirom da se bliže izbori, sve i da padne sadasnja
    vlast, šta mislite dal postoji osoba koja može bilo šta da učini da u ovoj državi
    bude bolje? Moje mišljenje da za najmanje 20 godina ne postoji niko ko bi to mogao
    da učini jer su svo korumpirani i gladni para imoći, od trenutne vlasti pa sve
    do opozicije.
  - Sa obzirom da sam pohađao Matematičku gimnaziju u Beogradu moja mišljenja se prevashodno
    odnose na tu školu. Znam da već neko vreme postoje posebna odeljenja za matematiku
    u mnogim gradovima, ali ne znam previše o njima.\n\n Kod nas ima 5 odeljenja po
    generaciji od po 20 učenika. Koliko ja znam, svaka druga (državna) srednja škola
    u Beogradu ima oko 30 učenika po odeljenju. Manja odeljenja znače da se svakom
    učeniku može posvetiti više pažnje tokom časa. Svi profesori koje sam pitao, a
    koji su radili u drugim školama, kažu da je daleko lakše predavati grupi od 20
    učenika nego 30. \n\nOd ovih 5 odeljenja, jedno je specijalno i naziva se mentorsko
    odeljenje, u njega ide 20 najboljih učenika (određenih rang listom na upisu u
    prvi razred). Kasnije je moguće ući u ovo odeljenje sa dobrim uspehom (ukoliko
    učenik to želi). Razlika između ovog i ostalih odeljenja je što jedan dan u nedelji
    imamo mentorsku nastavu, kada se delimo u 4 grupe od po 5 ućenika i rotiramo između
    časova analize sa algebrom, geometrije, programiranja i fizike. Stvari koje se
    rade na mentorskoj nastavi su naprednije od regularnog programa, i ja sam lično
    dosta naučio ovakvim radom. \n\nPlan i program je napredniji nego u ostalim gimnazijama,
    ali škola je organizovana tako da svako može više da se posveti onome što ga najviše
    zanima. Tako su neki pratili dodatnu iz programiranja, neki iz matematike, a neki
    iz fizike. Ova dodatna nastava nije obavezna, već služi prevashodno kao priprema
    za takmičenja. Što se tiče regularne nastave, imali smo tokom 4 godine školovanja
    7-8 različitih matematičkih predmeta. Profesori koji predaju matematiku, fiziku
    i programiranje su 90% bivši učenici Matematičke gimnazije, i odnos između njih
    i učenika je daleko bolji nego u ostalim školama. Što se tiče ostalih predmeta
    (biologija, geografija...) oni su daleko lakši nego u ostalim gimnazijama. \n\nIskreno
    mislim da je Matematička gimnazija najveći uspeh naše prosvete. Jedna smo od najuspešnijih
    škola na međunarodnim takmičenjima na svetu. Više cenim kada mi neko kaže da je
    završio Matematičku gimnaziju nego npr. ETF. Moje iskustvo u ovoj školi je bilo
    u potpunosti pozitivno.\n\nŠto se stipendija tiče, smatram da su dobra stvar.
    Iznosi nisu preveliki, ali su dobri da pomognu pri kupovini prevashodno kompjuterske
    opreme, bez koje danas nema bavljenja naukom. Ovo mišljenje je možda malo pristrasno,
    sa obzirom da sam dobijao mnoge novčane stipendije tokom školovanja .\n\nAko imaš
    bilo kakva specifična pitanja što se tiče rada škole, ili što se tiče međunarodnih
    takmičenja, slobodno pitaj.
- source_sentence: Hvala Bogu što si se nje otarasio pre braka i dece. Ti problemi
    bi ti bili puno veći kasnije u braku.
  sentences:
  - If I am a Christian Arab and I moved to Serbia (not as a refugee), will I be able
    to integrate Serbian society?,This is a very genuine question. I am not looking
    to offend anyone or upset an group of people. Thank you very much.
  - Nasi ljudi u svetu IT-ja
  - Usrana venogel reklama,Sa ponosom mogu da kažem da sam odgledao venogel reklamu
    9000 puta (samo danas 62 puta) odrastao sam uz tu reklamu i mnogo mi znači. "Umro

    sam pre 4 godine ali nakon korišćenja venogel kreme, ostvario sam svoj san i učestvovao

    na ultramaratonu, HVALA VITALISU." \n\nJel može neko ko je koristio tu jebenu
    kremu da mi potvrdi da li je stvarno tako čudotvorna pa da umrem u miru.\n\nHvala
    vitalisu.
- source_sentence: Mislio sam da se nikada neću složiti s Eskobarom, ali slažem se
    s ovom izjavom da neće biti rata u BiH, ako je tačno da je to izjavio. Ali neka
    kaže jasno ko podržava mir, a ko ne i ko u BiH prijeti ratom i prebrojava se,a
    mogli smo čuti da za to ima i podršku Islamske zajednice.
  sentences:
  - paa...po verskoj je ok, jer treba biti idiot pa biti vernik, a ako mrzis idiote...\n\nnacionalna
    mrznja...tu i tamo, cesto nacionalnost podrazumeva odredjene slicne ili iste elemente
    vaspitanja, sisteme vrednosti, predrasude. na osnovu toga, u teoriji, mozes mrzeti
    drugi narod. cesto ces sresti srbe koji mrze hrvate, a rodili su se nakon ratova,
    nisu direktno osteceni od strane hrvata. to je definicija nacije. ako ti i ja
    nemamo bas nijednu zajednicku tacku osim sto smo se slucajno radili unutar istih
    granica na nekoj mapi koju su crtali ljudi pre nas, da li smo mi deo iste nacije,
    istog plemena? tehnicki jesmo, a realno mozemo biti i amerikanac i rus, nema razlike.
  - Pitanje je vremena kada ce biti odnos prema nama kao prema drugim radnicima (nece
    skoro ali opet ce se i to desiti) , uzivaj dok mozes dok smo im toliko potebni.
    Nijednoj firmi nije stalo do tebe jer te vole nego jer im trebas. Da nas ima kao
    bankara, gazili bi po nama.
  - Meni je lično zbog te globalne kompromitacije demokratske ideje i prakse žao.
    Ali je to urušavanje činjenica. Nažalost, još jednom se ispostavilo da u međunarodnim
    odnosima vladaju samo sila i moć. I da je samo ravnoteža straha jedno vreme stvarala
    utisak i iluziju da je drugačije.
- source_sentence: Kako brat "Komita" zamišlja stručni i demokratski dijalog) Ali,
    dobro. Nije mu lako. Imali su težak dan😃 http
  sentences:
  - Grafika se ne moze menjati. Na novijim laptopovima cuo sam da ni ram (nzm jel
    tacno ovo poslednje)
  - '@user @user Ostaćeš upamćen u istoriji kao ostrašćeni vladar, a ne državnik.

    Kao onaj koji je naredio da se neistomišljenici batinaju. Živi sa tim teretom,

    sam si tako odlučio. Niko se neće sećati tvojih puteva i mostova, kao što se ne

    sećaju Tadićevih ... Sećaće se samo ovoga. http'
  - Obnovljena prva godina na fakultetu,Imam 21 godinu i studiram stomatologiju. Obnovila
    sam prvu godinu (sada bih trebala da sam druga), i osećam se mnogo loše povodom
    toga. Prošle godine u ovom periodu sam se osećala mnogo depresivno, anksiozno,
    i usamljeno (i sada se tako osećam samo malo manje), nisam tražila pomoć jer sam
    mislila da ću uspeti da se izborim sa sobom i na kraju položim ispite koji su
    mi potrebni za drugu godinu, ali nisam. Osećala sam ogromnu krivicu jer to nije
    smelo da mi se desi. Jedino mi majka radi, ona je medicinska sestra i ona izdržava
    nas četvoro. Znam koliko oni trpe i žrtvuju se samo da bih ja mogla da idem na
    fakultet i obezbedim sebi bolju budućnost.\n\nVeć neko vreme imam blokadu što
    se tiče učenja. Ostao mi je još jedan ispit da očistim godinu, i to najteži (anatomija).
    I imam problem da ne mogu da nateram sebe da sednem da učim, tj. kad god sednem
    i krenem da učim učim malo i već posle nekog vremena moje misli se razlete na
    sve strane i počinjem da se vraćam u prošlost i razmišljam o svojim neuspesima.
    Imam utisak da se uopšte nisam snašla, jer sam upisala fakultet u drugom prijemnom
    roku (na prvom mi je falio poen), odmah krenula na fakultet posle tolikog stresa,
    kasnije korona i online predavanja i vežbe, nisam dovoljno učila, više sam bila
    pod stresom, ne znam ni sama.\n\nProšle godine kada sam tek obnovila godinu, htela
    sam što pre da položim sve ispite koji su mi ostali i zaposlim se i uštedim novac
    za drugu godinu, ali nisam uspela, mnogo sam se razvukla sam ispitima, nisam mogla
    lepo da učim. Inače sam uvek bila odličan đak i nisam imala problema što se učenja
    tiče, uvek sam mogla da učim, ali poslednje dve godine ne znam šta mi se dešava.
    Samopouzdanje mi je mnogo opalo, i mislim da sam mnogo glupa i da ništa ne mogu
    da uradim kako treba. \n\nHtela bih da vas zamolim za neki savet kako bih mogla
    ovo da prebrodim jer stvarno nemam više ni motivacije ni volje, svakog dana sam
    tužna i plačem, ne znam šta više da radim sa sobom.
---


# SentenceTransformer based on jerteh/Jerteh-355

This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [jerteh/Jerteh-355](https://huggingface.co/jerteh/Jerteh-355). It maps sentences & paragraphs to a 16-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

## Model Details

### Model Description
- **Model Type:** Sentence Transformer
- **Base model:** [jerteh/Jerteh-355](https://huggingface.co/jerteh/Jerteh-355) <!-- at revision cf08b05701c6b07fa5fe3b4eba528e5001b11dc2 -->
- **Maximum Sequence Length:** 512 tokens
- **Output Dimensionality:** 16 tokens
- **Similarity Function:** Cosine Similarity
<!-- - **Training Dataset:** Unknown -->
<!-- - **Language:** Unknown -->
<!-- - **License:** Unknown -->

### Model Sources

- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
- **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers)
- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)

### Full Model Architecture

```

SentenceTransformer(

  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: RobertaModel 

  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})

  (2): Dense({'in_features': 1024, 'out_features': 16, 'bias': True, 'activation_function': 'torch.nn.modules.activation.Tanh'})

)

```

## Usage

### Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

```bash

pip install -U sentence-transformers

```

Then you can load this model and run inference.
```python

from sentence_transformers import SentenceTransformer



# Download from the 🤗 Hub

model = SentenceTransformer("sentence_transformers_model_id")

# Run inference

sentences = [

    'Kako brat "Komita" zamišlja stručni i demokratski dijalog) Ali, dobro. Nije mu lako. Imali su težak dan😃 http',

    'Obnovljena prva godina na fakultetu,Imam 21 godinu i studiram stomatologiju. Obnovila sam prvu godinu (sada bih trebala da sam druga), i osećam se mnogo loše povodom toga. Prošle godine u ovom periodu sam se osećala mnogo depresivno, anksiozno, i usamljeno (i sada se tako osećam samo malo manje), nisam tražila pomoć jer sam mislila da ću uspeti da se izborim sa sobom i na kraju položim ispite koji su mi potrebni za drugu godinu, ali nisam. Osećala sam ogromnu krivicu jer to nije smelo da mi se desi. Jedino mi majka radi, ona je medicinska sestra i ona izdržava nas četvoro. Znam koliko oni trpe i žrtvuju se samo da bih ja mogla da idem na fakultet i obezbedim sebi bolju budućnost.\\n\\nVeć neko vreme imam blokadu što se tiče učenja. Ostao mi je još jedan ispit da očistim godinu, i to najteži (anatomija). I imam problem da ne mogu da nateram sebe da sednem da učim, tj. kad god sednem i krenem da učim učim malo i već posle nekog vremena moje misli se razlete na sve strane i počinjem da se vraćam u prošlost i razmišljam o svojim neuspesima. Imam utisak da se uopšte nisam snašla, jer sam upisala fakultet u drugom prijemnom roku (na prvom mi je falio poen), odmah krenula na fakultet posle tolikog stresa, kasnije korona i online predavanja i vežbe, nisam dovoljno učila, više sam bila pod stresom, ne znam ni sama.\\n\\nProšle godine kada sam tek obnovila godinu, htela sam što pre da položim sve ispite koji su mi ostali i zaposlim se i uštedim novac za drugu godinu, ali nisam uspela, mnogo sam se razvukla sam ispitima, nisam mogla lepo da učim. Inače sam uvek bila odličan đak i nisam imala problema što se učenja tiče, uvek sam mogla da učim, ali poslednje dve godine ne znam šta mi se dešava. Samopouzdanje mi je mnogo opalo, i mislim da sam mnogo glupa i da ništa ne mogu da uradim kako treba. \\n\\nHtela bih da vas zamolim za neki savet kako bih mogla ovo da prebrodim jer stvarno nemam više ni motivacije ni volje, svakog dana sam tužna i plačem, ne znam šta više da radim sa sobom.',

    '@user @user Ostaćeš upamćen u istoriji kao ostrašćeni vladar, a ne državnik. Kao onaj koji je naredio da se neistomišljenici batinaju. Živi sa tim teretom, sam si tako odlučio. Niko se neće sećati tvojih puteva i mostova, kao što se ne sećaju Tadićevih ... Sećaće se samo ovoga. http',

]

embeddings = model.encode(sentences)

print(embeddings.shape)

# [3, 16]



# Get the similarity scores for the embeddings

similarities = model.similarity(embeddings, embeddings)

print(similarities.shape)

# [3, 3]

```

<!--
### Direct Usage (Transformers)

<details><summary>Click to see the direct usage in Transformers</summary>

</details>
-->

<!--
### Downstream Usage (Sentence Transformers)

You can finetune this model on your own dataset.

<details><summary>Click to expand</summary>

</details>
-->

<!--
### Out-of-Scope Use

*List how the model may foreseeably be misused and address what users ought not to do with the model.*
-->

<!--
## Bias, Risks and Limitations

*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
-->

<!--
### Recommendations

*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
-->

## Training Details

### Training Hyperparameters
#### Non-Default Hyperparameters

- `eval_strategy`: steps
- `num_train_epochs`: 1
- `warmup_ratio`: 0.1
- `fp16`: True
- `batch_sampler`: no_duplicates



#### All Hyperparameters

<details><summary>Click to expand</summary>



- `overwrite_output_dir`: False

- `do_predict`: False
- `eval_strategy`: steps
- `prediction_loss_only`: True
- `per_device_train_batch_size`: 8
- `per_device_eval_batch_size`: 8
- `per_gpu_train_batch_size`: None
- `per_gpu_eval_batch_size`: None
- `gradient_accumulation_steps`: 1
- `eval_accumulation_steps`: None
- `torch_empty_cache_steps`: None
- `learning_rate`: 5e-05
- `weight_decay`: 0.0
- `adam_beta1`: 0.9
- `adam_beta2`: 0.999
- `adam_epsilon`: 1e-08
- `max_grad_norm`: 1.0
- `num_train_epochs`: 1
- `max_steps`: -1
- `lr_scheduler_type`: linear
- `lr_scheduler_kwargs`: {}
- `warmup_ratio`: 0.1
- `warmup_steps`: 0
- `log_level`: passive
- `log_level_replica`: warning
- `log_on_each_node`: True
- `logging_nan_inf_filter`: True
- `save_safetensors`: True
- `save_on_each_node`: False
- `save_only_model`: False
- `restore_callback_states_from_checkpoint`: False
- `no_cuda`: False
- `use_cpu`: False
- `use_mps_device`: False
- `seed`: 42
- `data_seed`: None
- `jit_mode_eval`: False
- `use_ipex`: False
- `bf16`: False
- `fp16`: True
- `fp16_opt_level`: O1
- `half_precision_backend`: auto
- `bf16_full_eval`: False
- `fp16_full_eval`: False
- `tf32`: None
- `local_rank`: 0
- `ddp_backend`: None
- `tpu_num_cores`: None
- `tpu_metrics_debug`: False
- `debug`: []
- `dataloader_drop_last`: False
- `dataloader_num_workers`: 0
- `dataloader_prefetch_factor`: None
- `past_index`: -1
- `disable_tqdm`: False
- `remove_unused_columns`: True
- `label_names`: None
- `load_best_model_at_end`: False
- `ignore_data_skip`: False
- `fsdp`: []
- `fsdp_min_num_params`: 0
- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}

- `fsdp_transformer_layer_cls_to_wrap`: None
- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
- `deepspeed`: None
- `label_smoothing_factor`: 0.0
- `optim`: adamw_torch

- `optim_args`: None
- `adafactor`: False
- `group_by_length`: False
- `length_column_name`: length
- `ddp_find_unused_parameters`: None
- `ddp_bucket_cap_mb`: None
- `ddp_broadcast_buffers`: False
- `dataloader_pin_memory`: True
- `dataloader_persistent_workers`: False
- `skip_memory_metrics`: True
- `use_legacy_prediction_loop`: False
- `push_to_hub`: False
- `resume_from_checkpoint`: None
- `hub_model_id`: None
- `hub_strategy`: every_save

- `hub_private_repo`: False

- `hub_always_push`: False

- `gradient_checkpointing`: False
- `gradient_checkpointing_kwargs`: None
- `include_inputs_for_metrics`: False
- `eval_do_concat_batches`: True
- `fp16_backend`: auto
- `push_to_hub_model_id`: None
- `push_to_hub_organization`: None
- `mp_parameters`: 
- `auto_find_batch_size`: False
- `full_determinism`: False
- `torchdynamo`: None
- `ray_scope`: last
- `ddp_timeout`: 1800
- `torch_compile`: False
- `torch_compile_backend`: None
- `torch_compile_mode`: None
- `dispatch_batches`: None
- `split_batches`: None
- `include_tokens_per_second`: False
- `include_num_input_tokens_seen`: False
- `neftune_noise_alpha`: None
- `optim_target_modules`: None
- `batch_eval_metrics`: False
- `eval_on_start`: False
- `use_liger_kernel`: False
- `eval_use_gather_object`: False
- `batch_sampler`: no_duplicates

- `multi_dataset_batch_sampler`: proportional

</details>

### Training Logs
| Epoch  | Step | Training Loss | loss   |
|:------:|:----:|:-------------:|:------:|
| 0.2674 | 100  | 0.1507        | 0.1294 |
| 0.5348 | 200  | 0.1275        | 0.1217 |
| 0.8021 | 300  | 0.1205        | 0.1153 |


### Framework Versions
- Python: 3.12.7
- Sentence Transformers: 3.1.1
- Transformers: 4.45.2
- PyTorch: 2.5.1+cu124
- Accelerate: 1.0.1
- Datasets: 3.0.2
- Tokenizers: 0.20.3

## Citation

### BibTeX

#### Sentence Transformers
```bibtex

@inproceedings{reimers-2019-sentence-bert,

    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",

    author = "Reimers, Nils and Gurevych, Iryna",

    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",

    month = "11",

    year = "2019",

    publisher = "Association for Computational Linguistics",

    url = "https://arxiv.org/abs/1908.10084",

}

```

#### MSELoss
```bibtex

@inproceedings{reimers-2020-multilingual-sentence-bert,

    title = "Making Monolingual Sentence Embeddings Multilingual using Knowledge Distillation",

    author = "Reimers, Nils and Gurevych, Iryna",

    booktitle = "Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing",

    month = "11",

    year = "2020",

    publisher = "Association for Computational Linguistics",

    url = "https://arxiv.org/abs/2004.09813",

}

```

<!--
## Glossary

*Clearly define terms in order to be accessible across audiences.*
-->

<!--
## Model Card Authors

*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
-->

<!--
## Model Card Contact

*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
-->