Initial upload

.ipynb_checkpoints/README-checkpoint.md

@@ -0,0 +1,698 @@
+---
+tags:
+- sentence-transformers
+- sentence-similarity
+- feature-extraction
+- dense
+- generated_from_trainer
+- dataset_size:2573632
+- loss:MultipleNegativesRankingLoss
+- dataset_size:22925
+- loss:CosineSimilarityLoss
+base_model: muchad/mdeberta-hybrid-30k
+widget:
+- source_sentence: Siapakah yang menciptakan telegraf ?
+  sentences:
+  - 'Teknologi berbasis listrik
+
+    Pada sistem telegraf, suatu pesan akan diterjemahkan menjadi sederetan kode morse.
+    Kode tersebut selanjutnya dikirim melalui kawat peghubung sebagai media perantara
+    dan diterima oleh bagian penerima. Pada bagian penerima, kode-kode tersebut diterjemahkan
+    kembali menjadi pesan seperti aslinya.'
+  - 'Mintakat riparian
+
+    Untuk melindungi keberadaan dan keberlangsungan fungsi wilayah riparian, tiap-tiap
+    negara mengeluarkan peraturan yang berbeda-beda. Indonesia, misalnya, memiliki
+    peraturan untuk memelihara dan mempertahankan apa yang disebut sebagai sempadan
+    sungai. Peraturan ini pada dasarnya menganjurkan pengelola wilayah, umpamanya
+    pemegang HPH, untuk memelihara kawasan dengan lebar tertentu, sejajar dan di sepanjang
+    tepian kanan-kiri sungai. Lebar sempadan ini bergantung kepada ukuran sungai itu
+    sendiri, kondisi tepiannya (apakah masih alami atau buatan), serta letaknya (apakah
+    di hutan, kawasan perkebunan atau di perkotaan).'
+  - 'Advent Bangun
+
+    Film pertamanya adalah "Rajawali Sakti" pada tahun 1976, kemudian menjadi pemeran
+    utama bersama aktris Enny Beatrice dalam film "Satria Bambu Kuning" 1985, "Anita"
+    1984, dan "Dendam Jagoan" 1986. Film-filmnya sering disutradarai oleh Atok Suharto,
+    Ratno Timoer, dan Sisworo Gautama yang sangat populer pada waktu itu.
+
+    Pada tanggal 10 Februari 2018, Advent Bangun meninggal dunia di RSUP Fatmawati,
+    Jakarta Selatan. Ia meninggal akibat penyakit diabetes yang kemudian menjadi komplikasi
+    ke ginjal.'
+- source_sentence: Kapan pertama kali telepon genggam ditemukan?
+  sentences:
+  - 'Olimpiade
+
+    Indonesia pertama kali berpartisipasi dalam Olimpiade Helsinki 1952 di Finlandia.
+    Setelah itu Indonesia sempat dua kali tidak ikut Olimpiade yaitu pada Olimpiade
+    Tokyo 1964 dan Olimpiade Moskwa 1980 karena boikot sehubungan dengan perang Soviet-Afganistan.
+    Sejak awal keikutsertaannya, tercatat Indonesia sudah mengumpulkan total 27 medali,
+    dengan rincian: 6 medali emas, 10 medali perak dan 11 medali perunggu. Berikut
+    pencapaian Indonesia selama mengikuti Olimpiade:'
+  - 'Pelita Air Service
+
+    PT. Pelita Air Service, biasanya disingkat menjadi Pelita Air atau PAS, adalah
+    maskapai penerbangan nasional di Indonesia. PT PAS memiliki basis udara ("air
+    base") di Bandar Udara Internasional Halim Perdanakusuma, dan memiliki Bandar
+    Udara Pondok Cabe (Jakarta Selatan). Kantor pusatnya yang terletak di Jl. Abdul
+    Muis, Jakarta Pusat, memiliki ratusan karyawan yang terdiri dari staf manajemen
+    serta jajaran karyawan udara ("air crew") yang terlatih dan dapat diandalkan.'
+  - 'Telepon genggam
+
+    Telepon genggam generasi pertama disebut juga 1G. 1-G merupakan telepon genggam
+    pertama yang sebenarnya. Tahun 1973, Martin Cooper dari Motorola Corp menemukan
+    telepon genggam pertama dan diperkenalkan kepada publik pada 3 April 1973. Telepon
+    genggam yang ditemukan oleh Cooper memiliki berat 30 ons atau sekitar 800 gram.
+    Penemuan inilah yang telah mengubah dunia selamanya.
+
+    Teknologi yang digunakan 1-G masih bersifat analog dan dikenal dengan istilah
+    AMPS. AMPS menggunakan frekuensi antara 825 Mhz- 894 Mhz dan dioperasikan pada
+    Band 800 Mhz. Karena bersifat analog, maka sistem yang digunakan masih bersifat
+    regional.
+
+    Salah satu kekurangan generasi 1-G adalah karena ukurannya yang terlalu besar
+    untuk dipegang oleh tangan. Ukuran yang besar ini dikarenakan keperluan tenaga
+    dan performa baterai yang kurang baik. Selain itu generasi 1-G masih memiliki
+    masalah dengan mobilitas pengguna. Pada saat melakukan panggilan, mobilitas pengguna
+    terbatas pada jangkauan area telepon genggam.'
+- source_sentence: apakah jenis mesin yang digunakan Mikoyan-Gurevich MiG-23?
+  sentences:
+  - 'Nifas
+
+    Bisa jadi waktu keluarnya lama/panjang, dan terkadang singkat. Tidak ada batasan
+    minimal waktu nifas ini. Adapun waktu maksimalnya menurut mazhab Hambali adalah
+    40 hari, dan bila lebih dari 40 hari darah masih keluar sementara tidak bertepatan
+    dengan kebiasaan datangnya waktu haid maka darah tersebut adalah darah istihadhah.
+    Namun menurut pendapat yang shahih, tidak ada pula batasan waktu maksimal dari
+    nifas ini.'
+  - 'Mikoyan-Gurevich MiG-19
+
+    Di Uni Soviet MiG-19 telah berakhir produksinya pada akhir tahun 1950-an, karena
+    fokus untuk produksi MiG-21. Namun pada tahun 1958 lisensi untuk produksi MiG-19
+    yang telah disepakati dengan Cina tetapi, setelah persetujuain itu, hubungan antara
+    kedua negara memburuk. Namun produksi MiG-19 Cina tetap berjalan dengan kode F-6
+    (MiG-19S), terbang pertama kali Desember 1961. F-6 menjadi pesawat standar AU
+    Cina dari pertengahan 1962.'
+  - 'Peziarahan Kristen
+
+    Pada abad ke-7, Tanah Suci jatuh ke penaklukan Muslim, dan karena peziarahan menuju
+    Tanah Suci sekarang menjadi lebih sulit bagi Kristen Eropa, situs-situs peziarahan
+    utama berkembang di Eropa Barat, yang paling terkenal Santiago de Compostela pada
+    abad ke-9.'
+- source_sentence: Apa yang dimaksud Hokage dalam serial komik Naruto ?
+  sentences:
+  - 'Daftar karakter Naruto
+
+    Konoha memiliki tujuh sejak Hokage Pertama mendirikan desa Konoha. Para Hokage
+    pada umumnya adalah pemimpin desa dan ninja terkuat Konoha. Hokage berasal dari
+    kata "ho" yang berarti api dan "kage" yang berarti bayangan. Jadi "hokage" dapat
+    berarti "bayangan api."'
+  - 'Algoritme gabung
+
+    Algoritme urut gabung membagi tabel menjadi dua tabel yang sama besar. Masing-masing
+    tabel diurutkan secara rekursif, dan kemudian digabungkan kembali untuk membentuk
+    tabel yang terurut. Implementasi dasar dari algoritme urut gabung memakai tiga
+    buah tabel, dua untuk menyimpan elemen dari tabel yang telah di bagi dua dan satu
+    untuk menyimpan elemen yang telah terurut. Namun algoritme ini dapat juga dilakukan
+    langsung pada dua tabel, sehingga menghemat ruang atau memori yang dibutuhkan.'
+  - 'Sangiang
+
+    Dalam upacara kematian (Mandung) roh-roh leluhur atau Sangiang utama yang dipanggil
+    ada dua, yaitu Sangiang Duhung Mama Tandang-Langkah Sawang Mama Bangai dan Rawing
+    Tempon Telu. Kedua Sangiang Utusan Tuhan itu turun untuk melepaskan pali atau
+    tabu dari pribadi atau keluarga atau desa yang melaksanakan upacara. Melepaskan
+    pali juga untuk membebaskan orang yang mati dari kesalahan selama dia hidup. Dalam
+    sastera suci suku Dayak Ngaju, Panaturan. Digambarkan disana, Raja Banjar yang
+    bernama Raja Maruhum beserta Putri Dayak yang menjadi isterinya yang bernama Nyai
+    Siti Diang Lawai adalah bagian leluhur orang Dayak Ngaju. Bahkan mereka berdua
+    juga diproyeksikan sebagai sangiang (manusia illahi) yang tinggal di Lewu Tambak
+    Raja, salah satu tempat di Lewu Sangiang (Perkampungan para Dewa). Karena Sang
+    Raja beragama Islam maka disana disebutkan juga ada masjid.'
+- source_sentence: Apakah kartu sim pertama di Indonesia?
+  sentences:
+  - 'Fusajiro Yamauchi
+
+    Pada tanggal 6 November 1889, Fusajiro Yamauchi membuka "Hanafuda" (kartu bunga)
+    pertama toko kartu yang disebut "Nintendo Koppai" di saat pemerintah Jepang melarang
+    bermain kartu dari tangan masyarakat, karena mereka terikat dengan perjudian ,
+    dengan pengecualian dari bermain kartu Yamauchi ini. Dengan sukses besar yang
+    ada dalam penjualan kartu tersebut, hal itu dengan cepat mulai berkembang dan
+    membuka toko kartu lain di Osaka. Dia kemudian melanjutkan untuk menciptakan permainan
+    kartu lebih banyak lagi. Dia membuat Nintendo setelah kena "banned".'
+  - 'Detektif Conan
+
+    Selanjutnya dalam seri ini, tokoh utama lainnya, Ai Haibara, muncul. Ai adalah
+    seorang mantan anggota Organisasi Hitam, yang memiliki nama sandi "Sherry". Nama
+    aslinya adalah Shiho Miyano, seorang ilmuan yang mengembangkan racun APTX 4869
+    yang membuat tubuh Shinichi mengecil. Setelah kakaknya secara kejam dibunuh oleh
+    anggota Organisasi Hitam, ia mencoba keluar dari organisasi itu, namun ia ditangkap.
+    Dia mencoba bunuh diri dengan menelan pil APTX 4869, namun ternyata tubuhnya mengecil,
+    dan dia berhasil kabur dari organisasi tersebut. Dia kemudian bersekolah di SD
+    Teitan dengan nama samaran "Ai Haibara". Dia mengetahui identitas asli Conan dan
+    membantunya dalam perjuangan Conan untuk menjatuhkan Organisasi Hitam. Selain
+    Ai Haibara, Profesor Agasa, dan kedua orangtua Shinichi, orang yang juga mengetahui
+    identitas asli Conan adalah Heiji Hattori, seorang detektif SMA dari Osaka. Pada
+    mulanya, Heiji dikenal sebagai detektif SMA dari Barat dan mengaku sebagai saingan
+    Shinichi, detektif SMA dari Timur. Dengan berkembangnya cerita, Heiji pun kini
+    menjadi sahabat dekat Shinichi (Conan).'
+  - 'Hari Republik
+
+    "
+
+    India mendapatkan kemerdekaan pada 15 Agustus 1947 setelah undang-undang dasar
+    dibuat. Undang-undang dasar India disahkan pada 26 November 1949 oleh Badan Konstituante.
+    UUD tersebut mulai digunakan pada 26 Januari 1950 dengan sistem pemerintahan yang
+    demokratis, ketika negara ini benar-benar menjadi republik. Pemilihan tanggal
+    26 Januari didasarkan pada hari yang sama pada 1930 ketika Proklamasi Kemerdekaan
+    India disetujui.'
+pipeline_tag: sentence-similarity
+library_name: sentence-transformers
+metrics:
+- pearson_cosine
+- spearman_cosine
+model-index:
+- name: SentenceTransformer based on muchad/mdeberta-hybrid-30k
+  results:
+  - task:
+      type: semantic-similarity
+      name: Semantic Similarity
+    dataset:
+      name: sts combined val
+      type: sts-combined-val
+    metrics:
+    - type: pearson_cosine
+      value: 0.7664247640751756
+      name: Pearson Cosine
+    - type: spearman_cosine
+      value: 0.7703953644725257
+      name: Spearman Cosine
+---
+
+# SentenceTransformer based on muchad/mdeberta-hybrid-30k
+
+This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [muchad/mdeberta-hybrid-30k](https://huggingface.co/muchad/mdeberta-hybrid-30k). It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
+
+## Model Details
+
+### Model Description
+- **Model Type:** Sentence Transformer
+- **Base model:** [muchad/mdeberta-hybrid-30k](https://huggingface.co/muchad/mdeberta-hybrid-30k) <!-- at revision 0ea6ba25471bcde44f652fa228e89dc89b10458f -->
+- **Maximum Sequence Length:** 512 tokens
+- **Output Dimensionality:** 768 dimensions
+- **Similarity Function:** Cosine Similarity
+<!-- - **Training Dataset:** Unknown -->
+<!-- - **Language:** Unknown -->
+<!-- - **License:** Unknown -->
+
+### Model Sources
+
+- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
+- **Repository:** [Sentence Transformers on GitHub](https://github.com/huggingface/sentence-transformers)
+- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)
+
+### Full Model Architecture
+
+```
+SentenceTransformer(
+  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False, 'architecture': 'DebertaV2Model'})
+  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
+)
+```
+
+## Usage
+
+### Direct Usage (Sentence Transformers)
+
+First install the Sentence Transformers library:
+
+```bash
+pip install -U sentence-transformers
+```
+
+Then you can load this model and run inference.
+```python
+from sentence_transformers import SentenceTransformer
+
+# Download from the 🤗 Hub
+model = SentenceTransformer("sentence_transformers_model_id")
+# Run inference
+sentences = [
+    'Apakah kartu sim pertama di Indonesia?',
+    'Fusajiro Yamauchi\nPada tanggal 6 November 1889, Fusajiro Yamauchi membuka "Hanafuda" (kartu bunga) pertama toko kartu yang disebut "Nintendo Koppai" di saat pemerintah Jepang melarang bermain kartu dari tangan masyarakat, karena mereka terikat dengan perjudian , dengan pengecualian dari bermain kartu Yamauchi ini. Dengan sukses besar yang ada dalam penjualan kartu tersebut, hal itu dengan cepat mulai berkembang dan membuka toko kartu lain di Osaka. Dia kemudian melanjutkan untuk menciptakan permainan kartu lebih banyak lagi. Dia membuat Nintendo setelah kena "banned".',
+    'Detektif Conan\nSelanjutnya dalam seri ini, tokoh utama lainnya, Ai Haibara, muncul. Ai adalah seorang mantan anggota Organisasi Hitam, yang memiliki nama sandi "Sherry". Nama aslinya adalah Shiho Miyano, seorang ilmuan yang mengembangkan racun APTX 4869 yang membuat tubuh Shinichi mengecil. Setelah kakaknya secara kejam dibunuh oleh anggota Organisasi Hitam, ia mencoba keluar dari organisasi itu, namun ia ditangkap. Dia mencoba bunuh diri dengan menelan pil APTX 4869, namun ternyata tubuhnya mengecil, dan dia berhasil kabur dari organisasi tersebut. Dia kemudian bersekolah di SD Teitan dengan nama samaran "Ai Haibara". Dia mengetahui identitas asli Conan dan membantunya dalam perjuangan Conan untuk menjatuhkan Organisasi Hitam. Selain Ai Haibara, Profesor Agasa, dan kedua orangtua Shinichi, orang yang juga mengetahui identitas asli Conan adalah Heiji Hattori, seorang detektif SMA dari Osaka. Pada mulanya, Heiji dikenal sebagai detektif SMA dari Barat dan mengaku sebagai saingan Shinichi, detektif SMA dari Timur. Dengan berkembangnya cerita, Heiji pun kini menjadi sahabat dekat Shinichi (Conan).',
+]
+embeddings = model.encode(sentences)
+print(embeddings.shape)
+# [3, 768]
+
+# Get the similarity scores for the embeddings
+similarities = model.similarity(embeddings, embeddings)
+print(similarities)
+# tensor([[1.0001, 0.2194, 0.0071],
+#         [0.2194, 1.0000, 0.2776],
+#         [0.0071, 0.2776, 1.0001]])
+```
+
+<!--
+### Direct Usage (Transformers)
+
+<details><summary>Click to see the direct usage in Transformers</summary>
+
+</details>
+-->
+
+<!--
+### Downstream Usage (Sentence Transformers)
+
+You can finetune this model on your own dataset.
+
+<details><summary>Click to expand</summary>
+
+</details>
+-->
+
+<!--
+### Out-of-Scope Use
+
+*List how the model may foreseeably be misused and address what users ought not to do with the model.*
+-->
+
+## Evaluation
+
+### Metrics
+
+#### Semantic Similarity
+
+* Dataset: `sts-combined-val`
+* Evaluated with [<code>EmbeddingSimilarityEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.EmbeddingSimilarityEvaluator)
+
+| Metric              | Value      |
+|:--------------------|:-----------|
+| pearson_cosine      | 0.7664     |
+| **spearman_cosine** | **0.7704** |
+
+<!--
+## Bias, Risks and Limitations
+
+*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
+-->
+
+<!--
+### Recommendations
+
+*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
+-->
+
+## Training Details
+
+### Training Dataset
+
+#### Unnamed Dataset
+
+* Size: 22,925 training samples
+* Columns: <code>sentence_0</code>, <code>sentence_1</code>, and <code>label</code>
+* Approximate statistics based on the first 1000 samples:
+  |         | sentence_0                                                                        | sentence_1                                                                        | label                                                          |
+  |:--------|:----------------------------------------------------------------------------------|:----------------------------------------------------------------------------------|:---------------------------------------------------------------|
+  | type    | string                                                                            | string                                                                            | float                                                          |
+  | details | <ul><li>min: 7 tokens</li><li>mean: 18.61 tokens</li><li>max: 82 tokens</li></ul> | <ul><li>min: 6 tokens</li><li>mean: 18.75 tokens</li><li>max: 58 tokens</li></ul> | <ul><li>min: 0.0</li><li>mean: 0.52</li><li>max: 1.0</li></ul> |
+* Samples:
+  | sentence_0                                                                                                                  | sentence_1                                                                                         | label             |
+  |:----------------------------------------------------------------------------------------------------------------------------|:---------------------------------------------------------------------------------------------------|:------------------|
+  | <code>Potensi Desa (Podes) adalah survei tiga tahunan yang mengumpulkan data mengenai potensi dan perkembangan desa.</code> | <code>Data Podes digunakan untuk perencanaan pembangunan wilayah dan evaluasi program desa.</code> | <code>0.8</code>  |
+  | <code>Produksi batubara Indonesia tahun 2022 mencapai 687 juta ton.</code>                                                  | <code>Ekspor batubara Indonesia tahun 2022 mencapai 450 juta ton.</code>                           | <code>0.6</code>  |
+  | <code>Tidak begitu Super Tuesday untuk Mitt Romney</code>                                                                   | <code>Romney memimpin Santorum dalam kontes Super Tuesday GOP</code>                               | <code>0.32</code> |
+* Loss: [<code>CosineSimilarityLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#cosinesimilarityloss) with these parameters:
+  ```json
+  {
+      "loss_fct": "torch.nn.modules.loss.MSELoss"
+  }
+  ```
+
+### Training Hyperparameters
+#### Non-Default Hyperparameters
+
+- `eval_strategy`: steps
+- `per_device_train_batch_size`: 48
+- `per_device_eval_batch_size`: 48
+- `num_train_epochs`: 8
+- `fp16`: True
+- `multi_dataset_batch_sampler`: round_robin
+
+#### All Hyperparameters
+<details><summary>Click to expand</summary>
+
+- `overwrite_output_dir`: False
+- `do_predict`: False
+- `eval_strategy`: steps
+- `prediction_loss_only`: True
+- `per_device_train_batch_size`: 48
+- `per_device_eval_batch_size`: 48
+- `per_gpu_train_batch_size`: None
+- `per_gpu_eval_batch_size`: None
+- `gradient_accumulation_steps`: 1
+- `eval_accumulation_steps`: None
+- `torch_empty_cache_steps`: None
+- `learning_rate`: 5e-05
+- `weight_decay`: 0.0
+- `adam_beta1`: 0.9
+- `adam_beta2`: 0.999
+- `adam_epsilon`: 1e-08
+- `max_grad_norm`: 1
+- `num_train_epochs`: 8
+- `max_steps`: -1
+- `lr_scheduler_type`: linear
+- `lr_scheduler_kwargs`: {}
+- `warmup_ratio`: 0.0
+- `warmup_steps`: 0
+- `log_level`: passive
+- `log_level_replica`: warning
+- `log_on_each_node`: True
+- `logging_nan_inf_filter`: True
+- `save_safetensors`: True
+- `save_on_each_node`: False
+- `save_only_model`: False
+- `restore_callback_states_from_checkpoint`: False
+- `no_cuda`: False
+- `use_cpu`: False
+- `use_mps_device`: False
+- `seed`: 42
+- `data_seed`: None
+- `jit_mode_eval`: False
+- `use_ipex`: False
+- `bf16`: False
+- `fp16`: True
+- `fp16_opt_level`: O1
+- `half_precision_backend`: auto
+- `bf16_full_eval`: False
+- `fp16_full_eval`: False
+- `tf32`: None
+- `local_rank`: 0
+- `ddp_backend`: None
+- `tpu_num_cores`: None
+- `tpu_metrics_debug`: False
+- `debug`: []
+- `dataloader_drop_last`: False
+- `dataloader_num_workers`: 0
+- `dataloader_prefetch_factor`: None
+- `past_index`: -1
+- `disable_tqdm`: False
+- `remove_unused_columns`: True
+- `label_names`: None
+- `load_best_model_at_end`: False
+- `ignore_data_skip`: False
+- `fsdp`: []
+- `fsdp_min_num_params`: 0
+- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
+- `fsdp_transformer_layer_cls_to_wrap`: None
+- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
+- `deepspeed`: None
+- `label_smoothing_factor`: 0.0
+- `optim`: adamw_torch
+- `optim_args`: None
+- `adafactor`: False
+- `group_by_length`: False
+- `length_column_name`: length
+- `ddp_find_unused_parameters`: None
+- `ddp_bucket_cap_mb`: None
+- `ddp_broadcast_buffers`: False
+- `dataloader_pin_memory`: True
+- `dataloader_persistent_workers`: False
+- `skip_memory_metrics`: True
+- `use_legacy_prediction_loop`: False
+- `push_to_hub`: False
+- `resume_from_checkpoint`: None
+- `hub_model_id`: None
+- `hub_strategy`: every_save
+- `hub_private_repo`: False
+- `hub_always_push`: False
+- `gradient_checkpointing`: False
+- `gradient_checkpointing_kwargs`: None
+- `include_inputs_for_metrics`: False
+- `include_for_metrics`: []
+- `eval_do_concat_batches`: True
+- `fp16_backend`: auto
+- `push_to_hub_model_id`: None
+- `push_to_hub_organization`: None
+- `mp_parameters`: 
+- `auto_find_batch_size`: False
+- `full_determinism`: False
+- `torchdynamo`: None
+- `ray_scope`: last
+- `ddp_timeout`: 1800
+- `torch_compile`: False
+- `torch_compile_backend`: None
+- `torch_compile_mode`: None
+- `dispatch_batches`: None
+- `split_batches`: None
+- `include_tokens_per_second`: False
+- `include_num_input_tokens_seen`: False
+- `neftune_noise_alpha`: None
+- `optim_target_modules`: None
+- `batch_eval_metrics`: False
+- `eval_on_start`: False
+- `use_liger_kernel`: False
+- `eval_use_gather_object`: False
+- `average_tokens_across_devices`: False
+- `prompts`: None
+- `batch_sampler`: batch_sampler
+- `multi_dataset_batch_sampler`: round_robin
+- `router_mapping`: {}
+- `learning_rate_mapping`: {}
+
+</details>
+
+### Training Logs
+<details><summary>Click to expand</summary>
+
+| Epoch  | Step  | Training Loss | sts-combined-val_spearman_cosine |
+|:------:|:-----:|:-------------:|:--------------------------------:|
+| 0.0124 | 500   | 3.9542        | -                                |
+| 0.0249 | 1000  | 2.4436        | -                                |
+| 0.0373 | 1500  | 1.4335        | -                                |
+| 0.0497 | 2000  | 1.0818        | -                                |
+| 0.0622 | 2500  | 0.8748        | -                                |
+| 0.0746 | 3000  | 0.7437        | -                                |
+| 0.0870 | 3500  | 0.6698        | -                                |
+| 0.0995 | 4000  | 0.5969        | -                                |
+| 0.1119 | 4500  | 0.5466        | -                                |
+| 0.1243 | 5000  | 0.513         | -                                |
+| 0.1368 | 5500  | 0.4734        | -                                |
+| 0.1492 | 6000  | 0.4369        | -                                |
+| 0.1616 | 6500  | 0.4156        | -                                |
+| 0.1741 | 7000  | 0.4056        | -                                |
+| 0.1865 | 7500  | 0.3758        | -                                |
+| 0.1989 | 8000  | 0.366         | -                                |
+| 0.2114 | 8500  | 0.3599        | -                                |
+| 0.2238 | 9000  | 0.3493        | -                                |
+| 0.2362 | 9500  | 0.3417        | -                                |
+| 0.2487 | 10000 | 0.331         | -                                |
+| 0.2611 | 10500 | 0.3186        | -                                |
+| 0.2735 | 11000 | 0.3182        | -                                |
+| 0.2860 | 11500 | 0.3123        | -                                |
+| 0.2984 | 12000 | 0.2948        | -                                |
+| 0.3108 | 12500 | 0.2987        | -                                |
+| 0.3233 | 13000 | 0.2907        | -                                |
+| 0.3357 | 13500 | 0.2843        | -                                |
+| 0.3481 | 14000 | 0.2791        | -                                |
+| 0.3606 | 14500 | 0.2734        | -                                |
+| 0.3730 | 15000 | 0.2664        | -                                |
+| 0.3854 | 15500 | 0.2612        | -                                |
+| 0.3979 | 16000 | 0.2594        | -                                |
+| 0.4103 | 16500 | 0.2549        | -                                |
+| 0.4227 | 17000 | 0.2503        | -                                |
+| 0.4352 | 17500 | 0.2535        | -                                |
+| 0.4476 | 18000 | 0.2481        | -                                |
+| 0.4601 | 18500 | 0.237         | -                                |
+| 0.4725 | 19000 | 0.2381        | -                                |
+| 0.4849 | 19500 | 0.247         | -                                |
+| 0.4974 | 20000 | 0.2297        | -                                |
+| 0.5098 | 20500 | 0.2269        | -                                |
+| 0.5222 | 21000 | 0.2298        | -                                |
+| 0.5347 | 21500 | 0.2275        | -                                |
+| 0.5471 | 22000 | 0.2259        | -                                |
+| 0.5595 | 22500 | 0.2188        | -                                |
+| 0.5720 | 23000 | 0.2176        | -                                |
+| 0.5844 | 23500 | 0.2167        | -                                |
+| 0.5968 | 24000 | 0.2175        | -                                |
+| 0.6093 | 24500 | 0.2145        | -                                |
+| 0.6217 | 25000 | 0.2113        | -                                |
+| 0.6341 | 25500 | 0.2125        | -                                |
+| 0.6466 | 26000 | 0.2086        | -                                |
+| 0.6590 | 26500 | 0.2076        | -                                |
+| 0.6714 | 27000 | 0.2023        | -                                |
+| 0.6839 | 27500 | 0.2026        | -                                |
+| 0.6963 | 28000 | 0.2011        | -                                |
+| 0.7087 | 28500 | 0.1971        | -                                |
+| 0.7212 | 29000 | 0.1968        | -                                |
+| 0.7336 | 29500 | 0.2009        | -                                |
+| 0.7460 | 30000 | 0.1858        | -                                |
+| 0.7585 | 30500 | 0.1924        | -                                |
+| 0.7709 | 31000 | 0.1902        | -                                |
+| 0.7833 | 31500 | 0.1898        | -                                |
+| 0.7958 | 32000 | 0.1884        | -                                |
+| 0.8082 | 32500 | 0.1861        | -                                |
+| 0.8206 | 33000 | 0.1844        | -                                |
+| 0.8331 | 33500 | 0.1846        | -                                |
+| 0.8455 | 34000 | 0.1791        | -                                |
+| 0.8579 | 34500 | 0.1852        | -                                |
+| 0.8704 | 35000 | 0.181         | -                                |
+| 0.8828 | 35500 | 0.1818        | -                                |
+| 0.8952 | 36000 | 0.1771        | -                                |
+| 0.9077 | 36500 | 0.1791        | -                                |
+| 0.9201 | 37000 | 0.172         | -                                |
+| 0.9325 | 37500 | 0.1678        | -                                |
+| 0.9450 | 38000 | 0.1713        | -                                |
+| 0.9574 | 38500 | 0.1702        | -                                |
+| 0.9698 | 39000 | 0.1692        | -                                |
+| 0.9823 | 39500 | 0.1678        | -                                |
+| 0.9947 | 40000 | 0.1691        | -                                |
+| 1.0071 | 40500 | 0.1617        | -                                |
+| 1.0196 | 41000 | 0.1482        | -                                |
+| 1.0320 | 41500 | 0.1513        | -                                |
+| 1.0444 | 42000 | 0.1506        | -                                |
+| 1.0569 | 42500 | 0.1508        | -                                |
+| 1.0693 | 43000 | 0.1493        | -                                |
+| 1.0817 | 43500 | 0.1513        | -                                |
+| 1.0942 | 44000 | 0.1482        | -                                |
+| 1.1066 | 44500 | 0.1482        | -                                |
+| 1.1190 | 45000 | 0.1495        | -                                |
+| 1.1315 | 45500 | 0.1443        | -                                |
+| 1.1439 | 46000 | 0.1433        | -                                |
+| 1.1563 | 46500 | 0.1435        | -                                |
+| 1.1688 | 47000 | 0.1407        | -                                |
+| 1.1812 | 47500 | 0.1476        | -                                |
+| 1.1936 | 48000 | 0.1434        | -                                |
+| 1.2061 | 48500 | 0.1441        | -                                |
+| 1.2185 | 49000 | 0.1442        | -                                |
+| 1.2309 | 49500 | 0.1401        | -                                |
+| 1.2434 | 50000 | 0.1439        | -                                |
+| 1.2558 | 50500 | 0.1409        | -                                |
+| 1.2682 | 51000 | 0.1395        | -                                |
+| 1.2807 | 51500 | 0.1354        | -                                |
+| 1.2931 | 52000 | 0.1396        | -                                |
+| 1.3055 | 52500 | 0.1369        | -                                |
+| 1.3180 | 53000 | 0.1362        | -                                |
+| 1.3304 | 53500 | 0.1397        | -                                |
+| 1.3428 | 54000 | 0.1402        | -                                |
+| 1.3553 | 54500 | 0.1405        | -                                |
+| 1.3677 | 55000 | 0.1305        | -                                |
+| 1.3802 | 55500 | 0.1391        | -                                |
+| 1.3926 | 56000 | 0.1371        | -                                |
+| 1.4050 | 56500 | 0.1381        | -                                |
+| 1.4175 | 57000 | 0.1388        | -                                |
+| 1.4299 | 57500 | 0.1286        | -                                |
+| 1.4423 | 58000 | 0.1352        | -                                |
+| 1.4548 | 58500 | 0.1353        | -                                |
+| 1.4672 | 59000 | 0.1304        | -                                |
+| 1.4796 | 59500 | 0.1331        | -                                |
+| 1.4921 | 60000 | 0.1324        | -                                |
+| 1.5045 | 60500 | 0.133         | -                                |
+| 1.5169 | 61000 | 0.1263        | -                                |
+| 1.5294 | 61500 | 0.129         | -                                |
+| 1.5418 | 62000 | 0.1276        | -                                |
+| 1.5542 | 62500 | 0.1249        | -                                |
+| 1.5667 | 63000 | 0.1278        | -                                |
+| 1.5791 | 63500 | 0.1289        | -                                |
+| 1.5915 | 64000 | 0.1278        | -                                |
+| 1.6040 | 64500 | 0.1271        | -                                |
+| 1.6164 | 65000 | 0.1286        | -                                |
+| 1.6288 | 65500 | 0.1278        | -                                |
+| 1.6413 | 66000 | 0.1242        | -                                |
+| 1.6537 | 66500 | 0.123         | -                                |
+| 1.6661 | 67000 | 0.1244        | -                                |
+| 1.6786 | 67500 | 0.1247        | -                                |
+| 1.6910 | 68000 | 0.1256        | -                                |
+| 1.7034 | 68500 | 0.1279        | -                                |
+| 1.7159 | 69000 | 0.1253        | -                                |
+| 1.7283 | 69500 | 0.1314        | -                                |
+| 1.7407 | 70000 | 0.1248        | -                                |
+| 1.7532 | 70500 | 0.1266        | -                                |
+| 1.7656 | 71000 | 0.1235        | -                                |
+| 1.7780 | 71500 | 0.1223        | -                                |
+| 1.7905 | 72000 | 0.1234        | -                                |
+| 1.8029 | 72500 | 0.1249        | -                                |
+| 1.8153 | 73000 | 0.1212        | -                                |
+| 1.8278 | 73500 | 0.1232        | -                                |
+| 1.8402 | 74000 | 0.1268        | -                                |
+| 1.8526 | 74500 | 0.1235        | -                                |
+| 1.8651 | 75000 | 0.1279        | -                                |
+| 1.8775 | 75500 | 0.12          | -                                |
+| 1.8899 | 76000 | 0.1212        | -                                |
+| 1.9024 | 76500 | 0.1225        | -                                |
+| 1.9148 | 77000 | 0.1254        | -                                |
+| 1.9272 | 77500 | 0.1205        | -                                |
+| 1.9397 | 78000 | 0.1255        | -                                |
+| 1.9521 | 78500 | 0.1257        | -                                |
+| 1.9645 | 79000 | 0.118         | -                                |
+| 1.9770 | 79500 | 0.1245        | -                                |
+| 1.9894 | 80000 | 0.1234        | -                                |
+| 0.4184 | 200   | -             | 0.7129                           |
+| 0.8368 | 400   | -             | 0.7375                           |
+| 1.0    | 478   | -             | 0.7452                           |
+| 1.0460 | 500   | 0.0663        | -                                |
+| 1.2552 | 600   | -             | 0.7493                           |
+| 1.6736 | 800   | -             | 0.7518                           |
+| 2.0    | 956   | -             | 0.7587                           |
+| 2.0921 | 1000  | 0.0326        | 0.7580                           |
+| 2.5105 | 1200  | -             | 0.7623                           |
+| 2.9289 | 1400  | -             | 0.7636                           |
+| 3.0    | 1434  | -             | 0.7623                           |
+| 3.1381 | 1500  | 0.0248        | -                                |
+| 3.3473 | 1600  | -             | 0.7638                           |
+| 3.7657 | 1800  | -             | 0.7642                           |
+| 4.0    | 1912  | -             | 0.7666                           |
+| 4.1841 | 2000  | 0.0207        | 0.7667                           |
+| 4.6025 | 2200  | -             | 0.7680                           |
+| 5.0    | 2390  | -             | 0.7685                           |
+| 5.0209 | 2400  | -             | 0.7679                           |
+| 5.2301 | 2500  | 0.018         | -                                |
+| 5.4393 | 2600  | -             | 0.7685                           |
+| 5.8577 | 2800  | -             | 0.7692                           |
+| 6.0    | 2868  | -             | 0.7704                           |
+
+</details>
+
+### Framework Versions
+- Python: 3.10.18
+- Sentence Transformers: 5.1.2
+- Transformers: 4.46.3
+- PyTorch: 2.5.1
+- Accelerate: 1.10.1
+- Datasets: 4.1.1
+- Tokenizers: 0.20.3
+
+## Citation
+
+### BibTeX
+
+#### Sentence Transformers
+```bibtex
+@inproceedings{reimers-2019-sentence-bert,
+    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
+    author = "Reimers, Nils and Gurevych, Iryna",
+    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
+    month = "11",
+    year = "2019",
+    publisher = "Association for Computational Linguistics",
+    url = "https://arxiv.org/abs/1908.10084",
+}
+```
+
+<!--
+## Glossary
+
+*Clearly define terms in order to be accessible across audiences.*
+-->
+
+<!--
+## Model Card Authors
+
+*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
+-->
+
+<!--
+## Model Card Contact
+
+*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
+-->

1_Pooling/config.json

@@ -0,0 +1,10 @@
+{
+    "word_embedding_dimension": 768,
+    "pooling_mode_cls_token": false,
+    "pooling_mode_mean_tokens": true,
+    "pooling_mode_max_tokens": false,
+    "pooling_mode_mean_sqrt_len_tokens": false,
+    "pooling_mode_weightedmean_tokens": false,
+    "pooling_mode_lasttoken": false,
+    "include_prompt": true
+}

README.md

@@ -0,0 +1,17 @@
+---
+base_model: muchad/mdeberta-hybrid-30k
+library_name: sentence-transformers
+pipeline_tag: sentence-similarity
+language:
+- id
+tags:
+- sentence-transformers
+- feature-extraction
+- sentence-similarity
+- transformers
+license: apache-2.0
+---
+
+# Embed-ID
+
+_Note: This model is part of an ongoing research project._

config.json

@@ -0,0 +1,37 @@
+{
+  "_name_or_path": "muchad/mdeberta-hybrid-30k",
+  "architectures": [
+    "DebertaV2Model"
+  ],
+  "attention_probs_dropout_prob": 0.1,
+  "dtype": "float32",
+  "hidden_act": "gelu",
+  "hidden_dropout_prob": 0.1,
+  "hidden_size": 768,
+  "initializer_range": 0.02,
+  "intermediate_size": 3072,
+  "layer_norm_eps": 1e-07,
+  "legacy": true,
+  "max_position_embeddings": 512,
+  "max_relative_positions": -1,
+  "model_type": "deberta-v2",
+  "norm_rel_ebd": "layer_norm",
+  "num_attention_heads": 12,
+  "num_hidden_layers": 12,
+  "pad_token_id": 0,
+  "pooler_dropout": 0,
+  "pooler_hidden_act": "gelu",
+  "pooler_hidden_size": 768,
+  "pos_att_type": [
+    "p2c",
+    "c2p"
+  ],
+  "position_biased_input": false,
+  "position_buckets": 256,
+  "relative_attention": true,
+  "share_att_key": true,
+  "torch_dtype": "float32",
+  "transformers_version": "4.46.3",
+  "type_vocab_size": 0,
+  "vocab_size": 30000
+}

config_sentence_transformers.json

@@ -0,0 +1,14 @@
+{
+  "model_type": "SentenceTransformer",
+  "__version__": {
+    "sentence_transformers": "5.1.2",
+    "transformers": "4.46.3",
+    "pytorch": "2.5.1"
+  },
+  "prompts": {
+    "query": "",
+    "document": ""
+  },
+  "default_prompt_name": null,
+  "similarity_fn_name": "cosine"
+}

model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:bf8b35022970b62b1a8d6864cd34eef41315c8abae8c584c7ea3483949f631b8
+size 433985616

modules.json

@@ -0,0 +1,14 @@
+[
+  {
+    "idx": 0,
+    "name": "0",
+    "path": "",
+    "type": "sentence_transformers.models.Transformer"
+  },
+  {
+    "idx": 1,
+    "name": "1",
+    "path": "1_Pooling",
+    "type": "sentence_transformers.models.Pooling"
+  }
+]

sentence_bert_config.json

@@ -0,0 +1,4 @@
+{
+    "max_seq_length": 512,
+    "do_lower_case": false
+}

special_tokens_map.json

@@ -0,0 +1,51 @@
+{
+  "bos_token": {
+    "content": "[CLS]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "cls_token": {
+    "content": "[CLS]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "eos_token": {
+    "content": "[SEP]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "mask_token": {
+    "content": "[MASK]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "pad_token": {
+    "content": "[PAD]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "sep_token": {
+    "content": "[SEP]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "unk_token": {
+    "content": "[UNK]",
+    "lstrip": false,
+    "normalized": true,
+    "rstrip": false,
+    "single_word": false
+  }
+}

tokenizer_config.json

@@ -0,0 +1,859 @@
+{
+  "added_tokens_decoder": {
+    "0": {
+      "content": "[PAD]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "1": {
+      "content": "[CLS]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "2": {
+      "content": "[SEP]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "3": {
+      "content": "[UNK]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "29999": {
+      "content": "[MASK]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "30000": {
+      "content": "▁<extra_id_99>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30001": {
+      "content": "▁<extra_id_98>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30002": {
+      "content": "▁<extra_id_97>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30003": {
+      "content": "▁<extra_id_96>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30004": {
+      "content": "▁<extra_id_95>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30005": {
+      "content": "▁<extra_id_94>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30006": {
+      "content": "▁<extra_id_93>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30007": {
+      "content": "▁<extra_id_92>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30008": {
+      "content": "▁<extra_id_91>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30009": {
+      "content": "▁<extra_id_90>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30010": {
+      "content": "▁<extra_id_89>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30011": {
+      "content": "▁<extra_id_88>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30012": {
+      "content": "▁<extra_id_87>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30013": {
+      "content": "▁<extra_id_86>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30014": {
+      "content": "▁<extra_id_85>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30015": {
+      "content": "▁<extra_id_84>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30016": {
+      "content": "▁<extra_id_83>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30017": {
+      "content": "▁<extra_id_82>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30018": {
+      "content": "▁<extra_id_81>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30019": {
+      "content": "▁<extra_id_80>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30020": {
+      "content": "▁<extra_id_79>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30021": {
+      "content": "▁<extra_id_78>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30022": {
+      "content": "▁<extra_id_77>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30023": {
+      "content": "▁<extra_id_76>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30024": {
+      "content": "▁<extra_id_75>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30025": {
+      "content": "▁<extra_id_74>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30026": {
+      "content": "▁<extra_id_73>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30027": {
+      "content": "▁<extra_id_72>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30028": {
+      "content": "▁<extra_id_71>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30029": {
+      "content": "▁<extra_id_70>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30030": {
+      "content": "▁<extra_id_69>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30031": {
+      "content": "▁<extra_id_68>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30032": {
+      "content": "▁<extra_id_67>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30033": {
+      "content": "▁<extra_id_66>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30034": {
+      "content": "▁<extra_id_65>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30035": {
+      "content": "▁<extra_id_64>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30036": {
+      "content": "▁<extra_id_63>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30037": {
+      "content": "▁<extra_id_62>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30038": {
+      "content": "▁<extra_id_61>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30039": {
+      "content": "▁<extra_id_60>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30040": {
+      "content": "▁<extra_id_59>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30041": {
+      "content": "▁<extra_id_58>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30042": {
+      "content": "▁<extra_id_57>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30043": {
+      "content": "▁<extra_id_56>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30044": {
+      "content": "▁<extra_id_55>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30045": {
+      "content": "▁<extra_id_54>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30046": {
+      "content": "▁<extra_id_53>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30047": {
+      "content": "▁<extra_id_52>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30048": {
+      "content": "▁<extra_id_51>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30049": {
+      "content": "▁<extra_id_50>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30050": {
+      "content": "▁<extra_id_49>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30051": {
+      "content": "▁<extra_id_48>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30052": {
+      "content": "▁<extra_id_47>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30053": {
+      "content": "▁<extra_id_46>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30054": {
+      "content": "▁<extra_id_45>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30055": {
+      "content": "▁<extra_id_44>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30056": {
+      "content": "▁<extra_id_43>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30057": {
+      "content": "▁<extra_id_42>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30058": {
+      "content": "▁<extra_id_41>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30059": {
+      "content": "▁<extra_id_40>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30060": {
+      "content": "▁<extra_id_39>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30061": {
+      "content": "▁<extra_id_38>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30062": {
+      "content": "▁<extra_id_37>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30063": {
+      "content": "▁<extra_id_36>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30064": {
+      "content": "▁<extra_id_35>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30065": {
+      "content": "▁<extra_id_34>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30066": {
+      "content": "▁<extra_id_33>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30067": {
+      "content": "▁<extra_id_32>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30068": {
+      "content": "▁<extra_id_31>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30069": {
+      "content": "▁<extra_id_30>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30070": {
+      "content": "▁<extra_id_29>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30071": {
+      "content": "▁<extra_id_28>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30072": {
+      "content": "▁<extra_id_27>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30073": {
+      "content": "▁<extra_id_26>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30074": {
+      "content": "▁<extra_id_25>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30075": {
+      "content": "▁<extra_id_24>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30076": {
+      "content": "▁<extra_id_23>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30077": {
+      "content": "▁<extra_id_22>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30078": {
+      "content": "▁<extra_id_21>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30079": {
+      "content": "▁<extra_id_20>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30080": {
+      "content": "▁<extra_id_19>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30081": {
+      "content": "▁<extra_id_18>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30082": {
+      "content": "▁<extra_id_17>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30083": {
+      "content": "▁<extra_id_16>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30084": {
+      "content": "▁<extra_id_15>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30085": {
+      "content": "▁<extra_id_14>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30086": {
+      "content": "▁<extra_id_13>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30087": {
+      "content": "▁<extra_id_12>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30088": {
+      "content": "▁<extra_id_11>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30089": {
+      "content": "▁<extra_id_10>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30090": {
+      "content": "▁<extra_id_9>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30091": {
+      "content": "▁<extra_id_8>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30092": {
+      "content": "▁<extra_id_7>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30093": {
+      "content": "▁<extra_id_6>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30094": {
+      "content": "▁<extra_id_5>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30095": {
+      "content": "▁<extra_id_4>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30096": {
+      "content": "▁<extra_id_3>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30097": {
+      "content": "▁<extra_id_2>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30098": {
+      "content": "▁<extra_id_1>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "30099": {
+      "content": "▁<extra_id_0>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    }
+  },
+  "bos_token": "[CLS]",
+  "clean_up_tokenization_spaces": false,
+  "cls_token": "[CLS]",
+  "do_lower_case": false,
+  "eos_token": "[SEP]",
+  "extra_special_tokens": {},
+  "mask_token": "[MASK]",
+  "model_max_length": 512,
+  "pad_token": "[PAD]",
+  "sep_token": "[SEP]",
+  "sp_model_kwargs": {},
+  "split_by_punct": false,
+  "tokenizer_class": "DebertaV2Tokenizer",
+  "unk_token": "[UNK]",
+  "vocab_type": "spm"
+}