---
tags:
- sentence-transformers
- sentence-similarity
- feature-extraction
- dense
- generated_from_trainer
- dataset_size:2004
- loss:MultipleNegativesRankingLoss
base_model: intfloat/multilingual-e5-base
widget:
- source_sentence: 'query: Seorang pria bernama Eko Santoso di Kota Semarang pada
tahun 2024 secara terang-terangan di hadapan kerumunan massa di alun-alun kota
menyampaikan orasi yang berisi hasutan untuk melakukan diskriminasi terhadap penganut
agama tertentu yang ada di Indonesia, dengan menyatakan bahwa agama tersebut adalah
ancaman dan harus dilawan. Pernyataan tersebut disampaikan secara langsung di
muka umum dan direkam oleh banyak orang. Pasal apa yang tepat dikenakan kepada
Eko Santoso?'
sentences:
- 'passage: Ya, karena mantan pejabat yang tanpa izin dari pejabat berwenang menahan
atau tetap menyimpan surat dinas yang ada padanya setelah tidak lagi menjabat
dapat dipidana penjara paling lama 6 bulan atau denda paling banyak kategori II.
(Pasal 541 KUHP)'
- 'passage: Pasal 300: Setiap Orang Di Muka Umum yang: a. melakukan perbuatan yang
bersifat permusuhan; b. menyatakan kebencian atau permusuhan; atau c. menghasut
untuk melakukan Kekerasan, atau diskriminasi, terhadap agama, kepercayaan orang
lain, golongan, atau kelompok atas dasar agama atau kepercayaan di Indonesia,
dipidana dengan pidana penjara paling lama 3 (tiga) tahun atau pidana denda paling
banyak kategori IV.. Pasal ini berlaku karena Eko Santoso secara Di Muka Umum
menyatakan kebencian dan menghasut untuk melakukan diskriminasi terhadap penganut
agama tertentu di Indonesia berdasarkan agama mereka, yang secara langsung memenuhi
unsur tindak pidana dalam Pasal 300 KUHP 2023..'
- 'passage: Pasal 301: (1) Setiap Orang yang menyiarkan, mempertunjukkan, menempelkan
tulisan atau gambar, atau memperdengarkan suatu rekaman, termasuk menyebarluaskan
melalui sarana teknologi informasi yang berisi Tindak Pidana sebagaimana dimaksud
dalam Pasal 300, dengan maksud agar isi tulisan, gambar, atau rekaman tersebut
diketahui atau lebih diketahui oleh umum, dipidana dengan pidana penjara paling
lama 5 (lima) tahun atau pidana denda paling banyak kategori V. (2) Jika Setiap
Orang sebagaimana dimaksud pada ayat (1) melakukan perbuatan tersebut dalam menjalankan
profesinya dan pada waktu itu belum lewat 2 (dua) tahun sejak adanya putusan pemidanaan
yang telah memperoleh kekuatan hukum tetap karena melakukan Tindak Pidana yang
sama, dapat dijatuhi pidana tambahan berupa pencabutan hak sebagaimana dimaksud
dalam Pasal 86 huruf f.. Pasal ini mengatur penyebarluasan melalui media konten
yang memuat tindak pidana Pasal 300, merupakan pasal turunan dari Pasal 300 bukan
pasal induk kebencian berbasis agama itu sendiri..'
- source_sentence: 'query: Dimas Pratama, seorang mantan karyawan IT perusahaan swasta
di Jakarta, pada tahun 2023 secara diam-diam memasang perangkat lunak penyadap
pada server perusahaan PT Maju Sejahtera tanpa izin. Melalui perangkat tersebut,
Dimas berhasil merekam dan mengakses transmisi email internal serta dokumen elektronik
rahasia yang tidak bersifat publik milik direksi perusahaan. Ia kemudian menyebarluaskan
rekaman percakapan tersebut kepada kompetitor bisnis. Setelah dilaporkan, penyidik
menemukan bukti kegiatan penyadapan dan penyebaran informasi rahasia yang dilakukan
Dimas. Pasal apa yang dapat dikenakan kepada Dimas Pratama?'
sentences:
- 'passage: Pasal 258: (1) Setiap Orang yang secara melawan hukum mendengarkan,
merekam, membelokkan, mengubah, menghambat, dan/atau mencatat transmisi Informasi
Elektronik dan/atau Dokumen Elektronik yang tidak bersifat publik, baik menggunakan
jaringan kabel komunikasi maupun jaringan nirkabel, dipidana dengan pidana penjara
paling lama 10 (sepuluh) tahun atau pidana denda paling banyak kategori VI. (2)
Setiap Orang yang menyiarkan atau menyebarluaskan hasil pembicaraan atau perekaman
sebagaimana dimaksud pada ayat (1), dipidana dengan pidana penjara paling lama
10 (sepuluh) tahun atau pidana denda paling banyak kategori VI.. Pasal ini berlaku
karena Dimas Pratama telah secara melawan hukum merekam dan mencatat transmisi
Informasi Elektronik dan Dokumen Elektronik yang tidak bersifat publik milik PT
Maju Sejahtera melalui jaringan komunikasi (ayat 1), dan kemudian menyebarluaskan
hasil perekaman tersebut kepada pihak lain (ayat 2), yang keduanya merupakan perbuatan
yang dilarang dalam Pasal 258 KUHP 2023..'
- 'passage: Membuat dan menyebarluaskan pornografi melalui media sosial dapat dipidana
penjara paling singkat 6 bulan dan paling lama 10 tahun atau denda kategori IV
sampai VI. (Pasal 407 ayat (1) KUHP)'
- 'passage: Pasal 407: (1) Setiap Orang yang memproduksi, membuat, memperbanyak,
menggandakan, menyebarluaskan, menyiarkan, mengimpor, mengekspor, menawarkan,
memperjualbelikan, menyewakan, atau menyediakan Pornografi, dipidana dengan pidana
penjara paling singkat 6 (enam) Bulan dan pidana penjara paling lama 10 (sepuluh)
tahun atau pidana denda paling sedikit kategori IV dan pidana denda paling banyak
kategori VI. (2) Perbuatan sebagaimana dimaksud pada ayat (1) tidak dipidana jika
merupakan karya seni, budaya, olahraga, kesehatan, dan/atau ilmu pengetahuan..
Pasal ini mengatur produksi dan distribusi konten pornografi, yang berbeda dengan
penyadapan dan penyebaran informasi elektronik yang tidak bersifat publik..'
- source_sentence: 'query: Apa artinya menimbulkan persangkaan palsu dalam KUHP?'
sentences:
- 'passage: Pengaduan fitnah adalah mengajukan pengaduan atau pemberitahuan palsu
secara tertulis kepada pejabat yang berwenang sehingga kehormatan orang lain diserang.
(Pasal 437 ayat (1) KUHP)'
- 'passage: Menimbulkan persangkaan palsu adalah melakukan suatu perbuatan yang
menyebabkan orang lain disangka telah melakukan suatu tindak pidana, padahal sebenarnya
tidak. (Pasal 438 KUHP)'
- 'passage: Ya, karena pejabat di lembaga pengangkutan surat atau barang yang menyerahkan
surat, kartu pos, barang, atau paket kepada orang yang tidak berhak menerimanya,
atau merusak, memusnahkan, mengubah isi, maupun mengambil barang di dalamnya untuk
diri sendiri, dapat dipidana penjara paling lama 5 tahun atau denda paling banyak
kategori IV. (Pasal 537 KUHP)'
- source_sentence: 'query: Kalau saya kasih hadiah ke pejabat karena berharap dia
gunakan wewenangnya untuk bantu urusan saya, apakah saya bisa kena Pasal 606?'
sentences:
- 'passage: Bisa, karena pasal ini melarang pemberian hadiah atau janji kepada pegawai
negeri atau penyelenggara negara yang dikaitkan dengan kekuasaan atau wewenang
yang melekat pada jabatan atau kedudukannya, meski tanpa permintaan eksplisit
dari pejabat tersebut. (Pasal 606 KUHP)'
- 'passage: Pasal 471: (1) Selain penganiayaan sebagaimana dimaksud dalam Pasal
467 dan Pasal 470, penganiayaan yang tidak menimbulkan penyakit atau halangan
untuk menjalankan profesi jabatan atau mata pencaharian, dipidana karena penganiayaan
ringan, dengan pidana penjara paling lama 6 (enam) Bulan atau pidana denda paling
banyak kategori II. (2) Jika Tindak Pidana sebagaimana dimaksud pada ayat (1)
dilakukan terhadap orang yang bekerja padanya atau menjadi bawahannya, pidananya
dapat ditambah 1/3 (satu per tiga). (3) Percobaan melakukan Tindak Pidana sebagaimana
dimaksud pada ayat (1), tidak dipidana. Pasal ini berlaku karena pukulan Ronald
yang tidak menimbulkan penyakit atau halangan bekerja, serta dilakukan terhadap
bawahan, memenuhi unsur penganiayaan ringan dengan pemberatan pidana pada ayat
(1) dan ayat (2).'
- 'passage: Bisa, pasal ini melarang setiap orang yang secara melawan hukum melakukan
tindakan memperkaya dirinya, pihak lain, maupun korporasi sehingga mengakibatkan
kerugian pada keuangan negara. (Pasal 603 KUHP)'
- source_sentence: 'query: Di Bandung, seorang dokter bedah bernama Dr. Lestari melakukan
operasi pada pasien bernama Tn. Agus. Karena kurang teliti dalam memeriksa alat
operasi, Dr. Lestari menyebabkan komplikasi serius yang mengakibatkan Tn. Agus
mengalami cacat permanen dan tidak dapat bekerja lagi sebagai tukang bangunan.
Pasal apa yang dapat dikenakan kepada Dr. Lestari?'
sentences:
- 'passage: Pasal 459: Setiap Orang yang dengan rencana terlebih dahulu merampas
nyawa orang lain, dipidana karena pembunuhan berencana, dengan pidana mati atau
pidana penjara seumur hidup atau pidana penjara paling lama 20 (dua puluh) tahun.
Pasal ini mengatur pembunuhan dengan unsur perencanaan atau premeditasi.'
- 'passage: Pasal 475: (1) Jika Tindak Pidana sebagaimana dimaksud dalam Pasal 474
dilakukan dalam menjalankan jabatan, mata pencaharian, atau profesi, pidananya
dapat ditambah 1/3 (satu per tiga). (2) Setiap Orang sebagaimana dimaksud pada
ayat (1) dapat juga dijatuhi pidana tambahan berupa pengumuman putusan hakim sebagaimana
dimaksud dalam Pasal 66 ayat (1) huruf c dan pencabutan hak sebagaimana dimaksud
dalam Pasal 86 huruf f. Pasal ini berlaku karena kasus tersebut melibatkan kelalaian
dalam menjalankan profesi medis yang mengakibatkan Luka Berat, sehingga merupakan
aggravating circumstance dari Pasal 474 yang diatur dalam Pasal 475.'
- 'passage: Pasal 448: (1) Dipidana dengan pidana penjara paling lama 1 (satu) tahun
atau pidana denda paling banyak kategori II, Setiap Orang yang: a. secara melawan
hukum memaksa orang lain supaya melakukan, tidak melakukan, atau membiarkan sesuatu,
dengan Kekerasan atau Ancaman Kekerasan, baik terhadap orang itu sendiri maupun
orang lain; atau b. memaksa orang lain supaya melakukan, tidak melakukan, atau
membiarkan sesuatu dengan ancaman pencemaran atau pencemaran tertulis. (2) Tindak
Pidana sebagaimana dimaksud pada ayat (1) huruf b hanya dapat dituntut atas pengaduan
dari Korban Tindak Pidana. Pasal ini berlaku karena Bram Sulistyo memaksa Andi
Firmansyah untuk melakukan sesuatu (mencabut laporan ketenagakerjaan) dengan ancaman
pencemaran nama baik (ancaman membocorkan aib pribadi), yang memenuhi unsur tindak
pidana dalam Pasal 448 ayat (1) huruf b KUHP 2023. Karena menggunakan ancaman
pencemaran, tindak pidana ini merupakan delik aduan sebagaimana Pasal 448 ayat
(2)'
pipeline_tag: sentence-similarity
library_name: sentence-transformers
metrics:
- cosine_accuracy
model-index:
- name: SentenceTransformer based on intfloat/multilingual-e5-base
results:
- task:
type: triplet
name: Triplet
dataset:
name: val
type: val
metrics:
- type: cosine_accuracy
value: 0.9413203001022339
name: Cosine Accuracy
- task:
type: triplet
name: Triplet
dataset:
name: test
type: test
metrics:
- type: cosine_accuracy
value: 0.9341463446617126
name: Cosine Accuracy
---
# SentenceTransformer based on intfloat/multilingual-e5-base
This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [intfloat/multilingual-e5-base](https://huggingface.co/intfloat/multilingual-e5-base). It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
## Model Details
### Model Description
- **Model Type:** Sentence Transformer
- **Base model:** [intfloat/multilingual-e5-base](https://huggingface.co/intfloat/multilingual-e5-base)
- **Maximum Sequence Length:** 512 tokens
- **Output Dimensionality:** 768 dimensions
- **Similarity Function:** Cosine Similarity
### Model Sources
- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
- **Repository:** [Sentence Transformers on GitHub](https://github.com/huggingface/sentence-transformers)
- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)
### Full Model Architecture
```
SentenceTransformer(
(0): Transformer({'max_seq_length': 512, 'do_lower_case': False, 'architecture': 'XLMRobertaModel'})
(1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
(2): Normalize()
)
```
## Usage
### Direct Usage (Sentence Transformers)
First install the Sentence Transformers library:
```bash
pip install -U sentence-transformers
```
Then you can load this model and run inference.
```python
from sentence_transformers import SentenceTransformer
# Download from the 🤗 Hub
model = SentenceTransformer("TextModel/E5_Law-v4-Indo")
# Run inference
sentences = [
'query: Di Bandung, seorang dokter bedah bernama Dr. Lestari melakukan operasi pada pasien bernama Tn. Agus. Karena kurang teliti dalam memeriksa alat operasi, Dr. Lestari menyebabkan komplikasi serius yang mengakibatkan Tn. Agus mengalami cacat permanen dan tidak dapat bekerja lagi sebagai tukang bangunan. Pasal apa yang dapat dikenakan kepada Dr. Lestari?',
'passage: Pasal 475: (1) Jika Tindak Pidana sebagaimana dimaksud dalam Pasal 474 dilakukan dalam menjalankan jabatan, mata pencaharian, atau profesi, pidananya dapat ditambah 1/3 (satu per tiga). (2) Setiap Orang sebagaimana dimaksud pada ayat (1) dapat juga dijatuhi pidana tambahan berupa pengumuman putusan hakim sebagaimana dimaksud dalam Pasal 66 ayat (1) huruf c dan pencabutan hak sebagaimana dimaksud dalam Pasal 86 huruf f. Pasal ini berlaku karena kasus tersebut melibatkan kelalaian dalam menjalankan profesi medis yang mengakibatkan Luka Berat, sehingga merupakan aggravating circumstance dari Pasal 474 yang diatur dalam Pasal 475.',
'passage: Pasal 459: Setiap Orang yang dengan rencana terlebih dahulu merampas nyawa orang lain, dipidana karena pembunuhan berencana, dengan pidana mati atau pidana penjara seumur hidup atau pidana penjara paling lama 20 (dua puluh) tahun. Pasal ini mengatur pembunuhan dengan unsur perencanaan atau premeditasi.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]
# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[ 1.0000, 0.4145, -0.0171],
# [ 0.4145, 1.0000, 0.0258],
# [-0.0171, 0.0258, 1.0000]])
```
## Evaluation
### Metrics
#### Triplet
* Datasets: `val` and `test`
* Evaluated with [TripletEvaluator](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.TripletEvaluator)
| Metric | val | test |
|:--------------------|:-----------|:-----------|
| **cosine_accuracy** | **0.9413** | **0.9341** |
## Training Details
### Training Dataset
#### Unnamed Dataset
* Size: 2,004 training samples
* Columns: anchor, positive, and negative
* Approximate statistics based on the first 1000 samples:
| | anchor | positive | negative |
|:--------|:-----------------------------------------------------------------------------------|:------------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------|
| type | string | string | string |
| details |
query: Kalo mau lapor ke polisi soal pencemaran nama baik, apa emang harus nunggu korban datang lapor sendiri atau polisi bisa langsung tangkap pelakunya? | passage: Pasal 24: Dalam hal tertentu, pelaku Tindak Pidana hanya dapat dituntut atas dasar pengaduan. Tindak Pidana aduan harus ditentukan secara tegas dalam Undang-Undang. | passage: Pasal 28: Pengaduan dilakukan dengan cara menyampaikan pemberitahuan dan permohonan untuk dituntut. Pengaduan sebagaimana dimaksud diajukan secara lisan atau tertulis kepada Pejabat yang berwenang. |
| query: Anak saya yang masih 14 tahun kena aniaya sama tetangga, saya sebagai bapaknya yang lapor polisi. Tapi ternyata Anak saya yang masih 14 tahun kena aniaya, saya sebagai bapaknya yang mau lapor polisi. Apakah saya berhak melapor mewakili anak saya?? | passage: Pasal 25: Dalam hal Korban Tindak Pidana aduan belum berumur 16 tahun, yang berhak mengadu merupakan Orang Tua atau walinya. Dalam hal Orang Tua atau wali tidak ada atau Orang Tua/wali itu sendiri yang harus diadukan, pengaduan dilakukan oleh keluarga sedarah dalam garis lurus. | passage: Pasal 26: Dalam hal Korban Tindak Pidana aduan berada di bawah pengampuan, yang berhak mengadu merupakan pengampunya, kecuali bagi Korban yang berada dalam pengampuan karena boros. Jika pengampu tidak ada atau pengampu itu sendiri yang harus diadukan, pengaduan dilakukan oleh suami/istri atau keluarga sedarah. |
| query: Saya kemarin udah lapor polisi soal kejadian yang menimpa saya, tapi sekarang saya udah maafin pelakunya dan mau cabut laporan. Apa yang bakal terjadi sama perkara ini? | passage: Pasal 30: Pengaduan dapat ditarik kembali oleh pengadu dalam waktu 3 Bulan terhitung sejak tanggal pengaduan diajukan. Pengaduan yang ditarik kembali tidak dapat diajukan lagi. | passage: Pasal 29: Pengaduan harus diajukan dalam tenggang waktu 6 Bulan terhitung sejak tanggal orang yang berhak mengadu mengetahui adanya Tindak Pidana jika bertempat tinggal di wilayah NKRI. Jika yang berhak mengadu lebih dari 1 orang, tenggang waktu dihitung sejak tanggal masing-masing pengadu mengetahui adanya Tindak Pidana. |
* Loss: [MultipleNegativesRankingLoss](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#multiplenegativesrankingloss) with these parameters:
```json
{
"scale": 20.0,
"similarity_fct": "cos_sim",
"gather_across_devices": false
}
```
### Evaluation Dataset
#### Unnamed Dataset
* Size: 409 evaluation samples
* Columns: anchor, positive, and negative
* Approximate statistics based on the first 409 samples:
| | anchor | positive | negative |
|:--------|:------------------------------------------------------------------------------------|:------------------------------------------------------------------------------------|:------------------------------------------------------------------------------------|
| type | string | string | string |
| details | query: Berapa hukuman untuk menyatakan kebencian terhadap suku tertentu di depan orang banyak? | passage: Orang yang menyatakan kebencian terhadap suatu suku atau golongan penduduk di depan umum dapat dihukum penjara paling lama 3 tahun atau denda paling banyak kategori IV. (Pasal 242 KUHP) | passage: Orang yang menyatakan kebencian terhadap suatu golongan agama atau kepercayaan tertentu di depan umum dapat dihukum penjara paling lama 3 tahun atau denda paling banyak kategori IV. (Pasal 300 KUHP) |
| query: Arief Budiman, warga Kota Semarang, pada bulan Maret 2024 secara lisan menyampaikan tuduhan kepada sejumlah tetangganya bahwa DR. Santi Rahayu, seorang dokter terhormat di lingkungan mereka, terlibat dalam praktik penipuan pasien. Pernyataan tersebut diucapkan di depan warga dalam rapat RT dengan tujuan agar tuduhan tersebut diketahui umum. Pernyataan Arief tidak disertai bukti apapun dan terbukti tidak benar. DR. Santi merasa nama baiknya sangat dirugikan. Pasal apa yang dapat dikenakan kepada Arief Budiman? | passage: Pasal 433: (1) Setiap Orang yang dengan lisan menyerang kehormatan atau nama baik orang lain dengan cara menuduhkan suatu hal, dengan maksud supaya hal tersebut diketahui umum, dipidana karena pencemaran, dengan pidana penjara paling lama 9 (sembilan) Bulan atau pidana denda paling banyak kategori II. (2) Jika perbuatan sebagaimana dimaksud pada ayat (1) dilakukan dengan tulisan atau gambar yang disiarkan, dipertunjukkan, atau ditempelkan di tempat umum, dipidana karena pencemaran tertulis, dengan pidana penjara paling lama 1 (satu) tahun 6 (enam) Bulan atau pidana denda paling banyak kategori III.. Pasal ini berlaku karena Arief Budiman secara lisan menyerang kehormatan dan nama baik DR. Santi Rahayu dengan cara menuduhkan suatu hal (keterlibatan dalam penipuan pasien) dengan maksud agar hal tersebut diketahui umum, yang tepat masuk dalam kualifikasi pencemaran sebagaimana diatur dalam Pasal 433 ayat (1) KUHP 2023.. | passage: Pasal 434: (1) Jika Setiap Orang sebagaimana dimaksud dalam Pasal 433 diberi kesempatan membuktikan kebenaran hal yang dituduhkan tetapi tidak dapat membuktikannya, dan tuduhan tersebut bertentangan dengan yang diketahuinya, dipidana karena fitnah, dengan pidana penjara paling lama 3 (tiga) tahun atau pidana denda paling banyak kategori IV. (2) Pembuktian kebenaran tuduhan sebagaimana dimaksud pada ayat (1), hanya dapat dilakukan dalam hal: a. hakim memandang perlu untuk memeriksa kebenaran tuduhan tersebut guna mempertimbangkan keterangan terdakwa bahwa terdakwa melakukan perbuatan tersebut untuk kepentingan umum atau karena terpaksa untuk membela diri; atau b. Pejabat dituduh melakukan suatu hal dalam menjalankan tugas jabatannya.. Pasal ini mengatur fitnah, yaitu pencemaran di mana pelaku diberikan kesempatan membuktikan kebenaran tuduhan tetapi tidak dapat membuktikannya dan tuduhan bertentangan dengan yang diketahuinya, merupakan kualifikasi lebih berat dari pencemaran bi... |
| query: Kalau orang yang saya tuduh dibebaskan pengadilan, apakah itu otomatis jadi bukti kalau tuduhan saya salah? | passage: Ya, jika putusan pengadilan yang telah berkekuatan hukum tetap menyatakan orang yang dihina dibebaskan dari hal yang dituduhkan, putusan tersebut dianggap sebagai bukti sempurna bahwa hal yang dituduhkan tidak benar. (Pasal 435 ayat (2) KUHP) | passage: Jika tuduhan tersebut hanya dapat dituntut atas pengaduan dan pengaduan tidak diajukan, maka pembuktian kebenaran tuduhan tidak dapat dilakukan meskipun ada bukti lain. (Pasal 434 ayat (3) KUHP) |
* Loss: [MultipleNegativesRankingLoss](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#multiplenegativesrankingloss) with these parameters:
```json
{
"scale": 20.0,
"similarity_fct": "cos_sim",
"gather_across_devices": false
}
```
### Training Hyperparameters
#### Non-Default Hyperparameters
- `eval_strategy`: epoch
- `per_device_train_batch_size`: 4
- `per_device_eval_batch_size`: 4
- `gradient_accumulation_steps`: 4
- `learning_rate`: 1e-05
- `weight_decay`: 0.01
- `num_train_epochs`: 5
- `warmup_ratio`: 0.3
- `warmup_steps`: 0.3
- `fp16`: True
- `load_best_model_at_end`: True
- `dataloader_pin_memory`: False
- `gradient_checkpointing`: True
- `batch_sampler`: no_duplicates
#### All Hyperparameters