| --- |
| license: apache-2.0 |
| language: |
| - tr |
| pipeline_tag: token-classification |
| widget: |
| - text: >- |
| Lütfen yardım Akevler mahallesi Rüzgar sokak Tuncay apartmanı zemin kat |
| Antakya akrabalarım göçük altında #hatay #Afad |
| example_title: Örnek |
| metrics: |
| - accuracy |
| - f1 |
| - recall |
| - precision |
| --- |
| # Model: 'deprem-ner-mdebertav3' |
|
|
| ### Validasyon Sonuçları |
| - **Precision:** 0.711819 |
| - **Recall:** 0.783626 |
| - **F1:** 0.745999 |
| - **Accuracy:** 0.933360 |
|
|
| ### Eğitim Parametreleri |
| ``` |
| evaluation_strategy="epoch" |
| save_strategy="epoch" |
| load_best_model_at_end=True |
| learning_rate=3e-5 |
| per_device_train_batch_size=8 |
| per_device_eval_batch_size=16 |
| num_train_epochs=15 |
| weight_decay=0.01 |
| seed=42 |
| ``` |
|
|
| ### Örnekler |
| Bu model depremde enkaz altında kalan kişilerin bildirimlerinden sokak, il, ilçe gibi bilgileri çekmeye çalıştık. |
|
|
| Örnek girdiler: |
| - "Lütfen yardım Akevler mahallesi Rüzgar sokak Tuncay apartmanı zemin kat Antakya akrabalarım göçük altında #hatay #Afad" |
| - "MARAȘA'ta arkadaşimizdan haber alamıyoruz ACIL yardım Penta Park konutları 1. Blok en üst kat 11. Kat \n\n@AFADBaskanlik #kahramanmaraş\nACİL" |
|
|
| Verdiği çıktılar: |
|
|
| ``` |
| [ |
| { |
| "entity_group": "mahalle", |
| "score": 0.8160411715507507, |
| "word": "Akevler mahallesi", |
| "start": 14, |
| "end": 31 |
| }, |
| { |
| "entity_group": "sokak", |
| "score": 0.940501868724823, |
| "word": "Rüzgar sokak", |
| "start": 32, |
| "end": 44 |
| }, |
| { |
| "entity_group": "Apartman/Site", |
| "score": 0.8081040978431702, |
| "word": "Tuncay apartmanı", |
| "start": 45, |
| "end": 61 |
| }, |
| { |
| "entity_group": "ilce", |
| "score": 0.854024350643158, |
| "word": "Antakya", |
| "start": 72, |
| "end": 79 |
| } |
| ] |
| ``` |
| ### Değerlendirme |
| Bu modeli Hugging Face Hub'daki diğer modellerle karşılaştırdık, örnek 30 input'ta sonuçları [bu repository'de](https://huggingface.co/datasets/deprem-ml/butun_model_benchmarklari) bulabilirsiniz. |