End of training

README.md

@@ -1,4 +1,6 @@
 ---
+language:
+- id
 license: apache-2.0
 base_model: LazarusNLP/IndoNanoT5-base
 tags:
@@ -18,10 +20,10 @@ should probably proofread and complete it, then remove this comment. -->
 This model is a fine-tuned version of [LazarusNLP/IndoNanoT5-base](https://huggingface.co/LazarusNLP/IndoNanoT5-base) on an unknown dataset.
 It achieves the following results on the evaluation set:
 - Loss: 0.5019
-- Rouge1: 0.762
+- Rouge1: 0.4829
 - Rouge2: 0.0
-- Rougel: 0.7611
-- Rougelsum: 0.7586
+- Rougel: 0.4847
+- Rougelsum: 0.48
 - Gen Len: 1.0
 
 ## Model description

all_results.json

@@ -1,29 +1,29 @@
 {
     "epoch": 5.0,
     "eval_gen_len": 1.0,
-    "eval_loss": 0.5139681696891785,
-    "eval_rouge1": 0.4728,
+    "eval_loss": 0.5019394755363464,
+    "eval_rouge1": 0.4829,
     "eval_rouge2": 0.0,
-    "eval_rougeL": 0.476,
-    "eval_rougeLsum": 0.4715,
-    "eval_runtime": 595.5082,
+    "eval_rougeL": 0.4847,
+    "eval_rougeLsum": 0.48,
+    "eval_runtime": 583.5328,
     "eval_samples": 749,
-    "eval_samples_per_second": 1.258,
-    "eval_steps_per_second": 0.04,
+    "eval_samples_per_second": 1.284,
+    "eval_steps_per_second": 0.041,
     "predict_gen_len": 1.0,
-    "predict_loss": 0.5017109513282776,
-    "predict_rouge1": 0.3936,
+    "predict_loss": 0.49051612615585327,
+    "predict_rouge1": 0.4041,
     "predict_rouge2": 0.0,
-    "predict_rougeL": 0.393,
-    "predict_rougeLsum": 0.3921,
-    "predict_runtime": 2904.2856,
+    "predict_rougeL": 0.4029,
+    "predict_rougeLsum": 0.4023,
+    "predict_runtime": 2667.022,
     "predict_samples": 3762,
-    "predict_samples_per_second": 1.295,
-    "predict_steps_per_second": 0.041,
-    "total_flos": 4.90272982695936e+16,
-    "train_loss": 0.6212816452231642,
-    "train_runtime": 3932.3471,
+    "predict_samples_per_second": 1.411,
+    "predict_steps_per_second": 0.044,
+    "total_flos": 4.922112594935808e+16,
+    "train_loss": 0.5897949560875315,
+    "train_runtime": 3934.2037,
     "train_samples": 14263,
-    "train_samples_per_second": 18.135,
+    "train_samples_per_second": 18.127,
     "train_steps_per_second": 1.134
 }

eval_results.json

@@ -1,13 +1,13 @@
 {
     "epoch": 5.0,
     "eval_gen_len": 1.0,
-    "eval_loss": 0.5139681696891785,
-    "eval_rouge1": 0.4728,
+    "eval_loss": 0.5019394755363464,
+    "eval_rouge1": 0.4829,
     "eval_rouge2": 0.0,
-    "eval_rougeL": 0.476,
-    "eval_rougeLsum": 0.4715,
-    "eval_runtime": 595.5082,
+    "eval_rougeL": 0.4847,
+    "eval_rougeLsum": 0.48,
+    "eval_runtime": 583.5328,
     "eval_samples": 749,
-    "eval_samples_per_second": 1.258,
-    "eval_steps_per_second": 0.04
+    "eval_samples_per_second": 1.284,
+    "eval_steps_per_second": 0.041
 }

generated_predictions.txt

@@ -8,7 +8,7 @@ judi
 dalam
 1
 mudah
-baik
+5
 yang
 lebih
 atau
@@ -34,22 +34,22 @@ bisa
 an
 :
 
-menggunakan
+slot
 sudah
-.
+lebih
 secara
 anda
 (
 "
-cara
-baik
+membuat
+pada
 ?
 d
 
 tersebut
 mereka
 4
-ini
+slot
 atau
 dapat
 judi
@@ -66,7 +66,7 @@ seperti
 seperti
 
 cara
-hanya
+online
 )
 dengan
 
@@ -82,22 +82,22 @@ tidak
 poker
 orang
 nya
-dapat
+jika
 6
 salah
-beberapa
+secara
 
 adalah
 akan
 e
-sebagai
+para
 dalam
 1
 
 
 lebih
 hanya
-/
+
 kita
 .
 kami
@@ -116,15 +116,15 @@ dengan
 online
 )
 kita
-jika
+menjadi
 tidak
 7
 dengan
 ,
 dengan
 (
--
-kita
+yang
+saat
 game
 juga
 k
@@ -143,10 +143,10 @@ dan
 satu
 satu
 ada
-game
+oleh
 bisnis
 harus
-dapat
+hanya
 dapat
 
 cara
@@ -157,14 +157,14 @@ situs
 itu
 nya
 kami
-
+bisa
 -
-hanya
+judi
 online
 hanya
 "
 poker
-saya
+sangat
 membuat
 kami
 karena
@@ -177,7 +177,7 @@ baik
 u
 sudah
 lebih
-an
+saya
 hal
 akan
 
@@ -185,11 +185,11 @@ menggunakan
 saja
 adalah
 "
-untuk
+
 atau
 7
 saya
-nya
+adalah
 an
 
 saat
@@ -201,7 +201,7 @@ dalam
 anda
 waktu
 
-ada
+online
 2
 atau
 lebih
@@ -212,54 +212,54 @@ telah
 -
 nya
 1
-orang
+untuk
 sudah
 1
-ke
+7
 2
 ke
 
-saat
+saya
 dari
 
 seperti
-indonesia
-menjadi
+situs
+memiliki
 namun
-dari
+telah
 secara
 0
 ?
-mungkin
+dia
 indonesia
 a
-slot
+lain
 ,
 pemain
-anda
+bagi
 adalah
 terbaik
 dan
-saat
+:
 indonesia
-
-1
-orang
+anda
+/
+e
 4
 kamu
 .
 bisa
-lain
+permainan
 7
 yang
 anda
 1
 dan
-indonesia
+situs
 tidak
 seperti
 2
-kita
+)
 e
 (
 4
@@ -271,9 +271,9 @@ ini
 untuk
 memiliki
 yang
-juga
+bisnis
 akan
-salah
+u
 ,
 yang
 4
@@ -287,16 +287,16 @@ adalah
 sudah
 ada
 kita
-(
+harus
 t
-(
+itu
 untuk
 o
 di
-membuat
+secara
 jika
-5
-(
+seperti
+harus
 hal
 yang
 ada
@@ -304,11 +304,11 @@ apa
 2
 )
 ,
-tidak
+.
 n
 dapat
 e
-tidak
+dari
 sangat
 
 banyak
@@ -318,25 +318,25 @@ oleh
 
 1
 kamu
-kan
+bisa
 mereka
 atau
 1
 
 atau
 judi
-d
+0
 atau
 menjadi
 1
 1
 kan
-banyak
+5
 pada
 2
 1
 -
-poker
+(
 kan
 bermain
 ini
@@ -347,16 +347,16 @@ dapat
 
 tidak
 untuk
-3
+atau
 9
 atau
-satu
+5
 untuk
-an
+oleh
 cara
-menjadi
-salah
-an
+k
+menggunakan
+bagi
 ,
 memiliki
 harus
@@ -403,13 +403,13 @@ bisa
 pada
 .
 k
-salah
+/
 yang
-satu
+an
 
 
 "
-game
+kan
 saat
 nya
 judi
@@ -418,7 +418,7 @@ sangat
 hanya
 atau
 dengan
-lebih
+u
 saya
 banyak
 3
@@ -430,18 +430,18 @@ saya
 salah
 5
 ada
-5
+satu
 itu
 .
 /
-:
-yang
+kamu
+
 
 jika
-menggunakan
-dalam
-situs
-slot
+uang
+adalah
+mereka
+jadi
 itu
 9
 8
@@ -469,15 +469,15 @@ ada
 (
 ?
 nya
-oleh
-satu
+tersebut
+tersebut
 jika
 dan
 membuat
 itu
 0
 dapat
-oleh
+situs
 dapat
 bermain
 permainan
@@ -485,7 +485,7 @@ yang
 
 lebih
 saja
-i
+8
 3
 /
 dan
@@ -500,7 +500,7 @@ oleh
 orang
 .
 
-4
+2
 ada
 9
 judi
@@ -509,16 +509,16 @@ lebih
 mudah
 a
 dengan
-5
+lebih
 hal
 saja
-oleh
+dapat
 tidak
 dapat
 permainan
 tidak
 5
-kita
+seperti
 situs
 hanya
 0
@@ -526,19 +526,19 @@ besar
 secara
 
 0
-untuk
+8
 hal
 dari
-akan
+t
 
-6
+mereka
 yang
-juga
+mereka
 3
 itu
-pada
+judi
 
-kami
+yang
 /
 tidak
 judi
@@ -556,29 +556,29 @@ saya
 )
 5
 para
-dan
+permainan
 3
 kami
-salah
+indonesia
 
 9
 saat
 :
 saja
 sebagai
-slot
+m
 pada
 8
 juga
-juga
-beberapa
+e
+lebih
 pada
 game
 itu
 dalam
 ke
 ke
-beberapa
+8
 pada
 ,
 i
@@ -597,8 +597,8 @@ pada
 jika
 /
 e
-kami
-6
+situs
+,
 e
 bahwa
 atau
@@ -614,17 +614,17 @@ oleh
 atau
 tidak
 saja
-0
+nya
 "
 membuat
 saya
-8
-?
+beberapa
+lebih
 pada
-oleh
+tersebut
 judi
 bahwa
-beberapa
+6
 itu
 yang
 ini
@@ -632,25 +632,25 @@ saja
 4
 secara
 oleh
-membuat
-membuat
+poker
+"
 para
 )
 )
-online
+telah
 ,
 saja
 hal
 )
 /
-hari
+ada
 hal
 jika
-beberapa
+dan
 a
 indonesia
-anda
-–
+juga
+baik
 0
 karena
 tidak
@@ -663,7 +663,7 @@ i
 9
 dari
 kami
-,
+.
 ,
 orang
 s
@@ -680,7 +680,7 @@ dalam
 3
 dengan
 bermain
-dari
+/
 adalah
 i
 
@@ -696,7 +696,7 @@ adalah
 sudah
 adalah
 saat
-situs
+
 k
 tidak
 salah
@@ -707,13 +707,13 @@ pada
 ini
 saya
 online
-sebagai
+telah
 nya
 dari
 judi
 
 ada
-bisnis
+mungkin
 k
 salah
 :
@@ -725,10 +725,10 @@ adalah
 jika
 -
 semua
-tidak
+i
 ,
 hal
-
+pemain
 1
 melakukan
 )
@@ -745,10 +745,10 @@ dari
 -
 .
 sudah
-seperti
-online
+/
+juga
 lebih
-e
+oleh
 hanya
 apa
 itu
@@ -780,7 +780,7 @@ jadi
 6
 hal
 kita
-sangat
+tersebut
 dapat
 lebih
 7
@@ -789,28 +789,28 @@ dapat
 dia
 salah
 yang
-sebagai
-tersebut
+bisa
+besar
 ke
 di
 cara
 sudah
 .
 1
-hal
+permainan
 membuat
-mudah
+r
 4
 0
 sangat
-bisa
+tidak
 pada
 jadi
 
 semua
 jika
-bermain
-kami
+seperti
+kan
 di
 untuk
 
@@ -823,7 +823,7 @@ yang
 game
 tersebut
 besar
-dari
+n
 k
 
 6
@@ -843,11 +843,11 @@ anda
 indonesia
 juga
 maka
-mereka
+saat
 
 bisa
 
-n
+jika
 tersebut
 (
 :
@@ -856,7 +856,7 @@ tersebut
 yang
 
 k
-–
+lagi
 tidak
 dalam
 e
@@ -868,7 +868,7 @@ seperti
 mendapatkan
 yang
 
-dapat
+nya
 akan
 dari
 kamu
@@ -877,23 +877,23 @@ anda
 anda
 dengan
 tersebut
-hanya
+menggunakan
 online
 lebih
 atau
 2
-e
+,
 
-permainan
+t
 di
 
 
-banyak
+8
 dari
 i
 bahwa
 ada
-d
+)
 dapat
 uang
 dalam
@@ -901,7 +901,7 @@ dalam
 juga
 7
 bisa
-indonesia
+bisnis
 tidak
 o
 yang
@@ -910,15 +910,15 @@ banyak
 apa
 dari
 i
-/
+permainan
 
 semua
 dari
 banyak
-melakukan
+tahun
 salah
 maka
-7
+e
 banyak
 cara
 dalam
@@ -932,7 +932,7 @@ adalah
 2
 ,
 lebih
-memiliki
+tidak
 akan
 .
 tidak
@@ -960,27 +960,27 @@ anda
 nya
 1
 harus
-dalam
-anda
+pada
+ingin
 dia
 dan
 secara
 itu
-ada
+oleh
 ada
 saya
 juga
 atau
 semua
-telah
+poker
 jadi
 e
 dan
 atau
-tersebut
+untuk
 
 sudah
-apa
+para
 7
 dalam
 harus
@@ -998,7 +998,7 @@ atau
 bisa
 dengan
 mereka
-itu
+yang
 saat
 3
 saja
@@ -1012,7 +1012,7 @@ nya
 sudah
 karena
 
-banyak
+dapat
 
 yang
 untuk
@@ -1021,34 +1021,34 @@ e
 dapat
 cara
 i
-d
+/
 online
 
 u
 saja
 
-,
+ini
 salah
-u
+dan
 itu
 hal
 .
 -
 online
 bermain
-
+nya
 sangat
 anda
 bahwa
 kan
 atau
 membuat
-sangat
-0
+sebagai
+judi
 u
 hanya
 mudah
-permainan
+sebagai
 yang
 kita
 anda
@@ -1057,7 +1057,7 @@ anda
 adalah
 /
 kan
-indonesia
+k
 juga
 dengan
 uang
@@ -1065,7 +1065,7 @@ lain
 ini
 tersebut
 tersebut
-nya
+i
 dapat
 satu
 bagi
@@ -1077,76 +1077,76 @@ nya
 untuk
 ada
 hanya
-/
+8
 mendapatkan
-9
-(
-kan
-3
+ini
+dan
+tidak
+mudah
 dalam
 7
-seperti
+sudah
 
 ada
 
-sangat
+satu
 tersebut
 namun
 ,
 0
 juga
-d
+salah
 0
 anda
 dan
 kan
 pemain
 anda
-3
+itu
 i
 ,
-trading
+seperti
 nya
 slot
-secara
+banyak
 3
 harus
 orang
 bahwa
 dengan
-cara
+8
 sangat
 untuk
 memiliki
 ,
-u
+dalam
 uang
-.
+saja
 dengan
 banyak
-setiap
+"
 pada
 anda
 bagi
 .
 saja
-sendiri
+ke
 situs
-slot
+para
 an
 ,
-mereka
-saja
+oleh
+maka
 an
 
 dan
 apa
 satu
 )
-"
+besar
 anda
 m
-judi
+harus
 dapat
 :
 akan
@@ -1158,25 +1158,25 @@ karena
 o
 mendapatkan
 r
-"
+?
 
 .
 permainan
 dari
 menggunakan
-e
+oleh
 k
-menggunakan
+
 adalah
 uang
 tersebut
-mereka
+itu
 yang
-bisnis
+telah
 adalah
 seperti
 oleh
-7
+baik
 bisa
 p
 lebih
@@ -1188,14 +1188,14 @@ m
 
 .
 untuk
-atau
+besar
 juga
 
 lebih
-besar
+d
 2
 u
-saya
+/
 
 1
 banyak
@@ -1205,8 +1205,8 @@ saja
 0
 menggunakan
 salah
-memiliki
-saat
+oleh
+.
 i
 judi
 
@@ -1220,19 +1220,19 @@ yang
 1
 bisa
 dalam
-dengan
-harus
+
+orang
 anda
 
 dari
 online
 ada
-banyak
+8
 untuk
-ini
+tidak
 dalam
 untuk
-lain
+para
 dengan
 satu
 "
@@ -1241,39 +1241,39 @@ oleh
 maka
 salah
 di
-akan
+0
 di
 ingin
 oleh
 sudah
 hanya
-saya
+.
 menjadi
-pada
+-
 bisa
 itu
-u
+ke
 7
 terbaik
 kan
 
 akan
-indonesia
+salah
 dengan
 9
 kita
 karena
 ingin
 akan
-/
+t
 kita
 adalah
 
 r
-satu
+3
 memiliki
 -
-membuat
+mungkin
 kami
 ,
 dengan
@@ -1285,23 +1285,23 @@ dalam
 jika
 semua
 i
-ke
+2
 t
 (
 besar
-–
+mudah
 yang
 dapat
 untuk
 3
 dapat
 kita
-k
+6
 8
 namun
 "
 
-sudah
+n
 :
 ke
 dan
@@ -1316,27 +1316,27 @@ permainan
 orang
 1
 salah
-yang
-8
+untuk
+bahwa
 banyak
 untuk
 judi
-dan
+menjadi
 satu
-hanya
+
 permainan
 bisa
 kamu
-i
-salah
+judi
+bermain
 e
 nya
 memiliki
-maka
+untuk
 ini
 atau
 1
-ada
+i
 e
 kita
 -
@@ -1356,8 +1356,8 @@ tidak
 saja
 game
 ,
-di
-harus
+8
+s
 pada
 dari
 baik
@@ -1369,13 +1369,13 @@ semua
 4
 dalam
 
-mudah
+ingin
 bisa
 u
 namun
 adalah
 sangat
-7
+u
 harus
 .
 i
@@ -1383,11 +1383,11 @@ karena
 beberapa
 dapat
 satu
-di
+lainnya
 .
 /
 satu
-anda
+bahwa
 yang
 di
 akan
@@ -1429,7 +1429,7 @@ ini
 ke
 maka
 
-memiliki
+saat
 dalam
 bisa
 1
@@ -1439,33 +1439,33 @@ banyak
 sangat
 adalah
 saya
-tidak
+?
 dalam
 anda
 dalam
 dari
-0
+tersebut
 dalam
 ada
 membuat
 e
-dengan
+poker
 1
 8
-t
+judi
 dalam
 karena
 atau
-2
+online
 akan
 0
-seperti
+harus
 5
 dengan
 pada
 
 5
-orang
+6
 dalam
 0
 ?
@@ -1499,14 +1499,14 @@ slot
 d
 orang
 8
-saat
+tersebut
 tetapi
 itu
-pada
+ke
 seperti
 satu
 ,
-,
+7
 lebih
 
 hanya
@@ -1516,20 +1516,20 @@ lain
 nya
 karena
 8
-pemain
+untuk
 sangat
 n
 )
 tidak
 dari
 
-satu
+karena
 dan
 oleh
 salah
 ke
 sudah
-harus
+hal
 adalah
 ,
 menjadi
@@ -1538,11 +1538,11 @@ itu
 
 9
 menjadi
-6
+3
 dan
 
 an
-t
+memiliki
 jadi
 seperti
 pemain
@@ -1565,7 +1565,7 @@ beberapa
 online
 akan
 baru
-membuat
+bahwa
 ada
 
 para
@@ -1577,12 +1577,12 @@ juga
 3
 anda
 apa
-6
+nya
 akan
 harus
 2
 
-permainan
+hanya
 e
 
 membuat
@@ -1597,20 +1597,20 @@ bermain
 di
 di
 8
-cara
+ke
 0
 dengan
 beberapa
 lebih
 8
 s
--
-baik
+g
+untuk
 harga
 situs
 8
-uang
-bisnis
+dari
+pemain
 bisa
 harga
 bahwa
@@ -1624,13 +1624,13 @@ sebagai
 yang
 sangat
 yang
-
+hanya
 membuat
 atau
-untuk
+menggunakan
 .
 menjadi
-anda
+setiap
 
 k
 pada
@@ -1642,8 +1642,8 @@ kamu
 sebagai
 atau
 dengan
-banyak
-6
+)
+a
 :
 0
 
@@ -1651,8 +1651,8 @@ karena
 baik
 "
 a
-
-hanya
+untuk
+saja
 itu
 tidak
 ,
@@ -1660,21 +1660,21 @@ baik
 saya
 tahun
 jadi
-kami
+secara
 sebagai
 dalam
 namun
 menjadi
 untuk
-7
-bagi
+3
+indonesia
 ini
 i
 besar
-a
-situs
+untuk
+besar
 atau
-4
+saya
 1
 bisnis
 dengan
@@ -1683,14 +1683,14 @@ a
 ini
 bisa
 untuk
-melakukan
+t
 anda
 lebih
 /
 yang
 ini
 secara
-:
+-
 bahwa
 sangat
 besar
@@ -1703,8 +1703,8 @@ d
 ke
 pemain
 kan
-i
-bisa
+"
+u
 orang
 sebagai
 telah
@@ -1735,19 +1735,19 @@ ke
 ini
 memiliki
 k
-.
+e
 dapat
 jika
-:
+judi
 adalah
-bahwa
+seperti
 7
 e
 juga
 juga
-9
+memiliki
 anda
-melakukan
+ada
 cara
 juga
 ada
@@ -1765,15 +1765,15 @@ kita
 ada
 
 yang
-baik
+a
 hanya
 yang
-ada
-anda
+.
+situs
 pada
 7
 tahun
-dalam
+7
 anda
 judi
 tersebut
@@ -1785,39 +1785,39 @@ atau
 semua
 tidak
 situs
-6
-game
+i
+dan
 indonesia
 anda
 itu
 
 6
 s
-8
+dalam
 "
 kita
 )
 ada
 e
-pemain
-a
+o
+online
 dan
 hal
-"
-karena
+di
+kita
 (
 e
 /
-bagi
-di
+namun
+tahun
 yang
 online
-ini
+kan
 2
 n
 membuat
 
-online
+g
 8
 jika
 satu
@@ -1841,20 +1841,20 @@ untuk
 ke
 kamu
 orang
-oleh
+(
 bisa
 besar
 dapat
 hanya
 dari
-an
+9
 dengan
 akan
-mereka
+lebih
 pada
 memiliki
 -
-
+menggunakan
 s
 pada
 9
@@ -1874,28 +1874,28 @@ a
 judi
 tidak
 di
-mendapatkan
+bagi
 adalah
 salah
 lebih
 permainan
 saja
-sangat
+bermain
 di
 bisa
 8
 dalam
 :
 an
-d
+satu
 mereka
 k
 sebagai
 poker
 di
-hanya
+situs
 t
-5
+ada
 lebih
 
 online
@@ -1907,26 +1907,26 @@ m
 tidak
 harus
 dengan
-s
+salah
 di
 .
-hal
-baru
+tidak
+secara
 bermain
 saja
-harus
+saat
 9
 
-itu
+dan
 d
 jika
 lebih
-beberapa
+jika
 pada
-banyak
+menjadi
 nya
 i
-
+para
 2
 t
 itu
@@ -1935,7 +1935,7 @@ bermain
 kami
 itu
 oleh
-bermain
+adalah
 cara
 maka
 untuk
@@ -1947,36 +1947,36 @@ tahun
 online
 -
 kan
-hanya
+t
 menggunakan
 0
-ini
+menggunakan
 ,
 di
 juga
 akan
 maka
-bagi
-saja
-situs
+kami
+namun
+hanya
 hal
 :
 tahun
-anda
+
 :
 e
-seperti
+i
 
 a
 harus
 tidak
 i
 hal
-hari
+saya
 di
-online
+jika
 lebih
-m
+semua
 a
 
 anda
@@ -1986,11 +1986,11 @@ online
 sudah
 apa
 membuat
-ini
+memiliki
 an
 akan
 saja
-sudah
+karena
 adalah
 /
 nya
@@ -1998,7 +1998,7 @@ nya
 kan
 banyak
 tersebut
-besar
+lain
 di
 dengan
 orang
@@ -2011,16 +2011,16 @@ yang
 i
 tidak
 untuk
-menggunakan
+u
 harus
 u
 ini
 0
-sangat
+bermain
 dan
 waktu
 
-kamu
+,
 setiap
 saya
 para
@@ -2034,21 +2034,21 @@ s
 ,
 0
 kan
-saya
+menggunakan
 yang
 baik
 dengan
 3
 mereka
 dapat
-melakukan
+ingin
 banyak
 nya
-situs
+sebagai
 nya
 2
 dan
-online
+di
 4
 kan
 beberapa
@@ -2059,13 +2059,13 @@ dari
 untuk
 /
 tidak
-maka
+bahwa
 i
-uang
+anda
 dan
 :
-para
-ingin
+permainan
+saja
 dengan
 bisa
 8
@@ -2075,17 +2075,17 @@ dengan
 3
 ,
 banyak
-
+,
 yang
-situs
-7
+"
+saat
 di
 judi
 /
 dengan
 lebih
 (
-maka
+game
 nya
 a
 3
@@ -2138,7 +2138,7 @@ jadi
 harga
 /
 tahun
-memiliki
+menjadi
 an
 hal
 adalah
@@ -2148,14 +2148,14 @@ judi
 kami
 tidak
 banyak
-.
+
 
 yang
 dan
 uang
 8
 a
-pada
+bagi
 membuat
 
 s
@@ -2167,19 +2167,19 @@ seperti
 dalam
 maka
 saya
-jika
+a
 lebih
 situs
 untuk
 dapat
-d
+sudah
 online
 karena
-r
+indonesia
 ini
 permainan
 ini
-kita
+t
 di
 harus
 terbaik
@@ -2187,38 +2187,38 @@ saat
 nya
 saja
 -
-salah
+a
 anda
 a
-kami
+/
 akan
-g
+kartu
 game
 dan
-a
+beberapa
 
 0
 
 orang
-game
+
 membuat
 untuk
 untuk
 ?
-a
+semua
 pada
 
 :
-d
+semua
 beberapa
-melakukan
+para
 (
 memiliki
 /
 dengan
 d
 i
-uang
+bagi
 online
 akan
 yang
@@ -2239,7 +2239,7 @@ ke
 /
 situs
 untuk
-
+2
 s
 yang
 sebagai
@@ -2249,7 +2249,7 @@ baik
 m
 ini
 online
-seperti
+satu
 adalah
 saya
 slot
@@ -2259,7 +2259,7 @@ saya
 lain
 indonesia
 oleh
-tidak
+3
 karena
 dan
 3
@@ -2270,15 +2270,15 @@ memiliki
 dan
 k
 indonesia
-4
--
+permainan
+waktu
 di
 ini
 bahwa
 tersebut
 s
-setiap
-itu
+?
+agen
 saat
 harus
 s
@@ -2289,7 +2289,7 @@ dari
 pada
 ,
 judi
-maka
+dari
 8
 (
 indonesia
@@ -2318,7 +2318,7 @@ jika
 ,
 maka
 dapat
-harus
+bahwa
 .
 dari
 kami
@@ -2340,30 +2340,30 @@ di
 
 adalah
 sudah
-bermain
+4
 
-telah
+adalah
 lebih
 dengan
 banyak
 lebih
 dapat
-maka
+6
 0
 nya
 akan
-hari
+berbagai
 banyak
-jika
-ke
+banyak
+akan
 saja
-an
-t
+hanya
+akan
 beberapa
 
 hanya
 dengan
-banyak
+dilakukan
 menjadi
 1
 tersebut
@@ -2374,12 +2374,12 @@ satu
 dapat
 -
 di
-secara
+judi
 membuat
-?
+
 besar
 juga
-kita
+4
 pemain
 1
 ?
@@ -2390,7 +2390,7 @@ maka
 yang
 karena
 indonesia
-bisa
+menggunakan
 lebih
 dalam
 telah
@@ -2404,12 +2404,12 @@ kita
 
 itu
 judi
-sangat
+nya
 secara
 adalah
 bisa
 jika
-indonesia
+m
 lain
 2
 "
@@ -2421,20 +2421,20 @@ kami
 mereka
 )
 9
-semua
-situs
+5
+permainan
 cara
 harus
 i
 5
-tahun
+untuk
 hal
 dan
 seperti
 anda
 ingin
 juga
-dalam
+atau
 
 a
 nya
@@ -2465,8 +2465,8 @@ dan
 atau
 oleh
 /
-i
-judi
+akan
+ini
 ,
 :
 
@@ -2475,13 +2475,13 @@ slot
 saja
 hanya
 ini
-itu
+8
 dapat
 :
 oleh
 poker
-sangat
-orang
+n
+ini
 telah
 
 memiliki
@@ -2494,52 +2494,52 @@ satu
 0
 1
 /
-permainan
+e
 juga
 sudah
 dalam
 3
-setiap
+lagi
 saya
 saja
 besar
 
-a
-i
-banyak
-lain
+ini
 i
+besar
+harus
+permainan
 memiliki
-pada
+dapat
 4
 maka
 
 ini
 6
 0
-judi
+yang
 ke
 1
 nya
 bisa
 tidak
-saja
+hal
 sebagai
 t
 an
-dari
-situs
+e
+orang
 judi
 besar
 dalam
 -
-harus
-slot
+sangat
+waktu
 1
 online
 di
-seperti
-orang
+4
+situs
 akan
 
 k
@@ -2565,14 +2565,14 @@ anda
 bisa
 kita
 waktu
-mereka
+sudah
 jika
-situs
+permainan
 0
 –
 8
 5
-saat
+permainan
 orang
 m
 sangat
@@ -2580,16 +2580,16 @@ nya
 apa
 6
 .
-u
-u
+salah
+k
 adalah
 -
 dengan
 u
 u
 adalah
-)
-mudah
+juga
+ini
 baik
 4
 u
@@ -2603,21 +2603,21 @@ tersebut
 jika
 :
 saya
-hanya
+besar
 beberapa
-(
+,
 juga
 beberapa
-9
+melakukan
 itu
-namun
-a
+4
+2
 2
 secara
-.
+slot
 ?
 online
-
+dengan
 pada
 ,
 
@@ -2626,11 +2626,11 @@ d
 9
 .
 namun
-secara
+e
 judi
 
 
-sudah
+tersebut
 nya
 e
 u
@@ -2647,13 +2647,13 @@ online
 -
 akan
 anda
-cara
+?
 akan
 untuk
 melakukan
 u
-sangat
-kan
+5
+?
 maka
 karena
 saat
@@ -2663,7 +2663,7 @@ yang
 akan
 -
 )
-9
+judi
 
 3
 2
@@ -2676,7 +2676,7 @@ ini
 ingin
 game
 itu
-saat
+t
 memiliki
 anda
 orang
@@ -2700,15 +2700,15 @@ di
 d
 dan
 lebih
-8
+memiliki
 karena
 indonesia
 juga
 jika
 -
-k
+para
 :
-7
+ke
 namun
 ,
 dari
@@ -2719,34 +2719,34 @@ bermain
 banyak
 juga
 saat
-untuk
+beberapa
 "
 u
 untuk
-dapat
+uang
 sebagai
-a
+t
 karena
-ini
-/
+:
+bermain
 yang
 situs
 hal
 bermain
-o
+-
 menjadi
-namun
+telah
 
 poker
 melakukan
-tersebut
+dengan
 sudah
 poker
 anda
 jika
 ini
 seperti
-t
+anda
 7
 di
 a
@@ -2754,7 +2754,7 @@ a
 
 dalam
 pada
-7
+-
 (
 e
 -
@@ -2766,7 +2766,7 @@ sangat
 bermain
 pemain
 indonesia
-menjadi
+
 itu
 permainan
 ke
@@ -2787,7 +2787,7 @@ untuk
 "
 saja
 di
-kamu
+"
 ini
 salah
 e
@@ -2795,10 +2795,10 @@ itu
 :
 akan
 1
-tidak
+orang
 mereka
 maka
-bisnis
+tahun
 kami
 2
 lebih
@@ -2808,7 +2808,7 @@ satu
 saya
 s
 indonesia
-itu
+maka
 i
 bahwa
 sangat
@@ -2819,22 +2819,22 @@ memiliki
 judi
 akan
 karena
-maka
-hanya
+salah
+menjadi
 tersebut
 besar
 1
 karena
 -
 dari
-.
+/
 cara
 ,
 online
 game
-dari
+cukup
 s
-bagi
+semua
 s
 game
 semua
@@ -2847,34 +2847,34 @@ kita
 tersebut
 besar
 ke
-indonesia
+e
 itu
 dalam
-semua
+memiliki
 yang
-ada
+untuk
 ini
 namun
 sebagai
 mereka
 tahun
 nya
-secara
+permainan
 6
 game
 8
 ?
 oleh
 kan
-9
+mereka
 akan
 akan
 menjadi
 )
 satu
-yang
+k
 )
-?
+t
 ini
 telah
 ?
@@ -2892,10 +2892,10 @@ sangat
 7
 dalam
 -
-itu
+dapat
 mereka
 ini
-bahwa
+2
 sangat
 beberapa
 secara
@@ -2906,11 +2906,11 @@ juga
 harus
 sebagai
 ini
-a
+6
 ini
 
 ada
-waktu
+dapat
 semua
 oleh
 di
@@ -2927,7 +2927,7 @@ menjadi
 judi
 harus
 dan
-sebagai
+semua
 sudah
 cara
 .
@@ -2936,7 +2936,7 @@ hal
 oleh
 3
 yang
-0
+atau
 t
 indonesia
 ada
@@ -2951,7 +2951,7 @@ ada
 membuat
 dan
 membuat
-?
+menggunakan
 di
 atau
 akan
@@ -2961,21 +2961,21 @@ bisnis
 k
 karena
 oleh
-a
+secara
 
 judi
 -
 memiliki
 hal
-anda
+sudah
 itu
 bisa
 untuk
-"
+e
 slot
 s
 juga
-atau
+orang
 dan
 2
 1
@@ -2987,20 +2987,20 @@ s
 banyak
 melakukan
 sudah
-permainan
+indonesia
 pada
-tersebut
+karena
 hal
-orang
+sudah
 s
 mereka
 dalam
 lebih
 sudah
-dalam
+akan
 orang
 untuk
-sebagai
+saya
 yang
 dari
 judi
@@ -3012,11 +3012,11 @@ dari
 1
 
 kita
-adalah
+banyak
 hanya
 judi
 an
-masih
+/
 kan
 kita
 
@@ -3035,9 +3035,9 @@ tersebut
 lebih
 adalah
 saya
-1
+pada
 sebagai
-saat
+poker
 yang
 9
 hal
@@ -3048,7 +3048,7 @@ ke
 nya
 sangat
 oleh
-hanya
+"
 -
 banyak
 hal
@@ -3068,7 +3068,7 @@ dengan
 ada
 seperti
 situs
-1
+,
 anda
 dari
 saat
@@ -3082,11 +3082,11 @@ situs
 
 kamu
 seperti
-saya
+atau
 ada
 untuk
-kan
-anda
+atau
+secara
 game
 tersebut
 /
@@ -3096,13 +3096,13 @@ membuat
 0
 
 tidak
-8
+saat
 saat
 karena
-atau
+yang
 uang
 menggunakan
-tidak
+anda
 /
 online
 2
@@ -3114,28 +3114,28 @@ online
 ?
 sebagai
 kan
-telah
-lebih
+adalah
+8
 tidak
 p
 anda
 ,
-dengan
+dari
 8
 :
 .
-1
+?
 
 .
 beberapa
 dan
-sudah
+satu
 sebagai
 melakukan
 uang
 hanya
 seperti
-akan
+0
 online
 s
 e
@@ -3149,7 +3149,7 @@ bisa
 game
 lebih
 
-d
+maka
 e
 situs
 saat
@@ -3159,13 +3159,13 @@ sebagai
 secara
 dalam
 anda
-ke
+lebih
 bisa
 ini
 beberapa
 5
 bisa
-hal
+jika
 di
 
 2
@@ -3176,7 +3176,7 @@ dengan
 i
 atau
 semua
-saja
+untuk
 lebih
 dapat
 seperti
@@ -3191,22 +3191,22 @@ tahun
 ada
 akan
 untuk
-saja
+bahwa
 ini
 (
 1
 mendapatkan
 juga
 1
-r
+setiap
 atau
 itu
 karena
 dalam
 kita
-k
+?
 itu
-bahwa
+sebagai
 atau
 saya
 ada
@@ -3219,17 +3219,17 @@ sangat
 i
 an
 a
-e
+orang
 kamu
 t
 .
 di
 baik
 
-karena
-menjadi
+satu
+a
 beberapa
-maka
+sebagai
 
 apa
 situs
@@ -3241,7 +3241,7 @@ itu
 akan
 .
 slot
-6
+7
 s
 ada
 t
@@ -3254,7 +3254,7 @@ untuk
 orang
 mereka
 juga
-untuk
+
 ini
 nya
 -
@@ -3268,7 +3268,7 @@ ini
 juga
 hanya
 9
-an
+permainan
 
 akan
 kamu
@@ -3281,18 +3281,18 @@ juga
 
 "
 kami
-uang
+para
 poker
 menjadi
 kita
-jika
+nya
 1
 5
 yang
 
 menjadi
 
-0
+game
 dapat
 maka
 nya
@@ -3306,18 +3306,18 @@ satu
 melakukan
 )
 0
-m
+ke
 ”
 2
 
-juga
+itu
 
 nya
 atau
 /
 akan
-saya
-tersebut
+beberapa
+a
 atau
 ini
 (
@@ -3328,10 +3328,10 @@ dan
 tidak
 juga
 4
+3
 dari
-dari
-situs
-oleh
+permainan
+,
 
 menjadi
 salah
@@ -3352,7 +3352,7 @@ kami
 judi
 r
 kan
-d
+9
 orang
 saja
 nya
@@ -3372,15 +3372,15 @@ melakukan
 secara
 pada
 3
-kamu
+bahwa
 para
 permainan
 bermain
 untuk
 dari
-menjadi
+saat
 salah
-u
+6
 t
 online
 hal
@@ -3391,19 +3391,19 @@ satu
 ada
 bisa
 kita
-beberapa
-kamu
+judi
+?
 bahwa
-beberapa
-lebih
+maka
+online
 ke
-kami
-sama
+kan
+pun
 hanya
 kan
 kami
 mereka
-semua
+saya
 0
 dan
 harus
@@ -3432,20 +3432,20 @@ juga
 ,
 e
 
-sebagai
+7
 poker
 ada
-memiliki
+cara
 tidak
-banyak
-beberapa
+karena
+hanya
 cara
-poker
+bahwa
 di
 hal
 kami
 ,
-saat
+satu
 -
 bahwa
 baik
@@ -3458,27 +3458,27 @@ menjadi
 baik
 anda
 k
-harus
+kami
 adalah
 saja
-sebagai
-kita
+dan
+u
 bahwa
 a
 tahun
 9
-apa
+maka
 online
-sebagai
+harga
 di
 slot
 0
-2
+
 anda
 2
 nya
 baru
-saja
+anda
 tidak
 slot
 karena
@@ -3494,12 +3494,12 @@ karena
 4
 atau
 seperti
-beberapa
+4
 memiliki
 
 dalam
 membuat
-hanya
+/
 yang
 ,
 ke
@@ -3508,8 +3508,8 @@ s
 situs
 satu
 orang
-lain
-,
+sudah
+nya
 adalah
 dalam
 kamu
@@ -3522,17 +3522,17 @@ tidak
 bisa
 lebih
 bagi
-hanya
+beberapa
 sangat
-t
-4
+/
+setelah
 kami
-1
-k
+,
+yang
 t
 .
 k
-hanya
+?
 apa
 tersebut
 anda
@@ -3541,8 +3541,8 @@ secara
 judi
 -
 
-kita
-karena
+di
+memiliki
 sebagai
 tersebut
 1
@@ -3557,7 +3557,7 @@ a
 beberapa
 salah
 9
-dalam
+pemain
 situs
 
 tidak
@@ -3565,28 +3565,28 @@ juga
 situs
 beberapa
 kamu
-bahwa
-poker
+?
+nya
 p
-terbaik
+ketika
 untuk
 9
-nya
+lain
 saat
 ?
 untuk
 pada
 untuk
 dan
-juga
+akan
 ,
 an
 untuk
 tidak
-harga
+game
 yang
 harus
-membuat
+judi
 harus
 apa
 seperti
@@ -3595,8 +3595,8 @@ lebih
 sebagai
 hanya
 kamu
-6
-2
+kamu
+judi
 1
 bahwa
 saya
@@ -3606,12 +3606,12 @@ sangat
 ini
 orang
 dalam
-)
+,
 banyak
 (
 0
 tahun
-/
+tidak
 pada
 k
 dengan
@@ -3620,7 +3620,7 @@ sangat
 seperti
 ke
 
-satu
+:
 karena
 atau
 dan
@@ -3628,23 +3628,23 @@ atau
 an
 (
 cara
-indonesia
-juga
+secara
+memiliki
 k
-dari
+menggunakan
 sudah
 dan
 :
 atau
 
-mereka
+sudah
 dengan
 
 tersebut
-k
-menjadi
+akan
+m
 anda
-nya
+adalah
 ada
 dapat
 situs
@@ -3660,9 +3660,9 @@ yang
 di
 9
 
-untuk
-menjadi
+saja
 3
+/
 1
 kamu
 /
@@ -3675,10 +3675,10 @@ saat
 p
 pada
 
-k
+adalah
 ada
 2
-baik
+d
 namun
 pada
 i
@@ -3686,14 +3686,14 @@ dalam
 u
 telah
 saya
-kami
+sangat
 nya
 s
 dengan
 dengan
 
 para
-sangat
+para
 kamu
 di
 
@@ -3703,7 +3703,7 @@ situs
 online
 sudah
 besar
-
+banyak
 anda
 sudah
 an
@@ -3728,20 +3728,20 @@ orang
 sebagai
 orang
 an
-0
-adalah
+ini
+dapat
 permainan
 
 6
-saja
-tersebut
+salah
+harus
 satu
 "
 pada
 seperti
 sudah
 
-0
+dari
 kami
 -
 dan
@@ -3751,11 +3751,11 @@ ini
 saya
 9
 permainan
-oleh
+3
 saya
-berbagai
+ingin
 untuk
-dengan
+2
 menggunakan
 hanya
 

predict_results.json

@@ -1,12 +1,12 @@
 {
     "predict_gen_len": 1.0,
-    "predict_loss": 0.5017109513282776,
-    "predict_rouge1": 0.3936,
+    "predict_loss": 0.49051612615585327,
+    "predict_rouge1": 0.4041,
     "predict_rouge2": 0.0,
-    "predict_rougeL": 0.393,
-    "predict_rougeLsum": 0.3921,
-    "predict_runtime": 2904.2856,
+    "predict_rougeL": 0.4029,
+    "predict_rougeLsum": 0.4023,
+    "predict_runtime": 2667.022,
     "predict_samples": 3762,
-    "predict_samples_per_second": 1.295,
-    "predict_steps_per_second": 0.041
+    "predict_samples_per_second": 1.411,
+    "predict_steps_per_second": 0.044
 }

train_results.json

@@ -1,9 +1,9 @@
 {
     "epoch": 5.0,
-    "total_flos": 4.90272982695936e+16,
-    "train_loss": 0.6212816452231642,
-    "train_runtime": 3932.3471,
+    "total_flos": 4.922112594935808e+16,
+    "train_loss": 0.5897949560875315,
+    "train_runtime": 3934.2037,
     "train_samples": 14263,
-    "train_samples_per_second": 18.135,
+    "train_samples_per_second": 18.127,
     "train_steps_per_second": 1.134
 }

trainer_state.json

@@ -10,111 +10,111 @@
   "log_history": [
     {
       "epoch": 1.0,
-      "grad_norm": 0.6163806319236755,
+      "grad_norm": 0.6613966226577759,
       "learning_rate": 0.0008,
-      "loss": 0.8212,
+      "loss": 0.7782,
       "step": 892
     },
     {
       "epoch": 1.0,
       "eval_gen_len": 1.0,
-      "eval_loss": 0.5616050362586975,
-      "eval_rouge1": 0.77,
+      "eval_loss": 0.5458054542541504,
+      "eval_rouge1": 0.7706,
       "eval_rouge2": 0.0,
-      "eval_rougeL": 0.7703,
-      "eval_rougeLsum": 0.7685,
-      "eval_runtime": 38.5385,
-      "eval_samples_per_second": 19.435,
-      "eval_steps_per_second": 0.623,
+      "eval_rougeL": 0.7715,
+      "eval_rougeLsum": 0.7691,
+      "eval_runtime": 38.2766,
+      "eval_samples_per_second": 19.568,
+      "eval_steps_per_second": 0.627,
       "step": 892
     },
     {
       "epoch": 2.0,
-      "grad_norm": 0.7340933680534363,
+      "grad_norm": 0.6847044825553894,
       "learning_rate": 0.0006,
-      "loss": 0.6185,
+      "loss": 0.5952,
       "step": 1784
     },
     {
       "epoch": 2.0,
       "eval_gen_len": 1.0,
-      "eval_loss": 0.5592873096466064,
-      "eval_rouge1": 0.7457,
+      "eval_loss": 0.5551263689994812,
+      "eval_rouge1": 0.7627,
       "eval_rouge2": 0.0,
-      "eval_rougeL": 0.7436,
-      "eval_rougeLsum": 0.7441,
-      "eval_runtime": 38.0734,
-      "eval_samples_per_second": 19.673,
-      "eval_steps_per_second": 0.63,
+      "eval_rougeL": 0.7591,
+      "eval_rougeLsum": 0.7596,
+      "eval_runtime": 37.6956,
+      "eval_samples_per_second": 19.87,
+      "eval_steps_per_second": 0.637,
       "step": 1784
     },
     {
       "epoch": 3.0,
-      "grad_norm": 0.5377846360206604,
+      "grad_norm": 0.6185162663459778,
       "learning_rate": 0.0004,
-      "loss": 0.5776,
+      "loss": 0.551,
       "step": 2676
     },
     {
       "epoch": 3.0,
       "eval_gen_len": 1.0,
-      "eval_loss": 0.5282897353172302,
-      "eval_rouge1": 0.7664,
+      "eval_loss": 0.5163312554359436,
+      "eval_rouge1": 0.7617,
       "eval_rouge2": 0.0,
-      "eval_rougeL": 0.7649,
-      "eval_rougeLsum": 0.7639,
-      "eval_runtime": 38.0432,
-      "eval_samples_per_second": 19.688,
-      "eval_steps_per_second": 0.631,
+      "eval_rougeL": 0.761,
+      "eval_rougeLsum": 0.7609,
+      "eval_runtime": 38.2354,
+      "eval_samples_per_second": 19.589,
+      "eval_steps_per_second": 0.628,
       "step": 2676
     },
     {
       "epoch": 4.0,
-      "grad_norm": 0.627534806728363,
+      "grad_norm": 0.6471401453018188,
       "learning_rate": 0.0002,
-      "loss": 0.5535,
+      "loss": 0.5236,
       "step": 3568
     },
     {
       "epoch": 4.0,
       "eval_gen_len": 1.0,
-      "eval_loss": 0.5193020105361938,
-      "eval_rouge1": 0.7475,
+      "eval_loss": 0.5063948631286621,
+      "eval_rouge1": 0.7569,
       "eval_rouge2": 0.0,
-      "eval_rougeL": 0.747,
-      "eval_rougeLsum": 0.745,
-      "eval_runtime": 37.7969,
-      "eval_samples_per_second": 19.816,
-      "eval_steps_per_second": 0.635,
+      "eval_rougeL": 0.7553,
+      "eval_rougeLsum": 0.7552,
+      "eval_runtime": 38.361,
+      "eval_samples_per_second": 19.525,
+      "eval_steps_per_second": 0.626,
       "step": 3568
     },
     {
       "epoch": 5.0,
-      "grad_norm": 0.7363429069519043,
+      "grad_norm": 0.6893085837364197,
       "learning_rate": 0.0,
-      "loss": 0.5357,
+      "loss": 0.5009,
       "step": 4460
     },
     {
       "epoch": 5.0,
       "eval_gen_len": 1.0,
-      "eval_loss": 0.5139681696891785,
-      "eval_rouge1": 0.7665,
+      "eval_loss": 0.5019394755363464,
+      "eval_rouge1": 0.762,
       "eval_rouge2": 0.0,
-      "eval_rougeL": 0.7672,
-      "eval_rougeLsum": 0.7666,
-      "eval_runtime": 38.1607,
-      "eval_samples_per_second": 19.628,
-      "eval_steps_per_second": 0.629,
+      "eval_rougeL": 0.7611,
+      "eval_rougeLsum": 0.7586,
+      "eval_runtime": 37.6497,
+      "eval_samples_per_second": 19.894,
+      "eval_steps_per_second": 0.637,
       "step": 4460
     },
     {
       "epoch": 5.0,
       "step": 4460,
-      "total_flos": 4.90272982695936e+16,
-      "train_loss": 0.6212816452231642,
-      "train_runtime": 3932.3471,
-      "train_samples_per_second": 18.135,
+      "total_flos": 4.922112594935808e+16,
+      "train_loss": 0.5897949560875315,
+      "train_runtime": 3934.2037,
+      "train_samples_per_second": 18.127,
       "train_steps_per_second": 1.134
     }
   ],
@@ -123,7 +123,7 @@
   "num_input_tokens_seen": 0,
   "num_train_epochs": 5,
   "save_steps": 500,
-  "total_flos": 4.90272982695936e+16,
+  "total_flos": 4.922112594935808e+16,
   "train_batch_size": 16,
   "trial_name": null,
   "trial_params": null