Upload README.md with huggingface_hub

README.md

@@ -86,6 +86,16 @@ python pipeline.py --tag run01 --data data/tekskamu.txt --hf-dataset adyoi/indig
 python pipeline.py --tag run02 --data data/ --steps 2000 --finalize --push
 ```
 
+### Evaluasi standar antar-checkpoint
+
+`eval.py` menykor checkpoint pada set uji tetap (nats/token & nats/karakter) sehingga
+run dengan tokenizer berbeda tetap sebanding:
+
+```bash
+python eval.py --ckpt out/indigo_best.safetensors runs/*/ckpt/indigo.safetensors \
+  --test data/sample.txt --guard data/kamus_id.txt
+```
+
 ## Batasan
 
 - Dilatih pada data sangat kecil → output belum koheren; cocok untuk edukasi bukan produksi.