Upload 16 files

1_Pooling/config.json

@@ -0,0 +1,10 @@
+{
+  "word_embedding_dimension": 768,
+  "pooling_mode_cls_token": false,
+  "pooling_mode_mean_tokens": true,
+  "pooling_mode_max_tokens": false,
+  "pooling_mode_mean_sqrt_len_tokens": false,
+  "pooling_mode_weightedmean_tokens": false,
+  "pooling_mode_lasttoken": false,
+  "include_prompt": true
+}

README.md

@@ -1,3 +1,542 @@
----
-license: mit
----
+---
+tags:
+- sentence-transformers
+- sentence-similarity
+- feature-extraction
+- generated_from_trainer
+- dataset_size:18777
+- loss:CachedMultipleNegativesRankingLoss
+base_model: VoVanPhuc/sup-SimCSE-VietNamese-phobert-base
+widget:
+- source_sentence: Người đầu_tiên giành được giải_thưởng Nobel trong lĩnh_vực sinh_hóa
+    của Nhật_Bản là ai ?
+  sentences:
+  - Một_số học_giả cho rằng vào đầu thiên_niên_kỷ thứ nhất TCN , một_số làn_sóng người
+    Celt từ Trung_Âu tràn tới Bồ_Đào_Nha và liên hôn với cư_dân địa_phương , điều
+    này hình_thành nên các bộ_lạc khác nhau . Khảo_cổ_học và nghiên_cứu hiện_đại cho
+    thấy người Celt tại Bồ_Đào_Nha và các nơi khác có một phần nguồn_gốc tại Bồ_Đào_Nha
+    . Đứng đầu trong số các bộ_lạc này là người Lusitania , họ tập_trung chủ_yếu tại
+    khu_vực nội_địa thuộc miền trung Bồ_Đào_Nha , một_số bộ_lạc khác có liên_quan
+    về mặt huyết_thống là người Gallaeci tại miền bắc , người Celtici tại Alentejo
+    , và Cynetes hoặc Conii tại Algarve . Những bộ_lạc nhỏ hơn nằm ở khu_vực lân_cận
+    hoặc giữa các bộ_lạc này là người Bracari , Coelerni , Equaesi , Grovii , Interamici
+    , Leuni , Luanqui , Limici , Narbasi , Nemetati , Paesuri , Quaquerni , Seurbi
+    , Tamagani , Tapoli , Turduli , Turduli_Veteres , Turdulorum_Oppida , Turodi ,
+    và Zoelae . Một_vài khu dân_cư duyên_hải nhỏ , bán cố_định , dùng cho thương_mại
+    cũng được người Phoenicia - Carthago lập ra tại Algarve .
+  - 'Các nhà nghiên_cứu Nhật cũng đã phần_nào khẳng_định được mình qua các lần đoạt
+    giải Nobel . Hideki Yukawa một trong những nhà khoa_học ưu_tú xuất_thân từ Đại_học
+    Kyoto giành giải Nobel về vật_lý năm 1949 . Sin - Itiro Tomonaga cũng nhận vinh_dự
+    tương_tự năm 1965 . Nhà vật_lý chất_rắn Leo Esaki sau_này xuất_thân từ Đại_học
+    Tokyo cũng đạt được vinh_quang đó năm 1973 . Kenichi_Fukui của Đại_học Kyoto là
+    một trong các nhà khoa_học cùng chia giải Nobel_hóa học năm 1981 . Susumu_Tonegawa
+    , cũng trưởng_thành từ Đại_học Kyoto trở_thành người Nhật đầu_tiên từ 2007 nhận
+    giải này với các thành_tựu về sinh_hóa kể từ khi lãnh_vực này được phát_triển
+    năm 1987 . Các nhà khoa_học nghiên_cứu về hóa học cũng không chịu kém khi lần_lượt
+    nhận giải vào năm 2000 , 2001 : Hideki_Shirakawa ( Viện khoa_học công_nghệ Tokyo
+    ) và Ryoji_Noyori ( Đại_học Kyoto ) . Năm 2002 là nhà vật_lý Masatoshi_Koshiba
+    ( Đại_học Tokyo ) và hóa học gia Koichi Tanaka ( Đại_học Tohoku ) . Năm 2008 ,
+    Nhật_Bản có bốn nhà khoa_học nhận giải Nobel gồm có Yoichiro_Nambu , Makoto_Kobayashi
+    , Toshihide_Maskawa và Osamu_Shimomura . Nhật_Bản là đất_nước sở_hữu nhiều khoa_học
+    gia đoạt giải Nobel nhất ở châu Á hiện_nay . Không_những thế , Nhật_Bản cũng là
+    quốc_gia giành được nhiều giải_thưởng Fields nhất châu Á , giải_thưởng được xem
+    là Nobel Toán_học với 3 lần đăng_quang : Kunihiko_Kodaira ( 1954 ) , Hironaka_Heisuke
+    ( 1970 ) , Mori_Shigefumi ( 1990 ) .'
+  - Ẩm_thực Cuba là hỗn_hợp của ẩm_thực Tây_Ban_Nha và các phong_cách ẩm_thực Caribbean
+    . Công_thức chế_biến món ăn của Cuba sử_dụng cùng loại hương_vị và kỹ_thuật với
+    Tây_Ban_Nha , với một_số ảnh_hưởng vùng Caribbean trong gia_vị và mùi_vị . Một
+    bữa ăn truyền_thống của Cuba sẽ không bao_giờ được phục_vụ theo kiểu từng món
+    một ; mà tất_cả thức_ăn sẽ được đưa ra cùng lúc . Bữa ăn đặc_trưng gồm chuối_lá
+    , đậu_đen ( black bean ) và gạo , ropa vieja ( thịt bò thái nhỏ ) , bánh_mì Cuba
+    , thịt lợn với hành , và hoa_quả nhiệt_đới . Đậu_đen và gạo , được gọi là moros
+    y cristianos ( hay nói gọn là moros ) , và chuối_lá là thực_phẩm chủ_lực trong
+    bữa ăn của người Cuba . Nhiều món thị được nấu chín từ từ với nước_chấm nhạt .
+    Tỏi , thìa_là Ai Cập , oregano và lá nguyệt_quế là các loại gia_vị được sử_dụng
+    nhiều .
+- source_sentence: Những tiểu_thuyết gia hậu thuộc_địa đã đảo_ngược những bài văn
+    thuộc_địa truyền_thống như thế_nào ?
+  sentences:
+  - Edward_Said đã phân_tích các tác_phẩm của Balzac , Baudelaire và Lautréamont ,
+    khám_phá_cách họ bị ảnh_hưởng lẫn sự giúp_đỡ hình_thành một ��_nghĩ kỳ_quặc về
+    tính ưu_việt chủng_tộc của người Âu châu . Những tiểu_thuyết gia hậu thuộc_địa
+    giao_tiếp với những bài văn thuộc_địa truyền_thống , nhưng thay_đổi hoặc đảo_ngược
+    nó ; ví_dụ bằng cách kể lại một câu_chuyện tương_tự về khía_cạnh của nhân_vật
+    phụ phản_diện trong câu_chuyện . Tác_phẩm Những người thấp cổ bé họng có lên_tiếng
+    được không ? vào năm 1998 của Gayatri Chakravorty Spivak là nguồn_gốc của ngành
+    Nghiên_cứu thấp cổ bé họng .
+  - Một phi_vụ có người lái đến Sao Kim , sử_dụng các con tàu và tên_lửa có từ_chương_trình
+    Apollo , đã được đề_xuất cuối những năm 1960 . Kế_hoạch của chương_trình là phóng
+    tên_lửa đưa người lên vào tháng 10 hoặc tháng 11 của năm 1973 , và sử_dụng tên_lửa
+    Saturn V để đưa ba phi_hành_gia đến Sao Kim trong khoảng thời_gian 1 năm . Con
+    tàu sẽ bay qua bề_mặt Sao Kim ở khoảng_cách 5.000 kilômét trong khoảng bốn tháng
+    trước khi quay trở_lại Trái_Đất . Tuy_nhiên ý_tưởng đã bị hủy bỏ vì có quá nhiều
+    khó_khăn về mặt kỹ_thuật và tài_chính .
+  - Những đồng xu drachma Hy Lạp , thường được làm_bằng bạc , bao_gồm cả tetradrachm
+    , là đồng_tiền tiêu_chuẩn được sử_dụng trong suốt thời Đế_chế Parthia Nhà_Arsaces
+    duy_trì khu đúc tiền của hoàng_gia tại các thành_phố Hecatompylos , Seleucia ,
+    và Ecbatana Nhiều khả_năng họ đã mở một sở đúc tiền tại Mithridatkert / Nisa Từ
+    khi thành_lập đế_quốc cho đến khi nó sụp_đổ , drachm được ban_hành trong suốt
+    thời_đại Parthia hiếm khi cân nặng ít hơn 3,5 g hoặc nhiều hơn 4,2 g . Những đồng
+    tetradrachm Parthia đầu_tiên , trọng_lượng về nguyên_tắc khoảng 16 g với một_số
+    biến_thể , xuất_hiện sau khi Mithridates I chinh_phục vùng Lưỡng_Hà và được đúc
+    độc_quyền tại Seleucia .
+- source_sentence: Các thành_viên nghị_viện Anh đã mô_tả như thế_nào về Trump ?
+  sentences:
+  - 'Ngay sau những bình_luận gây tranh_cãi của Trump về vấn_đề người nhập_cư Hồi_giáo
+    , một cuộc vận_động với tên gọi " Cấm Donald J. Trump tới Anh " được phát_động
+    ở Anh , trên trang_web kiến_nghị điện_tử của Quốc_hội , kêu_gọi Chính_phủ Anh
+    cấm ông nhập_cảnh . Tới 05 : 00 ngày 11 tháng 12 , tổng_số chữ_ký đã vượt quá
+    500.000 , vượt xa mức 100.000 theo yêu_cầu để triệu_tập một cuộc tranh_luận trong
+    Nghị_viện . Ngày 18 tháng 1 , Hạ_viện Anh tranh_luận về vấn_đề này , nhưng cuối_cùng
+    không tổ_chức bỏ_phiếu vì các nghị_sĩ không có quyền để ban_hành một lệnh cấm
+    như_vậy . Cuộc tranh_luận kéo_dài 3 giờ đồng_hồ đã chứng_kiến thành_viên của tất_cả
+    các bên trong nghị_viện miêu_tả Trump là " một thằng hề " , " điên_khùng " , "
+    hiếu_chiến " và " một kẻ khó ưa " .'
+  - Cũng có các nhà triết_học trước như Galileo và John Philoponus sử_dụng phương_pháp
+    thực_nghiệm , nhưng Newton là người đầu_tiên định_nghĩa cụ_thể và hệ_thống cách
+    sử_dụng phương_pháp này . Phương_pháp của ông cân_bằng giữa lý_thuyết và thực_nghiệm
+    , giữa toán_học và cơ_học . Ông toán_học hoá mọi khoa_học về tự_nhiên , đơn_giản_hoá
+    chúng thành các bước chặt_chẽ , tổng_quát và hợp_lý , tạo nên sự bắt_đầu của Kỷ_nguyên
+    Suy_luận . Những nguyên_lý mà Newton đưa ra do đó vẫn giữ nguyên giá_trị cho đến
+    thời_đại ngày_nay . Sau khi ông ra đi , những phương_pháp của ông đã mang lại
+    những thành_tựu khoa_học lớn gấp_bội những gì mà ông có_thể tưởng_tượng lúc sinh_thời
+    . Các thành_quả này là nền_tảng cho nền công_nghệ mà chúng_ta được hưởng ngày_nay
+    .
+  - Kể từ thời_kỳ của người Hy Lạp cổ_đại , một tỷ_lệ lớn người Do_Thái đã hòa_nhập
+    và đồng_hóa vào xã_hội dân ngoại rộng_lớn xung_quanh họ , bởi_vì sự lựa_chọn tự_nguyện
+    của chính bản_thân của người Do_Thái hoặc là do sự cưỡng_bức và vũ_lực bắt_buộc
+    người Do Thái phải làm vậy , những người Do_Thái sau đó bị đồng_hóa thì ngừng
+    lại hoặc chấm_dứt các hoạt_động liên_quan đến Do Thái_giáo và họ vứt bỏ đi bản_sắc
+    dân_tộc Do_Thái cũng như vứt bỏ danh_tính cũ của họ trước đây là người Do_Thái
+    . Sự đồng_hóa xảy ra ở tất_cả các khu_vực và trong suốt tất_cả các khoảng thời_gian
+    của chiều dài lịch_sử . Một_số cộng_đồng Do_Thái , ví_dụ như người Do Thái khai_phương
+    ở Trung_Quốc thì bị biến mất hoàn_toàn .
+- source_sentence: Loại chè có nguồn_gốc từ Trung_Quốc là ?
+  sentences:
+  - Thời_gian đầu thế_kỷ chứng_kiến sự_tỏa sáng của các nhà lãnh_đạo tại cả hai viện
+    của Quốc_hội . Tại Viện dân biểu , vị_thế của Chủ_tịch ( Speaker ) ngày_càng nâng
+    cao , lên đến đỉnh_điểm với nhiệm_kỳ của Joseph Gurney_Cannon . Dù các nhà lãnh_đạo
+    tại Thượng_viện không giành được nhiều quyền_lực như chủ_tịch Viện dân biểu ,
+    các thượng nghị_sĩ tự gây_dựng cho mình thanh_thế lớn_lao . Đặc_biệt là chủ_tịch
+    các uỷ_ban tại cả hai viện thường có nhiều ảnh_hưởng đáng_kể cho đến khi có những
+    cải_cách được tiến_hành vào những năm 1970 .
+  - 'Tuy_nhiên trong thực_tế có rất nhiều loại chè , mỗi loại dùng một kiểu thành_phần
+    khác nhau . Có các loại chè như : chè con_ong ( hay chè bà_cốt ) , chè đậu_xanh
+    , chè đậu_đen , chè ngô cốm , chè đỗ đỏ , chè đỗ trắng , chè bưởi , chè thập_cẩm
+    , chè_hạt sen long_nhãn , v . v . Một món chè có nguồn_gốc từ Trung_Hoa nhưng
+    cũng được nhiều người Việt biết tới là chè mè đen hay xí mè phủ ( phát_âm kiểu
+    người Hoa ) làm từ hạt mè đen và sâm bổ lượng ( đúng_ra chữ Nho phải đọc là "
+    thanh bổ lượng " ) . Các món chè Huế và chè Hà_Nội nổi_tiếng vì phong_phú , đa_dạng
+    chủng_loại với chất_lượng cao .'
+  - 'Cùng với Venezia , Paris còn được ví là " Thành_phố của tình_yêu " . Những người_yêu
+    thích Paris cũng nói : Chỉ cần thêm hai chữ_cái , Paris trở_thành thiên_đường
+    . Trong tiếng Pháp , thêm hai chữ a và d , Paris thành Paradis , có_nghĩa_là thiên_đường
+    . Từ " parisien " trong tiếng Pháp là tính từ của Paris , cũng là danh từ để chỉ
+    những người dân của thành_phố này . Ngoài_ra , " parisien " còn là một từ lóng
+    được các nhà_văn của thế_kỷ 19 như Victor_Hugo , Eugène_Sue hay Balzac sử_dụng
+    rộng_rãi và còn phổ_biến cho tới thập_niên 1950 .'
+- source_sentence: Ông nội của Thái_Tông Trần_Cảnh có tên là gì ?
+  sentences:
+  - 'Nhà_Minh ( chữ Hán : 明朝 , Hán Việt : Minh_triều ; 23 tháng 1 năm 1368 - 25 tháng
+    4 năm 1644 [ chú_thích 1 ] ) là triều_đại cuối_cùng do người Hán kiến_lập trong
+    lịch_sử Trung_Quốc . Năm 1368 , Chu_Nguyên_Chương sau khi tiêu_diệt các thế_lực
+    quần hùng , tại phủ Ứng_Thiên_đăng cơ , quốc_hiệu Đại_Minh , do hoàng_thất họ
+    Chu , nên còn được gọi là Chu_Minh . Đầu thời kiến quốc , Minh_Thái Tổ_Chu_Nguyên
+    Chương định_đô tại phủ Ứng_Thiên ( nay là Nam_Kinh ) , đến năm Vĩnh_Lạc thứ 19
+    ( 1421 ) , Minh_Thành Tổ_Chu_Đệ dời đô đến phủ Thuận_Thiên ( nay là Bắc_Kinh )
+    , kinh sư cũ đổi thành Nam_Kinh .'
+  - Thiên_văn_học tia_gamma là việc nghiên_cứu các vật_thể vũ_trụ ở các bước_sóng
+    ngắn nhất của quang_phổ điện từ . Các tia_gamma có_thể được quan_sát trực_tiếp
+    bằng các vệ_tinh như Đài_quan_sát Tia_Gamma_Compton hay bởi các kính_viễn_vọng
+    đặc_biệt được gọi là kính_viễn_vọng khí_quyển Cherenkov . Các kính_viễn_vọng Cherenkov
+    trên thực_tế không trực_tiếp thám_sát các tia_gamma mà thay vào đó thám_sát các
+    đám loé bùng của ánh_sáng nhìn thấy được tạo ra khi các tia_gamma bị khí_quyển
+    Trái_Đất hấp_thụ .
+  - Tổ_tiên nhà Trần vốn làm nghề chài_lưới , có gốc là người Mân Việt ở tỉnh Phúc
+    Kiến di_cư đến đất Đại_Việt . Những hậu_duệ của nhà Trần là con_cháu lai giữa
+    dòng dõi nhà Trần và dòng dõi nhà Lý như trong trường_hợp của Trần_Lý và Trần_Thừa
+    , và con của Trần_Thừa là Trần_Thái_Tông đã trở_thành vị vua đầu_tiên của nhà
+    Trần . Người họ Trần đầu_tiên đến Đại_Việt là Trần_Kính , đến định_cư tại làng
+    Tức_Mặc ( nay là phường Lộc_Vượng , thành_phố Nam_định ) sống bằng nghề đánh_cá
+    . Sau ba đời con_cháu sống ở Đại_Việt , họ Trần trở_nên giàu_có và hùng_mạnh dưới
+    đời Trần_Lý , là cháu của Trần_Kính . Trần_Lý sinh ra Trần_Thừa . Vua ( Thái_Tông
+    Trần_Cảnh ) là con_thứ của Thừa , mẹ họ Lê , sinh ngày 16 tháng 6 năm Mậu Dần
+    , Kiến_Gia thứ 8 triều Lý .
+pipeline_tag: sentence-similarity
+library_name: sentence-transformers
+---
+
+# SentenceTransformer based on VoVanPhuc/sup-SimCSE-VietNamese-phobert-base
+
+This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [VoVanPhuc/sup-SimCSE-VietNamese-phobert-base](https://huggingface.co/VoVanPhuc/sup-SimCSE-VietNamese-phobert-base). It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
+
+## Model Details
+
+### Model Description
+- **Model Type:** Sentence Transformer
+- **Base model:** [VoVanPhuc/sup-SimCSE-VietNamese-phobert-base](https://huggingface.co/VoVanPhuc/sup-SimCSE-VietNamese-phobert-base) <!-- at revision 608779b86741a8acd8c8d38132974ff04086b138 -->
+- **Maximum Sequence Length:** 256 tokens
+- **Output Dimensionality:** 768 dimensions
+- **Similarity Function:** Cosine Similarity
+<!-- - **Training Dataset:** Unknown -->
+<!-- - **Language:** Unknown -->
+<!-- - **License:** Unknown -->
+
+### Model Sources
+
+- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
+- **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers)
+- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)
+
+### Full Model Architecture
+
+```
+SentenceTransformer(
+  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: RobertaModel 
+  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
+)
+```
+
+## Usage
+
+### Direct Usage (Sentence Transformers)
+
+First install the Sentence Transformers library:
+
+```bash
+pip install -U sentence-transformers
+```
+
+Then you can load this model and run inference.
+```python
+from sentence_transformers import SentenceTransformer
+
+# Download from the 🤗 Hub
+model = SentenceTransformer("sentence_transformers_model_id")
+# Run inference
+sentences = [
+    'Ông nội của Thái_Tông Trần_Cảnh có tên là gì ?',
+    'Tổ_tiên nhà Trần vốn làm nghề chài_lưới , có gốc là người Mân Việt ở tỉnh Phúc Kiến di_cư đến đất Đại_Việt . Những hậu_duệ của nhà Trần là con_cháu lai giữa dòng dõi nhà Trần và dòng dõi nhà Lý như trong trường_hợp của Trần_Lý và Trần_Thừa , và con của Trần_Thừa là Trần_Thái_Tông đã trở_thành vị vua đầu_tiên của nhà Trần . Người họ Trần đầu_tiên đến Đại_Việt là Trần_Kính , đến định_cư tại làng Tức_Mặc ( nay là phường Lộc_Vượng , thành_phố Nam_định ) sống bằng nghề đánh_cá . Sau ba đời con_cháu sống ở Đại_Việt , họ Trần trở_nên giàu_có và hùng_mạnh dưới đời Trần_Lý , là cháu của Trần_Kính . Trần_Lý sinh ra Trần_Thừa . Vua ( Thái_Tông Trần_Cảnh ) là con_thứ của Thừa , mẹ họ Lê , sinh ngày 16 tháng 6 năm Mậu Dần , Kiến_Gia thứ 8 triều Lý .',
+    'Thiên_văn_học tia_gamma là việc nghiên_cứu các vật_thể vũ_trụ ở các bước_sóng ngắn nhất của quang_phổ điện từ . Các tia_gamma có_thể được quan_sát trực_tiếp bằng các vệ_tinh như Đài_quan_sát Tia_Gamma_Compton hay bởi các kính_viễn_vọng đặc_biệt được gọi là kính_viễn_vọng khí_quyển Cherenkov . Các kính_viễn_vọng Cherenkov trên thực_tế không trực_tiếp thám_sát các tia_gamma mà thay vào đó thám_sát các đám loé bùng của ánh_sáng nhìn thấy được tạo ra khi các tia_gamma bị khí_quyển Trái_Đất hấp_thụ .',
+]
+embeddings = model.encode(sentences)
+print(embeddings.shape)
+# [3, 768]
+
+# Get the similarity scores for the embeddings
+similarities = model.similarity(embeddings, embeddings)
+print(similarities.shape)
+# [3, 3]
+```
+
+<!--
+### Direct Usage (Transformers)
+
+<details><summary>Click to see the direct usage in Transformers</summary>
+
+</details>
+-->
+
+<!--
+### Downstream Usage (Sentence Transformers)
+
+You can finetune this model on your own dataset.
+
+<details><summary>Click to expand</summary>
+
+</details>
+-->
+
+<!--
+### Out-of-Scope Use
+
+*List how the model may foreseeably be misused and address what users ought not to do with the model.*
+-->
+
+<!--
+## Bias, Risks and Limitations
+
+*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
+-->
+
+<!--
+### Recommendations
+
+*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
+-->
+
+## Training Details
+
+### Training Dataset
+
+#### Unnamed Dataset
+
+* Size: 18,777 training samples
+* Columns: <code>anchor</code> and <code>positive</code>
+* Approximate statistics based on the first 1000 samples:
+  |         | anchor                                                                            | positive                                                                             |
+  |:--------|:----------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------|
+  | type    | string                                                                            | string                                                                               |
+  | details | <ul><li>min: 7 tokens</li><li>mean: 15.35 tokens</li><li>max: 49 tokens</li></ul> | <ul><li>min: 91 tokens</li><li>mean: 164.53 tokens</li><li>max: 256 tokens</li></ul> |
+* Samples:
+  | anchor                                                                                      | positive                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                      |
+  |:--------------------------------------------------------------------------------------------|:----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
+  | <code>Từ sâm bổ lượng tiếng nho đọc thành gì ?</code>                                       | <code>Tuy_nhiên trong thực_tế có rất nhiều loại chè , mỗi loại dùng một kiểu thành_phần khác nhau . Có các loại chè như : chè con_ong ( hay chè bà_cốt ) , chè đậu_xanh , chè đậu_đen , chè ngô cốm , chè đỗ đỏ , chè đỗ trắng , chè bưởi , chè thập_cẩm , chè_hạt sen long_nhãn , v . v . Một món chè có nguồn_gốc từ Trung_Hoa nhưng cũng được nhiều người Việt biết tới là chè mè đen hay xí mè phủ ( phát_âm kiểu người Hoa ) làm từ hạt mè đen và sâm bổ lượng ( đúng_ra chữ Nho phải đọc là " thanh bổ lượng " ) . Các món chè Huế và chè Hà_Nội nổi_tiếng vì phong_phú , đa_dạng chủng_loại với chất_lượng cao .</code>                                                                |
+  | <code>Chính_phủ nào không được công_nhận bởi chính_quyền Việt_Nam Dân_chủ Cộng_hòa ?</code> | <code>Trong thời_gian đầu , chính_quyền Việt_Nam Dân_chủ Cộng_hòa công_nhận Chính_phủ Cách_mạng lâm_thời Cộng_hòa miền Nam Việt_Nam , và không công_nhận chính_phủ Việt_Nam_Cộng_hòa . Các cuộc đấu_tranh ở Miền Nam giai_đoạn này Việt_Nam Dân_chủ Cộng_hòa cơ_bản không kiểm_soát được hoàn_toàn , mà do các đảng_bộ miền Nam_tự chỉ_đạo , có khi vượt ngoài chỉ_đạo của Trung_ương . Sau Hội_nghị Trung_ương 15 và sau_này ra_đời Mặt_trận , Việt_Nam Dân_chủ Cộng_hòa không công_nhận Việt_Nam_Cộng_hòa và công_khai ủng_hộ cho phía cách_mạng Miền Nam .</code>                                                                                                                          |
+  | <code>Hiện_nay , kinh_kỳ của Việt_Nam là ở đâu ?</code>                                     | <code>Hà_Nội là thủ_đô của nước Cộng_hòa xã_hội chủ_nghĩa Việt_Nam và cũng là kinh_đô của hầu_hết các vương_triều phong_kiến Việt trước đây . Do đó , lịch_sử Hà_Nội_gắn liền với sự thăng_trầm của lịch_sử Việt_Nam qua các thời_kỳ . Hà_Nội là thành_phố trực_thuộc trung_ương có diện_tích lớn nhất cả nước từ khi tỉnh Hà_Tây sáp_nhập vào , đồng_thời cũng là địa_ph��ơng đứng thứ nhì về dân_số với gần 8 triệu người ( năm 2018 ) , sau Thành_phố Hồ_Chí_Minh . Tuy_nhiên , nếu tính những người cư_trú không đăng_ký thì dân_số thực_tế của thành_phố này năm 2017 là hơn 9 triệu người . Hiện_nay , Hà_Nội và Thành_phố Hồ_Chí_Minh là hai đô_thị loại đặc_biệt của Việt_Nam .</code> |
+* Loss: [<code>CachedMultipleNegativesRankingLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#cachedmultiplenegativesrankingloss) with these parameters:
+  ```json
+  {
+      "scale": 20.0,
+      "similarity_fct": "cos_sim"
+  }
+  ```
+
+### Evaluation Dataset
+
+#### Unnamed Dataset
+
+* Size: 2,087 evaluation samples
+* Columns: <code>anchor</code> and <code>positive</code>
+* Approximate statistics based on the first 1000 samples:
+  |         | anchor                                                                            | positive                                                                             |
+  |:--------|:----------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------|
+  | type    | string                                                                            | string                                                                               |
+  | details | <ul><li>min: 7 tokens</li><li>mean: 15.52 tokens</li><li>max: 38 tokens</li></ul> | <ul><li>min: 83 tokens</li><li>mean: 166.28 tokens</li><li>max: 256 tokens</li></ul> |
+* Samples:
+  | anchor                                                                                     | positive                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                 |
+  |:-------------------------------------------------------------------------------------------|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
+  | <code>Hội_đồng nào mà Đông_Đức là một thành_viên trong đó ?</code>                         | <code>Thành_lập từ năm 1949 , tuy_nhiên , đến năm 1955 , Đông_Đức mới tuyên_bố đầy_đủ quyền tự_trị như một_thể_chế nhà_nước . Dầu_vậy , quân_đội Liên_Xô vẫn đóng trên lãnh_thổ nước này theo Hiệp_định Potsdam giữa bốn cường_quốc chiến_thắng trong Chiến_tranh thế_giới thứ hai là Hoa_Kỳ , Anh , Pháp và Liên_Xô . Vì quân_đội khối NATO còn hiện_diện tại Tây_Đức và Tây_Berlin , Đông_Đức và Berlin trở_thành_tâm_điểm của Chiến_tranh Lạnh . Đông_Đức là thành_viên Hiệp_ước Warszawa , Hội_đồng Tương_trợ Kinh_tế và đồng_thời là đồng_minh thân_cận của Liên_Xô .</code>                                                                                                                                                                                                                                                                                                                                                                                                                                                                        |
+  | <code>Nhiệm_vụ của đường_ống Baku - Tbilisi - Ceyhan là gì ?</code>                        | <code>Thổ_Nhĩ_Kỳ chia_sẻ di_sản văn_hóa_và ngôn_ngữ chung với các quốc_gia Turk độc_lập từ Liên_Xô vào năm 1991 , điều này cho phép Thổ_Nhĩ_Kỳ khoách trương quan_hệ kinh_tế và chính_trị sâu vào Trung_Á , Đường_ống Baku - Tbilisi - Ceyhan tạo thành bộ_phận trong chiến_lược chính_sách đối_ngoại của Thổ_Nhĩ_Kỳ để trở_thành một nơi chuyển_tiếp năng_lượng đến phương Tây . Tuy_nhiên , biên_giới Thổ_Nhĩ_Kỳ - Armenia bị đóng_cửa do Thổ_Nhĩ_Kỳ ủng_hộ Azerbaijan trong Chiến_tranh Nagorno - Karabakh và nay vẫn bị đóng_cửa .</code>                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                            |
+  | <code>Vì_sao Vua và Hoàng_hậu không thích Voltaire và đuổi ông ra khỏi Versailles ?</code> | <code>Những năm 1740 Voltaire được triều đình chào_đón với tư_cách nhà viết kịch và nhà_thơ , nhưng do xuất_thân thấp_kém ( ông là con của một công_chứng_viên và cha_ông cũng là người Jansen ) khiến Vua và Hoàng_hậu thấy không vừa_mắt , cuối_cùng ông buộc phải rời khỏi Versailles . Ông đến Berlin , trở_thành một cố_vấn cho Friedrich Đại_đế , trước khi đến sống ở Genève và Savoia cách xa Paris . Một trong những đề_xuất nổi_tiếng của Voltaire được Louis XV chú_ý ; khi Nhà_vua đàn_áp Nghị_viện của giới quý_tộc , yêu_cầu tất_cả tầng_lớp đều phải nộp thuế như nhau , và loại_bỏ những cáo_buộc của những họ . Ông nói : " Nghị_viện của vua ! Các ngươi có trách_nhiệm trả lại công_lý cho người dân ! Trả lại công_lý cho chính các ngươi ! ... Trên thế_giới không có tòa_án nào dám tranh_giành quyền_lực với quân vương . " Tuy_nhiên , những năm cuối thời nhà_vua không có cải_cách nào , gây não_lòng cho Voltaire . Khi nhà_vua băng_hà , Voltaire viết về thời_kì này , " 56 năm , qua đi với những mệt_mỏi và nhữ...</code> |
+* Loss: [<code>CachedMultipleNegativesRankingLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#cachedmultiplenegativesrankingloss) with these parameters:
+  ```json
+  {
+      "scale": 20.0,
+      "similarity_fct": "cos_sim"
+  }
+  ```
+
+### Training Hyperparameters
+#### Non-Default Hyperparameters
+
+- `eval_strategy`: steps
+- `per_device_train_batch_size`: 32
+- `per_device_eval_batch_size`: 32
+- `learning_rate`: 2e-05
+- `weight_decay`: 0.01
+- `num_train_epochs`: 5
+- `warmup_ratio`: 0.1
+- `warmup_steps`: 50
+- `fp16`: True
+- `load_best_model_at_end`: True
+- `batch_sampler`: no_duplicates
+
+#### All Hyperparameters
+<details><summary>Click to expand</summary>
+
+- `overwrite_output_dir`: False
+- `do_predict`: False
+- `eval_strategy`: steps
+- `prediction_loss_only`: True
+- `per_device_train_batch_size`: 32
+- `per_device_eval_batch_size`: 32
+- `per_gpu_train_batch_size`: None
+- `per_gpu_eval_batch_size`: None
+- `gradient_accumulation_steps`: 1
+- `eval_accumulation_steps`: None
+- `torch_empty_cache_steps`: None
+- `learning_rate`: 2e-05
+- `weight_decay`: 0.01
+- `adam_beta1`: 0.9
+- `adam_beta2`: 0.999
+- `adam_epsilon`: 1e-08
+- `max_grad_norm`: 1.0
+- `num_train_epochs`: 5
+- `max_steps`: -1
+- `lr_scheduler_type`: linear
+- `lr_scheduler_kwargs`: {}
+- `warmup_ratio`: 0.1
+- `warmup_steps`: 50
+- `log_level`: passive
+- `log_level_replica`: warning
+- `log_on_each_node`: True
+- `logging_nan_inf_filter`: True
+- `save_safetensors`: True
+- `save_on_each_node`: False
+- `save_only_model`: False
+- `restore_callback_states_from_checkpoint`: False
+- `no_cuda`: False
+- `use_cpu`: False
+- `use_mps_device`: False
+- `seed`: 42
+- `data_seed`: None
+- `jit_mode_eval`: False
+- `use_ipex`: False
+- `bf16`: False
+- `fp16`: True
+- `fp16_opt_level`: O1
+- `half_precision_backend`: auto
+- `bf16_full_eval`: False
+- `fp16_full_eval`: False
+- `tf32`: None
+- `local_rank`: 0
+- `ddp_backend`: None
+- `tpu_num_cores`: None
+- `tpu_metrics_debug`: False
+- `debug`: []
+- `dataloader_drop_last`: False
+- `dataloader_num_workers`: 0
+- `dataloader_prefetch_factor`: None
+- `past_index`: -1
+- `disable_tqdm`: False
+- `remove_unused_columns`: True
+- `label_names`: None
+- `load_best_model_at_end`: True
+- `ignore_data_skip`: False
+- `fsdp`: []
+- `fsdp_min_num_params`: 0
+- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
+- `fsdp_transformer_layer_cls_to_wrap`: None
+- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
+- `deepspeed`: None
+- `label_smoothing_factor`: 0.0
+- `optim`: adamw_torch
+- `optim_args`: None
+- `adafactor`: False
+- `group_by_length`: False
+- `length_column_name`: length
+- `ddp_find_unused_parameters`: None
+- `ddp_bucket_cap_mb`: None
+- `ddp_broadcast_buffers`: False
+- `dataloader_pin_memory`: True
+- `dataloader_persistent_workers`: False
+- `skip_memory_metrics`: True
+- `use_legacy_prediction_loop`: False
+- `push_to_hub`: False
+- `resume_from_checkpoint`: None
+- `hub_model_id`: None
+- `hub_strategy`: every_save
+- `hub_private_repo`: None
+- `hub_always_push`: False
+- `gradient_checkpointing`: False
+- `gradient_checkpointing_kwargs`: None
+- `include_inputs_for_metrics`: False
+- `include_for_metrics`: []
+- `eval_do_concat_batches`: True
+- `fp16_backend`: auto
+- `push_to_hub_model_id`: None
+- `push_to_hub_organization`: None
+- `mp_parameters`: 
+- `auto_find_batch_size`: False
+- `full_determinism`: False
+- `torchdynamo`: None
+- `ray_scope`: last
+- `ddp_timeout`: 1800
+- `torch_compile`: False
+- `torch_compile_backend`: None
+- `torch_compile_mode`: None
+- `dispatch_batches`: None
+- `split_batches`: None
+- `include_tokens_per_second`: False
+- `include_num_input_tokens_seen`: False
+- `neftune_noise_alpha`: None
+- `optim_target_modules`: None
+- `batch_eval_metrics`: False
+- `eval_on_start`: False
+- `use_liger_kernel`: False
+- `eval_use_gather_object`: False
+- `average_tokens_across_devices`: False
+- `prompts`: None
+- `batch_sampler`: no_duplicates
+- `multi_dataset_batch_sampler`: proportional
+
+</details>
+
+### Training Logs
+| Epoch  | Step | Training Loss | Validation Loss |
+|:------:|:----:|:-------------:|:---------------:|
+| 0.1704 | 100  | 0.452         | -               |
+| 0.3407 | 200  | 0.4073        | -               |
+| 0.5111 | 300  | 0.345         | 0.2883          |
+| 0.6814 | 400  | 0.311         | -               |
+| 0.8518 | 500  | 0.2969        | -               |
+| 1.0221 | 600  | 0.2561        | 0.2137          |
+| 1.1925 | 700  | 0.2255        | -               |
+| 1.3629 | 800  | 0.2027        | -               |
+| 1.5332 | 900  | 0.1978        | 0.1811          |
+| 1.7036 | 1000 | 0.1954        | -               |
+| 1.8739 | 1100 | 0.1753        | -               |
+| 2.0443 | 1200 | 0.1559        | 0.1599          |
+| 2.2147 | 1300 | 0.1155        | -               |
+| 2.3850 | 1400 | 0.1143        | -               |
+| 2.5554 | 1500 | 0.1196        | 0.1572          |
+| 2.7257 | 1600 | 0.1258        | -               |
+| 2.8961 | 1700 | 0.1271        | -               |
+| 3.0664 | 1800 | 0.1025        | 0.1463          |
+| 3.2368 | 1900 | 0.0802        | -               |
+| 3.4072 | 2000 | 0.0716        | -               |
+| 3.5775 | 2100 | 0.0913        | 0.1401          |
+| 3.7479 | 2200 | 0.0801        | -               |
+| 3.9182 | 2300 | 0.0835        | -               |
+| 4.0886 | 2400 | 0.0663        | 0.1323          |
+| 4.2589 | 2500 | 0.0525        | -               |
+| 4.4293 | 2600 | 0.0462        | -               |
+| 4.5997 | 2700 | 0.0476        | 0.1282          |
+
+
+### Framework Versions
+- Python: 3.11.10
+- Sentence Transformers: 3.4.1
+- Transformers: 4.49.0
+- PyTorch: 2.5.1+cu124
+- Accelerate: 1.4.0
+- Datasets: 3.3.2
+- Tokenizers: 0.21.0
+
+## Citation
+
+### BibTeX
+
+#### Sentence Transformers
+```bibtex
+@inproceedings{reimers-2019-sentence-bert,
+    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
+    author = "Reimers, Nils and Gurevych, Iryna",
+    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
+    month = "11",
+    year = "2019",
+    publisher = "Association for Computational Linguistics",
+    url = "https://arxiv.org/abs/1908.10084",
+}
+```
+
+#### CachedMultipleNegativesRankingLoss
+```bibtex
+@misc{gao2021scaling,
+    title={Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup},
+    author={Luyu Gao and Yunyi Zhang and Jiawei Han and Jamie Callan},
+    year={2021},
+    eprint={2101.06983},
+    archivePrefix={arXiv},
+    primaryClass={cs.LG}
+}
+```
+
+<!--
+## Glossary
+
+*Clearly define terms in order to be accessible across audiences.*
+-->
+
+<!--
+## Model Card Authors
+
+*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
+-->
+
+<!--
+## Model Card Contact
+
+*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
+-->

added_tokens.json

@@ -0,0 +1,3 @@
+{
+  "<mask>": 64000
+}

config.json

@@ -0,0 +1,29 @@
+{
+  "_name_or_path": "VoVanPhuc/sup-SimCSE-VietNamese-phobert-base",
+  "architectures": [
+    "RobertaModel"
+  ],
+  "attention_probs_dropout_prob": 0.1,
+  "bos_token_id": 0,
+  "classifier_dropout": null,
+  "eos_token_id": 2,
+  "gradient_checkpointing": false,
+  "hidden_act": "gelu",
+  "hidden_dropout_prob": 0.1,
+  "hidden_size": 768,
+  "initializer_range": 0.02,
+  "intermediate_size": 3072,
+  "layer_norm_eps": 1e-05,
+  "max_position_embeddings": 258,
+  "model_type": "roberta",
+  "num_attention_heads": 12,
+  "num_hidden_layers": 12,
+  "pad_token_id": 1,
+  "position_embedding_type": "absolute",
+  "tokenizer_class": "PhobertTokenizer",
+  "torch_dtype": "float32",
+  "transformers_version": "4.49.0",
+  "type_vocab_size": 1,
+  "use_cache": true,
+  "vocab_size": 64001
+}

config_sentence_transformers.json

@@ -0,0 +1,10 @@
+{
+  "__version__": {
+    "sentence_transformers": "3.4.1",
+    "transformers": "4.49.0",
+    "pytorch": "2.5.1+cu124"
+  },
+  "prompts": {},
+  "default_prompt_name": null,
+  "similarity_fn_name": "cosine"
+}

model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:df971d28c8f9a2c250a0c383f25467d773657fb1d1e5b9dd7c039eb7e7f9c612
+size 540015464

modules.json

@@ -0,0 +1,14 @@
+[
+  {
+    "idx": 0,
+    "name": "0",
+    "path": "",
+    "type": "sentence_transformers.models.Transformer"
+  },
+  {
+    "idx": 1,
+    "name": "1",
+    "path": "1_Pooling",
+    "type": "sentence_transformers.models.Pooling"
+  }
+]

scaler.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:276fb7d8815efb96961e637cc3511ec7432e60141223200692f89a1ce34aec5e
+size 988

scheduler.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:c379e6551ddc902d80eb027cd449fa065364fd213f578b4a48e1dee34d656f69
+size 1000

sentence_bert_config.json

@@ -0,0 +1,4 @@
+{
+  "max_seq_length": 256,
+  "do_lower_case": false
+}

special_tokens_map.json

@@ -0,0 +1,9 @@
+{
+  "bos_token": "<s>",
+  "cls_token": "<s>",
+  "eos_token": "</s>",
+  "mask_token": "<mask>",
+  "pad_token": "<pad>",
+  "sep_token": "</s>",
+  "unk_token": "<unk>"
+}

tokenizer_config.json

@@ -0,0 +1,55 @@
+{
+  "added_tokens_decoder": {
+    "0": {
+      "content": "<s>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "1": {
+      "content": "<pad>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "2": {
+      "content": "</s>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "3": {
+      "content": "<unk>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "64000": {
+      "content": "<mask>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    }
+  },
+  "bos_token": "<s>",
+  "clean_up_tokenization_spaces": false,
+  "cls_token": "<s>",
+  "eos_token": "</s>",
+  "extra_special_tokens": {},
+  "mask_token": "<mask>",
+  "model_max_length": 256,
+  "pad_token": "<pad>",
+  "sep_token": "</s>",
+  "tokenizer_class": "PhobertTokenizer",
+  "unk_token": "<unk>"
+}

trainer_state.json

@@ -0,0 +1,294 @@
+{
+  "best_metric": 0.12816983461380005,
+  "best_model_checkpoint": "models/simcse_nli/checkpoint-2700",
+  "epoch": 4.599659284497445,
+  "eval_steps": 300,
+  "global_step": 2700,
+  "is_hyper_param_search": false,
+  "is_local_process_zero": true,
+  "is_world_process_zero": true,
+  "log_history": [
+    {
+      "epoch": 0.17035775127768313,
+      "grad_norm": 10.242131233215332,
+      "learning_rate": 1.0442194992008525e-06,
+      "loss": 0.452,
+      "step": 100
+    },
+    {
+      "epoch": 0.34071550255536626,
+      "grad_norm": 12.709315299987793,
+      "learning_rate": 2.0990942994139587e-06,
+      "loss": 0.4073,
+      "step": 200
+    },
+    {
+      "epoch": 0.5110732538330494,
+      "grad_norm": 10.668478965759277,
+      "learning_rate": 3.1646244006393186e-06,
+      "loss": 0.345,
+      "step": 300
+    },
+    {
+      "epoch": 0.5110732538330494,
+      "eval_loss": 0.2883182466030121,
+      "eval_runtime": 4.4687,
+      "eval_samples_per_second": 467.024,
+      "eval_steps_per_second": 14.769,
+      "step": 300
+    },
+    {
+      "epoch": 0.6814310051107325,
+      "grad_norm": 8.99512767791748,
+      "learning_rate": 4.230154501864678e-06,
+      "loss": 0.311,
+      "step": 400
+    },
+    {
+      "epoch": 0.8517887563884157,
+      "grad_norm": 5.114564418792725,
+      "learning_rate": 5.295684603090038e-06,
+      "loss": 0.2969,
+      "step": 500
+    },
+    {
+      "epoch": 1.0221465076660987,
+      "grad_norm": 8.179150581359863,
+      "learning_rate": 6.361214704315397e-06,
+      "loss": 0.2561,
+      "step": 600
+    },
+    {
+      "epoch": 1.0221465076660987,
+      "eval_loss": 0.21374563872814178,
+      "eval_runtime": 4.3771,
+      "eval_samples_per_second": 476.8,
+      "eval_steps_per_second": 15.078,
+      "step": 600
+    },
+    {
+      "epoch": 1.192504258943782,
+      "grad_norm": 6.913379669189453,
+      "learning_rate": 7.426744805540758e-06,
+      "loss": 0.2255,
+      "step": 700
+    },
+    {
+      "epoch": 1.362862010221465,
+      "grad_norm": 8.154325485229492,
+      "learning_rate": 8.492274906766118e-06,
+      "loss": 0.2027,
+      "step": 800
+    },
+    {
+      "epoch": 1.533219761499148,
+      "grad_norm": 6.827843189239502,
+      "learning_rate": 9.557805007991477e-06,
+      "loss": 0.1978,
+      "step": 900
+    },
+    {
+      "epoch": 1.533219761499148,
+      "eval_loss": 0.18113651871681213,
+      "eval_runtime": 4.3256,
+      "eval_samples_per_second": 482.475,
+      "eval_steps_per_second": 15.258,
+      "step": 900
+    },
+    {
+      "epoch": 1.7035775127768313,
+      "grad_norm": 7.277975559234619,
+      "learning_rate": 1.0623335109216838e-05,
+      "loss": 0.1954,
+      "step": 1000
+    },
+    {
+      "epoch": 1.8739352640545146,
+      "grad_norm": Infinity,
+      "learning_rate": 1.1678209909429943e-05,
+      "loss": 0.1753,
+      "step": 1100
+    },
+    {
+      "epoch": 2.0442930153321974,
+      "grad_norm": 2.346864700317383,
+      "learning_rate": 1.27437400106553e-05,
+      "loss": 0.1559,
+      "step": 1200
+    },
+    {
+      "epoch": 2.0442930153321974,
+      "eval_loss": 0.1599235087633133,
+      "eval_runtime": 4.3243,
+      "eval_samples_per_second": 482.622,
+      "eval_steps_per_second": 15.263,
+      "step": 1200
+    },
+    {
+      "epoch": 2.2146507666098807,
+      "grad_norm": 10.32226848602295,
+      "learning_rate": 1.3809270111880662e-05,
+      "loss": 0.1155,
+      "step": 1300
+    },
+    {
+      "epoch": 2.385008517887564,
+      "grad_norm": 4.6704792976379395,
+      "learning_rate": 1.4874800213106022e-05,
+      "loss": 0.1143,
+      "step": 1400
+    },
+    {
+      "epoch": 2.555366269165247,
+      "grad_norm": 6.24005651473999,
+      "learning_rate": 1.5929675013319128e-05,
+      "loss": 0.1196,
+      "step": 1500
+    },
+    {
+      "epoch": 2.555366269165247,
+      "eval_loss": 0.1571945697069168,
+      "eval_runtime": 4.3479,
+      "eval_samples_per_second": 480.002,
+      "eval_steps_per_second": 15.18,
+      "step": 1500
+    },
+    {
+      "epoch": 2.72572402044293,
+      "grad_norm": 6.847057342529297,
+      "learning_rate": 1.6995205114544486e-05,
+      "loss": 0.1258,
+      "step": 1600
+    },
+    {
+      "epoch": 2.8960817717206133,
+      "grad_norm": 5.0385942459106445,
+      "learning_rate": 1.8060735215769846e-05,
+      "loss": 0.1271,
+      "step": 1700
+    },
+    {
+      "epoch": 3.0664395229982966,
+      "grad_norm": 4.6616339683532715,
+      "learning_rate": 1.9126265316995207e-05,
+      "loss": 0.1025,
+      "step": 1800
+    },
+    {
+      "epoch": 3.0664395229982966,
+      "eval_loss": 0.14631669223308563,
+      "eval_runtime": 4.4438,
+      "eval_samples_per_second": 469.644,
+      "eval_steps_per_second": 14.852,
+      "step": 1800
+    },
+    {
+      "epoch": 3.2367972742759794,
+      "grad_norm": 5.792238712310791,
+      "learning_rate": 1.965811965811966e-05,
+      "loss": 0.0802,
+      "step": 1900
+    },
+    {
+      "epoch": 3.4071550255536627,
+      "grad_norm": 3.1390063762664795,
+      "learning_rate": 1.7758784425451093e-05,
+      "loss": 0.0716,
+      "step": 2000
+    },
+    {
+      "epoch": 3.577512776831346,
+      "grad_norm": 4.66138219833374,
+      "learning_rate": 1.5859449192782527e-05,
+      "loss": 0.0913,
+      "step": 2100
+    },
+    {
+      "epoch": 3.577512776831346,
+      "eval_loss": 0.14008669555187225,
+      "eval_runtime": 4.3818,
+      "eval_samples_per_second": 476.285,
+      "eval_steps_per_second": 15.062,
+      "step": 2100
+    },
+    {
+      "epoch": 3.747870528109029,
+      "grad_norm": 13.112564086914062,
+      "learning_rate": 1.3960113960113961e-05,
+      "loss": 0.0801,
+      "step": 2200
+    },
+    {
+      "epoch": 3.918228279386712,
+      "grad_norm": 4.034947395324707,
+      "learning_rate": 1.2060778727445395e-05,
+      "loss": 0.0835,
+      "step": 2300
+    },
+    {
+      "epoch": 4.088586030664395,
+      "grad_norm": 2.825563430786133,
+      "learning_rate": 1.0161443494776829e-05,
+      "loss": 0.0663,
+      "step": 2400
+    },
+    {
+      "epoch": 4.088586030664395,
+      "eval_loss": 0.1323172152042389,
+      "eval_runtime": 4.4475,
+      "eval_samples_per_second": 469.254,
+      "eval_steps_per_second": 14.84,
+      "step": 2400
+    },
+    {
+      "epoch": 4.258943781942079,
+      "grad_norm": 4.776771068572998,
+      "learning_rate": 8.262108262108262e-06,
+      "loss": 0.0525,
+      "step": 2500
+    },
+    {
+      "epoch": 4.429301533219761,
+      "grad_norm": 4.005987644195557,
+      "learning_rate": 6.362773029439696e-06,
+      "loss": 0.0462,
+      "step": 2600
+    },
+    {
+      "epoch": 4.599659284497445,
+      "grad_norm": 2.7938332557678223,
+      "learning_rate": 4.463437796771131e-06,
+      "loss": 0.0476,
+      "step": 2700
+    },
+    {
+      "epoch": 4.599659284497445,
+      "eval_loss": 0.12816983461380005,
+      "eval_runtime": 4.4229,
+      "eval_samples_per_second": 471.859,
+      "eval_steps_per_second": 14.922,
+      "step": 2700
+    }
+  ],
+  "logging_steps": 100,
+  "max_steps": 2935,
+  "num_input_tokens_seen": 0,
+  "num_train_epochs": 5,
+  "save_steps": 300,
+  "stateful_callbacks": {
+    "TrainerControl": {
+      "args": {
+        "should_epoch_stop": false,
+        "should_evaluate": false,
+        "should_log": false,
+        "should_save": true,
+        "should_training_stop": false
+      },
+      "attributes": {}
+    }
+  },
+  "total_flos": 0.0,
+  "train_batch_size": 32,
+  "trial_name": null,
+  "trial_params": null
+}

training_args.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:e949735f6887af0627ea494e90b2b76f2d8c084bbe1f0ad47089b3f6330efa47
+size 5560