Upload checkpoint-12000
Browse files- checkpoints/checkpoint-12000/1_Pooling/config.json +10 -0
- checkpoints/checkpoint-12000/README.md +816 -0
- checkpoints/checkpoint-12000/config.json +45 -0
- checkpoints/checkpoint-12000/config_sentence_transformers.json +14 -0
- checkpoints/checkpoint-12000/model.safetensors +3 -0
- checkpoints/checkpoint-12000/modules.json +20 -0
- checkpoints/checkpoint-12000/optimizer.pt +3 -0
- checkpoints/checkpoint-12000/rng_state.pth +3 -0
- checkpoints/checkpoint-12000/scheduler.pt +3 -0
- checkpoints/checkpoint-12000/sentence_bert_config.json +4 -0
- checkpoints/checkpoint-12000/special_tokens_map.json +37 -0
- checkpoints/checkpoint-12000/tokenizer.json +0 -0
- checkpoints/checkpoint-12000/tokenizer_config.json +569 -0
- checkpoints/checkpoint-12000/trainer_state.json +1762 -0
- checkpoints/checkpoint-12000/training_args.bin +3 -0
checkpoints/checkpoint-12000/1_Pooling/config.json
ADDED
|
@@ -0,0 +1,10 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
{
|
| 2 |
+
"word_embedding_dimension": 384,
|
| 3 |
+
"pooling_mode_cls_token": false,
|
| 4 |
+
"pooling_mode_mean_tokens": true,
|
| 5 |
+
"pooling_mode_max_tokens": false,
|
| 6 |
+
"pooling_mode_mean_sqrt_len_tokens": false,
|
| 7 |
+
"pooling_mode_weightedmean_tokens": false,
|
| 8 |
+
"pooling_mode_lasttoken": false,
|
| 9 |
+
"include_prompt": true
|
| 10 |
+
}
|
checkpoints/checkpoint-12000/README.md
ADDED
|
@@ -0,0 +1,816 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
---
|
| 2 |
+
tags:
|
| 3 |
+
- sentence-transformers
|
| 4 |
+
- sentence-similarity
|
| 5 |
+
- feature-extraction
|
| 6 |
+
- dense
|
| 7 |
+
- generated_from_trainer
|
| 8 |
+
- dataset_size:365440
|
| 9 |
+
- loss:MatryoshkaLoss
|
| 10 |
+
- loss:CachedMultipleNegativesRankingLoss
|
| 11 |
+
base_model: QuangDuy/bert-tiny-stage2-hf
|
| 12 |
+
widget:
|
| 13 |
+
- source_sentence: Liệu số lượng Paracetamol hiện tại có đủ để đáp ứng nhu cầu sử
|
| 14 |
+
dụng hàng ngày không?
|
| 15 |
+
sentences:
|
| 16 |
+
- '| Mặt hàng | Nguồn gốc nhập khẩu | Tình trạng hiện tại | Số lượng cần thiết |
|
| 17 |
+
Ghi chú | | --- | --- | --- | --- | --- | | Khử trùng tay | Mỹ | Đủ dùng trong
|
| 18 |
+
1 tháng | 500 lít | Cần đặt mua thêm để dự trữ | | Khẩu trang y tế | Trung Quốc
|
| 19 |
+
| Đủ dùng trong 2 tuần | 10.000 cái | Cần tăng cường nguồn cung cấp | | Máy thở
|
| 20 |
+
| Đức | Chỉ còn 50% số lượng ban đầu | 30 máy | Cần liên hệ nhà cung cấp ngay
|
| 21 |
+
lập tức | | Giường bệnh | Việt Nam | Đủ dùng | - | - | | Thuốc men (Aspirin, Paracetamol)
|
| 22 |
+
| Ấn Độ | Đủ dùng trong 1 tháng | - | - | Bảng trên cho thấy tình hình cụ thể
|
| 23 |
+
về các mặt hàng hóa cần thiết trong lĩnh vực y tế. Mặc dù có đủ khẩu trang và
|
| 24 |
+
thuốc men để duy trì hoạt động trong khoảng thời gian nhất định, nhưng chúng ta
|
| 25 |
+
cần phải chuẩn bị sẵn sàng đối phó với tình hình khẩn cấp bằng cách mua thêm.
|
| 26 |
+
Đặc biệt, việc thiếu hụt máy thở là một vấn đề nghiêm trọng mà cần phải giải quyết
|
| 27 |
+
ngay lập tức.'
|
| 28 |
+
- '|STT|Tên Sản Phẩm|Số Lượng| |---|---|---| |1|Mebendazol|500 viên| |2|Paracetamol|1000
|
| 29 |
+
viên| |3|Amoxicillin|750 viên| |4|Ibuprofen|600 viên| Bảng trên cho thấy thông
|
| 30 |
+
tin về quản lý hàng hóa tại kho thuốc. Theo bảng, có bốn loại thuốc chính đang
|
| 31 |
+
được lưu trữ: Mebendazol, Paracetamol, Amoxicillin và Ibuprofen. Trong số này,
|
| 32 |
+
Paracetamol là loại thuốc có số lượng lớn nhất với 1000 viên, trong khi Mebendazol
|
| 33 |
+
có số lượng ít hơn với chỉ 500 viên. Điều này cho thấy nhu cầu sử dụng các loại
|
| 34 |
+
thuốc này tại cơ sở y tế. Vui lòng kiểm tra lại số lượng của từng loại thuốc để
|
| 35 |
+
đảm bảo rằng không có sự thiếu hụt hoặc quá tải trong kho.'
|
| 36 |
+
- '| STT | Tên Sản Phẩm | Mô tả | Số lượng | Giá (VND) | Nhà cung cấp | Ngày cập
|
| 37 |
+
nhật | | --- | --- | --- | --- | --- | --- | --- | | 1 | Bình chữa cháy CO2 5kg
|
| 38 |
+
| Dùng để dập lửa từ thiết bị điện, dầu mỡ | 45 | 750.000 | Công ty TNHH Thiết
|
| 39 |
+
Bị PCCC Hà Nội | 2024-06-20 | | 2 | Vòi chữa cháy tự động | Hệ thống hoạt động
|
| 40 |
+
tự động khi phát hiện nhiệt độ cao | 30 | 3.500.000 | Công ty CP PCCC Việt Nam
|
| 41 |
+
| 2024-06-19 | | 3 | Áo chống cháy | Chất liệu chống cháy, bảo vệ người dùng khỏi
|
| 42 |
+
nhiệt độ cao | 50 | 450.000 | Công ty TNHH Bảo Hộ Lao Động Anh Tuấn | 2024-06-20
|
| 43 |
+
| | 4 | Mặt nạ phòng độc | Loại bỏ khí độc trong môi trường cháy | 60 | 250.000
|
| 44 |
+
| Công ty TNHH Thiết Bị PCCC Đồng Nai | 2024-06-18 | | 5 | Hệ thống báo cháy tự
|
| 45 |
+
động | Phát hiện và cảnh báo sớm khi có dấu hiệu cháy | 15 | 10.000.000 | Công
|
| 46 |
+
ty Cổ phần PCCC Sài Gòn | 2024-06-21 | Bảng trên liệt kê một số sản phẩm chính
|
| 47 |
+
liên quan đến việc phòng cháy chữa cháy. Với đa dạng các loại thiết bị từ bình
|
| 48 |
+
chữa cháy, vòi nước tự động cho đến mặt nạ phòng độc và áo chống cháy, chúng đều
|
| 49 |
+
được cung cấp bởi những nhà cung cấp uy tín. Đặc biệt, hệ thống báo cháy tự động
|
| 50 |
+
với giá trị cao nhất nhưng lại đóng vai trò quan trọng trong việc phát hiện sớm
|
| 51 |
+
nguy cơ cháy nổ.'
|
| 52 |
+
- source_sentence: Ngày kiểm tra cuối cùng cho tất cả các thiết bị/dụng cụ diễn ra
|
| 53 |
+
vào ngày nào?
|
| 54 |
+
sentences:
|
| 55 |
+
- 'Dưới đây là bảng quản lý thiết bị: | STT | Tên Thiết Bị/Dụng Cụ | Số Lượng Hiện
|
| 56 |
+
Tại | Tình Trạng | Ngày Kiểm Tra Cuối Cùng | Ngày Dự Kiến Kiểm Tra Tiếp Theo |
|
| 57 |
+
| --- | ------------------- | -------------- | --------- | ---------------------
|
| 58 |
+
| --------------------------------- | | 1 | Xét nghiệm Covid-19 | 500 | Tốt |
|
| 59 |
+
2024-06-15 | 2024-07-01 | | 2 | Bộ bảo hộ toàn thân | 200 | Cần sửa chữa | 2024-06-18
|
| 60 |
+
| 2024-06-30 | | 3 | Kính bảo hộ | 150 | Tốt | 2024-06-10 | 2024-07-10 | | 4 |
|
| 61 |
+
Khẩu trang y tế | 1000 | Tốt | 2024-06-20 | 2024-08-01 | | 5 | Găng tay y tế |
|
| 62 |
+
800 | Tốt | 2024-06-15 | 2024-07-15 | | 6 | Máy đo huyết áp | 20 | Cần sửa chữa
|
| 63 |
+
| 2024-06-10 | 2024-06-25 | | 7 | Máy đo nhiệt độ | 10 | Tốt | 2024-06-20 | 2024-08-01
|
| 64 |
+
| | 8 | Máy oxy | 5 | Cần sửa chữa | 2024-06-15 | 2024-07-01 | | 9 | Máy hút dịch
|
| 65 |
+
| 10 | Tốt | 2024-06-10 | 2024-07-10 | | 10 | Đèn soi | 15 | Tốt | 2024-06-20
|
| 66 |
+
| 2024-08-01 |'
|
| 67 |
+
- 'Dưới đây là bảng "Quản lý đơn hàng" theo yêu cầu: | Mã Đơn Hàng | Ngày Đặt Hàng
|
| 68 |
+
| Thông Tin Khách Hàng | | --- | --- | --- | | DH001 | 2024-06-15 | Nguyễn Văn
|
| 69 |
+
A, 123 Đường B, Quận C, TP.HCM, 0987654321 | | DH002 | 2024-06-16 | Lê Thị B,
|
| 70 |
+
456 Đường D, Quận E, Hà Nội, 0987654320 | | DH003 | 2024-06-17 | Trần Văn C, 789
|
| 71 |
+
Đường F, Quận G, Đà Nẵng, 0987654319 | | DH004 | 2024-06-18 | Phạm Thị D, 101
|
| 72 |
+
Đường H, Quận I, Cần Thơ, 0987654318 | | DH005 | 2024-06-19 | Võ Văn E, 102 Đường
|
| 73 |
+
J, Quận K, Bình Dương, 0987654317 | | DH006 | 2024-06-20 | Nguyễn Thị F, 103 Đường
|
| 74 |
+
L, Quận M, Đồng Nai, 0987654316 | | DH007 | 2024-06-20 | Trần Văn G, 104 Đường
|
| 75 |
+
N, Quận O, Long An, 0987654315 | | DH008 | 2024-06-20 | Lê Thị H, 105 Đường P,
|
| 76 |
+
Quận Q, Hải Phòng, 0987654314 | | DH009 | 2024-06-20 | Nguyễn Văn I, 106 Đường
|
| 77 |
+
R, Quận S, Quảng Nam, 0987654313 | Bảng trên cung cấp thông tin chi tiết về 9
|
| 78 |
+
đơn hàng đã được đặt từ ngày 15 đến 20 tháng 6 năm 2024. Mỗi dòng đại diện cho
|
| 79 |
+
một đơn hàng riêng biệt, bao gồm mã số đơn hàng và ngày đặt hàng. Đặc biệt, thông
|
| 80 |
+
tin khách hàng như tên, địa chỉ và số điện thoại cũng được liệt kê rõ ràng. Điều
|
| 81 |
+
này giúp công ty dễ dàng liên lạc và giao hàng đúng nơi, đúng người.'
|
| 82 |
+
- 'Dưới đây là bảng quản lý thiết bị và bảo trì: | Mã Thiết Bị | Tên Thiết Bị |
|
| 83 |
+
Ngày Mua | Thời Gian Bảo Trì Cuối Cùng | Thời Gian Bảo Trì Kế Tiếp | Tình Trạng
|
| 84 |
+
| Ghi Chú | | --- | --- | --- | --- | --- | --- | --- | | D001 | Máy In HP LaserJet
|
| 85 |
+
Pro | 2023-07-15 | 2024-05-20 | 2024-08-20 | Hoạt Động | Cần kiểm tra mực in |
|
| 86 |
+
| D002 | Máy Lạnh Panasonic | 2022-06-10 | 2024-05-01 | 2024-09-01 | Hoạt Động
|
| 87 |
+
| | | D003 | Máy Tính Dell Latitude | 2023-01-01 | 2024-04-20 | 2024-07-20 | Hoạt
|
| 88 |
+
Động | Cần cập nhật phần mềm | | D004 | Máy Chiếu Sony | 2022-12-10 | 2024-05-15
|
| 89 |
+
| 2024-08-15 | Hoạt Động | | | D005 | Máy Photocopy Canon | 2023-02-01 | 2024-06-01
|
| 90 |
+
| 2024-09-01 | Hoạt Động | Cần thay thế bộ phận mòn | | D006 | Hệ Thống Lọc Nước
|
| 91 |
+
| 2022-05-20 | 2024-05-10 | 2024-08-10 | Hoạt Động | | | D007 | Máy Phát Điện
|
| 92 |
+
Dự Phòng | 2022-08-15 | 2024-06-15 | 2024-09-15 | Hoạt Động | |'
|
| 93 |
+
- source_sentence: Chi phí quản lý dự án cụ thể bao gồm những khoản nào và kéo dài
|
| 94 |
+
trong bao lâu?
|
| 95 |
+
sentences:
|
| 96 |
+
- 'Dưới đây là bảng "Quản lý kho đàn tính" mà bạn yêu cầu: | STT | Số lượng hiện
|
| 97 |
+
có | Tình trạng tồn kho | Nơi mua | Ngày mua | Chất liệu | Kích thước | Giá mua
|
| 98 |
+
| | --- | --- | --- | --- | --- | --- | --- | --- | | 1 | 15 | Tốt | Cửa hàng
|
| 99 |
+
Nhạc cụ Thành Đạt | 2023-12-15 | Gỗ hồng sắc | 90x40x15 cm | 6,000,000 VND | |
|
| 100 |
+
2 | 10 | Tốt | Cửa hàng Nhạc cụ Hoàng Phúc | 2024-01-20 | Gỗ thông | 80x35x12
|
| 101 |
+
cm | 4,500,000 VND | | 3 | 7 | Có vấn đề nhỏ | Cửa hàng Nhạc cụ Thành Đạt | 2024-02-10
|
| 102 |
+
| Gỗ tần bì | 100x45x18 cm | 7,500,000 VND | | 4 | 5 | Tốt | Cửa hàng Nhạc cụ
|
| 103 |
+
Hoàng Phúc | 2024-03-15 | Gỗ sồi | 95x42x16 cm | 7,000,000 VND | | 5 | 20 | Tốt
|
| 104 |
+
| Cửa hàng Nhạc cụ Thành Đạt | 2024-04-20 | Gỗ hồng sắc | 85x38x14 cm | 5,500,000
|
| 105 |
+
VND | | 6 | 12 | Tốt | Cửa hàng Nhạc cụ Hoàng Phúc | 2024-05-10 | Gỗ thông | 80x35x12
|
| 106 |
+
cm | 4,500,000 VND | | 7 | 3 | Tốt | Cửa hàng Nhạc cụ Thành Đạt | 2024-06-05 |
|
| 107 |
+
Gỗ tần bì | 100x45x18 cm | 7,500,000 VND | Bảng trên cho thấy tổng số lượng đàn
|
| 108 |
+
tính hiện có trong kho là 72 chiếc. Hầu hết các sản phẩm đều ở tình trạng tốt,
|
| 109 |
+
chỉ duy nhất lô hàng thứ 3 từ Cửa hàng Nhạc cụ Thành Đạt có một số vấn đề nhỏ.
|
| 110 |
+
Các loại gỗ được sử dụng chủ yếu là gỗ hồng sắc, gỗ thông và gỗ tần bì. Giá mua
|
| 111 |
+
của mỗi chiếc đàn tính dao động từ 4,500,000 VND đến 7,500,000 VND.'
|
| 112 |
+
- 'Dưới đây là bảng "Quản lý tài chính dự án khu đô thị du lịch sinh thái Đại Phước"
|
| 113 |
+
mà bạn yêu cầu: | STT | Mục chi tiết | Tổng chi (tỷ VND) | Thời gian chi (tháng)
|
| 114 |
+
| Ghi chú | | --- | --- | --- | --- | --- | | 1 | Chi phí mua đất | 500 | 1-3
|
| 115 |
+
| Bao gồm thuế và phí chuyển nhượng | | 2 | Chi phí xây dựng cơ bản | 800 | 4-18
|
| 116 |
+
| Bao gồm vật liệu, nhân công và thiết bị | | 3 | Chi phí quản lý dự án | 100
|
| 117 |
+
| 1-24 | Bao gồm lương nhân viên, văn phòng phẩm | | 4 | Chi phí tiếp thị và quảng
|
| 118 |
+
cáo | 50 | 19-24 | Bao gồm chi phí cho các chiến dịch quảng cáo | | 5 | Chi phí
|
| 119 |
+
dự phòng | 200 | 1-24 | Dùng để đối phó với các rủi ro không lường trước | Tổng
|
| 120 |
+
số tiền đã chi cho dự án này lên tới 1650 tỷ VND. Phần lớn ngân sách được dùng
|
| 121 |
+
vào việc mua đất và xây dựng cơ bản. Trong khi đó, chi phí quản lý dự án và tiếp
|
| 122 |
+
thị chiếm tỷ lệ nhỏ hơn. Đặc biệt, có một khoản chi phí dự phòng khá lớn nhằm
|
| 123 |
+
đảm bảo dự án có thể tiếp tục trong trường hợp gặp phải những khó khăn không lường
|
| 124 |
+
trước.'
|
| 125 |
+
- 'Dưới đây là bảng "Quản lý tài chính dự án D2Eight" theo yêu cầu của bạn: | STT
|
| 126 |
+
| Mục chi tiết | Kế hoạch (VNĐ) | Thực tế (VNĐ) | Chênh lệch (VNĐ) | | --- | ---
|
| 127 |
+
| --- | --- | --- | | 1 | Chi phí nhân sự | 500,000,000 | 480,000,000 | -20,000,000
|
| 128 |
+
| | 2 | Chi phí vận hành | 300,000,000 | 320,000,000 | 20,000,000 | | 3 | Chi
|
| 129 |
+
phí nguyên vật liệu | 700,000,000 | 690,000,000 | -10,000,000 | | 4 | Chi phí
|
| 130 |
+
quảng cáo và tiếp thị | 200,000,000 | 180,000,000 | -20,000,000 | | 5 | Chi phí
|
| 131 |
+
không lường trước | 100,000,000 | 120,000,000 | 20,000,000 | | 6 | Tổng chi phí
|
| 132 |
+
| 1,800,000,000 | 1,790,000,000 | -10,000,000 |'
|
| 133 |
+
- source_sentence: Mục tiêu khởi nghiệp cần tỷ lệ phần trăm thu nhập hàng tháng cần
|
| 134 |
+
tiết kiệm và tổng số tiền cuối kỳ dự kiến là bao nhiêu?
|
| 135 |
+
sentences:
|
| 136 |
+
- 'Dưới đây là bảng thể hiện mục tiêu và kế hoạch khởi nghiệp: | STT | Tên Dự Án
|
| 137 |
+
| Mô Tả Dự Án | Thời Gian Bắt Đầu | Thời Gian Kết Thúc | Mục Tiêu Kinh Doanh |
|
| 138 |
+
Kế Hoạch Tiếp Thị | Ngân Sách Dự Kiến | | --- | --- | --- | --- | --- | --- |
|
| 139 |
+
--- | --- | | 1 | Phát triển ứng dụng quản lý tài chính cá nhân | Ứng dụng giúp
|
| 140 |
+
người dùng theo dõi, kiểm soát chi tiêu cá nhân. | 2024-06-25 | 2024-12-31 | Thu
|
| 141 |
+
hút 100.000 người dùng trong 6 tháng đầu tiên. | Sử dụng quảng cáo trực tuyến,
|
| 142 |
+
SEO, và tiếp thị qua email. | $150.000 | | 2 | Cửa hàng thực phẩm hữu cơ trực
|
| 143 |
+
tuyến | Bán các sản phẩm thực phẩm hữu cơ từ nông trại địa phương. | 2024-07-01
|
| 144 |
+
| 2025-06-30 | Đạt doanh thu 500 triệu VND sau 1 năm hoạt động. | Tổ chức sự kiện
|
| 145 |
+
ra mắt, hợp tác với các blogger ẩm thực. | $200.000 | | 3 | Dịch vụ thiết kế web
|
| 146 |
+
cho doanh nghiệp nhỏ | Cung cấp dịch vụ thiết kế web chuyên nghiệp, giá cả phải
|
| 147 |
+
chăng. | 2024-08-01 | 2025-07-31 | Hợp tác với 50 khách hàng trong năm đầu tiên.
|
| 148 |
+
| Quảng bá thông qua mạng xã hội và tham gia các buổi họp mặt doanh nghiệp. |
|
| 149 |
+
$100.000 | Từ bảng trên, chúng ta thấy rằng mỗi dự án đều có mục tiêu kinh doanh
|
| 150 |
+
rõ ràng, cụ thể. Kế hoạch tiếp thị được lựa chọn phù hợp với từng loại dự án.
|
| 151 |
+
Ngân sách dự kiến cũng đã được tính toán cẩn thận để đảm bảo việc triển khai dự
|
| 152 |
+
án một cách hiệu quả.'
|
| 153 |
+
- '| Mã Hàng Hóa | Tên Hàng Hóa | Số Lượng | Tình Trạng | Vị Trí Kho | Ngày Cập
|
| 154 |
+
Nhật | | --- | --- | --- | --- | --- | --- | | HH001 | Bột giặt Xanh | 250 | Có
|
| 155 |
+
sẵn | Khu vực A1 | 2024-06-19 | | HH002 | Dầu ăn Hạt Nào | 300 | Có sẵn | Khu
|
| 156 |
+
vực B2 | 2024-06-20 | | HH003 | Muối tinh khiết | 100 | Có sẵn | Khu vực C3 |
|
| 157 |
+
2024-06-18 | | HH004 | Sữa tươi không đường | 0 | Hết hàng | Khu vực D4 | 2024-06-20
|
| 158 |
+
| | HH005 | Phở khô loại đặc biệt | 50 | Có sẵn | Khu vực E5 | 2024-06-17 | |
|
| 159 |
+
HH006 | Bánh mì tươi | 200 | Có sẵn | Khu vực F6 | 2024-06-20 | | HH007 | Trái
|
| 160 |
+
cây sấy khô | 150 | Có sẵn | Khu vực G7 | 2024-06-19 | | HH008 | Bia nhập khẩu
|
| 161 |
+
| 400 | Có sẵn | Khu vực H8 | 2024-06-20 | | HH009 | Bánh quy sữa | 10 | Có sẵn
|
| 162 |
+
| Khu vực I9 | 2024-06-18 | Bảng "Quản lý Kho" trên cho thấy thông tin chi tiết
|
| 163 |
+
về số lượng, tình trạng và vị trí của từng mặt hàng trong kho. Có thể thấy, hàng
|
| 164 |
+
hóa đa dạng từ thực phẩm đến đồ uống. Một điểm đáng chú ý là mặt hàng "Sữa tươi
|
| 165 |
+
không đường" đang hết hàng, cần được bổ sung sớm để đảm bảo cung cấp đủ cho nhu
|
| 166 |
+
cầu.'
|
| 167 |
+
- '|STT| Mục tiêu tài chính | Kế hoạch tiết kiệm | Kế hoạch đầu tư | Thời gian thực
|
| 168 |
+
hiện | Số tiền dự kiến tiết kiệm | Lợi nhuận dự kiến từ đầu tư | Tổng số tiền
|
| 169 |
+
cuối kỳ | |---|------------------|---------------------|-----------------|-------------------|-----------------------------|-----------------------------|----------------------|
|
| 170 |
+
|1| Tích lũy quỹ hưu trí| Tiết kiệm 20% thu nhập hàng tháng| Đầu tư vào cổ phiếu
|
| 171 |
+
và trái phiếu| 5 năm| 300 triệu| 150 triệu| 450 triệu| |2| Mua nhà| Tiết kiệm
|
| 172 |
+
30% thu nhập hàng tháng| Đầu tư vào bất động sản| 10 năm| 600 triệu| 300 triệu|
|
| 173 |
+
900 triệu| |3| Du lịch quốc tế| Tiết kiệm 10% thu nhập hàng tháng| Đầu tư vào
|
| 174 |
+
vàng| 2 năm| 100 triệu| 20 triệu| 120 triệu| |4| Giáo dục con cái| Tiết kiệm 25%
|
| 175 |
+
thu nhập hàng tháng| Đầu tư vào quỹ học bổng| 15 năm| 750 triệu| 375 triệu| 1,125
|
| 176 |
+
tỷ| |5| Khởi nghiệp| Tiết kiệm 15% thu nhập hàng tháng| Đầu tư vào thị trường
|
| 177 |
+
chứng khoán| 3 năm| 225 triệu| 112.5 triệu| 337.5 triệu| Bảng trên mô tả kế hoạch
|
| 178 |
+
quản lý tài chính cụ thể của một người với mục tiêu rõ ràng như tích lũy quỹ hưu
|
| 179 |
+
trí, mua nhà, du lịch quốc tế, giáo dục con cái và khởi nghiệp. Người này đã lên
|
| 180 |
+
kế hoạch tiết kiệm một phần nhất định của thu nhập hàng tháng để đạt được mục
|
| 181 |
+
tiêu tài chính. Đồng thời, họ cũng đã chọn các kênh đầu tư khác nhau như cổ phiếu,
|
| 182 |
+
trái phiếu, bất động sản, vàng và thị trường chứng khoán để tối ưu hóa lợi nhuận.
|
| 183 |
+
Tổng số tiền cuối kỳ cho thấy rằng, thông qua việc lập kế hoạch tài chính cẩn
|
| 184 |
+
thận, người này có thể đạt được mục tiêu tài chính của mình trong tương lai.'
|
| 185 |
+
- source_sentence: Tổng số tiền mà người chơi đã chi tiêu vào việc mua vé lô đề và
|
| 186 |
+
trò chơi số từ ngày 10 đến 16 tháng 6 năm 2024 là bao nhiêu?
|
| 187 |
+
sentences:
|
| 188 |
+
- 'Dưới đây là bảng "Quản lý lô đề và trò chơi số" theo yêu cầu của bạn: | STT |
|
| 189 |
+
Tên Trò Chơi | Số Lô Đề | Ngày Mua | Giá Mua | Tình Trạng | Số Trúng | Ngày Trúng
|
| 190 |
+
| Giá Trúng | Lợi Nhược | | --- | ------------ | -------- | -------- | -------
|
| 191 |
+
| ---------- | -------- | ---------- | --------- | --------- | | 1 | Keno | 12345
|
| 192 |
+
| 2024-06-10 | 10000 VND | Đã mua | 12345 | 2024-06-15 | 500000 VND | Lợi | |
|
| 193 |
+
2 | Xổ Số Miền Bắc | 67890 | 2024-06-12 | 15000 VND | Đã mua | | | | Thua | |
|
| 194 |
+
3 | Power 6/55 | 112233 | 2024-06-13 | 20000 VND | Đã mua | | | | Thua | | 4 |
|
| 195 |
+
Xổ Số Miền Nam | 445566 | 2024-06-14 | 10000 VND | Đã mua | 445566 | 2024-06-18
|
| 196 |
+
| 1000000 VND | Lợi | | 5 | Mega 6/45 | 778899 | 2024-06-15 | 10000 VND | Đã mua
|
| 197 |
+
| | | | Thua | | 6 | Vietlott Max 4D | 101010 | 2024-06-16 | 25000 VND | Đã mua
|
| 198 |
+
| | | | Thua |'
|
| 199 |
+
- '| Ngày | Số tiền đặt cược | Tỷ lệ thắng thua | Lợi nhuận | | --- | --- | ---
|
| 200 |
+
| --- | | 2024-06-15 | 500,000 VND | 1:2 | 1,000,000 VND | | 2024-06-16 | 750,000
|
| 201 |
+
VND | 1:3 | 2,250,000 VND | | 2024-06-17 | 1,000,000 VND | 1:1.5 | 500,000 VND
|
| 202 |
+
| | 2024-06-18 | 1,250,000 VND | 1:2 | 2,500,000 VND | | 2024-06-19 | 1,500,000
|
| 203 |
+
VND | 1:1 | 0 VND | | 2024-06-20 | 1,750,000 VND | 1:2.5 | 4,375,000 VND |'
|
| 204 |
+
- 'Dưới đây là bảng "Tích hợp Hệ thống" theo yêu cầu của bạn: | Mã Dự Án | Tên Dự
|
| 205 |
+
Án | Ngày Bắt Đầu | Ngày Kết Thúc Dự kiến | Trạng Thái | Ghi Chú | | --- | ---
|
| 206 |
+
| --- | --- | --- | --- | | PRJ001 | Tích hợp hệ thống quản lý kho | 2023-08-15
|
| 207 |
+
| 2024-06-30 | Hoàn thành 90% | Đang trong giai đoạn kiểm thử cuối cùng. | | PRJ002
|
| 208 |
+
| Cập nhật hệ thống CRM | 2023-10-01 | 2024-07-15 | Hoàn thành 75% | Đang tiến
|
| 209 |
+
hành đào tạo cho nhân viên về hệ thống mới. | | PRJ003 | Tích hợp hệ thống ERP
|
| 210 |
+
| 2023-12-01 | 2024-08-31 | Hoàn thành 50% | Tiến độ đang chậm so với kế hoạch
|
| 211 |
+
do vấn đề kỹ thuật. | | PRJ004 | Phát triển hệ thống quản lý dự án | 2024-01-15
|
| 212 |
+
| 2024-09-30 | Hoàn thành 30% | Đang thực hiện giai đoạn phát triển phần mềm.
|
| 213 |
+
| | PRJ005 | Cải tiến hệ thống quản lý chất lượng | 2024-03-01 | 2024-10-31 |
|
| 214 |
+
Hoàn thành 10% | Đang trong giai đoạn phân tích yêu cầu. | | PRJ006 | Tích hợp
|
| 215 |
+
hệ thống quản lý nhân sự | 2024-04-15 | 2024-11-30 | Chưa bắt đầu | Dự kiến bắt
|
| 216 |
+
đầu vào ngày 2024-07-01. | | PRJ007 | Cập nhật hệ thống quản lý tài chính | 2024-05-01
|
| 217 |
+
| 2024-12-31 | Chưa bắt đầu | Đang chờ phê duyệt từ ban lãnh đạo. | | PRJ008 |
|
| 218 |
+
Tích hợp hệ thống quản lý bán hàng | 2024-06-15 | 2025-01-31 | Chưa bắt đầu |
|
| 219 |
+
Đang chuẩn bị nguồn lực. |'
|
| 220 |
+
pipeline_tag: sentence-similarity
|
| 221 |
+
library_name: sentence-transformers
|
| 222 |
+
---
|
| 223 |
+
|
| 224 |
+
# SentenceTransformer based on QuangDuy/bert-tiny-stage2-hf
|
| 225 |
+
|
| 226 |
+
This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [QuangDuy/bert-tiny-stage2-hf](https://huggingface.co/QuangDuy/bert-tiny-stage2-hf). It maps sentences & paragraphs to a 384-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
|
| 227 |
+
|
| 228 |
+
## Model Details
|
| 229 |
+
|
| 230 |
+
### Model Description
|
| 231 |
+
- **Model Type:** Sentence Transformer
|
| 232 |
+
- **Base model:** [QuangDuy/bert-tiny-stage2-hf](https://huggingface.co/QuangDuy/bert-tiny-stage2-hf) <!-- at revision 89bd42c41ec5167da1de8ed7085615795a3fd55c -->
|
| 233 |
+
- **Maximum Sequence Length:** 4096 tokens
|
| 234 |
+
- **Output Dimensionality:** 384 dimensions
|
| 235 |
+
- **Similarity Function:** Cosine Similarity
|
| 236 |
+
<!-- - **Training Dataset:** Unknown -->
|
| 237 |
+
<!-- - **Language:** Unknown -->
|
| 238 |
+
<!-- - **License:** Unknown -->
|
| 239 |
+
|
| 240 |
+
### Model Sources
|
| 241 |
+
|
| 242 |
+
- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
|
| 243 |
+
- **Repository:** [Sentence Transformers on GitHub](https://github.com/huggingface/sentence-transformers)
|
| 244 |
+
- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)
|
| 245 |
+
|
| 246 |
+
### Full Model Architecture
|
| 247 |
+
|
| 248 |
+
```
|
| 249 |
+
SentenceTransformer(
|
| 250 |
+
(0): Transformer({'max_seq_length': 4096, 'do_lower_case': False, 'architecture': 'ModernBertModel'})
|
| 251 |
+
(1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
|
| 252 |
+
(2): Normalize()
|
| 253 |
+
)
|
| 254 |
+
```
|
| 255 |
+
|
| 256 |
+
## Usage
|
| 257 |
+
|
| 258 |
+
### Direct Usage (Sentence Transformers)
|
| 259 |
+
|
| 260 |
+
First install the Sentence Transformers library:
|
| 261 |
+
|
| 262 |
+
```bash
|
| 263 |
+
pip install -U sentence-transformers
|
| 264 |
+
```
|
| 265 |
+
|
| 266 |
+
Then you can load this model and run inference.
|
| 267 |
+
```python
|
| 268 |
+
from sentence_transformers import SentenceTransformer
|
| 269 |
+
|
| 270 |
+
# Download from the 🤗 Hub
|
| 271 |
+
model = SentenceTransformer("sentence_transformers_model_id")
|
| 272 |
+
# Run inference
|
| 273 |
+
sentences = [
|
| 274 |
+
'Tổng số tiền mà người chơi đã chi tiêu vào việc mua vé lô đề và trò chơi số từ ngày 10 đến 16 tháng 6 năm 2024 là bao nhiêu?',
|
| 275 |
+
'Dưới đây là bảng "Quản lý lô đề và trò chơi số" theo yêu cầu của bạn: | STT | Tên Trò Chơi | Số Lô Đề | Ngày Mua | Giá Mua | Tình Trạng | Số Trúng | Ngày Trúng | Giá Trúng | Lợi Nhược | | --- | ------------ | -------- | -------- | ------- | ---------- | -------- | ---------- | --------- | --------- | | 1 | Keno | 12345 | 2024-06-10 | 10000 VND | Đã mua | 12345 | 2024-06-15 | 500000 VND | Lợi | | 2 | Xổ Số Miền Bắc | 67890 | 2024-06-12 | 15000 VND | Đã mua | | | | Thua | | 3 | Power 6/55 | 112233 | 2024-06-13 | 20000 VND | Đã mua | | | | Thua | | 4 | Xổ Số Miền Nam | 445566 | 2024-06-14 | 10000 VND | Đã mua | 445566 | 2024-06-18 | 1000000 VND | Lợi | | 5 | Mega 6/45 | 778899 | 2024-06-15 | 10000 VND | Đã mua | | | | Thua | | 6 | Vietlott Max 4D | 101010 | 2024-06-16 | 25000 VND | Đã mua | | | | Thua |',
|
| 276 |
+
'| Ngày | Số tiền đặt cược | Tỷ lệ thắng thua | Lợi nhuận | | --- | --- | --- | --- | | 2024-06-15 | 500,000 VND | 1:2 | 1,000,000 VND | | 2024-06-16 | 750,000 VND | 1:3 | 2,250,000 VND | | 2024-06-17 | 1,000,000 VND | 1:1.5 | 500,000 VND | | 2024-06-18 | 1,250,000 VND | 1:2 | 2,500,000 VND | | 2024-06-19 | 1,500,000 VND | 1:1 | 0 VND | | 2024-06-20 | 1,750,000 VND | 1:2.5 | 4,375,000 VND |',
|
| 277 |
+
]
|
| 278 |
+
embeddings = model.encode(sentences)
|
| 279 |
+
print(embeddings.shape)
|
| 280 |
+
# [3, 384]
|
| 281 |
+
|
| 282 |
+
# Get the similarity scores for the embeddings
|
| 283 |
+
similarities = model.similarity(embeddings, embeddings)
|
| 284 |
+
print(similarities)
|
| 285 |
+
# tensor([[0.9999, 0.6069, 0.3274],
|
| 286 |
+
# [0.6069, 1.0000, 0.3645],
|
| 287 |
+
# [0.3274, 0.3645, 1.0000]])
|
| 288 |
+
```
|
| 289 |
+
|
| 290 |
+
<!--
|
| 291 |
+
### Direct Usage (Transformers)
|
| 292 |
+
|
| 293 |
+
<details><summary>Click to see the direct usage in Transformers</summary>
|
| 294 |
+
|
| 295 |
+
</details>
|
| 296 |
+
-->
|
| 297 |
+
|
| 298 |
+
<!--
|
| 299 |
+
### Downstream Usage (Sentence Transformers)
|
| 300 |
+
|
| 301 |
+
You can finetune this model on your own dataset.
|
| 302 |
+
|
| 303 |
+
<details><summary>Click to expand</summary>
|
| 304 |
+
|
| 305 |
+
</details>
|
| 306 |
+
-->
|
| 307 |
+
|
| 308 |
+
<!--
|
| 309 |
+
### Out-of-Scope Use
|
| 310 |
+
|
| 311 |
+
*List how the model may foreseeably be misused and address what users ought not to do with the model.*
|
| 312 |
+
-->
|
| 313 |
+
|
| 314 |
+
<!--
|
| 315 |
+
## Bias, Risks and Limitations
|
| 316 |
+
|
| 317 |
+
*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
|
| 318 |
+
-->
|
| 319 |
+
|
| 320 |
+
<!--
|
| 321 |
+
### Recommendations
|
| 322 |
+
|
| 323 |
+
*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
|
| 324 |
+
-->
|
| 325 |
+
|
| 326 |
+
## Training Details
|
| 327 |
+
|
| 328 |
+
### Training Dataset
|
| 329 |
+
|
| 330 |
+
#### Unnamed Dataset
|
| 331 |
+
|
| 332 |
+
* Size: 365,440 training samples
|
| 333 |
+
* Columns: <code>sentence_0</code>, <code>sentence_1</code>, and <code>sentence_2</code>
|
| 334 |
+
* Approximate statistics based on the first 1000 samples:
|
| 335 |
+
| | sentence_0 | sentence_1 | sentence_2 |
|
| 336 |
+
|:--------|:----------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------|:--------------------------------------------------------------------------------------|
|
| 337 |
+
| type | string | string | string |
|
| 338 |
+
| details | <ul><li>min: 11 tokens</li><li>mean: 24.3 tokens</li><li>max: 43 tokens</li></ul> | <ul><li>min: 59 tokens</li><li>mean: 336.26 tokens</li><li>max: 687 tokens</li></ul> | <ul><li>min: 101 tokens</li><li>mean: 345.76 tokens</li><li>max: 714 tokens</li></ul> |
|
| 339 |
+
* Samples:
|
| 340 |
+
| sentence_0 | sentence_1 | sentence_2 |
|
| 341 |
+
|:--------------------------------------------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
|
| 342 |
+
| <code>"Lịch sử mua hàng của Trần Thị Mai chủ yếu liên quan đến loại sản phẩm nào?"</code> | <code>Dưới đây là bảng thông tin khách hàng mẫu: \| Tên Khách Hàng \| Nhu Cầu \| Phản Hồi \| Lịch Sử Mua Hàng \| Ghi Chú \| \| --- \| --- \| --- \| --- \| --- \| \| Nguyễn Văn Nam \| Thiết bị công nghệ mới nhất \| Thích thú với dịch vụ, mong muốn có thêm khuyến mãi \| 2 laptop, 1 smartphone trong năm qua \| Khách hàng thường xuyên, thích các sản phẩm công nghệ cao \| \| Trần Thị Mai \| Sản phẩm hữu cơ, không chứa hóa chất \| Rất hài lòng về chất lượng sản phẩm và dịch vụ \| Mua hàng hàng tháng, chủ yếu là thực phẩm và mỹ phẩm \| Khách hàng thân thiết, quan tâm đến sức khỏe và môi trường \| \| Lê Quốc Anh \| Dịch vụ tư vấn tài chính \| Đánh giá cao sự chuyên nghiệp của nhân viên \| Sử dụng dịch vụ tư vấn đầu tư hàng quý \| Khách hàng tiềm năng, quan tâm đến lĩnh vực tài chính \| Bảng trên cho thấy ba khách hàng với nhu cầu đa dạng từ công nghệ, sức khỏe đến tài chính. Tất cả họ đều phản hồi tích cực về chất lượng sản phẩm và dịch vụ. Đặc biệt, Trần Thị Mai và Lê Quốc Anh là những khách hàng thường xuyên, mua hàng định kỳ....</code> | <code>Dưới đây là bảng "Khách hàng - Hàng hóa" với 5 cột và 7 dòng: \| Mã Khách Hàng \| Tên Khách Hàng \| Mã Sản Phẩm \| Tên Sản Phẩm \| Số Lượng \| \|----------------\|----------------\|-------------\|--------------\|----------\| \| KH001 \| Nguyễn Văn A \| SP001 \| Điện thoại iPhone 12 Pro Max \| 2 \| \| KH002 \| Trần Thị B \| SP002 \| Laptop Dell XPS 13 \| 1 \| \| KH003 \| Lê Minh C \| SP003 \| Máy ảnh Canon EOS R5 \| 1 \| \| KH004 \| Đặng Thị D \| SP004 \| Tai nghe không dây Sony WF-1000XM4 \| 3 \| \| KH005 \| Phạm Văn E \| SP005 \| Loa Bluetooth JBL Flip 5 \| 2 \| \| KH006 \| Hoàng Thị F \| SP006 \| Đồng hồ thông minh Apple Watch Series 6 \| 1 \| \| KH007 \| Nguyễn Thị G \| SP007 \| Bộ nhớ ngoài SanDisk Extreme Pro 1TB \| 1 \| Theo bảng trên, chúng ta thấy rằng đa số khách hàng đều mua một sản phẩm ngoại trừ khách hàng Nguyễn Văn A và Đặng Thị D mua hai và ba sản phẩm tương ứng. Các sản phẩm được mua bao gồm điện thoại di động, laptop, máy ảnh, tai nghe không dây, loa bluetooth, đồng hồ thông minh và bộ nhớ ngoài. Điều này cho thấy sự đa d...</code> |
|
| 343 |
+
| <code>Người nào trong số này có tổng điểm nguy cơ là 8.5/10 và những yếu tố nào dẫn đến điểm số cao như vậy?</code> | <code>\| STT \| Tuổi \| Giới tính \| Thói quen sinh hoạt \| Chế độ ăn uống \| Yếu tố môi trường \| Tổng điểm nguy cơ \| Đánh giá \| \| --- \| ---- \| --------- \| ------------------ \| --------------- \| ----------------- \| ----------------- \| -------- \| \| 1 \| 45 \| Nam \| Tập thể dục 2 lần/tuần, hút thuốc 10 điếu/ngày \| Ăn nhiều thịt đỏ, ít rau xanh \| Môi trường công nghiệp với ô nhiễm không khí \| 7.5/10 \| Nguy cơ cao \| \| 2 \| 30 \| Nữ \| Tập thể dục hàng ngày, không hút thuốc \| Ăn chay, uống đủ nước mỗi ngày \| Môi trường sống sạch sẽ, thoáng mát \| 1.5/10 \| Nguy cơ thấp \| \| 3 \| 60 \| Nam \| Không tập thể dục, hút thuốc \| Ăn nhiều thức ăn nhanh, ít trái cây \| Môi trường sống ở khu vực đô thị đông đúc \| 8.5/10 \| Nguy cơ rất cao \| \| 4 \| 25 \| Nữ \| Tập thể dục 3 lần/tuần, không hút thuốc \| Ăn cân đối, hạn chế đồ ngọt \| Môi trường làm việc văn phòng, ít tiếp xúc với môi trường tự nhiên \| 3.5/10 \| Nguy cơ trung bình \| \| 5 \| 50 \| Nam \| Tập thể dục 5 lần/tuần, không hút thuốc \| Ăn cân đối, không uống rượu bia \| Môi trườn...</code> | <code>\| Tên Công Nhân \| Đánh Giá Hiệu Suất \| Điểm Chăm Sóc Đời Sống \| \| -------------- \| ------------------- \| --------------------- \| \| Nguyễn Văn A \| 8.5 \| 9.2 \| \| Trần Thị B \| 7.0 \| 6.5 \| \| Lê Minh C \| 9.2 \| 8.9 \| \| Dương Thị D \| 6.6 \| 7.1 \| \| Phạm Văn E \| 8.0 \| 8.3 \| Bảng đánh giá trên cho thấy hiệu suất công việc và mức độ chăm sóc đời sống của 5 công nhân trong công ty. Chúng ta có thể nhận thấy rằng, công nhân Nguyễn Văn A và Lê Minh C đều có hiệu suất làm việc cao, đồng thời cũng nhận được sự chăm sóc đời sống tốt từ công ty với điểm số khá cao. Ngược lại, công nhân Trần Thị B và Dương Thị D có hiệu suất làm việc và điểm chăm sóc đời sống thấp hơn so với các người khác. Điều này có thể chỉ ra một số vấn đề cần được quan tâm hơn từ phía quản lý.</code> |
|
| 344 |
+
| <code>Ai là thành viên của đội Evil Geniuses và họ đã đạt được vị trí nào tại giải EPICENTER Major?</code> | <code>Dưới đây là bảng thông tin về một số đội Dota 2: \|STT\|Tên Đội\|Thành Viên\|Huấn Luyện Viên\|Giải Đấu\|Vị Trí\|Năm\|Số Giải Đấu Tham Gia\|Số Giải Đấu Thắng\| \|---\|---\|---\|---\|---\|---\|---\|---\|---\| \|1\|Team Secret\|Matumbaman, Nisha, Zai, Puppey, YapzOr\|Heen\|The International\|Á quân\|2023\|15\|8\| \|2\|Evil Geniuses\|Arteezy, Sumail, Yeek, Cr1t-, SVG\|Fly\|EPICENTER Major\|Vô địch\|2023\|14\|7\| \|3\|Team Liquid\|Miracle-, MinD_ContRoL, MATUMBAMAN, GH, Boxi\|Heen\|MDL Disneyland Paris Major\|Vô địch\|2023\|16\|9\| \|4\|Vici Gaming\|Ori, Yang, Eurus, Pyw, Papasha\|Super\|ONE Esports Singapore Major\|Vô địch\|2023\|12\|5\| \|5\|OG\|Ana, Topson, Ceb, JerAx, N0tail\|No one\|The International\|Vô địch\|2023\|10\|6\| Bảng trên cung cấp thông tin chi tiết về 5 đội Dota 2 hàng đầu. Mỗi dòng đại diện cho một đội, bao gồm tên đội, danh sách thành viên, huấn luyện viên và thành tích của họ trong các giải đấu lớn nhất năm 2023. Đặc biệt, Team Secret đã tham gia nhiều giải đấu nhất với 15 giải nhưng chỉ đứng thứ hai sau Team Liquid với số giải thắng cao ...</code> | <code>\| Tên Nhân Vật \| Vai Trò \| Chiến Lược \| \| --- \| --- \| --- \| \| Evelynn \| Ám Sát Thủ \| Sử dụng kỹ năng "Đèn Đỏ" để tăng khả năng tấn công bất ngờ, tập trung vào mục tiêu yếu nhất. \| \| Zed \| Hỗ Trợ Ám Sát \| Dùng "Vũ Điệu Tử Thần" để hỗ trợ Evelynn trong việc hạ gục mục tiêu nhanh chóng. \| \| Kindred \| Kiểm Soát Đường Dài \| Sử dụng "Lệnh Của Người Thú" để kiểm soát tầm nhìn và cung cấp thông tin về vị trí kẻ địch. \| Bảng trên mô tả cách phân chia vai trò và chiến lược cho từng nhân vật trong đội hình Team Phù Thủy - Ác Quỷ - Hư Không. Evelynn với vai trò ám sát thủ, cô sẽ là mũi nhọn tấn công, tận dụng khả năng tấn công bất ngờ của mình để tiêu diệt mục tiêu yếu nhất. Zed, với vai trò hỗ trợ ám sát, sẽ giúp Evelynn trong việc tiêu diệt mục tiêu một cách nhanh chóng. Cuối cùng, Kindred đảm nhiệm vai trò kiểm soát đường dài, cung cấp tầm nhìn rộng rãi và thông tin chính xác về vị trí kẻ địch, tạo lợi thế cho cả đội.</code> |
|
| 345 |
+
* Loss: [<code>MatryoshkaLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#matryoshkaloss) with these parameters:
|
| 346 |
+
```json
|
| 347 |
+
{
|
| 348 |
+
"loss": "CachedMultipleNegativesRankingLoss",
|
| 349 |
+
"matryoshka_dims": [
|
| 350 |
+
384,
|
| 351 |
+
256,
|
| 352 |
+
128,
|
| 353 |
+
64
|
| 354 |
+
],
|
| 355 |
+
"matryoshka_weights": [
|
| 356 |
+
1,
|
| 357 |
+
1,
|
| 358 |
+
1,
|
| 359 |
+
1
|
| 360 |
+
],
|
| 361 |
+
"n_dims_per_step": -1
|
| 362 |
+
}
|
| 363 |
+
```
|
| 364 |
+
|
| 365 |
+
### Training Hyperparameters
|
| 366 |
+
#### Non-Default Hyperparameters
|
| 367 |
+
|
| 368 |
+
- `eval_strategy`: steps
|
| 369 |
+
- `per_device_train_batch_size`: 64
|
| 370 |
+
- `per_device_eval_batch_size`: 32
|
| 371 |
+
- `learning_rate`: 0.0001
|
| 372 |
+
- `weight_decay`: 0.01
|
| 373 |
+
- `warmup_ratio`: 0.1
|
| 374 |
+
- `bf16`: True
|
| 375 |
+
- `batch_sampler`: no_duplicates
|
| 376 |
+
|
| 377 |
+
#### All Hyperparameters
|
| 378 |
+
<details><summary>Click to expand</summary>
|
| 379 |
+
|
| 380 |
+
- `overwrite_output_dir`: False
|
| 381 |
+
- `do_predict`: False
|
| 382 |
+
- `eval_strategy`: steps
|
| 383 |
+
- `prediction_loss_only`: True
|
| 384 |
+
- `per_device_train_batch_size`: 64
|
| 385 |
+
- `per_device_eval_batch_size`: 32
|
| 386 |
+
- `per_gpu_train_batch_size`: None
|
| 387 |
+
- `per_gpu_eval_batch_size`: None
|
| 388 |
+
- `gradient_accumulation_steps`: 1
|
| 389 |
+
- `eval_accumulation_steps`: None
|
| 390 |
+
- `torch_empty_cache_steps`: None
|
| 391 |
+
- `learning_rate`: 0.0001
|
| 392 |
+
- `weight_decay`: 0.01
|
| 393 |
+
- `adam_beta1`: 0.9
|
| 394 |
+
- `adam_beta2`: 0.999
|
| 395 |
+
- `adam_epsilon`: 1e-08
|
| 396 |
+
- `max_grad_norm`: 1.0
|
| 397 |
+
- `num_train_epochs`: 3
|
| 398 |
+
- `max_steps`: -1
|
| 399 |
+
- `lr_scheduler_type`: linear
|
| 400 |
+
- `lr_scheduler_kwargs`: {}
|
| 401 |
+
- `warmup_ratio`: 0.1
|
| 402 |
+
- `warmup_steps`: 0
|
| 403 |
+
- `log_level`: passive
|
| 404 |
+
- `log_level_replica`: warning
|
| 405 |
+
- `log_on_each_node`: True
|
| 406 |
+
- `logging_nan_inf_filter`: True
|
| 407 |
+
- `save_safetensors`: True
|
| 408 |
+
- `save_on_each_node`: False
|
| 409 |
+
- `save_only_model`: False
|
| 410 |
+
- `restore_callback_states_from_checkpoint`: False
|
| 411 |
+
- `no_cuda`: False
|
| 412 |
+
- `use_cpu`: False
|
| 413 |
+
- `use_mps_device`: False
|
| 414 |
+
- `seed`: 42
|
| 415 |
+
- `data_seed`: None
|
| 416 |
+
- `jit_mode_eval`: False
|
| 417 |
+
- `bf16`: True
|
| 418 |
+
- `fp16`: False
|
| 419 |
+
- `fp16_opt_level`: O1
|
| 420 |
+
- `half_precision_backend`: auto
|
| 421 |
+
- `bf16_full_eval`: False
|
| 422 |
+
- `fp16_full_eval`: False
|
| 423 |
+
- `tf32`: None
|
| 424 |
+
- `local_rank`: 0
|
| 425 |
+
- `ddp_backend`: None
|
| 426 |
+
- `tpu_num_cores`: None
|
| 427 |
+
- `tpu_metrics_debug`: False
|
| 428 |
+
- `debug`: []
|
| 429 |
+
- `dataloader_drop_last`: False
|
| 430 |
+
- `dataloader_num_workers`: 0
|
| 431 |
+
- `dataloader_prefetch_factor`: None
|
| 432 |
+
- `past_index`: -1
|
| 433 |
+
- `disable_tqdm`: False
|
| 434 |
+
- `remove_unused_columns`: True
|
| 435 |
+
- `label_names`: None
|
| 436 |
+
- `load_best_model_at_end`: False
|
| 437 |
+
- `ignore_data_skip`: False
|
| 438 |
+
- `fsdp`: []
|
| 439 |
+
- `fsdp_min_num_params`: 0
|
| 440 |
+
- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
|
| 441 |
+
- `fsdp_transformer_layer_cls_to_wrap`: None
|
| 442 |
+
- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
|
| 443 |
+
- `parallelism_config`: None
|
| 444 |
+
- `deepspeed`: None
|
| 445 |
+
- `label_smoothing_factor`: 0.0
|
| 446 |
+
- `optim`: adamw_torch
|
| 447 |
+
- `optim_args`: None
|
| 448 |
+
- `adafactor`: False
|
| 449 |
+
- `group_by_length`: False
|
| 450 |
+
- `length_column_name`: length
|
| 451 |
+
- `project`: huggingface
|
| 452 |
+
- `trackio_space_id`: trackio
|
| 453 |
+
- `ddp_find_unused_parameters`: None
|
| 454 |
+
- `ddp_bucket_cap_mb`: None
|
| 455 |
+
- `ddp_broadcast_buffers`: False
|
| 456 |
+
- `dataloader_pin_memory`: True
|
| 457 |
+
- `dataloader_persistent_workers`: False
|
| 458 |
+
- `skip_memory_metrics`: True
|
| 459 |
+
- `use_legacy_prediction_loop`: False
|
| 460 |
+
- `push_to_hub`: False
|
| 461 |
+
- `resume_from_checkpoint`: None
|
| 462 |
+
- `hub_model_id`: None
|
| 463 |
+
- `hub_strategy`: every_save
|
| 464 |
+
- `hub_private_repo`: None
|
| 465 |
+
- `hub_always_push`: False
|
| 466 |
+
- `hub_revision`: None
|
| 467 |
+
- `gradient_checkpointing`: False
|
| 468 |
+
- `gradient_checkpointing_kwargs`: None
|
| 469 |
+
- `include_inputs_for_metrics`: False
|
| 470 |
+
- `include_for_metrics`: []
|
| 471 |
+
- `eval_do_concat_batches`: True
|
| 472 |
+
- `fp16_backend`: auto
|
| 473 |
+
- `push_to_hub_model_id`: None
|
| 474 |
+
- `push_to_hub_organization`: None
|
| 475 |
+
- `mp_parameters`:
|
| 476 |
+
- `auto_find_batch_size`: False
|
| 477 |
+
- `full_determinism`: False
|
| 478 |
+
- `torchdynamo`: None
|
| 479 |
+
- `ray_scope`: last
|
| 480 |
+
- `ddp_timeout`: 1800
|
| 481 |
+
- `torch_compile`: False
|
| 482 |
+
- `torch_compile_backend`: None
|
| 483 |
+
- `torch_compile_mode`: None
|
| 484 |
+
- `include_tokens_per_second`: False
|
| 485 |
+
- `include_num_input_tokens_seen`: no
|
| 486 |
+
- `neftune_noise_alpha`: None
|
| 487 |
+
- `optim_target_modules`: None
|
| 488 |
+
- `batch_eval_metrics`: False
|
| 489 |
+
- `eval_on_start`: False
|
| 490 |
+
- `use_liger_kernel`: False
|
| 491 |
+
- `liger_kernel_config`: None
|
| 492 |
+
- `eval_use_gather_object`: False
|
| 493 |
+
- `average_tokens_across_devices`: True
|
| 494 |
+
- `prompts`: None
|
| 495 |
+
- `batch_sampler`: no_duplicates
|
| 496 |
+
- `multi_dataset_batch_sampler`: proportional
|
| 497 |
+
- `router_mapping`: {}
|
| 498 |
+
- `learning_rate_mapping`: {}
|
| 499 |
+
|
| 500 |
+
</details>
|
| 501 |
+
|
| 502 |
+
### Training Logs
|
| 503 |
+
<details><summary>Click to expand</summary>
|
| 504 |
+
|
| 505 |
+
| Epoch | Step | Training Loss | validation loss |
|
| 506 |
+
|:------:|:-----:|:-------------:|:---------------:|
|
| 507 |
+
| 0.0088 | 50 | 17.9385 | - |
|
| 508 |
+
| 0.0175 | 100 | 14.3738 | - |
|
| 509 |
+
| 0.0263 | 150 | 9.8859 | - |
|
| 510 |
+
| 0.0350 | 200 | 6.4649 | - |
|
| 511 |
+
| 0.0438 | 250 | 4.9783 | - |
|
| 512 |
+
| 0.0525 | 300 | 4.2985 | - |
|
| 513 |
+
| 0.0613 | 350 | 3.9206 | - |
|
| 514 |
+
| 0.0701 | 400 | 3.4734 | - |
|
| 515 |
+
| 0.0788 | 450 | 3.2029 | - |
|
| 516 |
+
| 0.0876 | 500 | 3.0987 | - |
|
| 517 |
+
| 0.0963 | 550 | 2.7411 | - |
|
| 518 |
+
| 0.1051 | 600 | 2.6607 | - |
|
| 519 |
+
| 0.1138 | 650 | 2.6816 | - |
|
| 520 |
+
| 0.1226 | 700 | 2.4956 | - |
|
| 521 |
+
| 0.1313 | 750 | 2.2048 | - |
|
| 522 |
+
| 0.1401 | 800 | 2.2066 | - |
|
| 523 |
+
| 0.1489 | 850 | 2.1267 | - |
|
| 524 |
+
| 0.1576 | 900 | 2.1561 | - |
|
| 525 |
+
| 0.1664 | 950 | 1.9648 | - |
|
| 526 |
+
| 0.1751 | 1000 | 1.8996 | - |
|
| 527 |
+
| 0.1839 | 1050 | 1.9579 | - |
|
| 528 |
+
| 0.1926 | 1100 | 1.8008 | - |
|
| 529 |
+
| 0.2014 | 1150 | 1.7214 | - |
|
| 530 |
+
| 0.2102 | 1200 | 1.9004 | - |
|
| 531 |
+
| 0.2189 | 1250 | 1.6161 | - |
|
| 532 |
+
| 0.2277 | 1300 | 1.7509 | - |
|
| 533 |
+
| 0.2364 | 1350 | 1.714 | - |
|
| 534 |
+
| 0.2452 | 1400 | 1.6249 | - |
|
| 535 |
+
| 0.2539 | 1450 | 1.5886 | - |
|
| 536 |
+
| 0.2627 | 1500 | 1.6041 | - |
|
| 537 |
+
| 0.2715 | 1550 | 1.5227 | - |
|
| 538 |
+
| 0.2802 | 1600 | 1.4853 | - |
|
| 539 |
+
| 0.2890 | 1650 | 1.5423 | - |
|
| 540 |
+
| 0.2977 | 1700 | 1.4331 | - |
|
| 541 |
+
| 0.3065 | 1750 | 1.4789 | - |
|
| 542 |
+
| 0.3152 | 1800 | 1.3921 | - |
|
| 543 |
+
| 0.3240 | 1850 | 1.3465 | - |
|
| 544 |
+
| 0.3327 | 1900 | 1.4211 | - |
|
| 545 |
+
| 0.3415 | 1950 | 1.4408 | - |
|
| 546 |
+
| 0.3503 | 2000 | 1.2844 | 9.6357 |
|
| 547 |
+
| 0.3590 | 2050 | 1.2777 | - |
|
| 548 |
+
| 0.3678 | 2100 | 1.2881 | - |
|
| 549 |
+
| 0.3765 | 2150 | 1.2529 | - |
|
| 550 |
+
| 0.3853 | 2200 | 1.1927 | - |
|
| 551 |
+
| 0.3940 | 2250 | 1.2601 | - |
|
| 552 |
+
| 0.4028 | 2300 | 1.2153 | - |
|
| 553 |
+
| 0.4116 | 2350 | 1.2032 | - |
|
| 554 |
+
| 0.4203 | 2400 | 1.1426 | - |
|
| 555 |
+
| 0.4291 | 2450 | 1.1638 | - |
|
| 556 |
+
| 0.4378 | 2500 | 1.1799 | - |
|
| 557 |
+
| 0.4466 | 2550 | 1.1008 | - |
|
| 558 |
+
| 0.4553 | 2600 | 1.0525 | - |
|
| 559 |
+
| 0.4641 | 2650 | 1.1515 | - |
|
| 560 |
+
| 0.4729 | 2700 | 1.1181 | - |
|
| 561 |
+
| 0.4816 | 2750 | 1.0531 | - |
|
| 562 |
+
| 0.4904 | 2800 | 1.0654 | - |
|
| 563 |
+
| 0.4991 | 2850 | 1.0744 | - |
|
| 564 |
+
| 0.5079 | 2900 | 0.9993 | - |
|
| 565 |
+
| 0.5166 | 2950 | 0.9832 | - |
|
| 566 |
+
| 0.5254 | 3000 | 1.0254 | - |
|
| 567 |
+
| 0.5342 | 3050 | 0.9355 | - |
|
| 568 |
+
| 0.5429 | 3100 | 0.9367 | - |
|
| 569 |
+
| 0.5517 | 3150 | 1.0016 | - |
|
| 570 |
+
| 0.5604 | 3200 | 1.0177 | - |
|
| 571 |
+
| 0.5692 | 3250 | 0.9979 | - |
|
| 572 |
+
| 0.5779 | 3300 | 0.9969 | - |
|
| 573 |
+
| 0.5867 | 3350 | 0.8659 | - |
|
| 574 |
+
| 0.5954 | 3400 | 0.9967 | - |
|
| 575 |
+
| 0.6042 | 3450 | 0.89 | - |
|
| 576 |
+
| 0.6130 | 3500 | 0.9045 | - |
|
| 577 |
+
| 0.6217 | 3550 | 0.9522 | - |
|
| 578 |
+
| 0.6305 | 3600 | 0.9215 | - |
|
| 579 |
+
| 0.6392 | 3650 | 0.9276 | - |
|
| 580 |
+
| 0.6480 | 3700 | 0.8975 | - |
|
| 581 |
+
| 0.6567 | 3750 | 0.9318 | - |
|
| 582 |
+
| 0.6655 | 3800 | 0.9357 | - |
|
| 583 |
+
| 0.6743 | 3850 | 0.8745 | - |
|
| 584 |
+
| 0.6830 | 3900 | 0.8377 | - |
|
| 585 |
+
| 0.6918 | 3950 | 0.8657 | - |
|
| 586 |
+
| 0.7005 | 4000 | 0.8064 | 9.4910 |
|
| 587 |
+
| 0.7093 | 4050 | 0.8466 | - |
|
| 588 |
+
| 0.7180 | 4100 | 0.8201 | - |
|
| 589 |
+
| 0.7268 | 4150 | 0.7865 | - |
|
| 590 |
+
| 0.7356 | 4200 | 0.7776 | - |
|
| 591 |
+
| 0.7443 | 4250 | 0.7653 | - |
|
| 592 |
+
| 0.7531 | 4300 | 0.7666 | - |
|
| 593 |
+
| 0.7618 | 4350 | 0.82 | - |
|
| 594 |
+
| 0.7706 | 4400 | 0.7563 | - |
|
| 595 |
+
| 0.7793 | 4450 | 0.8203 | - |
|
| 596 |
+
| 0.7881 | 4500 | 0.7346 | - |
|
| 597 |
+
| 0.7968 | 4550 | 0.7373 | - |
|
| 598 |
+
| 0.8056 | 4600 | 0.7329 | - |
|
| 599 |
+
| 0.8144 | 4650 | 0.7178 | - |
|
| 600 |
+
| 0.8231 | 4700 | 0.7236 | - |
|
| 601 |
+
| 0.8319 | 4750 | 0.6998 | - |
|
| 602 |
+
| 0.8406 | 4800 | 0.7972 | - |
|
| 603 |
+
| 0.8494 | 4850 | 0.6816 | - |
|
| 604 |
+
| 0.8581 | 4900 | 0.6698 | - |
|
| 605 |
+
| 0.8669 | 4950 | 0.6952 | - |
|
| 606 |
+
| 0.8757 | 5000 | 0.6676 | - |
|
| 607 |
+
| 0.8844 | 5050 | 0.7253 | - |
|
| 608 |
+
| 0.8932 | 5100 | 0.6664 | - |
|
| 609 |
+
| 0.9019 | 5150 | 0.6941 | - |
|
| 610 |
+
| 0.9107 | 5200 | 0.6742 | - |
|
| 611 |
+
| 0.9194 | 5250 | 0.6384 | - |
|
| 612 |
+
| 0.9282 | 5300 | 0.6638 | - |
|
| 613 |
+
| 0.9370 | 5350 | 0.6365 | - |
|
| 614 |
+
| 0.9457 | 5400 | 0.6083 | - |
|
| 615 |
+
| 0.9545 | 5450 | 0.6917 | - |
|
| 616 |
+
| 0.9632 | 5500 | 0.6158 | - |
|
| 617 |
+
| 0.9720 | 5550 | 0.6413 | - |
|
| 618 |
+
| 0.9807 | 5600 | 0.6646 | - |
|
| 619 |
+
| 0.9895 | 5650 | 0.6208 | - |
|
| 620 |
+
| 0.9982 | 5700 | 0.635 | - |
|
| 621 |
+
| 1.0070 | 5750 | 0.5248 | - |
|
| 622 |
+
| 1.0158 | 5800 | 0.4615 | - |
|
| 623 |
+
| 1.0245 | 5850 | 0.4619 | - |
|
| 624 |
+
| 1.0333 | 5900 | 0.4536 | - |
|
| 625 |
+
| 1.0420 | 5950 | 0.4719 | - |
|
| 626 |
+
| 1.0508 | 6000 | 0.4483 | 9.4902 |
|
| 627 |
+
| 1.0595 | 6050 | 0.4447 | - |
|
| 628 |
+
| 1.0683 | 6100 | 0.4553 | - |
|
| 629 |
+
| 1.0771 | 6150 | 0.4812 | - |
|
| 630 |
+
| 1.0858 | 6200 | 0.4556 | - |
|
| 631 |
+
| 1.0946 | 6250 | 0.4707 | - |
|
| 632 |
+
| 1.1033 | 6300 | 0.4423 | - |
|
| 633 |
+
| 1.1121 | 6350 | 0.4528 | - |
|
| 634 |
+
| 1.1208 | 6400 | 0.4562 | - |
|
| 635 |
+
| 1.1296 | 6450 | 0.4242 | - |
|
| 636 |
+
| 1.1384 | 6500 | 0.4329 | - |
|
| 637 |
+
| 1.1471 | 6550 | 0.4491 | - |
|
| 638 |
+
| 1.1559 | 6600 | 0.4293 | - |
|
| 639 |
+
| 1.1646 | 6650 | 0.4623 | - |
|
| 640 |
+
| 1.1734 | 6700 | 0.4383 | - |
|
| 641 |
+
| 1.1821 | 6750 | 0.4486 | - |
|
| 642 |
+
| 1.1909 | 6800 | 0.4475 | - |
|
| 643 |
+
| 1.1996 | 6850 | 0.4425 | - |
|
| 644 |
+
| 1.2084 | 6900 | 0.4173 | - |
|
| 645 |
+
| 1.2172 | 6950 | 0.424 | - |
|
| 646 |
+
| 1.2259 | 7000 | 0.3968 | - |
|
| 647 |
+
| 1.2347 | 7050 | 0.4104 | - |
|
| 648 |
+
| 1.2434 | 7100 | 0.415 | - |
|
| 649 |
+
| 1.2522 | 7150 | 0.4109 | - |
|
| 650 |
+
| 1.2609 | 7200 | 0.4627 | - |
|
| 651 |
+
| 1.2697 | 7250 | 0.3882 | - |
|
| 652 |
+
| 1.2785 | 7300 | 0.4055 | - |
|
| 653 |
+
| 1.2872 | 7350 | 0.451 | - |
|
| 654 |
+
| 1.2960 | 7400 | 0.4085 | - |
|
| 655 |
+
| 1.3047 | 7450 | 0.4268 | - |
|
| 656 |
+
| 1.3135 | 7500 | 0.4094 | - |
|
| 657 |
+
| 1.3222 | 7550 | 0.3805 | - |
|
| 658 |
+
| 1.3310 | 7600 | 0.3736 | - |
|
| 659 |
+
| 1.3398 | 7650 | 0.4241 | - |
|
| 660 |
+
| 1.3485 | 7700 | 0.3913 | - |
|
| 661 |
+
| 1.3573 | 7750 | 0.407 | - |
|
| 662 |
+
| 1.3660 | 7800 | 0.4 | - |
|
| 663 |
+
| 1.3748 | 7850 | 0.3972 | - |
|
| 664 |
+
| 1.3835 | 7900 | 0.3495 | - |
|
| 665 |
+
| 1.3923 | 7950 | 0.3656 | - |
|
| 666 |
+
| 1.4011 | 8000 | 0.3846 | 9.5093 |
|
| 667 |
+
| 1.4098 | 8050 | 0.3742 | - |
|
| 668 |
+
| 1.4186 | 8100 | 0.373 | - |
|
| 669 |
+
| 1.4273 | 8150 | 0.3649 | - |
|
| 670 |
+
| 1.4361 | 8200 | 0.3576 | - |
|
| 671 |
+
| 1.4448 | 8250 | 0.3687 | - |
|
| 672 |
+
| 1.4536 | 8300 | 0.3712 | - |
|
| 673 |
+
| 1.4623 | 8350 | 0.3936 | - |
|
| 674 |
+
| 1.4711 | 8400 | 0.4036 | - |
|
| 675 |
+
| 1.4799 | 8450 | 0.3433 | - |
|
| 676 |
+
| 1.4886 | 8500 | 0.3586 | - |
|
| 677 |
+
| 1.4974 | 8550 | 0.3323 | - |
|
| 678 |
+
| 1.5061 | 8600 | 0.3595 | - |
|
| 679 |
+
| 1.5149 | 8650 | 0.3748 | - |
|
| 680 |
+
| 1.5236 | 8700 | 0.3493 | - |
|
| 681 |
+
| 1.5324 | 8750 | 0.3858 | - |
|
| 682 |
+
| 1.5412 | 8800 | 0.3738 | - |
|
| 683 |
+
| 1.5499 | 8850 | 0.3405 | - |
|
| 684 |
+
| 1.5587 | 8900 | 0.3394 | - |
|
| 685 |
+
| 1.5674 | 8950 | 0.3424 | - |
|
| 686 |
+
| 1.5762 | 9000 | 0.3455 | - |
|
| 687 |
+
| 1.5849 | 9050 | 0.3481 | - |
|
| 688 |
+
| 1.5937 | 9100 | 0.3259 | - |
|
| 689 |
+
| 1.6025 | 9150 | 0.3336 | - |
|
| 690 |
+
| 1.6112 | 9200 | 0.3082 | - |
|
| 691 |
+
| 1.6200 | 9250 | 0.3202 | - |
|
| 692 |
+
| 1.6287 | 9300 | 0.3123 | - |
|
| 693 |
+
| 1.6375 | 9350 | 0.322 | - |
|
| 694 |
+
| 1.6462 | 9400 | 0.3096 | - |
|
| 695 |
+
| 1.6550 | 9450 | 0.3111 | - |
|
| 696 |
+
| 1.6637 | 9500 | 0.3032 | - |
|
| 697 |
+
| 1.6725 | 9550 | 0.3286 | - |
|
| 698 |
+
| 1.6813 | 9600 | 0.3257 | - |
|
| 699 |
+
| 1.6900 | 9650 | 0.3297 | - |
|
| 700 |
+
| 1.6988 | 9700 | 0.2979 | - |
|
| 701 |
+
| 1.7075 | 9750 | 0.3027 | - |
|
| 702 |
+
| 1.7163 | 9800 | 0.3147 | - |
|
| 703 |
+
| 1.7250 | 9850 | 0.3046 | - |
|
| 704 |
+
| 1.7338 | 9900 | 0.314 | - |
|
| 705 |
+
| 1.7426 | 9950 | 0.3131 | - |
|
| 706 |
+
| 1.7513 | 10000 | 0.3096 | 9.4653 |
|
| 707 |
+
| 1.7601 | 10050 | 0.3046 | - |
|
| 708 |
+
| 1.7688 | 10100 | 0.2901 | - |
|
| 709 |
+
| 1.7776 | 10150 | 0.2672 | - |
|
| 710 |
+
| 1.7863 | 10200 | 0.2919 | - |
|
| 711 |
+
| 1.7951 | 10250 | 0.2924 | - |
|
| 712 |
+
| 1.8039 | 10300 | 0.2635 | - |
|
| 713 |
+
| 1.8126 | 10350 | 0.2819 | - |
|
| 714 |
+
| 1.8214 | 10400 | 0.2828 | - |
|
| 715 |
+
| 1.8301 | 10450 | 0.2962 | - |
|
| 716 |
+
| 1.8389 | 10500 | 0.2894 | - |
|
| 717 |
+
| 1.8476 | 10550 | 0.2799 | - |
|
| 718 |
+
| 1.8564 | 10600 | 0.25 | - |
|
| 719 |
+
| 1.8651 | 10650 | 0.2569 | - |
|
| 720 |
+
| 1.8739 | 10700 | 0.2797 | - |
|
| 721 |
+
| 1.8827 | 10750 | 0.2694 | - |
|
| 722 |
+
| 1.8914 | 10800 | 0.2338 | - |
|
| 723 |
+
| 1.9002 | 10850 | 0.2487 | - |
|
| 724 |
+
| 1.9089 | 10900 | 0.2687 | - |
|
| 725 |
+
| 1.9177 | 10950 | 0.2605 | - |
|
| 726 |
+
| 1.9264 | 11000 | 0.2396 | - |
|
| 727 |
+
| 1.9352 | 11050 | 0.2366 | - |
|
| 728 |
+
| 1.9440 | 11100 | 0.234 | - |
|
| 729 |
+
| 1.9527 | 11150 | 0.2686 | - |
|
| 730 |
+
| 1.9615 | 11200 | 0.2729 | - |
|
| 731 |
+
| 1.9702 | 11250 | 0.27 | - |
|
| 732 |
+
| 1.9790 | 11300 | 0.2455 | - |
|
| 733 |
+
| 1.9877 | 11350 | 0.2455 | - |
|
| 734 |
+
| 1.9965 | 11400 | 0.2473 | - |
|
| 735 |
+
| 2.0053 | 11450 | 0.1934 | - |
|
| 736 |
+
| 2.0140 | 11500 | 0.1876 | - |
|
| 737 |
+
| 2.0228 | 11550 | 0.1876 | - |
|
| 738 |
+
| 2.0315 | 11600 | 0.1633 | - |
|
| 739 |
+
| 2.0403 | 11650 | 0.1631 | - |
|
| 740 |
+
| 2.0490 | 11700 | 0.1771 | - |
|
| 741 |
+
| 2.0578 | 11750 | 0.1653 | - |
|
| 742 |
+
| 2.0665 | 11800 | 0.1684 | - |
|
| 743 |
+
| 2.0753 | 11850 | 0.1833 | - |
|
| 744 |
+
| 2.0841 | 11900 | 0.1652 | - |
|
| 745 |
+
| 2.0928 | 11950 | 0.1709 | - |
|
| 746 |
+
| 2.1016 | 12000 | 0.1838 | 9.4895 |
|
| 747 |
+
|
| 748 |
+
</details>
|
| 749 |
+
|
| 750 |
+
### Framework Versions
|
| 751 |
+
- Python: 3.11.17
|
| 752 |
+
- Sentence Transformers: 5.1.2
|
| 753 |
+
- Transformers: 4.57.1
|
| 754 |
+
- PyTorch: 2.4.0+cu124
|
| 755 |
+
- Accelerate: 1.15.0
|
| 756 |
+
- Datasets: 3.6.0
|
| 757 |
+
- Tokenizers: 0.22.2
|
| 758 |
+
|
| 759 |
+
## Citation
|
| 760 |
+
|
| 761 |
+
### BibTeX
|
| 762 |
+
|
| 763 |
+
#### Sentence Transformers
|
| 764 |
+
```bibtex
|
| 765 |
+
@inproceedings{reimers-2019-sentence-bert,
|
| 766 |
+
title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
|
| 767 |
+
author = "Reimers, Nils and Gurevych, Iryna",
|
| 768 |
+
booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
|
| 769 |
+
month = "11",
|
| 770 |
+
year = "2019",
|
| 771 |
+
publisher = "Association for Computational Linguistics",
|
| 772 |
+
url = "https://arxiv.org/abs/1908.10084",
|
| 773 |
+
}
|
| 774 |
+
```
|
| 775 |
+
|
| 776 |
+
#### MatryoshkaLoss
|
| 777 |
+
```bibtex
|
| 778 |
+
@misc{kusupati2024matryoshka,
|
| 779 |
+
title={Matryoshka Representation Learning},
|
| 780 |
+
author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
|
| 781 |
+
year={2024},
|
| 782 |
+
eprint={2205.13147},
|
| 783 |
+
archivePrefix={arXiv},
|
| 784 |
+
primaryClass={cs.LG}
|
| 785 |
+
}
|
| 786 |
+
```
|
| 787 |
+
|
| 788 |
+
#### CachedMultipleNegativesRankingLoss
|
| 789 |
+
```bibtex
|
| 790 |
+
@misc{gao2021scaling,
|
| 791 |
+
title={Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup},
|
| 792 |
+
author={Luyu Gao and Yunyi Zhang and Jiawei Han and Jamie Callan},
|
| 793 |
+
year={2021},
|
| 794 |
+
eprint={2101.06983},
|
| 795 |
+
archivePrefix={arXiv},
|
| 796 |
+
primaryClass={cs.LG}
|
| 797 |
+
}
|
| 798 |
+
```
|
| 799 |
+
|
| 800 |
+
<!--
|
| 801 |
+
## Glossary
|
| 802 |
+
|
| 803 |
+
*Clearly define terms in order to be accessible across audiences.*
|
| 804 |
+
-->
|
| 805 |
+
|
| 806 |
+
<!--
|
| 807 |
+
## Model Card Authors
|
| 808 |
+
|
| 809 |
+
*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
|
| 810 |
+
-->
|
| 811 |
+
|
| 812 |
+
<!--
|
| 813 |
+
## Model Card Contact
|
| 814 |
+
|
| 815 |
+
*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
|
| 816 |
+
-->
|
checkpoints/checkpoint-12000/config.json
ADDED
|
@@ -0,0 +1,45 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
{
|
| 2 |
+
"architectures": [
|
| 3 |
+
"ModernBertModel"
|
| 4 |
+
],
|
| 5 |
+
"attention_bias": false,
|
| 6 |
+
"attention_dropout": 0.0,
|
| 7 |
+
"bos_token_id": 0,
|
| 8 |
+
"classifier_activation": "silu",
|
| 9 |
+
"classifier_bias": false,
|
| 10 |
+
"classifier_dropout": 0.0,
|
| 11 |
+
"classifier_pooling": "mean",
|
| 12 |
+
"cls_token_id": 0,
|
| 13 |
+
"decoder_bias": true,
|
| 14 |
+
"deterministic_flash_attn": false,
|
| 15 |
+
"dtype": "float32",
|
| 16 |
+
"embedding_dropout": 0.0,
|
| 17 |
+
"eos_token_id": 3,
|
| 18 |
+
"global_attn_every_n_layers": 3,
|
| 19 |
+
"global_rope_theta": 160000.0,
|
| 20 |
+
"gradient_checkpointing": false,
|
| 21 |
+
"hidden_activation": "gelu",
|
| 22 |
+
"hidden_size": 384,
|
| 23 |
+
"initializer_cutoff_factor": 2.0,
|
| 24 |
+
"initializer_range": 0.02,
|
| 25 |
+
"intermediate_size": 1152,
|
| 26 |
+
"layer_norm_eps": 1e-05,
|
| 27 |
+
"local_attention": 128,
|
| 28 |
+
"local_rope_theta": 160000.0,
|
| 29 |
+
"max_position_embeddings": 4096,
|
| 30 |
+
"mlp_bias": false,
|
| 31 |
+
"mlp_dropout": 0.0,
|
| 32 |
+
"model_type": "modernbert",
|
| 33 |
+
"norm_bias": false,
|
| 34 |
+
"norm_eps": 1e-05,
|
| 35 |
+
"num_attention_heads": 12,
|
| 36 |
+
"num_hidden_layers": 10,
|
| 37 |
+
"pad_token_id": 2,
|
| 38 |
+
"position_embedding_type": "absolute",
|
| 39 |
+
"repad_logits_with_grad": false,
|
| 40 |
+
"sep_token_id": 3,
|
| 41 |
+
"sparse_pred_ignore_index": -100,
|
| 42 |
+
"sparse_prediction": false,
|
| 43 |
+
"transformers_version": "4.57.1",
|
| 44 |
+
"vocab_size": 32064
|
| 45 |
+
}
|
checkpoints/checkpoint-12000/config_sentence_transformers.json
ADDED
|
@@ -0,0 +1,14 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
{
|
| 2 |
+
"model_type": "SentenceTransformer",
|
| 3 |
+
"__version__": {
|
| 4 |
+
"sentence_transformers": "5.1.2",
|
| 5 |
+
"transformers": "4.57.1",
|
| 6 |
+
"pytorch": "2.4.0+cu124"
|
| 7 |
+
},
|
| 8 |
+
"prompts": {
|
| 9 |
+
"query": "",
|
| 10 |
+
"document": ""
|
| 11 |
+
},
|
| 12 |
+
"default_prompt_name": null,
|
| 13 |
+
"similarity_fn_name": "cosine"
|
| 14 |
+
}
|
checkpoints/checkpoint-12000/model.safetensors
ADDED
|
@@ -0,0 +1,3 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
version https://git-lfs.github.com/spec/v1
|
| 2 |
+
oid sha256:1e61ffe3863219b6a24aa9bbac0759c7decb2bb36358d192947119020660ce8c
|
| 3 |
+
size 125965616
|
checkpoints/checkpoint-12000/modules.json
ADDED
|
@@ -0,0 +1,20 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
[
|
| 2 |
+
{
|
| 3 |
+
"idx": 0,
|
| 4 |
+
"name": "0",
|
| 5 |
+
"path": "",
|
| 6 |
+
"type": "sentence_transformers.models.Transformer"
|
| 7 |
+
},
|
| 8 |
+
{
|
| 9 |
+
"idx": 1,
|
| 10 |
+
"name": "1",
|
| 11 |
+
"path": "1_Pooling",
|
| 12 |
+
"type": "sentence_transformers.models.Pooling"
|
| 13 |
+
},
|
| 14 |
+
{
|
| 15 |
+
"idx": 2,
|
| 16 |
+
"name": "2",
|
| 17 |
+
"path": "2_Normalize",
|
| 18 |
+
"type": "sentence_transformers.models.Normalize"
|
| 19 |
+
}
|
| 20 |
+
]
|
checkpoints/checkpoint-12000/optimizer.pt
ADDED
|
@@ -0,0 +1,3 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
version https://git-lfs.github.com/spec/v1
|
| 2 |
+
oid sha256:8b6b25268a02935d99417783d2b2c4530bca9c5c25a977edabd73a97d1eb883d
|
| 3 |
+
size 251971834
|
checkpoints/checkpoint-12000/rng_state.pth
ADDED
|
@@ -0,0 +1,3 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
version https://git-lfs.github.com/spec/v1
|
| 2 |
+
oid sha256:b576d73d1f76c0688f10ffa134031938064f327ae59255437c457d32e4305e6b
|
| 3 |
+
size 14244
|
checkpoints/checkpoint-12000/scheduler.pt
ADDED
|
@@ -0,0 +1,3 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
version https://git-lfs.github.com/spec/v1
|
| 2 |
+
oid sha256:bee6e2797fd21cb0135eb71dabebc476e1305b25cd0d084070d107c4412a0081
|
| 3 |
+
size 1064
|
checkpoints/checkpoint-12000/sentence_bert_config.json
ADDED
|
@@ -0,0 +1,4 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
{
|
| 2 |
+
"max_seq_length": 4096,
|
| 3 |
+
"do_lower_case": false
|
| 4 |
+
}
|
checkpoints/checkpoint-12000/special_tokens_map.json
ADDED
|
@@ -0,0 +1,37 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
{
|
| 2 |
+
"cls_token": {
|
| 3 |
+
"content": "[CLS]",
|
| 4 |
+
"lstrip": false,
|
| 5 |
+
"normalized": false,
|
| 6 |
+
"rstrip": false,
|
| 7 |
+
"single_word": false
|
| 8 |
+
},
|
| 9 |
+
"mask_token": {
|
| 10 |
+
"content": "[MASK]",
|
| 11 |
+
"lstrip": true,
|
| 12 |
+
"normalized": false,
|
| 13 |
+
"rstrip": false,
|
| 14 |
+
"single_word": false
|
| 15 |
+
},
|
| 16 |
+
"pad_token": {
|
| 17 |
+
"content": "[PAD]",
|
| 18 |
+
"lstrip": false,
|
| 19 |
+
"normalized": false,
|
| 20 |
+
"rstrip": false,
|
| 21 |
+
"single_word": false
|
| 22 |
+
},
|
| 23 |
+
"sep_token": {
|
| 24 |
+
"content": "[SEP]",
|
| 25 |
+
"lstrip": false,
|
| 26 |
+
"normalized": false,
|
| 27 |
+
"rstrip": false,
|
| 28 |
+
"single_word": false
|
| 29 |
+
},
|
| 30 |
+
"unk_token": {
|
| 31 |
+
"content": "[UNK]",
|
| 32 |
+
"lstrip": false,
|
| 33 |
+
"normalized": false,
|
| 34 |
+
"rstrip": false,
|
| 35 |
+
"single_word": false
|
| 36 |
+
}
|
| 37 |
+
}
|
checkpoints/checkpoint-12000/tokenizer.json
ADDED
|
The diff for this file is too large to render.
See raw diff
|
|
|
checkpoints/checkpoint-12000/tokenizer_config.json
ADDED
|
@@ -0,0 +1,569 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
{
|
| 2 |
+
"added_tokens_decoder": {
|
| 3 |
+
"0": {
|
| 4 |
+
"content": "[CLS]",
|
| 5 |
+
"lstrip": false,
|
| 6 |
+
"normalized": false,
|
| 7 |
+
"rstrip": false,
|
| 8 |
+
"single_word": false,
|
| 9 |
+
"special": true
|
| 10 |
+
},
|
| 11 |
+
"1": {
|
| 12 |
+
"content": "[MASK]",
|
| 13 |
+
"lstrip": true,
|
| 14 |
+
"normalized": false,
|
| 15 |
+
"rstrip": false,
|
| 16 |
+
"single_word": false,
|
| 17 |
+
"special": true
|
| 18 |
+
},
|
| 19 |
+
"2": {
|
| 20 |
+
"content": "[PAD]",
|
| 21 |
+
"lstrip": false,
|
| 22 |
+
"normalized": false,
|
| 23 |
+
"rstrip": false,
|
| 24 |
+
"single_word": false,
|
| 25 |
+
"special": true
|
| 26 |
+
},
|
| 27 |
+
"3": {
|
| 28 |
+
"content": "[SEP]",
|
| 29 |
+
"lstrip": false,
|
| 30 |
+
"normalized": false,
|
| 31 |
+
"rstrip": false,
|
| 32 |
+
"single_word": false,
|
| 33 |
+
"special": true
|
| 34 |
+
},
|
| 35 |
+
"4": {
|
| 36 |
+
"content": "[UNK]",
|
| 37 |
+
"lstrip": false,
|
| 38 |
+
"normalized": false,
|
| 39 |
+
"rstrip": false,
|
| 40 |
+
"single_word": false,
|
| 41 |
+
"special": true
|
| 42 |
+
},
|
| 43 |
+
"32000": {
|
| 44 |
+
"content": "[unused1]",
|
| 45 |
+
"lstrip": false,
|
| 46 |
+
"normalized": false,
|
| 47 |
+
"rstrip": false,
|
| 48 |
+
"single_word": false,
|
| 49 |
+
"special": true
|
| 50 |
+
},
|
| 51 |
+
"32001": {
|
| 52 |
+
"content": "[unused2]",
|
| 53 |
+
"lstrip": false,
|
| 54 |
+
"normalized": false,
|
| 55 |
+
"rstrip": false,
|
| 56 |
+
"single_word": false,
|
| 57 |
+
"special": true
|
| 58 |
+
},
|
| 59 |
+
"32002": {
|
| 60 |
+
"content": "[unused3]",
|
| 61 |
+
"lstrip": false,
|
| 62 |
+
"normalized": false,
|
| 63 |
+
"rstrip": false,
|
| 64 |
+
"single_word": false,
|
| 65 |
+
"special": true
|
| 66 |
+
},
|
| 67 |
+
"32003": {
|
| 68 |
+
"content": "[unused4]",
|
| 69 |
+
"lstrip": false,
|
| 70 |
+
"normalized": false,
|
| 71 |
+
"rstrip": false,
|
| 72 |
+
"single_word": false,
|
| 73 |
+
"special": true
|
| 74 |
+
},
|
| 75 |
+
"32004": {
|
| 76 |
+
"content": "[unused5]",
|
| 77 |
+
"lstrip": false,
|
| 78 |
+
"normalized": false,
|
| 79 |
+
"rstrip": false,
|
| 80 |
+
"single_word": false,
|
| 81 |
+
"special": true
|
| 82 |
+
},
|
| 83 |
+
"32005": {
|
| 84 |
+
"content": "[unused6]",
|
| 85 |
+
"lstrip": false,
|
| 86 |
+
"normalized": false,
|
| 87 |
+
"rstrip": false,
|
| 88 |
+
"single_word": false,
|
| 89 |
+
"special": true
|
| 90 |
+
},
|
| 91 |
+
"32006": {
|
| 92 |
+
"content": "[unused7]",
|
| 93 |
+
"lstrip": false,
|
| 94 |
+
"normalized": false,
|
| 95 |
+
"rstrip": false,
|
| 96 |
+
"single_word": false,
|
| 97 |
+
"special": true
|
| 98 |
+
},
|
| 99 |
+
"32007": {
|
| 100 |
+
"content": "[unused8]",
|
| 101 |
+
"lstrip": false,
|
| 102 |
+
"normalized": false,
|
| 103 |
+
"rstrip": false,
|
| 104 |
+
"single_word": false,
|
| 105 |
+
"special": true
|
| 106 |
+
},
|
| 107 |
+
"32008": {
|
| 108 |
+
"content": "[unused9]",
|
| 109 |
+
"lstrip": false,
|
| 110 |
+
"normalized": false,
|
| 111 |
+
"rstrip": false,
|
| 112 |
+
"single_word": false,
|
| 113 |
+
"special": true
|
| 114 |
+
},
|
| 115 |
+
"32009": {
|
| 116 |
+
"content": "[unused10]",
|
| 117 |
+
"lstrip": false,
|
| 118 |
+
"normalized": false,
|
| 119 |
+
"rstrip": false,
|
| 120 |
+
"single_word": false,
|
| 121 |
+
"special": true
|
| 122 |
+
},
|
| 123 |
+
"32010": {
|
| 124 |
+
"content": "[unused11]",
|
| 125 |
+
"lstrip": false,
|
| 126 |
+
"normalized": false,
|
| 127 |
+
"rstrip": false,
|
| 128 |
+
"single_word": false,
|
| 129 |
+
"special": true
|
| 130 |
+
},
|
| 131 |
+
"32011": {
|
| 132 |
+
"content": "[unused12]",
|
| 133 |
+
"lstrip": false,
|
| 134 |
+
"normalized": false,
|
| 135 |
+
"rstrip": false,
|
| 136 |
+
"single_word": false,
|
| 137 |
+
"special": true
|
| 138 |
+
},
|
| 139 |
+
"32012": {
|
| 140 |
+
"content": "[unused13]",
|
| 141 |
+
"lstrip": false,
|
| 142 |
+
"normalized": false,
|
| 143 |
+
"rstrip": false,
|
| 144 |
+
"single_word": false,
|
| 145 |
+
"special": true
|
| 146 |
+
},
|
| 147 |
+
"32013": {
|
| 148 |
+
"content": "[unused14]",
|
| 149 |
+
"lstrip": false,
|
| 150 |
+
"normalized": false,
|
| 151 |
+
"rstrip": false,
|
| 152 |
+
"single_word": false,
|
| 153 |
+
"special": true
|
| 154 |
+
},
|
| 155 |
+
"32014": {
|
| 156 |
+
"content": "[unused15]",
|
| 157 |
+
"lstrip": false,
|
| 158 |
+
"normalized": false,
|
| 159 |
+
"rstrip": false,
|
| 160 |
+
"single_word": false,
|
| 161 |
+
"special": true
|
| 162 |
+
},
|
| 163 |
+
"32015": {
|
| 164 |
+
"content": "[unused16]",
|
| 165 |
+
"lstrip": false,
|
| 166 |
+
"normalized": false,
|
| 167 |
+
"rstrip": false,
|
| 168 |
+
"single_word": false,
|
| 169 |
+
"special": true
|
| 170 |
+
},
|
| 171 |
+
"32016": {
|
| 172 |
+
"content": "[unused17]",
|
| 173 |
+
"lstrip": false,
|
| 174 |
+
"normalized": false,
|
| 175 |
+
"rstrip": false,
|
| 176 |
+
"single_word": false,
|
| 177 |
+
"special": true
|
| 178 |
+
},
|
| 179 |
+
"32017": {
|
| 180 |
+
"content": "[unused18]",
|
| 181 |
+
"lstrip": false,
|
| 182 |
+
"normalized": false,
|
| 183 |
+
"rstrip": false,
|
| 184 |
+
"single_word": false,
|
| 185 |
+
"special": true
|
| 186 |
+
},
|
| 187 |
+
"32018": {
|
| 188 |
+
"content": "[unused19]",
|
| 189 |
+
"lstrip": false,
|
| 190 |
+
"normalized": false,
|
| 191 |
+
"rstrip": false,
|
| 192 |
+
"single_word": false,
|
| 193 |
+
"special": true
|
| 194 |
+
},
|
| 195 |
+
"32019": {
|
| 196 |
+
"content": "[unused20]",
|
| 197 |
+
"lstrip": false,
|
| 198 |
+
"normalized": false,
|
| 199 |
+
"rstrip": false,
|
| 200 |
+
"single_word": false,
|
| 201 |
+
"special": true
|
| 202 |
+
},
|
| 203 |
+
"32020": {
|
| 204 |
+
"content": "[unused21]",
|
| 205 |
+
"lstrip": false,
|
| 206 |
+
"normalized": false,
|
| 207 |
+
"rstrip": false,
|
| 208 |
+
"single_word": false,
|
| 209 |
+
"special": true
|
| 210 |
+
},
|
| 211 |
+
"32021": {
|
| 212 |
+
"content": "[unused22]",
|
| 213 |
+
"lstrip": false,
|
| 214 |
+
"normalized": false,
|
| 215 |
+
"rstrip": false,
|
| 216 |
+
"single_word": false,
|
| 217 |
+
"special": true
|
| 218 |
+
},
|
| 219 |
+
"32022": {
|
| 220 |
+
"content": "[unused23]",
|
| 221 |
+
"lstrip": false,
|
| 222 |
+
"normalized": false,
|
| 223 |
+
"rstrip": false,
|
| 224 |
+
"single_word": false,
|
| 225 |
+
"special": true
|
| 226 |
+
},
|
| 227 |
+
"32023": {
|
| 228 |
+
"content": "[unused24]",
|
| 229 |
+
"lstrip": false,
|
| 230 |
+
"normalized": false,
|
| 231 |
+
"rstrip": false,
|
| 232 |
+
"single_word": false,
|
| 233 |
+
"special": true
|
| 234 |
+
},
|
| 235 |
+
"32024": {
|
| 236 |
+
"content": "[unused25]",
|
| 237 |
+
"lstrip": false,
|
| 238 |
+
"normalized": false,
|
| 239 |
+
"rstrip": false,
|
| 240 |
+
"single_word": false,
|
| 241 |
+
"special": true
|
| 242 |
+
},
|
| 243 |
+
"32025": {
|
| 244 |
+
"content": "[unused26]",
|
| 245 |
+
"lstrip": false,
|
| 246 |
+
"normalized": false,
|
| 247 |
+
"rstrip": false,
|
| 248 |
+
"single_word": false,
|
| 249 |
+
"special": true
|
| 250 |
+
},
|
| 251 |
+
"32026": {
|
| 252 |
+
"content": "[unused27]",
|
| 253 |
+
"lstrip": false,
|
| 254 |
+
"normalized": false,
|
| 255 |
+
"rstrip": false,
|
| 256 |
+
"single_word": false,
|
| 257 |
+
"special": true
|
| 258 |
+
},
|
| 259 |
+
"32027": {
|
| 260 |
+
"content": "[unused28]",
|
| 261 |
+
"lstrip": false,
|
| 262 |
+
"normalized": false,
|
| 263 |
+
"rstrip": false,
|
| 264 |
+
"single_word": false,
|
| 265 |
+
"special": true
|
| 266 |
+
},
|
| 267 |
+
"32028": {
|
| 268 |
+
"content": "[unused29]",
|
| 269 |
+
"lstrip": false,
|
| 270 |
+
"normalized": false,
|
| 271 |
+
"rstrip": false,
|
| 272 |
+
"single_word": false,
|
| 273 |
+
"special": true
|
| 274 |
+
},
|
| 275 |
+
"32029": {
|
| 276 |
+
"content": "[unused30]",
|
| 277 |
+
"lstrip": false,
|
| 278 |
+
"normalized": false,
|
| 279 |
+
"rstrip": false,
|
| 280 |
+
"single_word": false,
|
| 281 |
+
"special": true
|
| 282 |
+
},
|
| 283 |
+
"32030": {
|
| 284 |
+
"content": "[unused31]",
|
| 285 |
+
"lstrip": false,
|
| 286 |
+
"normalized": false,
|
| 287 |
+
"rstrip": false,
|
| 288 |
+
"single_word": false,
|
| 289 |
+
"special": true
|
| 290 |
+
},
|
| 291 |
+
"32031": {
|
| 292 |
+
"content": "[unused32]",
|
| 293 |
+
"lstrip": false,
|
| 294 |
+
"normalized": false,
|
| 295 |
+
"rstrip": false,
|
| 296 |
+
"single_word": false,
|
| 297 |
+
"special": true
|
| 298 |
+
},
|
| 299 |
+
"32032": {
|
| 300 |
+
"content": "[unused33]",
|
| 301 |
+
"lstrip": false,
|
| 302 |
+
"normalized": false,
|
| 303 |
+
"rstrip": false,
|
| 304 |
+
"single_word": false,
|
| 305 |
+
"special": true
|
| 306 |
+
},
|
| 307 |
+
"32033": {
|
| 308 |
+
"content": "[unused34]",
|
| 309 |
+
"lstrip": false,
|
| 310 |
+
"normalized": false,
|
| 311 |
+
"rstrip": false,
|
| 312 |
+
"single_word": false,
|
| 313 |
+
"special": true
|
| 314 |
+
},
|
| 315 |
+
"32034": {
|
| 316 |
+
"content": "[unused35]",
|
| 317 |
+
"lstrip": false,
|
| 318 |
+
"normalized": false,
|
| 319 |
+
"rstrip": false,
|
| 320 |
+
"single_word": false,
|
| 321 |
+
"special": true
|
| 322 |
+
},
|
| 323 |
+
"32035": {
|
| 324 |
+
"content": "[unused36]",
|
| 325 |
+
"lstrip": false,
|
| 326 |
+
"normalized": false,
|
| 327 |
+
"rstrip": false,
|
| 328 |
+
"single_word": false,
|
| 329 |
+
"special": true
|
| 330 |
+
},
|
| 331 |
+
"32036": {
|
| 332 |
+
"content": "[unused37]",
|
| 333 |
+
"lstrip": false,
|
| 334 |
+
"normalized": false,
|
| 335 |
+
"rstrip": false,
|
| 336 |
+
"single_word": false,
|
| 337 |
+
"special": true
|
| 338 |
+
},
|
| 339 |
+
"32037": {
|
| 340 |
+
"content": "[unused38]",
|
| 341 |
+
"lstrip": false,
|
| 342 |
+
"normalized": false,
|
| 343 |
+
"rstrip": false,
|
| 344 |
+
"single_word": false,
|
| 345 |
+
"special": true
|
| 346 |
+
},
|
| 347 |
+
"32038": {
|
| 348 |
+
"content": "[unused39]",
|
| 349 |
+
"lstrip": false,
|
| 350 |
+
"normalized": false,
|
| 351 |
+
"rstrip": false,
|
| 352 |
+
"single_word": false,
|
| 353 |
+
"special": true
|
| 354 |
+
},
|
| 355 |
+
"32039": {
|
| 356 |
+
"content": "[unused40]",
|
| 357 |
+
"lstrip": false,
|
| 358 |
+
"normalized": false,
|
| 359 |
+
"rstrip": false,
|
| 360 |
+
"single_word": false,
|
| 361 |
+
"special": true
|
| 362 |
+
},
|
| 363 |
+
"32040": {
|
| 364 |
+
"content": "[unused41]",
|
| 365 |
+
"lstrip": false,
|
| 366 |
+
"normalized": false,
|
| 367 |
+
"rstrip": false,
|
| 368 |
+
"single_word": false,
|
| 369 |
+
"special": true
|
| 370 |
+
},
|
| 371 |
+
"32041": {
|
| 372 |
+
"content": "[unused42]",
|
| 373 |
+
"lstrip": false,
|
| 374 |
+
"normalized": false,
|
| 375 |
+
"rstrip": false,
|
| 376 |
+
"single_word": false,
|
| 377 |
+
"special": true
|
| 378 |
+
},
|
| 379 |
+
"32042": {
|
| 380 |
+
"content": "[unused43]",
|
| 381 |
+
"lstrip": false,
|
| 382 |
+
"normalized": false,
|
| 383 |
+
"rstrip": false,
|
| 384 |
+
"single_word": false,
|
| 385 |
+
"special": true
|
| 386 |
+
},
|
| 387 |
+
"32043": {
|
| 388 |
+
"content": "[unused44]",
|
| 389 |
+
"lstrip": false,
|
| 390 |
+
"normalized": false,
|
| 391 |
+
"rstrip": false,
|
| 392 |
+
"single_word": false,
|
| 393 |
+
"special": true
|
| 394 |
+
},
|
| 395 |
+
"32044": {
|
| 396 |
+
"content": "[unused45]",
|
| 397 |
+
"lstrip": false,
|
| 398 |
+
"normalized": false,
|
| 399 |
+
"rstrip": false,
|
| 400 |
+
"single_word": false,
|
| 401 |
+
"special": true
|
| 402 |
+
},
|
| 403 |
+
"32045": {
|
| 404 |
+
"content": "[unused46]",
|
| 405 |
+
"lstrip": false,
|
| 406 |
+
"normalized": false,
|
| 407 |
+
"rstrip": false,
|
| 408 |
+
"single_word": false,
|
| 409 |
+
"special": true
|
| 410 |
+
},
|
| 411 |
+
"32046": {
|
| 412 |
+
"content": "[unused47]",
|
| 413 |
+
"lstrip": false,
|
| 414 |
+
"normalized": false,
|
| 415 |
+
"rstrip": false,
|
| 416 |
+
"single_word": false,
|
| 417 |
+
"special": true
|
| 418 |
+
},
|
| 419 |
+
"32047": {
|
| 420 |
+
"content": "[unused48]",
|
| 421 |
+
"lstrip": false,
|
| 422 |
+
"normalized": false,
|
| 423 |
+
"rstrip": false,
|
| 424 |
+
"single_word": false,
|
| 425 |
+
"special": true
|
| 426 |
+
},
|
| 427 |
+
"32048": {
|
| 428 |
+
"content": "[unused49]",
|
| 429 |
+
"lstrip": false,
|
| 430 |
+
"normalized": false,
|
| 431 |
+
"rstrip": false,
|
| 432 |
+
"single_word": false,
|
| 433 |
+
"special": true
|
| 434 |
+
},
|
| 435 |
+
"32049": {
|
| 436 |
+
"content": "[unused50]",
|
| 437 |
+
"lstrip": false,
|
| 438 |
+
"normalized": false,
|
| 439 |
+
"rstrip": false,
|
| 440 |
+
"single_word": false,
|
| 441 |
+
"special": true
|
| 442 |
+
},
|
| 443 |
+
"32050": {
|
| 444 |
+
"content": "[unused51]",
|
| 445 |
+
"lstrip": false,
|
| 446 |
+
"normalized": false,
|
| 447 |
+
"rstrip": false,
|
| 448 |
+
"single_word": false,
|
| 449 |
+
"special": true
|
| 450 |
+
},
|
| 451 |
+
"32051": {
|
| 452 |
+
"content": "[unused52]",
|
| 453 |
+
"lstrip": false,
|
| 454 |
+
"normalized": false,
|
| 455 |
+
"rstrip": false,
|
| 456 |
+
"single_word": false,
|
| 457 |
+
"special": true
|
| 458 |
+
},
|
| 459 |
+
"32052": {
|
| 460 |
+
"content": "[unused53]",
|
| 461 |
+
"lstrip": false,
|
| 462 |
+
"normalized": false,
|
| 463 |
+
"rstrip": false,
|
| 464 |
+
"single_word": false,
|
| 465 |
+
"special": true
|
| 466 |
+
},
|
| 467 |
+
"32053": {
|
| 468 |
+
"content": "[unused54]",
|
| 469 |
+
"lstrip": false,
|
| 470 |
+
"normalized": false,
|
| 471 |
+
"rstrip": false,
|
| 472 |
+
"single_word": false,
|
| 473 |
+
"special": true
|
| 474 |
+
},
|
| 475 |
+
"32054": {
|
| 476 |
+
"content": "[unused55]",
|
| 477 |
+
"lstrip": false,
|
| 478 |
+
"normalized": false,
|
| 479 |
+
"rstrip": false,
|
| 480 |
+
"single_word": false,
|
| 481 |
+
"special": true
|
| 482 |
+
},
|
| 483 |
+
"32055": {
|
| 484 |
+
"content": "[unused56]",
|
| 485 |
+
"lstrip": false,
|
| 486 |
+
"normalized": false,
|
| 487 |
+
"rstrip": false,
|
| 488 |
+
"single_word": false,
|
| 489 |
+
"special": true
|
| 490 |
+
},
|
| 491 |
+
"32056": {
|
| 492 |
+
"content": "[unused57]",
|
| 493 |
+
"lstrip": false,
|
| 494 |
+
"normalized": false,
|
| 495 |
+
"rstrip": false,
|
| 496 |
+
"single_word": false,
|
| 497 |
+
"special": true
|
| 498 |
+
},
|
| 499 |
+
"32057": {
|
| 500 |
+
"content": "[unused58]",
|
| 501 |
+
"lstrip": false,
|
| 502 |
+
"normalized": false,
|
| 503 |
+
"rstrip": false,
|
| 504 |
+
"single_word": false,
|
| 505 |
+
"special": true
|
| 506 |
+
},
|
| 507 |
+
"32058": {
|
| 508 |
+
"content": "[unused59]",
|
| 509 |
+
"lstrip": false,
|
| 510 |
+
"normalized": false,
|
| 511 |
+
"rstrip": false,
|
| 512 |
+
"single_word": false,
|
| 513 |
+
"special": true
|
| 514 |
+
},
|
| 515 |
+
"32059": {
|
| 516 |
+
"content": "[unused60]",
|
| 517 |
+
"lstrip": false,
|
| 518 |
+
"normalized": false,
|
| 519 |
+
"rstrip": false,
|
| 520 |
+
"single_word": false,
|
| 521 |
+
"special": true
|
| 522 |
+
},
|
| 523 |
+
"32060": {
|
| 524 |
+
"content": "[unused61]",
|
| 525 |
+
"lstrip": false,
|
| 526 |
+
"normalized": false,
|
| 527 |
+
"rstrip": false,
|
| 528 |
+
"single_word": false,
|
| 529 |
+
"special": true
|
| 530 |
+
},
|
| 531 |
+
"32061": {
|
| 532 |
+
"content": "[unused62]",
|
| 533 |
+
"lstrip": false,
|
| 534 |
+
"normalized": false,
|
| 535 |
+
"rstrip": false,
|
| 536 |
+
"single_word": false,
|
| 537 |
+
"special": true
|
| 538 |
+
},
|
| 539 |
+
"32062": {
|
| 540 |
+
"content": "[unused63]",
|
| 541 |
+
"lstrip": false,
|
| 542 |
+
"normalized": false,
|
| 543 |
+
"rstrip": false,
|
| 544 |
+
"single_word": false,
|
| 545 |
+
"special": true
|
| 546 |
+
},
|
| 547 |
+
"32063": {
|
| 548 |
+
"content": "[unused64]",
|
| 549 |
+
"lstrip": false,
|
| 550 |
+
"normalized": false,
|
| 551 |
+
"rstrip": false,
|
| 552 |
+
"single_word": false,
|
| 553 |
+
"special": true
|
| 554 |
+
}
|
| 555 |
+
},
|
| 556 |
+
"clean_up_tokenization_spaces": true,
|
| 557 |
+
"cls_token": "[CLS]",
|
| 558 |
+
"extra_special_tokens": {},
|
| 559 |
+
"mask_token": "[MASK]",
|
| 560 |
+
"model_input_names": [
|
| 561 |
+
"input_ids",
|
| 562 |
+
"attention_mask"
|
| 563 |
+
],
|
| 564 |
+
"model_max_length": 4096,
|
| 565 |
+
"pad_token": "[PAD]",
|
| 566 |
+
"sep_token": "[SEP]",
|
| 567 |
+
"tokenizer_class": "PreTrainedTokenizerFast",
|
| 568 |
+
"unk_token": "[UNK]"
|
| 569 |
+
}
|
checkpoints/checkpoint-12000/trainer_state.json
ADDED
|
@@ -0,0 +1,1762 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
{
|
| 2 |
+
"best_global_step": 10000,
|
| 3 |
+
"best_metric": 9.46528971195221,
|
| 4 |
+
"best_model_checkpoint": "outputs/gn-trvn-bert-tiny-stage2/checkpoints/checkpoint-10000",
|
| 5 |
+
"epoch": 2.1015761821366024,
|
| 6 |
+
"eval_steps": 2000,
|
| 7 |
+
"global_step": 12000,
|
| 8 |
+
"is_hyper_param_search": false,
|
| 9 |
+
"is_local_process_zero": true,
|
| 10 |
+
"is_world_process_zero": true,
|
| 11 |
+
"log_history": [
|
| 12 |
+
{
|
| 13 |
+
"epoch": 0.008756567425569177,
|
| 14 |
+
"grad_norm": 38.569705963134766,
|
| 15 |
+
"learning_rate": 2.860478692352598e-06,
|
| 16 |
+
"loss": 17.9385,
|
| 17 |
+
"step": 50
|
| 18 |
+
},
|
| 19 |
+
{
|
| 20 |
+
"epoch": 0.017513134851138354,
|
| 21 |
+
"grad_norm": 34.672630310058594,
|
| 22 |
+
"learning_rate": 5.779334500875657e-06,
|
| 23 |
+
"loss": 14.3738,
|
| 24 |
+
"step": 100
|
| 25 |
+
},
|
| 26 |
+
{
|
| 27 |
+
"epoch": 0.02626970227670753,
|
| 28 |
+
"grad_norm": 43.91042709350586,
|
| 29 |
+
"learning_rate": 8.698190309398715e-06,
|
| 30 |
+
"loss": 9.8859,
|
| 31 |
+
"step": 150
|
| 32 |
+
},
|
| 33 |
+
{
|
| 34 |
+
"epoch": 0.03502626970227671,
|
| 35 |
+
"grad_norm": 57.78752517700195,
|
| 36 |
+
"learning_rate": 1.1617046117921775e-05,
|
| 37 |
+
"loss": 6.4649,
|
| 38 |
+
"step": 200
|
| 39 |
+
},
|
| 40 |
+
{
|
| 41 |
+
"epoch": 0.043782837127845885,
|
| 42 |
+
"grad_norm": 35.54427719116211,
|
| 43 |
+
"learning_rate": 1.4535901926444834e-05,
|
| 44 |
+
"loss": 4.9783,
|
| 45 |
+
"step": 250
|
| 46 |
+
},
|
| 47 |
+
{
|
| 48 |
+
"epoch": 0.05253940455341506,
|
| 49 |
+
"grad_norm": 31.777587890625,
|
| 50 |
+
"learning_rate": 1.7454757734967893e-05,
|
| 51 |
+
"loss": 4.2985,
|
| 52 |
+
"step": 300
|
| 53 |
+
},
|
| 54 |
+
{
|
| 55 |
+
"epoch": 0.06129597197898424,
|
| 56 |
+
"grad_norm": 42.651580810546875,
|
| 57 |
+
"learning_rate": 2.0373613543490952e-05,
|
| 58 |
+
"loss": 3.9206,
|
| 59 |
+
"step": 350
|
| 60 |
+
},
|
| 61 |
+
{
|
| 62 |
+
"epoch": 0.07005253940455342,
|
| 63 |
+
"grad_norm": 31.729093551635742,
|
| 64 |
+
"learning_rate": 2.3292469352014014e-05,
|
| 65 |
+
"loss": 3.4734,
|
| 66 |
+
"step": 400
|
| 67 |
+
},
|
| 68 |
+
{
|
| 69 |
+
"epoch": 0.07880910683012259,
|
| 70 |
+
"grad_norm": 35.55150604248047,
|
| 71 |
+
"learning_rate": 2.621132516053707e-05,
|
| 72 |
+
"loss": 3.2029,
|
| 73 |
+
"step": 450
|
| 74 |
+
},
|
| 75 |
+
{
|
| 76 |
+
"epoch": 0.08756567425569177,
|
| 77 |
+
"grad_norm": 30.33448028564453,
|
| 78 |
+
"learning_rate": 2.913018096906013e-05,
|
| 79 |
+
"loss": 3.0987,
|
| 80 |
+
"step": 500
|
| 81 |
+
},
|
| 82 |
+
{
|
| 83 |
+
"epoch": 0.09632224168126094,
|
| 84 |
+
"grad_norm": 25.31376075744629,
|
| 85 |
+
"learning_rate": 3.2049036777583194e-05,
|
| 86 |
+
"loss": 2.7411,
|
| 87 |
+
"step": 550
|
| 88 |
+
},
|
| 89 |
+
{
|
| 90 |
+
"epoch": 0.10507880910683012,
|
| 91 |
+
"grad_norm": 26.05292510986328,
|
| 92 |
+
"learning_rate": 3.496789258610625e-05,
|
| 93 |
+
"loss": 2.6607,
|
| 94 |
+
"step": 600
|
| 95 |
+
},
|
| 96 |
+
{
|
| 97 |
+
"epoch": 0.1138353765323993,
|
| 98 |
+
"grad_norm": 26.05803680419922,
|
| 99 |
+
"learning_rate": 3.7886748394629305e-05,
|
| 100 |
+
"loss": 2.6816,
|
| 101 |
+
"step": 650
|
| 102 |
+
},
|
| 103 |
+
{
|
| 104 |
+
"epoch": 0.12259194395796848,
|
| 105 |
+
"grad_norm": 24.733055114746094,
|
| 106 |
+
"learning_rate": 4.080560420315237e-05,
|
| 107 |
+
"loss": 2.4956,
|
| 108 |
+
"step": 700
|
| 109 |
+
},
|
| 110 |
+
{
|
| 111 |
+
"epoch": 0.13134851138353765,
|
| 112 |
+
"grad_norm": 22.667850494384766,
|
| 113 |
+
"learning_rate": 4.372446001167543e-05,
|
| 114 |
+
"loss": 2.2048,
|
| 115 |
+
"step": 750
|
| 116 |
+
},
|
| 117 |
+
{
|
| 118 |
+
"epoch": 0.14010507880910683,
|
| 119 |
+
"grad_norm": 25.771909713745117,
|
| 120 |
+
"learning_rate": 4.6643315820198485e-05,
|
| 121 |
+
"loss": 2.2066,
|
| 122 |
+
"step": 800
|
| 123 |
+
},
|
| 124 |
+
{
|
| 125 |
+
"epoch": 0.14886164623467601,
|
| 126 |
+
"grad_norm": 27.56467056274414,
|
| 127 |
+
"learning_rate": 4.956217162872154e-05,
|
| 128 |
+
"loss": 2.1267,
|
| 129 |
+
"step": 850
|
| 130 |
+
},
|
| 131 |
+
{
|
| 132 |
+
"epoch": 0.15761821366024517,
|
| 133 |
+
"grad_norm": 23.768373489379883,
|
| 134 |
+
"learning_rate": 5.24810274372446e-05,
|
| 135 |
+
"loss": 2.1561,
|
| 136 |
+
"step": 900
|
| 137 |
+
},
|
| 138 |
+
{
|
| 139 |
+
"epoch": 0.16637478108581435,
|
| 140 |
+
"grad_norm": 21.915542602539062,
|
| 141 |
+
"learning_rate": 5.539988324576766e-05,
|
| 142 |
+
"loss": 1.9648,
|
| 143 |
+
"step": 950
|
| 144 |
+
},
|
| 145 |
+
{
|
| 146 |
+
"epoch": 0.17513134851138354,
|
| 147 |
+
"grad_norm": 24.779451370239258,
|
| 148 |
+
"learning_rate": 5.8318739054290713e-05,
|
| 149 |
+
"loss": 1.8996,
|
| 150 |
+
"step": 1000
|
| 151 |
+
},
|
| 152 |
+
{
|
| 153 |
+
"epoch": 0.18388791593695272,
|
| 154 |
+
"grad_norm": 18.327836990356445,
|
| 155 |
+
"learning_rate": 6.123759486281379e-05,
|
| 156 |
+
"loss": 1.9579,
|
| 157 |
+
"step": 1050
|
| 158 |
+
},
|
| 159 |
+
{
|
| 160 |
+
"epoch": 0.19264448336252188,
|
| 161 |
+
"grad_norm": 15.165278434753418,
|
| 162 |
+
"learning_rate": 6.415645067133684e-05,
|
| 163 |
+
"loss": 1.8008,
|
| 164 |
+
"step": 1100
|
| 165 |
+
},
|
| 166 |
+
{
|
| 167 |
+
"epoch": 0.20140105078809106,
|
| 168 |
+
"grad_norm": 12.937108993530273,
|
| 169 |
+
"learning_rate": 6.70753064798599e-05,
|
| 170 |
+
"loss": 1.7214,
|
| 171 |
+
"step": 1150
|
| 172 |
+
},
|
| 173 |
+
{
|
| 174 |
+
"epoch": 0.21015761821366025,
|
| 175 |
+
"grad_norm": 19.940013885498047,
|
| 176 |
+
"learning_rate": 6.999416228838296e-05,
|
| 177 |
+
"loss": 1.9004,
|
| 178 |
+
"step": 1200
|
| 179 |
+
},
|
| 180 |
+
{
|
| 181 |
+
"epoch": 0.21891418563922943,
|
| 182 |
+
"grad_norm": 18.664751052856445,
|
| 183 |
+
"learning_rate": 7.291301809690601e-05,
|
| 184 |
+
"loss": 1.6161,
|
| 185 |
+
"step": 1250
|
| 186 |
+
},
|
| 187 |
+
{
|
| 188 |
+
"epoch": 0.2276707530647986,
|
| 189 |
+
"grad_norm": 19.357755661010742,
|
| 190 |
+
"learning_rate": 7.583187390542907e-05,
|
| 191 |
+
"loss": 1.7509,
|
| 192 |
+
"step": 1300
|
| 193 |
+
},
|
| 194 |
+
{
|
| 195 |
+
"epoch": 0.23642732049036777,
|
| 196 |
+
"grad_norm": 20.326562881469727,
|
| 197 |
+
"learning_rate": 7.875072971395214e-05,
|
| 198 |
+
"loss": 1.714,
|
| 199 |
+
"step": 1350
|
| 200 |
+
},
|
| 201 |
+
{
|
| 202 |
+
"epoch": 0.24518388791593695,
|
| 203 |
+
"grad_norm": 16.717641830444336,
|
| 204 |
+
"learning_rate": 8.166958552247518e-05,
|
| 205 |
+
"loss": 1.6249,
|
| 206 |
+
"step": 1400
|
| 207 |
+
},
|
| 208 |
+
{
|
| 209 |
+
"epoch": 0.2539404553415061,
|
| 210 |
+
"grad_norm": 20.508249282836914,
|
| 211 |
+
"learning_rate": 8.458844133099826e-05,
|
| 212 |
+
"loss": 1.5886,
|
| 213 |
+
"step": 1450
|
| 214 |
+
},
|
| 215 |
+
{
|
| 216 |
+
"epoch": 0.2626970227670753,
|
| 217 |
+
"grad_norm": 12.438347816467285,
|
| 218 |
+
"learning_rate": 8.750729713952132e-05,
|
| 219 |
+
"loss": 1.6041,
|
| 220 |
+
"step": 1500
|
| 221 |
+
},
|
| 222 |
+
{
|
| 223 |
+
"epoch": 0.2714535901926445,
|
| 224 |
+
"grad_norm": 13.76894474029541,
|
| 225 |
+
"learning_rate": 9.042615294804437e-05,
|
| 226 |
+
"loss": 1.5227,
|
| 227 |
+
"step": 1550
|
| 228 |
+
},
|
| 229 |
+
{
|
| 230 |
+
"epoch": 0.28021015761821366,
|
| 231 |
+
"grad_norm": 12.289299964904785,
|
| 232 |
+
"learning_rate": 9.334500875656743e-05,
|
| 233 |
+
"loss": 1.4853,
|
| 234 |
+
"step": 1600
|
| 235 |
+
},
|
| 236 |
+
{
|
| 237 |
+
"epoch": 0.28896672504378285,
|
| 238 |
+
"grad_norm": 13.107077598571777,
|
| 239 |
+
"learning_rate": 9.62638645650905e-05,
|
| 240 |
+
"loss": 1.5423,
|
| 241 |
+
"step": 1650
|
| 242 |
+
},
|
| 243 |
+
{
|
| 244 |
+
"epoch": 0.29772329246935203,
|
| 245 |
+
"grad_norm": 16.76552391052246,
|
| 246 |
+
"learning_rate": 9.918272037361354e-05,
|
| 247 |
+
"loss": 1.4331,
|
| 248 |
+
"step": 1700
|
| 249 |
+
},
|
| 250 |
+
{
|
| 251 |
+
"epoch": 0.3064798598949212,
|
| 252 |
+
"grad_norm": 13.418523788452148,
|
| 253 |
+
"learning_rate": 9.976649153531816e-05,
|
| 254 |
+
"loss": 1.4789,
|
| 255 |
+
"step": 1750
|
| 256 |
+
},
|
| 257 |
+
{
|
| 258 |
+
"epoch": 0.31523642732049034,
|
| 259 |
+
"grad_norm": 13.981463432312012,
|
| 260 |
+
"learning_rate": 9.944217422326005e-05,
|
| 261 |
+
"loss": 1.3921,
|
| 262 |
+
"step": 1800
|
| 263 |
+
},
|
| 264 |
+
{
|
| 265 |
+
"epoch": 0.3239929947460595,
|
| 266 |
+
"grad_norm": 12.439119338989258,
|
| 267 |
+
"learning_rate": 9.911785691120193e-05,
|
| 268 |
+
"loss": 1.3465,
|
| 269 |
+
"step": 1850
|
| 270 |
+
},
|
| 271 |
+
{
|
| 272 |
+
"epoch": 0.3327495621716287,
|
| 273 |
+
"grad_norm": 8.691463470458984,
|
| 274 |
+
"learning_rate": 9.87935395991438e-05,
|
| 275 |
+
"loss": 1.4211,
|
| 276 |
+
"step": 1900
|
| 277 |
+
},
|
| 278 |
+
{
|
| 279 |
+
"epoch": 0.3415061295971979,
|
| 280 |
+
"grad_norm": 15.124604225158691,
|
| 281 |
+
"learning_rate": 9.846922228708569e-05,
|
| 282 |
+
"loss": 1.4408,
|
| 283 |
+
"step": 1950
|
| 284 |
+
},
|
| 285 |
+
{
|
| 286 |
+
"epoch": 0.3502626970227671,
|
| 287 |
+
"grad_norm": 13.21528434753418,
|
| 288 |
+
"learning_rate": 9.814490497502757e-05,
|
| 289 |
+
"loss": 1.2844,
|
| 290 |
+
"step": 2000
|
| 291 |
+
},
|
| 292 |
+
{
|
| 293 |
+
"epoch": 0.3502626970227671,
|
| 294 |
+
"eval_runtime": 3.5852,
|
| 295 |
+
"eval_samples_per_second": 0.0,
|
| 296 |
+
"eval_steps_per_second": 0.0,
|
| 297 |
+
"eval_validation_loss": 9.635697707533836,
|
| 298 |
+
"step": 2000
|
| 299 |
+
},
|
| 300 |
+
{
|
| 301 |
+
"epoch": 0.35901926444833626,
|
| 302 |
+
"grad_norm": 11.304644584655762,
|
| 303 |
+
"learning_rate": 9.782058766296946e-05,
|
| 304 |
+
"loss": 1.2777,
|
| 305 |
+
"step": 2050
|
| 306 |
+
},
|
| 307 |
+
{
|
| 308 |
+
"epoch": 0.36777583187390545,
|
| 309 |
+
"grad_norm": 12.891897201538086,
|
| 310 |
+
"learning_rate": 9.749627035091134e-05,
|
| 311 |
+
"loss": 1.2881,
|
| 312 |
+
"step": 2100
|
| 313 |
+
},
|
| 314 |
+
{
|
| 315 |
+
"epoch": 0.37653239929947463,
|
| 316 |
+
"grad_norm": 11.628429412841797,
|
| 317 |
+
"learning_rate": 9.717195303885322e-05,
|
| 318 |
+
"loss": 1.2529,
|
| 319 |
+
"step": 2150
|
| 320 |
+
},
|
| 321 |
+
{
|
| 322 |
+
"epoch": 0.38528896672504376,
|
| 323 |
+
"grad_norm": 12.568148612976074,
|
| 324 |
+
"learning_rate": 9.68476357267951e-05,
|
| 325 |
+
"loss": 1.1927,
|
| 326 |
+
"step": 2200
|
| 327 |
+
},
|
| 328 |
+
{
|
| 329 |
+
"epoch": 0.39404553415061294,
|
| 330 |
+
"grad_norm": 13.200762748718262,
|
| 331 |
+
"learning_rate": 9.652331841473698e-05,
|
| 332 |
+
"loss": 1.2601,
|
| 333 |
+
"step": 2250
|
| 334 |
+
},
|
| 335 |
+
{
|
| 336 |
+
"epoch": 0.4028021015761821,
|
| 337 |
+
"grad_norm": 10.00264835357666,
|
| 338 |
+
"learning_rate": 9.619900110267887e-05,
|
| 339 |
+
"loss": 1.2153,
|
| 340 |
+
"step": 2300
|
| 341 |
+
},
|
| 342 |
+
{
|
| 343 |
+
"epoch": 0.4115586690017513,
|
| 344 |
+
"grad_norm": 11.666933059692383,
|
| 345 |
+
"learning_rate": 9.587468379062075e-05,
|
| 346 |
+
"loss": 1.2032,
|
| 347 |
+
"step": 2350
|
| 348 |
+
},
|
| 349 |
+
{
|
| 350 |
+
"epoch": 0.4203152364273205,
|
| 351 |
+
"grad_norm": 14.103473663330078,
|
| 352 |
+
"learning_rate": 9.555036647856263e-05,
|
| 353 |
+
"loss": 1.1426,
|
| 354 |
+
"step": 2400
|
| 355 |
+
},
|
| 356 |
+
{
|
| 357 |
+
"epoch": 0.4290718038528897,
|
| 358 |
+
"grad_norm": 13.297406196594238,
|
| 359 |
+
"learning_rate": 9.522604916650451e-05,
|
| 360 |
+
"loss": 1.1638,
|
| 361 |
+
"step": 2450
|
| 362 |
+
},
|
| 363 |
+
{
|
| 364 |
+
"epoch": 0.43782837127845886,
|
| 365 |
+
"grad_norm": 11.50568962097168,
|
| 366 |
+
"learning_rate": 9.49017318544464e-05,
|
| 367 |
+
"loss": 1.1799,
|
| 368 |
+
"step": 2500
|
| 369 |
+
},
|
| 370 |
+
{
|
| 371 |
+
"epoch": 0.44658493870402804,
|
| 372 |
+
"grad_norm": 8.87900447845459,
|
| 373 |
+
"learning_rate": 9.457741454238828e-05,
|
| 374 |
+
"loss": 1.1008,
|
| 375 |
+
"step": 2550
|
| 376 |
+
},
|
| 377 |
+
{
|
| 378 |
+
"epoch": 0.4553415061295972,
|
| 379 |
+
"grad_norm": 12.74312973022461,
|
| 380 |
+
"learning_rate": 9.425309723033016e-05,
|
| 381 |
+
"loss": 1.0525,
|
| 382 |
+
"step": 2600
|
| 383 |
+
},
|
| 384 |
+
{
|
| 385 |
+
"epoch": 0.46409807355516636,
|
| 386 |
+
"grad_norm": 10.98713207244873,
|
| 387 |
+
"learning_rate": 9.392877991827205e-05,
|
| 388 |
+
"loss": 1.1515,
|
| 389 |
+
"step": 2650
|
| 390 |
+
},
|
| 391 |
+
{
|
| 392 |
+
"epoch": 0.47285464098073554,
|
| 393 |
+
"grad_norm": 13.649709701538086,
|
| 394 |
+
"learning_rate": 9.360446260621392e-05,
|
| 395 |
+
"loss": 1.1181,
|
| 396 |
+
"step": 2700
|
| 397 |
+
},
|
| 398 |
+
{
|
| 399 |
+
"epoch": 0.4816112084063047,
|
| 400 |
+
"grad_norm": 13.089012145996094,
|
| 401 |
+
"learning_rate": 9.32801452941558e-05,
|
| 402 |
+
"loss": 1.0531,
|
| 403 |
+
"step": 2750
|
| 404 |
+
},
|
| 405 |
+
{
|
| 406 |
+
"epoch": 0.4903677758318739,
|
| 407 |
+
"grad_norm": 9.799710273742676,
|
| 408 |
+
"learning_rate": 9.295582798209769e-05,
|
| 409 |
+
"loss": 1.0654,
|
| 410 |
+
"step": 2800
|
| 411 |
+
},
|
| 412 |
+
{
|
| 413 |
+
"epoch": 0.4991243432574431,
|
| 414 |
+
"grad_norm": 11.027754783630371,
|
| 415 |
+
"learning_rate": 9.263151067003957e-05,
|
| 416 |
+
"loss": 1.0744,
|
| 417 |
+
"step": 2850
|
| 418 |
+
},
|
| 419 |
+
{
|
| 420 |
+
"epoch": 0.5078809106830122,
|
| 421 |
+
"grad_norm": 9.723794937133789,
|
| 422 |
+
"learning_rate": 9.230719335798146e-05,
|
| 423 |
+
"loss": 0.9993,
|
| 424 |
+
"step": 2900
|
| 425 |
+
},
|
| 426 |
+
{
|
| 427 |
+
"epoch": 0.5166374781085814,
|
| 428 |
+
"grad_norm": 11.104982376098633,
|
| 429 |
+
"learning_rate": 9.198287604592333e-05,
|
| 430 |
+
"loss": 0.9832,
|
| 431 |
+
"step": 2950
|
| 432 |
+
},
|
| 433 |
+
{
|
| 434 |
+
"epoch": 0.5253940455341506,
|
| 435 |
+
"grad_norm": 11.334012985229492,
|
| 436 |
+
"learning_rate": 9.165855873386521e-05,
|
| 437 |
+
"loss": 1.0254,
|
| 438 |
+
"step": 3000
|
| 439 |
+
},
|
| 440 |
+
{
|
| 441 |
+
"epoch": 0.5341506129597198,
|
| 442 |
+
"grad_norm": 12.036911010742188,
|
| 443 |
+
"learning_rate": 9.13342414218071e-05,
|
| 444 |
+
"loss": 0.9355,
|
| 445 |
+
"step": 3050
|
| 446 |
+
},
|
| 447 |
+
{
|
| 448 |
+
"epoch": 0.542907180385289,
|
| 449 |
+
"grad_norm": 8.875101089477539,
|
| 450 |
+
"learning_rate": 9.100992410974898e-05,
|
| 451 |
+
"loss": 0.9367,
|
| 452 |
+
"step": 3100
|
| 453 |
+
},
|
| 454 |
+
{
|
| 455 |
+
"epoch": 0.5516637478108581,
|
| 456 |
+
"grad_norm": 6.77710485458374,
|
| 457 |
+
"learning_rate": 9.068560679769087e-05,
|
| 458 |
+
"loss": 1.0016,
|
| 459 |
+
"step": 3150
|
| 460 |
+
},
|
| 461 |
+
{
|
| 462 |
+
"epoch": 0.5604203152364273,
|
| 463 |
+
"grad_norm": 8.692364692687988,
|
| 464 |
+
"learning_rate": 9.036128948563276e-05,
|
| 465 |
+
"loss": 1.0177,
|
| 466 |
+
"step": 3200
|
| 467 |
+
},
|
| 468 |
+
{
|
| 469 |
+
"epoch": 0.5691768826619965,
|
| 470 |
+
"grad_norm": 7.246885776519775,
|
| 471 |
+
"learning_rate": 9.003697217357462e-05,
|
| 472 |
+
"loss": 0.9979,
|
| 473 |
+
"step": 3250
|
| 474 |
+
},
|
| 475 |
+
{
|
| 476 |
+
"epoch": 0.5779334500875657,
|
| 477 |
+
"grad_norm": 6.789626121520996,
|
| 478 |
+
"learning_rate": 8.97126548615165e-05,
|
| 479 |
+
"loss": 0.9969,
|
| 480 |
+
"step": 3300
|
| 481 |
+
},
|
| 482 |
+
{
|
| 483 |
+
"epoch": 0.5866900175131349,
|
| 484 |
+
"grad_norm": 9.156906127929688,
|
| 485 |
+
"learning_rate": 8.938833754945839e-05,
|
| 486 |
+
"loss": 0.8659,
|
| 487 |
+
"step": 3350
|
| 488 |
+
},
|
| 489 |
+
{
|
| 490 |
+
"epoch": 0.5954465849387041,
|
| 491 |
+
"grad_norm": 13.06490421295166,
|
| 492 |
+
"learning_rate": 8.906402023740028e-05,
|
| 493 |
+
"loss": 0.9967,
|
| 494 |
+
"step": 3400
|
| 495 |
+
},
|
| 496 |
+
{
|
| 497 |
+
"epoch": 0.6042031523642732,
|
| 498 |
+
"grad_norm": 11.251364707946777,
|
| 499 |
+
"learning_rate": 8.873970292534217e-05,
|
| 500 |
+
"loss": 0.89,
|
| 501 |
+
"step": 3450
|
| 502 |
+
},
|
| 503 |
+
{
|
| 504 |
+
"epoch": 0.6129597197898424,
|
| 505 |
+
"grad_norm": 9.55314826965332,
|
| 506 |
+
"learning_rate": 8.841538561328405e-05,
|
| 507 |
+
"loss": 0.9045,
|
| 508 |
+
"step": 3500
|
| 509 |
+
},
|
| 510 |
+
{
|
| 511 |
+
"epoch": 0.6217162872154116,
|
| 512 |
+
"grad_norm": 10.305159568786621,
|
| 513 |
+
"learning_rate": 8.809106830122592e-05,
|
| 514 |
+
"loss": 0.9522,
|
| 515 |
+
"step": 3550
|
| 516 |
+
},
|
| 517 |
+
{
|
| 518 |
+
"epoch": 0.6304728546409807,
|
| 519 |
+
"grad_norm": 10.450895309448242,
|
| 520 |
+
"learning_rate": 8.77667509891678e-05,
|
| 521 |
+
"loss": 0.9215,
|
| 522 |
+
"step": 3600
|
| 523 |
+
},
|
| 524 |
+
{
|
| 525 |
+
"epoch": 0.6392294220665499,
|
| 526 |
+
"grad_norm": 11.44532299041748,
|
| 527 |
+
"learning_rate": 8.74424336771097e-05,
|
| 528 |
+
"loss": 0.9276,
|
| 529 |
+
"step": 3650
|
| 530 |
+
},
|
| 531 |
+
{
|
| 532 |
+
"epoch": 0.647985989492119,
|
| 533 |
+
"grad_norm": 9.558497428894043,
|
| 534 |
+
"learning_rate": 8.711811636505158e-05,
|
| 535 |
+
"loss": 0.8975,
|
| 536 |
+
"step": 3700
|
| 537 |
+
},
|
| 538 |
+
{
|
| 539 |
+
"epoch": 0.6567425569176882,
|
| 540 |
+
"grad_norm": 10.178604125976562,
|
| 541 |
+
"learning_rate": 8.679379905299346e-05,
|
| 542 |
+
"loss": 0.9318,
|
| 543 |
+
"step": 3750
|
| 544 |
+
},
|
| 545 |
+
{
|
| 546 |
+
"epoch": 0.6654991243432574,
|
| 547 |
+
"grad_norm": 7.391061782836914,
|
| 548 |
+
"learning_rate": 8.646948174093533e-05,
|
| 549 |
+
"loss": 0.9357,
|
| 550 |
+
"step": 3800
|
| 551 |
+
},
|
| 552 |
+
{
|
| 553 |
+
"epoch": 0.6742556917688266,
|
| 554 |
+
"grad_norm": 8.718334197998047,
|
| 555 |
+
"learning_rate": 8.614516442887722e-05,
|
| 556 |
+
"loss": 0.8745,
|
| 557 |
+
"step": 3850
|
| 558 |
+
},
|
| 559 |
+
{
|
| 560 |
+
"epoch": 0.6830122591943958,
|
| 561 |
+
"grad_norm": 7.825305461883545,
|
| 562 |
+
"learning_rate": 8.58208471168191e-05,
|
| 563 |
+
"loss": 0.8377,
|
| 564 |
+
"step": 3900
|
| 565 |
+
},
|
| 566 |
+
{
|
| 567 |
+
"epoch": 0.691768826619965,
|
| 568 |
+
"grad_norm": 11.109228134155273,
|
| 569 |
+
"learning_rate": 8.549652980476099e-05,
|
| 570 |
+
"loss": 0.8657,
|
| 571 |
+
"step": 3950
|
| 572 |
+
},
|
| 573 |
+
{
|
| 574 |
+
"epoch": 0.7005253940455342,
|
| 575 |
+
"grad_norm": 9.103351593017578,
|
| 576 |
+
"learning_rate": 8.517221249270287e-05,
|
| 577 |
+
"loss": 0.8064,
|
| 578 |
+
"step": 4000
|
| 579 |
+
},
|
| 580 |
+
{
|
| 581 |
+
"epoch": 0.7005253940455342,
|
| 582 |
+
"eval_runtime": 3.5759,
|
| 583 |
+
"eval_samples_per_second": 0.0,
|
| 584 |
+
"eval_steps_per_second": 0.0,
|
| 585 |
+
"eval_validation_loss": 9.490995392203331,
|
| 586 |
+
"step": 4000
|
| 587 |
+
},
|
| 588 |
+
{
|
| 589 |
+
"epoch": 0.7092819614711033,
|
| 590 |
+
"grad_norm": 8.847050666809082,
|
| 591 |
+
"learning_rate": 8.484789518064475e-05,
|
| 592 |
+
"loss": 0.8466,
|
| 593 |
+
"step": 4050
|
| 594 |
+
},
|
| 595 |
+
{
|
| 596 |
+
"epoch": 0.7180385288966725,
|
| 597 |
+
"grad_norm": 10.489547729492188,
|
| 598 |
+
"learning_rate": 8.452357786858663e-05,
|
| 599 |
+
"loss": 0.8201,
|
| 600 |
+
"step": 4100
|
| 601 |
+
},
|
| 602 |
+
{
|
| 603 |
+
"epoch": 0.7267950963222417,
|
| 604 |
+
"grad_norm": 9.190717697143555,
|
| 605 |
+
"learning_rate": 8.419926055652851e-05,
|
| 606 |
+
"loss": 0.7865,
|
| 607 |
+
"step": 4150
|
| 608 |
+
},
|
| 609 |
+
{
|
| 610 |
+
"epoch": 0.7355516637478109,
|
| 611 |
+
"grad_norm": 9.464395523071289,
|
| 612 |
+
"learning_rate": 8.38749432444704e-05,
|
| 613 |
+
"loss": 0.7776,
|
| 614 |
+
"step": 4200
|
| 615 |
+
},
|
| 616 |
+
{
|
| 617 |
+
"epoch": 0.7443082311733801,
|
| 618 |
+
"grad_norm": 8.46903133392334,
|
| 619 |
+
"learning_rate": 8.355062593241228e-05,
|
| 620 |
+
"loss": 0.7653,
|
| 621 |
+
"step": 4250
|
| 622 |
+
},
|
| 623 |
+
{
|
| 624 |
+
"epoch": 0.7530647985989493,
|
| 625 |
+
"grad_norm": 8.011816024780273,
|
| 626 |
+
"learning_rate": 8.322630862035416e-05,
|
| 627 |
+
"loss": 0.7666,
|
| 628 |
+
"step": 4300
|
| 629 |
+
},
|
| 630 |
+
{
|
| 631 |
+
"epoch": 0.7618213660245184,
|
| 632 |
+
"grad_norm": 8.36203384399414,
|
| 633 |
+
"learning_rate": 8.290199130829604e-05,
|
| 634 |
+
"loss": 0.82,
|
| 635 |
+
"step": 4350
|
| 636 |
+
},
|
| 637 |
+
{
|
| 638 |
+
"epoch": 0.7705779334500875,
|
| 639 |
+
"grad_norm": 9.787965774536133,
|
| 640 |
+
"learning_rate": 8.257767399623792e-05,
|
| 641 |
+
"loss": 0.7563,
|
| 642 |
+
"step": 4400
|
| 643 |
+
},
|
| 644 |
+
{
|
| 645 |
+
"epoch": 0.7793345008756567,
|
| 646 |
+
"grad_norm": 9.001157760620117,
|
| 647 |
+
"learning_rate": 8.22533566841798e-05,
|
| 648 |
+
"loss": 0.8203,
|
| 649 |
+
"step": 4450
|
| 650 |
+
},
|
| 651 |
+
{
|
| 652 |
+
"epoch": 0.7880910683012259,
|
| 653 |
+
"grad_norm": 8.787463188171387,
|
| 654 |
+
"learning_rate": 8.192903937212169e-05,
|
| 655 |
+
"loss": 0.7346,
|
| 656 |
+
"step": 4500
|
| 657 |
+
},
|
| 658 |
+
{
|
| 659 |
+
"epoch": 0.7968476357267951,
|
| 660 |
+
"grad_norm": 6.0214738845825195,
|
| 661 |
+
"learning_rate": 8.160472206006357e-05,
|
| 662 |
+
"loss": 0.7373,
|
| 663 |
+
"step": 4550
|
| 664 |
+
},
|
| 665 |
+
{
|
| 666 |
+
"epoch": 0.8056042031523643,
|
| 667 |
+
"grad_norm": 7.457542419433594,
|
| 668 |
+
"learning_rate": 8.128040474800545e-05,
|
| 669 |
+
"loss": 0.7329,
|
| 670 |
+
"step": 4600
|
| 671 |
+
},
|
| 672 |
+
{
|
| 673 |
+
"epoch": 0.8143607705779334,
|
| 674 |
+
"grad_norm": 8.09348201751709,
|
| 675 |
+
"learning_rate": 8.095608743594733e-05,
|
| 676 |
+
"loss": 0.7178,
|
| 677 |
+
"step": 4650
|
| 678 |
+
},
|
| 679 |
+
{
|
| 680 |
+
"epoch": 0.8231173380035026,
|
| 681 |
+
"grad_norm": 8.52817440032959,
|
| 682 |
+
"learning_rate": 8.063177012388921e-05,
|
| 683 |
+
"loss": 0.7236,
|
| 684 |
+
"step": 4700
|
| 685 |
+
},
|
| 686 |
+
{
|
| 687 |
+
"epoch": 0.8318739054290718,
|
| 688 |
+
"grad_norm": 8.721221923828125,
|
| 689 |
+
"learning_rate": 8.03074528118311e-05,
|
| 690 |
+
"loss": 0.6998,
|
| 691 |
+
"step": 4750
|
| 692 |
+
},
|
| 693 |
+
{
|
| 694 |
+
"epoch": 0.840630472854641,
|
| 695 |
+
"grad_norm": 10.005289077758789,
|
| 696 |
+
"learning_rate": 7.998313549977298e-05,
|
| 697 |
+
"loss": 0.7972,
|
| 698 |
+
"step": 4800
|
| 699 |
+
},
|
| 700 |
+
{
|
| 701 |
+
"epoch": 0.8493870402802102,
|
| 702 |
+
"grad_norm": 9.064129829406738,
|
| 703 |
+
"learning_rate": 7.965881818771487e-05,
|
| 704 |
+
"loss": 0.6816,
|
| 705 |
+
"step": 4850
|
| 706 |
+
},
|
| 707 |
+
{
|
| 708 |
+
"epoch": 0.8581436077057794,
|
| 709 |
+
"grad_norm": 5.184928894042969,
|
| 710 |
+
"learning_rate": 7.933450087565674e-05,
|
| 711 |
+
"loss": 0.6698,
|
| 712 |
+
"step": 4900
|
| 713 |
+
},
|
| 714 |
+
{
|
| 715 |
+
"epoch": 0.8669001751313485,
|
| 716 |
+
"grad_norm": 7.072081089019775,
|
| 717 |
+
"learning_rate": 7.901018356359862e-05,
|
| 718 |
+
"loss": 0.6952,
|
| 719 |
+
"step": 4950
|
| 720 |
+
},
|
| 721 |
+
{
|
| 722 |
+
"epoch": 0.8756567425569177,
|
| 723 |
+
"grad_norm": 8.081644058227539,
|
| 724 |
+
"learning_rate": 7.86858662515405e-05,
|
| 725 |
+
"loss": 0.6676,
|
| 726 |
+
"step": 5000
|
| 727 |
+
},
|
| 728 |
+
{
|
| 729 |
+
"epoch": 0.8844133099824869,
|
| 730 |
+
"grad_norm": 6.175084590911865,
|
| 731 |
+
"learning_rate": 7.83615489394824e-05,
|
| 732 |
+
"loss": 0.7253,
|
| 733 |
+
"step": 5050
|
| 734 |
+
},
|
| 735 |
+
{
|
| 736 |
+
"epoch": 0.8931698774080561,
|
| 737 |
+
"grad_norm": 4.74540376663208,
|
| 738 |
+
"learning_rate": 7.803723162742428e-05,
|
| 739 |
+
"loss": 0.6664,
|
| 740 |
+
"step": 5100
|
| 741 |
+
},
|
| 742 |
+
{
|
| 743 |
+
"epoch": 0.9019264448336253,
|
| 744 |
+
"grad_norm": 9.416834831237793,
|
| 745 |
+
"learning_rate": 7.771291431536615e-05,
|
| 746 |
+
"loss": 0.6941,
|
| 747 |
+
"step": 5150
|
| 748 |
+
},
|
| 749 |
+
{
|
| 750 |
+
"epoch": 0.9106830122591943,
|
| 751 |
+
"grad_norm": 7.535020351409912,
|
| 752 |
+
"learning_rate": 7.738859700330803e-05,
|
| 753 |
+
"loss": 0.6742,
|
| 754 |
+
"step": 5200
|
| 755 |
+
},
|
| 756 |
+
{
|
| 757 |
+
"epoch": 0.9194395796847635,
|
| 758 |
+
"grad_norm": 5.245649814605713,
|
| 759 |
+
"learning_rate": 7.706427969124992e-05,
|
| 760 |
+
"loss": 0.6384,
|
| 761 |
+
"step": 5250
|
| 762 |
+
},
|
| 763 |
+
{
|
| 764 |
+
"epoch": 0.9281961471103327,
|
| 765 |
+
"grad_norm": 9.027254104614258,
|
| 766 |
+
"learning_rate": 7.673996237919181e-05,
|
| 767 |
+
"loss": 0.6638,
|
| 768 |
+
"step": 5300
|
| 769 |
+
},
|
| 770 |
+
{
|
| 771 |
+
"epoch": 0.9369527145359019,
|
| 772 |
+
"grad_norm": 6.409781455993652,
|
| 773 |
+
"learning_rate": 7.64156450671337e-05,
|
| 774 |
+
"loss": 0.6365,
|
| 775 |
+
"step": 5350
|
| 776 |
+
},
|
| 777 |
+
{
|
| 778 |
+
"epoch": 0.9457092819614711,
|
| 779 |
+
"grad_norm": 11.076465606689453,
|
| 780 |
+
"learning_rate": 7.609132775507558e-05,
|
| 781 |
+
"loss": 0.6083,
|
| 782 |
+
"step": 5400
|
| 783 |
+
},
|
| 784 |
+
{
|
| 785 |
+
"epoch": 0.9544658493870403,
|
| 786 |
+
"grad_norm": 7.070426940917969,
|
| 787 |
+
"learning_rate": 7.576701044301744e-05,
|
| 788 |
+
"loss": 0.6917,
|
| 789 |
+
"step": 5450
|
| 790 |
+
},
|
| 791 |
+
{
|
| 792 |
+
"epoch": 0.9632224168126094,
|
| 793 |
+
"grad_norm": 9.43298625946045,
|
| 794 |
+
"learning_rate": 7.544269313095933e-05,
|
| 795 |
+
"loss": 0.6158,
|
| 796 |
+
"step": 5500
|
| 797 |
+
},
|
| 798 |
+
{
|
| 799 |
+
"epoch": 0.9719789842381786,
|
| 800 |
+
"grad_norm": 5.473648548126221,
|
| 801 |
+
"learning_rate": 7.511837581890122e-05,
|
| 802 |
+
"loss": 0.6413,
|
| 803 |
+
"step": 5550
|
| 804 |
+
},
|
| 805 |
+
{
|
| 806 |
+
"epoch": 0.9807355516637478,
|
| 807 |
+
"grad_norm": 7.879364490509033,
|
| 808 |
+
"learning_rate": 7.47940585068431e-05,
|
| 809 |
+
"loss": 0.6646,
|
| 810 |
+
"step": 5600
|
| 811 |
+
},
|
| 812 |
+
{
|
| 813 |
+
"epoch": 0.989492119089317,
|
| 814 |
+
"grad_norm": 8.18957805633545,
|
| 815 |
+
"learning_rate": 7.446974119478499e-05,
|
| 816 |
+
"loss": 0.6208,
|
| 817 |
+
"step": 5650
|
| 818 |
+
},
|
| 819 |
+
{
|
| 820 |
+
"epoch": 0.9982486865148862,
|
| 821 |
+
"grad_norm": 7.177849292755127,
|
| 822 |
+
"learning_rate": 7.414542388272687e-05,
|
| 823 |
+
"loss": 0.635,
|
| 824 |
+
"step": 5700
|
| 825 |
+
},
|
| 826 |
+
{
|
| 827 |
+
"epoch": 1.0070052539404553,
|
| 828 |
+
"grad_norm": 4.327000141143799,
|
| 829 |
+
"learning_rate": 7.382110657066874e-05,
|
| 830 |
+
"loss": 0.5248,
|
| 831 |
+
"step": 5750
|
| 832 |
+
},
|
| 833 |
+
{
|
| 834 |
+
"epoch": 1.0157618213660244,
|
| 835 |
+
"grad_norm": 5.612251281738281,
|
| 836 |
+
"learning_rate": 7.349678925861063e-05,
|
| 837 |
+
"loss": 0.4615,
|
| 838 |
+
"step": 5800
|
| 839 |
+
},
|
| 840 |
+
{
|
| 841 |
+
"epoch": 1.0245183887915936,
|
| 842 |
+
"grad_norm": 4.989246368408203,
|
| 843 |
+
"learning_rate": 7.317247194655251e-05,
|
| 844 |
+
"loss": 0.4619,
|
| 845 |
+
"step": 5850
|
| 846 |
+
},
|
| 847 |
+
{
|
| 848 |
+
"epoch": 1.0332749562171628,
|
| 849 |
+
"grad_norm": 4.749586582183838,
|
| 850 |
+
"learning_rate": 7.28481546344944e-05,
|
| 851 |
+
"loss": 0.4536,
|
| 852 |
+
"step": 5900
|
| 853 |
+
},
|
| 854 |
+
{
|
| 855 |
+
"epoch": 1.042031523642732,
|
| 856 |
+
"grad_norm": 9.651598930358887,
|
| 857 |
+
"learning_rate": 7.252383732243628e-05,
|
| 858 |
+
"loss": 0.4719,
|
| 859 |
+
"step": 5950
|
| 860 |
+
},
|
| 861 |
+
{
|
| 862 |
+
"epoch": 1.0507880910683012,
|
| 863 |
+
"grad_norm": 7.75478982925415,
|
| 864 |
+
"learning_rate": 7.219952001037815e-05,
|
| 865 |
+
"loss": 0.4483,
|
| 866 |
+
"step": 6000
|
| 867 |
+
},
|
| 868 |
+
{
|
| 869 |
+
"epoch": 1.0507880910683012,
|
| 870 |
+
"eval_runtime": 3.73,
|
| 871 |
+
"eval_samples_per_second": 0.0,
|
| 872 |
+
"eval_steps_per_second": 0.0,
|
| 873 |
+
"eval_validation_loss": 9.490172907710075,
|
| 874 |
+
"step": 6000
|
| 875 |
+
},
|
| 876 |
+
{
|
| 877 |
+
"epoch": 1.0595446584938704,
|
| 878 |
+
"grad_norm": 4.89501428604126,
|
| 879 |
+
"learning_rate": 7.187520269832004e-05,
|
| 880 |
+
"loss": 0.4447,
|
| 881 |
+
"step": 6050
|
| 882 |
+
},
|
| 883 |
+
{
|
| 884 |
+
"epoch": 1.0683012259194395,
|
| 885 |
+
"grad_norm": 5.302674770355225,
|
| 886 |
+
"learning_rate": 7.155088538626192e-05,
|
| 887 |
+
"loss": 0.4553,
|
| 888 |
+
"step": 6100
|
| 889 |
+
},
|
| 890 |
+
{
|
| 891 |
+
"epoch": 1.0770577933450087,
|
| 892 |
+
"grad_norm": 4.804389476776123,
|
| 893 |
+
"learning_rate": 7.12265680742038e-05,
|
| 894 |
+
"loss": 0.4812,
|
| 895 |
+
"step": 6150
|
| 896 |
+
},
|
| 897 |
+
{
|
| 898 |
+
"epoch": 1.085814360770578,
|
| 899 |
+
"grad_norm": 8.120563507080078,
|
| 900 |
+
"learning_rate": 7.090225076214569e-05,
|
| 901 |
+
"loss": 0.4556,
|
| 902 |
+
"step": 6200
|
| 903 |
+
},
|
| 904 |
+
{
|
| 905 |
+
"epoch": 1.094570928196147,
|
| 906 |
+
"grad_norm": 6.388687610626221,
|
| 907 |
+
"learning_rate": 7.057793345008757e-05,
|
| 908 |
+
"loss": 0.4707,
|
| 909 |
+
"step": 6250
|
| 910 |
+
},
|
| 911 |
+
{
|
| 912 |
+
"epoch": 1.1033274956217163,
|
| 913 |
+
"grad_norm": 5.799827575683594,
|
| 914 |
+
"learning_rate": 7.025361613802945e-05,
|
| 915 |
+
"loss": 0.4423,
|
| 916 |
+
"step": 6300
|
| 917 |
+
},
|
| 918 |
+
{
|
| 919 |
+
"epoch": 1.1120840630472855,
|
| 920 |
+
"grad_norm": 4.808108329772949,
|
| 921 |
+
"learning_rate": 6.992929882597133e-05,
|
| 922 |
+
"loss": 0.4528,
|
| 923 |
+
"step": 6350
|
| 924 |
+
},
|
| 925 |
+
{
|
| 926 |
+
"epoch": 1.1208406304728546,
|
| 927 |
+
"grad_norm": 5.765867710113525,
|
| 928 |
+
"learning_rate": 6.960498151391322e-05,
|
| 929 |
+
"loss": 0.4562,
|
| 930 |
+
"step": 6400
|
| 931 |
+
},
|
| 932 |
+
{
|
| 933 |
+
"epoch": 1.1295971978984238,
|
| 934 |
+
"grad_norm": 7.272237300872803,
|
| 935 |
+
"learning_rate": 6.92806642018551e-05,
|
| 936 |
+
"loss": 0.4242,
|
| 937 |
+
"step": 6450
|
| 938 |
+
},
|
| 939 |
+
{
|
| 940 |
+
"epoch": 1.138353765323993,
|
| 941 |
+
"grad_norm": 5.085803031921387,
|
| 942 |
+
"learning_rate": 6.895634688979698e-05,
|
| 943 |
+
"loss": 0.4329,
|
| 944 |
+
"step": 6500
|
| 945 |
+
},
|
| 946 |
+
{
|
| 947 |
+
"epoch": 1.1471103327495622,
|
| 948 |
+
"grad_norm": 7.220328330993652,
|
| 949 |
+
"learning_rate": 6.863202957773886e-05,
|
| 950 |
+
"loss": 0.4491,
|
| 951 |
+
"step": 6550
|
| 952 |
+
},
|
| 953 |
+
{
|
| 954 |
+
"epoch": 1.1558669001751314,
|
| 955 |
+
"grad_norm": 6.322579860687256,
|
| 956 |
+
"learning_rate": 6.830771226568074e-05,
|
| 957 |
+
"loss": 0.4293,
|
| 958 |
+
"step": 6600
|
| 959 |
+
},
|
| 960 |
+
{
|
| 961 |
+
"epoch": 1.1646234676007006,
|
| 962 |
+
"grad_norm": 3.8328304290771484,
|
| 963 |
+
"learning_rate": 6.798339495362263e-05,
|
| 964 |
+
"loss": 0.4623,
|
| 965 |
+
"step": 6650
|
| 966 |
+
},
|
| 967 |
+
{
|
| 968 |
+
"epoch": 1.1733800350262698,
|
| 969 |
+
"grad_norm": 4.398599147796631,
|
| 970 |
+
"learning_rate": 6.765907764156451e-05,
|
| 971 |
+
"loss": 0.4383,
|
| 972 |
+
"step": 6700
|
| 973 |
+
},
|
| 974 |
+
{
|
| 975 |
+
"epoch": 1.182136602451839,
|
| 976 |
+
"grad_norm": 5.675295829772949,
|
| 977 |
+
"learning_rate": 6.73347603295064e-05,
|
| 978 |
+
"loss": 0.4486,
|
| 979 |
+
"step": 6750
|
| 980 |
+
},
|
| 981 |
+
{
|
| 982 |
+
"epoch": 1.1908931698774081,
|
| 983 |
+
"grad_norm": 6.241909980773926,
|
| 984 |
+
"learning_rate": 6.701044301744827e-05,
|
| 985 |
+
"loss": 0.4475,
|
| 986 |
+
"step": 6800
|
| 987 |
+
},
|
| 988 |
+
{
|
| 989 |
+
"epoch": 1.1996497373029773,
|
| 990 |
+
"grad_norm": 6.702085494995117,
|
| 991 |
+
"learning_rate": 6.668612570539015e-05,
|
| 992 |
+
"loss": 0.4425,
|
| 993 |
+
"step": 6850
|
| 994 |
+
},
|
| 995 |
+
{
|
| 996 |
+
"epoch": 1.2084063047285465,
|
| 997 |
+
"grad_norm": 7.211260795593262,
|
| 998 |
+
"learning_rate": 6.636180839333204e-05,
|
| 999 |
+
"loss": 0.4173,
|
| 1000 |
+
"step": 6900
|
| 1001 |
+
},
|
| 1002 |
+
{
|
| 1003 |
+
"epoch": 1.2171628721541157,
|
| 1004 |
+
"grad_norm": 4.102034091949463,
|
| 1005 |
+
"learning_rate": 6.603749108127392e-05,
|
| 1006 |
+
"loss": 0.424,
|
| 1007 |
+
"step": 6950
|
| 1008 |
+
},
|
| 1009 |
+
{
|
| 1010 |
+
"epoch": 1.2259194395796849,
|
| 1011 |
+
"grad_norm": 3.7964775562286377,
|
| 1012 |
+
"learning_rate": 6.571317376921581e-05,
|
| 1013 |
+
"loss": 0.3968,
|
| 1014 |
+
"step": 7000
|
| 1015 |
+
},
|
| 1016 |
+
{
|
| 1017 |
+
"epoch": 1.234676007005254,
|
| 1018 |
+
"grad_norm": 9.25118350982666,
|
| 1019 |
+
"learning_rate": 6.53888564571577e-05,
|
| 1020 |
+
"loss": 0.4104,
|
| 1021 |
+
"step": 7050
|
| 1022 |
+
},
|
| 1023 |
+
{
|
| 1024 |
+
"epoch": 1.2434325744308232,
|
| 1025 |
+
"grad_norm": 7.67888879776001,
|
| 1026 |
+
"learning_rate": 6.506453914509956e-05,
|
| 1027 |
+
"loss": 0.415,
|
| 1028 |
+
"step": 7100
|
| 1029 |
+
},
|
| 1030 |
+
{
|
| 1031 |
+
"epoch": 1.2521891418563924,
|
| 1032 |
+
"grad_norm": 6.4294281005859375,
|
| 1033 |
+
"learning_rate": 6.474022183304144e-05,
|
| 1034 |
+
"loss": 0.4109,
|
| 1035 |
+
"step": 7150
|
| 1036 |
+
},
|
| 1037 |
+
{
|
| 1038 |
+
"epoch": 1.2609457092819616,
|
| 1039 |
+
"grad_norm": 5.381629943847656,
|
| 1040 |
+
"learning_rate": 6.441590452098333e-05,
|
| 1041 |
+
"loss": 0.4627,
|
| 1042 |
+
"step": 7200
|
| 1043 |
+
},
|
| 1044 |
+
{
|
| 1045 |
+
"epoch": 1.2697022767075308,
|
| 1046 |
+
"grad_norm": 7.036782264709473,
|
| 1047 |
+
"learning_rate": 6.409158720892522e-05,
|
| 1048 |
+
"loss": 0.3882,
|
| 1049 |
+
"step": 7250
|
| 1050 |
+
},
|
| 1051 |
+
{
|
| 1052 |
+
"epoch": 1.2784588441331,
|
| 1053 |
+
"grad_norm": 7.1572585105896,
|
| 1054 |
+
"learning_rate": 6.37672698968671e-05,
|
| 1055 |
+
"loss": 0.4055,
|
| 1056 |
+
"step": 7300
|
| 1057 |
+
},
|
| 1058 |
+
{
|
| 1059 |
+
"epoch": 1.287215411558669,
|
| 1060 |
+
"grad_norm": 4.649725914001465,
|
| 1061 |
+
"learning_rate": 6.344295258480897e-05,
|
| 1062 |
+
"loss": 0.451,
|
| 1063 |
+
"step": 7350
|
| 1064 |
+
},
|
| 1065 |
+
{
|
| 1066 |
+
"epoch": 1.295971978984238,
|
| 1067 |
+
"grad_norm": 6.323731899261475,
|
| 1068 |
+
"learning_rate": 6.311863527275085e-05,
|
| 1069 |
+
"loss": 0.4085,
|
| 1070 |
+
"step": 7400
|
| 1071 |
+
},
|
| 1072 |
+
{
|
| 1073 |
+
"epoch": 1.3047285464098073,
|
| 1074 |
+
"grad_norm": 4.902621746063232,
|
| 1075 |
+
"learning_rate": 6.279431796069275e-05,
|
| 1076 |
+
"loss": 0.4268,
|
| 1077 |
+
"step": 7450
|
| 1078 |
+
},
|
| 1079 |
+
{
|
| 1080 |
+
"epoch": 1.3134851138353765,
|
| 1081 |
+
"grad_norm": 5.101706027984619,
|
| 1082 |
+
"learning_rate": 6.247000064863463e-05,
|
| 1083 |
+
"loss": 0.4094,
|
| 1084 |
+
"step": 7500
|
| 1085 |
+
},
|
| 1086 |
+
{
|
| 1087 |
+
"epoch": 1.3222416812609457,
|
| 1088 |
+
"grad_norm": 6.293644905090332,
|
| 1089 |
+
"learning_rate": 6.214568333657651e-05,
|
| 1090 |
+
"loss": 0.3805,
|
| 1091 |
+
"step": 7550
|
| 1092 |
+
},
|
| 1093 |
+
{
|
| 1094 |
+
"epoch": 1.3309982486865148,
|
| 1095 |
+
"grad_norm": 6.0095534324646,
|
| 1096 |
+
"learning_rate": 6.18213660245184e-05,
|
| 1097 |
+
"loss": 0.3736,
|
| 1098 |
+
"step": 7600
|
| 1099 |
+
},
|
| 1100 |
+
{
|
| 1101 |
+
"epoch": 1.339754816112084,
|
| 1102 |
+
"grad_norm": 6.16194486618042,
|
| 1103 |
+
"learning_rate": 6.149704871246026e-05,
|
| 1104 |
+
"loss": 0.4241,
|
| 1105 |
+
"step": 7650
|
| 1106 |
+
},
|
| 1107 |
+
{
|
| 1108 |
+
"epoch": 1.3485113835376532,
|
| 1109 |
+
"grad_norm": 3.2332680225372314,
|
| 1110 |
+
"learning_rate": 6.117273140040216e-05,
|
| 1111 |
+
"loss": 0.3913,
|
| 1112 |
+
"step": 7700
|
| 1113 |
+
},
|
| 1114 |
+
{
|
| 1115 |
+
"epoch": 1.3572679509632224,
|
| 1116 |
+
"grad_norm": 6.637348175048828,
|
| 1117 |
+
"learning_rate": 6.084841408834404e-05,
|
| 1118 |
+
"loss": 0.407,
|
| 1119 |
+
"step": 7750
|
| 1120 |
+
},
|
| 1121 |
+
{
|
| 1122 |
+
"epoch": 1.3660245183887916,
|
| 1123 |
+
"grad_norm": 6.529726505279541,
|
| 1124 |
+
"learning_rate": 6.0524096776285924e-05,
|
| 1125 |
+
"loss": 0.4,
|
| 1126 |
+
"step": 7800
|
| 1127 |
+
},
|
| 1128 |
+
{
|
| 1129 |
+
"epoch": 1.3747810858143608,
|
| 1130 |
+
"grad_norm": 8.944628715515137,
|
| 1131 |
+
"learning_rate": 6.01997794642278e-05,
|
| 1132 |
+
"loss": 0.3972,
|
| 1133 |
+
"step": 7850
|
| 1134 |
+
},
|
| 1135 |
+
{
|
| 1136 |
+
"epoch": 1.38353765323993,
|
| 1137 |
+
"grad_norm": 8.572677612304688,
|
| 1138 |
+
"learning_rate": 5.987546215216968e-05,
|
| 1139 |
+
"loss": 0.3495,
|
| 1140 |
+
"step": 7900
|
| 1141 |
+
},
|
| 1142 |
+
{
|
| 1143 |
+
"epoch": 1.3922942206654991,
|
| 1144 |
+
"grad_norm": 6.99320650100708,
|
| 1145 |
+
"learning_rate": 5.955114484011157e-05,
|
| 1146 |
+
"loss": 0.3656,
|
| 1147 |
+
"step": 7950
|
| 1148 |
+
},
|
| 1149 |
+
{
|
| 1150 |
+
"epoch": 1.4010507880910683,
|
| 1151 |
+
"grad_norm": 7.07932186126709,
|
| 1152 |
+
"learning_rate": 5.922682752805345e-05,
|
| 1153 |
+
"loss": 0.3846,
|
| 1154 |
+
"step": 8000
|
| 1155 |
+
},
|
| 1156 |
+
{
|
| 1157 |
+
"epoch": 1.4010507880910683,
|
| 1158 |
+
"eval_runtime": 3.5567,
|
| 1159 |
+
"eval_samples_per_second": 0.0,
|
| 1160 |
+
"eval_steps_per_second": 0.0,
|
| 1161 |
+
"eval_validation_loss": 9.509349673986435,
|
| 1162 |
+
"step": 8000
|
| 1163 |
+
},
|
| 1164 |
+
{
|
| 1165 |
+
"epoch": 1.4098073555166375,
|
| 1166 |
+
"grad_norm": 6.907460689544678,
|
| 1167 |
+
"learning_rate": 5.8902510215995334e-05,
|
| 1168 |
+
"loss": 0.3742,
|
| 1169 |
+
"step": 8050
|
| 1170 |
+
},
|
| 1171 |
+
{
|
| 1172 |
+
"epoch": 1.4185639229422067,
|
| 1173 |
+
"grad_norm": 5.959681034088135,
|
| 1174 |
+
"learning_rate": 5.857819290393721e-05,
|
| 1175 |
+
"loss": 0.373,
|
| 1176 |
+
"step": 8100
|
| 1177 |
+
},
|
| 1178 |
+
{
|
| 1179 |
+
"epoch": 1.4273204903677759,
|
| 1180 |
+
"grad_norm": 4.588833332061768,
|
| 1181 |
+
"learning_rate": 5.825387559187909e-05,
|
| 1182 |
+
"loss": 0.3649,
|
| 1183 |
+
"step": 8150
|
| 1184 |
+
},
|
| 1185 |
+
{
|
| 1186 |
+
"epoch": 1.436077057793345,
|
| 1187 |
+
"grad_norm": 4.673502445220947,
|
| 1188 |
+
"learning_rate": 5.792955827982099e-05,
|
| 1189 |
+
"loss": 0.3576,
|
| 1190 |
+
"step": 8200
|
| 1191 |
+
},
|
| 1192 |
+
{
|
| 1193 |
+
"epoch": 1.4448336252189142,
|
| 1194 |
+
"grad_norm": 9.83354377746582,
|
| 1195 |
+
"learning_rate": 5.760524096776286e-05,
|
| 1196 |
+
"loss": 0.3687,
|
| 1197 |
+
"step": 8250
|
| 1198 |
+
},
|
| 1199 |
+
{
|
| 1200 |
+
"epoch": 1.4535901926444834,
|
| 1201 |
+
"grad_norm": 3.884415626525879,
|
| 1202 |
+
"learning_rate": 5.7280923655704744e-05,
|
| 1203 |
+
"loss": 0.3712,
|
| 1204 |
+
"step": 8300
|
| 1205 |
+
},
|
| 1206 |
+
{
|
| 1207 |
+
"epoch": 1.4623467600700526,
|
| 1208 |
+
"grad_norm": 5.278424263000488,
|
| 1209 |
+
"learning_rate": 5.6956606343646626e-05,
|
| 1210 |
+
"loss": 0.3936,
|
| 1211 |
+
"step": 8350
|
| 1212 |
+
},
|
| 1213 |
+
{
|
| 1214 |
+
"epoch": 1.4711033274956218,
|
| 1215 |
+
"grad_norm": 6.025866508483887,
|
| 1216 |
+
"learning_rate": 5.66322890315885e-05,
|
| 1217 |
+
"loss": 0.4036,
|
| 1218 |
+
"step": 8400
|
| 1219 |
+
},
|
| 1220 |
+
{
|
| 1221 |
+
"epoch": 1.479859894921191,
|
| 1222 |
+
"grad_norm": 4.874588966369629,
|
| 1223 |
+
"learning_rate": 5.63079717195304e-05,
|
| 1224 |
+
"loss": 0.3433,
|
| 1225 |
+
"step": 8450
|
| 1226 |
+
},
|
| 1227 |
+
{
|
| 1228 |
+
"epoch": 1.4886164623467601,
|
| 1229 |
+
"grad_norm": 4.066317081451416,
|
| 1230 |
+
"learning_rate": 5.598365440747227e-05,
|
| 1231 |
+
"loss": 0.3586,
|
| 1232 |
+
"step": 8500
|
| 1233 |
+
},
|
| 1234 |
+
{
|
| 1235 |
+
"epoch": 1.4973730297723291,
|
| 1236 |
+
"grad_norm": 5.3846917152404785,
|
| 1237 |
+
"learning_rate": 5.5659337095414154e-05,
|
| 1238 |
+
"loss": 0.3323,
|
| 1239 |
+
"step": 8550
|
| 1240 |
+
},
|
| 1241 |
+
{
|
| 1242 |
+
"epoch": 1.5061295971978983,
|
| 1243 |
+
"grad_norm": 6.308692455291748,
|
| 1244 |
+
"learning_rate": 5.5335019783356036e-05,
|
| 1245 |
+
"loss": 0.3595,
|
| 1246 |
+
"step": 8600
|
| 1247 |
+
},
|
| 1248 |
+
{
|
| 1249 |
+
"epoch": 1.5148861646234675,
|
| 1250 |
+
"grad_norm": 4.15971565246582,
|
| 1251 |
+
"learning_rate": 5.5010702471297925e-05,
|
| 1252 |
+
"loss": 0.3748,
|
| 1253 |
+
"step": 8650
|
| 1254 |
+
},
|
| 1255 |
+
{
|
| 1256 |
+
"epoch": 1.5236427320490367,
|
| 1257 |
+
"grad_norm": 4.255713939666748,
|
| 1258 |
+
"learning_rate": 5.4686385159239807e-05,
|
| 1259 |
+
"loss": 0.3493,
|
| 1260 |
+
"step": 8700
|
| 1261 |
+
},
|
| 1262 |
+
{
|
| 1263 |
+
"epoch": 1.5323992994746058,
|
| 1264 |
+
"grad_norm": 6.636706829071045,
|
| 1265 |
+
"learning_rate": 5.436206784718169e-05,
|
| 1266 |
+
"loss": 0.3858,
|
| 1267 |
+
"step": 8750
|
| 1268 |
+
},
|
| 1269 |
+
{
|
| 1270 |
+
"epoch": 1.541155866900175,
|
| 1271 |
+
"grad_norm": 3.258809804916382,
|
| 1272 |
+
"learning_rate": 5.4037750535123564e-05,
|
| 1273 |
+
"loss": 0.3738,
|
| 1274 |
+
"step": 8800
|
| 1275 |
+
},
|
| 1276 |
+
{
|
| 1277 |
+
"epoch": 1.5499124343257442,
|
| 1278 |
+
"grad_norm": 3.6956632137298584,
|
| 1279 |
+
"learning_rate": 5.3713433223065446e-05,
|
| 1280 |
+
"loss": 0.3405,
|
| 1281 |
+
"step": 8850
|
| 1282 |
+
},
|
| 1283 |
+
{
|
| 1284 |
+
"epoch": 1.5586690017513134,
|
| 1285 |
+
"grad_norm": 5.942667007446289,
|
| 1286 |
+
"learning_rate": 5.3389115911007334e-05,
|
| 1287 |
+
"loss": 0.3394,
|
| 1288 |
+
"step": 8900
|
| 1289 |
+
},
|
| 1290 |
+
{
|
| 1291 |
+
"epoch": 1.5674255691768826,
|
| 1292 |
+
"grad_norm": 5.326772212982178,
|
| 1293 |
+
"learning_rate": 5.3064798598949216e-05,
|
| 1294 |
+
"loss": 0.3424,
|
| 1295 |
+
"step": 8950
|
| 1296 |
+
},
|
| 1297 |
+
{
|
| 1298 |
+
"epoch": 1.5761821366024518,
|
| 1299 |
+
"grad_norm": 7.644436836242676,
|
| 1300 |
+
"learning_rate": 5.27404812868911e-05,
|
| 1301 |
+
"loss": 0.3455,
|
| 1302 |
+
"step": 9000
|
| 1303 |
+
},
|
| 1304 |
+
{
|
| 1305 |
+
"epoch": 1.584938704028021,
|
| 1306 |
+
"grad_norm": 5.286405563354492,
|
| 1307 |
+
"learning_rate": 5.2416163974832974e-05,
|
| 1308 |
+
"loss": 0.3481,
|
| 1309 |
+
"step": 9050
|
| 1310 |
+
},
|
| 1311 |
+
{
|
| 1312 |
+
"epoch": 1.5936952714535901,
|
| 1313 |
+
"grad_norm": 3.879789352416992,
|
| 1314 |
+
"learning_rate": 5.2091846662774856e-05,
|
| 1315 |
+
"loss": 0.3259,
|
| 1316 |
+
"step": 9100
|
| 1317 |
+
},
|
| 1318 |
+
{
|
| 1319 |
+
"epoch": 1.6024518388791593,
|
| 1320 |
+
"grad_norm": 4.846436500549316,
|
| 1321 |
+
"learning_rate": 5.176752935071675e-05,
|
| 1322 |
+
"loss": 0.3336,
|
| 1323 |
+
"step": 9150
|
| 1324 |
+
},
|
| 1325 |
+
{
|
| 1326 |
+
"epoch": 1.6112084063047285,
|
| 1327 |
+
"grad_norm": 4.402681827545166,
|
| 1328 |
+
"learning_rate": 5.1443212038658626e-05,
|
| 1329 |
+
"loss": 0.3082,
|
| 1330 |
+
"step": 9200
|
| 1331 |
+
},
|
| 1332 |
+
{
|
| 1333 |
+
"epoch": 1.6199649737302977,
|
| 1334 |
+
"grad_norm": 7.620306968688965,
|
| 1335 |
+
"learning_rate": 5.111889472660051e-05,
|
| 1336 |
+
"loss": 0.3202,
|
| 1337 |
+
"step": 9250
|
| 1338 |
+
},
|
| 1339 |
+
{
|
| 1340 |
+
"epoch": 1.6287215411558669,
|
| 1341 |
+
"grad_norm": 3.269796848297119,
|
| 1342 |
+
"learning_rate": 5.079457741454239e-05,
|
| 1343 |
+
"loss": 0.3123,
|
| 1344 |
+
"step": 9300
|
| 1345 |
+
},
|
| 1346 |
+
{
|
| 1347 |
+
"epoch": 1.637478108581436,
|
| 1348 |
+
"grad_norm": 6.537898540496826,
|
| 1349 |
+
"learning_rate": 5.0470260102484265e-05,
|
| 1350 |
+
"loss": 0.322,
|
| 1351 |
+
"step": 9350
|
| 1352 |
+
},
|
| 1353 |
+
{
|
| 1354 |
+
"epoch": 1.6462346760070052,
|
| 1355 |
+
"grad_norm": 5.221523761749268,
|
| 1356 |
+
"learning_rate": 5.014594279042616e-05,
|
| 1357 |
+
"loss": 0.3096,
|
| 1358 |
+
"step": 9400
|
| 1359 |
+
},
|
| 1360 |
+
{
|
| 1361 |
+
"epoch": 1.6549912434325744,
|
| 1362 |
+
"grad_norm": 6.680286884307861,
|
| 1363 |
+
"learning_rate": 4.9821625478368036e-05,
|
| 1364 |
+
"loss": 0.3111,
|
| 1365 |
+
"step": 9450
|
| 1366 |
+
},
|
| 1367 |
+
{
|
| 1368 |
+
"epoch": 1.6637478108581436,
|
| 1369 |
+
"grad_norm": 7.249690532684326,
|
| 1370 |
+
"learning_rate": 4.949730816630992e-05,
|
| 1371 |
+
"loss": 0.3032,
|
| 1372 |
+
"step": 9500
|
| 1373 |
+
},
|
| 1374 |
+
{
|
| 1375 |
+
"epoch": 1.6725043782837128,
|
| 1376 |
+
"grad_norm": 3.355093479156494,
|
| 1377 |
+
"learning_rate": 4.917299085425181e-05,
|
| 1378 |
+
"loss": 0.3286,
|
| 1379 |
+
"step": 9550
|
| 1380 |
+
},
|
| 1381 |
+
{
|
| 1382 |
+
"epoch": 1.681260945709282,
|
| 1383 |
+
"grad_norm": 6.0842814445495605,
|
| 1384 |
+
"learning_rate": 4.884867354219368e-05,
|
| 1385 |
+
"loss": 0.3257,
|
| 1386 |
+
"step": 9600
|
| 1387 |
+
},
|
| 1388 |
+
{
|
| 1389 |
+
"epoch": 1.6900175131348512,
|
| 1390 |
+
"grad_norm": 4.2330322265625,
|
| 1391 |
+
"learning_rate": 4.8524356230135564e-05,
|
| 1392 |
+
"loss": 0.3297,
|
| 1393 |
+
"step": 9650
|
| 1394 |
+
},
|
| 1395 |
+
{
|
| 1396 |
+
"epoch": 1.6987740805604203,
|
| 1397 |
+
"grad_norm": 6.382694244384766,
|
| 1398 |
+
"learning_rate": 4.820003891807745e-05,
|
| 1399 |
+
"loss": 0.2979,
|
| 1400 |
+
"step": 9700
|
| 1401 |
+
},
|
| 1402 |
+
{
|
| 1403 |
+
"epoch": 1.7075306479859895,
|
| 1404 |
+
"grad_norm": 7.651020526885986,
|
| 1405 |
+
"learning_rate": 4.787572160601933e-05,
|
| 1406 |
+
"loss": 0.3027,
|
| 1407 |
+
"step": 9750
|
| 1408 |
+
},
|
| 1409 |
+
{
|
| 1410 |
+
"epoch": 1.7162872154115587,
|
| 1411 |
+
"grad_norm": 5.195338726043701,
|
| 1412 |
+
"learning_rate": 4.755140429396122e-05,
|
| 1413 |
+
"loss": 0.3147,
|
| 1414 |
+
"step": 9800
|
| 1415 |
+
},
|
| 1416 |
+
{
|
| 1417 |
+
"epoch": 1.725043782837128,
|
| 1418 |
+
"grad_norm": 3.8148703575134277,
|
| 1419 |
+
"learning_rate": 4.72270869819031e-05,
|
| 1420 |
+
"loss": 0.3046,
|
| 1421 |
+
"step": 9850
|
| 1422 |
+
},
|
| 1423 |
+
{
|
| 1424 |
+
"epoch": 1.733800350262697,
|
| 1425 |
+
"grad_norm": 6.456598281860352,
|
| 1426 |
+
"learning_rate": 4.6902769669844974e-05,
|
| 1427 |
+
"loss": 0.314,
|
| 1428 |
+
"step": 9900
|
| 1429 |
+
},
|
| 1430 |
+
{
|
| 1431 |
+
"epoch": 1.7425569176882663,
|
| 1432 |
+
"grad_norm": 6.883267879486084,
|
| 1433 |
+
"learning_rate": 4.657845235778686e-05,
|
| 1434 |
+
"loss": 0.3131,
|
| 1435 |
+
"step": 9950
|
| 1436 |
+
},
|
| 1437 |
+
{
|
| 1438 |
+
"epoch": 1.7513134851138354,
|
| 1439 |
+
"grad_norm": 8.823995590209961,
|
| 1440 |
+
"learning_rate": 4.6254135045728745e-05,
|
| 1441 |
+
"loss": 0.3096,
|
| 1442 |
+
"step": 10000
|
| 1443 |
+
},
|
| 1444 |
+
{
|
| 1445 |
+
"epoch": 1.7513134851138354,
|
| 1446 |
+
"eval_runtime": 3.5707,
|
| 1447 |
+
"eval_samples_per_second": 0.0,
|
| 1448 |
+
"eval_steps_per_second": 0.0,
|
| 1449 |
+
"eval_validation_loss": 9.46528971195221,
|
| 1450 |
+
"step": 10000
|
| 1451 |
+
},
|
| 1452 |
+
{
|
| 1453 |
+
"epoch": 1.7600700525394046,
|
| 1454 |
+
"grad_norm": 2.8985049724578857,
|
| 1455 |
+
"learning_rate": 4.5929817733670627e-05,
|
| 1456 |
+
"loss": 0.3046,
|
| 1457 |
+
"step": 10050
|
| 1458 |
+
},
|
| 1459 |
+
{
|
| 1460 |
+
"epoch": 1.7688266199649738,
|
| 1461 |
+
"grad_norm": 7.892605781555176,
|
| 1462 |
+
"learning_rate": 4.560550042161251e-05,
|
| 1463 |
+
"loss": 0.2901,
|
| 1464 |
+
"step": 10100
|
| 1465 |
+
},
|
| 1466 |
+
{
|
| 1467 |
+
"epoch": 1.777583187390543,
|
| 1468 |
+
"grad_norm": 3.811692237854004,
|
| 1469 |
+
"learning_rate": 4.528118310955439e-05,
|
| 1470 |
+
"loss": 0.2672,
|
| 1471 |
+
"step": 10150
|
| 1472 |
+
},
|
| 1473 |
+
{
|
| 1474 |
+
"epoch": 1.7863397548161122,
|
| 1475 |
+
"grad_norm": 7.211515426635742,
|
| 1476 |
+
"learning_rate": 4.495686579749627e-05,
|
| 1477 |
+
"loss": 0.2919,
|
| 1478 |
+
"step": 10200
|
| 1479 |
+
},
|
| 1480 |
+
{
|
| 1481 |
+
"epoch": 1.7950963222416814,
|
| 1482 |
+
"grad_norm": 6.297993183135986,
|
| 1483 |
+
"learning_rate": 4.4632548485438154e-05,
|
| 1484 |
+
"loss": 0.2924,
|
| 1485 |
+
"step": 10250
|
| 1486 |
+
},
|
| 1487 |
+
{
|
| 1488 |
+
"epoch": 1.8038528896672505,
|
| 1489 |
+
"grad_norm": 5.543306350708008,
|
| 1490 |
+
"learning_rate": 4.4308231173380036e-05,
|
| 1491 |
+
"loss": 0.2635,
|
| 1492 |
+
"step": 10300
|
| 1493 |
+
},
|
| 1494 |
+
{
|
| 1495 |
+
"epoch": 1.8126094570928197,
|
| 1496 |
+
"grad_norm": 5.464704990386963,
|
| 1497 |
+
"learning_rate": 4.398391386132192e-05,
|
| 1498 |
+
"loss": 0.2819,
|
| 1499 |
+
"step": 10350
|
| 1500 |
+
},
|
| 1501 |
+
{
|
| 1502 |
+
"epoch": 1.821366024518389,
|
| 1503 |
+
"grad_norm": 4.610677242279053,
|
| 1504 |
+
"learning_rate": 4.36595965492638e-05,
|
| 1505 |
+
"loss": 0.2828,
|
| 1506 |
+
"step": 10400
|
| 1507 |
+
},
|
| 1508 |
+
{
|
| 1509 |
+
"epoch": 1.830122591943958,
|
| 1510 |
+
"grad_norm": 4.958766460418701,
|
| 1511 |
+
"learning_rate": 4.333527923720568e-05,
|
| 1512 |
+
"loss": 0.2962,
|
| 1513 |
+
"step": 10450
|
| 1514 |
+
},
|
| 1515 |
+
{
|
| 1516 |
+
"epoch": 1.8388791593695273,
|
| 1517 |
+
"grad_norm": 4.323681354522705,
|
| 1518 |
+
"learning_rate": 4.3010961925147564e-05,
|
| 1519 |
+
"loss": 0.2894,
|
| 1520 |
+
"step": 10500
|
| 1521 |
+
},
|
| 1522 |
+
{
|
| 1523 |
+
"epoch": 1.8476357267950965,
|
| 1524 |
+
"grad_norm": 9.306756019592285,
|
| 1525 |
+
"learning_rate": 4.2686644613089446e-05,
|
| 1526 |
+
"loss": 0.2799,
|
| 1527 |
+
"step": 10550
|
| 1528 |
+
},
|
| 1529 |
+
{
|
| 1530 |
+
"epoch": 1.8563922942206657,
|
| 1531 |
+
"grad_norm": 5.687911510467529,
|
| 1532 |
+
"learning_rate": 4.236232730103133e-05,
|
| 1533 |
+
"loss": 0.25,
|
| 1534 |
+
"step": 10600
|
| 1535 |
+
},
|
| 1536 |
+
{
|
| 1537 |
+
"epoch": 1.8651488616462348,
|
| 1538 |
+
"grad_norm": 5.143701553344727,
|
| 1539 |
+
"learning_rate": 4.203800998897322e-05,
|
| 1540 |
+
"loss": 0.2569,
|
| 1541 |
+
"step": 10650
|
| 1542 |
+
},
|
| 1543 |
+
{
|
| 1544 |
+
"epoch": 1.873905429071804,
|
| 1545 |
+
"grad_norm": 3.75280499458313,
|
| 1546 |
+
"learning_rate": 4.171369267691509e-05,
|
| 1547 |
+
"loss": 0.2797,
|
| 1548 |
+
"step": 10700
|
| 1549 |
+
},
|
| 1550 |
+
{
|
| 1551 |
+
"epoch": 1.882661996497373,
|
| 1552 |
+
"grad_norm": 4.337931156158447,
|
| 1553 |
+
"learning_rate": 4.138937536485698e-05,
|
| 1554 |
+
"loss": 0.2694,
|
| 1555 |
+
"step": 10750
|
| 1556 |
+
},
|
| 1557 |
+
{
|
| 1558 |
+
"epoch": 1.8914185639229422,
|
| 1559 |
+
"grad_norm": 4.109650611877441,
|
| 1560 |
+
"learning_rate": 4.106505805279886e-05,
|
| 1561 |
+
"loss": 0.2338,
|
| 1562 |
+
"step": 10800
|
| 1563 |
+
},
|
| 1564 |
+
{
|
| 1565 |
+
"epoch": 1.9001751313485113,
|
| 1566 |
+
"grad_norm": 7.213988780975342,
|
| 1567 |
+
"learning_rate": 4.074074074074074e-05,
|
| 1568 |
+
"loss": 0.2487,
|
| 1569 |
+
"step": 10850
|
| 1570 |
+
},
|
| 1571 |
+
{
|
| 1572 |
+
"epoch": 1.9089316987740805,
|
| 1573 |
+
"grad_norm": 5.837473392486572,
|
| 1574 |
+
"learning_rate": 4.041642342868263e-05,
|
| 1575 |
+
"loss": 0.2687,
|
| 1576 |
+
"step": 10900
|
| 1577 |
+
},
|
| 1578 |
+
{
|
| 1579 |
+
"epoch": 1.9176882661996497,
|
| 1580 |
+
"grad_norm": 6.817431926727295,
|
| 1581 |
+
"learning_rate": 4.009210611662451e-05,
|
| 1582 |
+
"loss": 0.2605,
|
| 1583 |
+
"step": 10950
|
| 1584 |
+
},
|
| 1585 |
+
{
|
| 1586 |
+
"epoch": 1.926444833625219,
|
| 1587 |
+
"grad_norm": 6.022549152374268,
|
| 1588 |
+
"learning_rate": 3.976778880456639e-05,
|
| 1589 |
+
"loss": 0.2396,
|
| 1590 |
+
"step": 11000
|
| 1591 |
+
},
|
| 1592 |
+
{
|
| 1593 |
+
"epoch": 1.935201401050788,
|
| 1594 |
+
"grad_norm": 3.455322504043579,
|
| 1595 |
+
"learning_rate": 3.944347149250827e-05,
|
| 1596 |
+
"loss": 0.2366,
|
| 1597 |
+
"step": 11050
|
| 1598 |
+
},
|
| 1599 |
+
{
|
| 1600 |
+
"epoch": 1.9439579684763573,
|
| 1601 |
+
"grad_norm": 7.254488945007324,
|
| 1602 |
+
"learning_rate": 3.9119154180450155e-05,
|
| 1603 |
+
"loss": 0.234,
|
| 1604 |
+
"step": 11100
|
| 1605 |
+
},
|
| 1606 |
+
{
|
| 1607 |
+
"epoch": 1.9527145359019265,
|
| 1608 |
+
"grad_norm": 6.6505446434021,
|
| 1609 |
+
"learning_rate": 3.879483686839204e-05,
|
| 1610 |
+
"loss": 0.2686,
|
| 1611 |
+
"step": 11150
|
| 1612 |
+
},
|
| 1613 |
+
{
|
| 1614 |
+
"epoch": 1.9614711033274956,
|
| 1615 |
+
"grad_norm": 6.662601470947266,
|
| 1616 |
+
"learning_rate": 3.847051955633392e-05,
|
| 1617 |
+
"loss": 0.2729,
|
| 1618 |
+
"step": 11200
|
| 1619 |
+
},
|
| 1620 |
+
{
|
| 1621 |
+
"epoch": 1.9702276707530648,
|
| 1622 |
+
"grad_norm": 8.435811042785645,
|
| 1623 |
+
"learning_rate": 3.81462022442758e-05,
|
| 1624 |
+
"loss": 0.27,
|
| 1625 |
+
"step": 11250
|
| 1626 |
+
},
|
| 1627 |
+
{
|
| 1628 |
+
"epoch": 1.978984238178634,
|
| 1629 |
+
"grad_norm": 5.1997528076171875,
|
| 1630 |
+
"learning_rate": 3.782188493221768e-05,
|
| 1631 |
+
"loss": 0.2455,
|
| 1632 |
+
"step": 11300
|
| 1633 |
+
},
|
| 1634 |
+
{
|
| 1635 |
+
"epoch": 1.9877408056042032,
|
| 1636 |
+
"grad_norm": 3.3979032039642334,
|
| 1637 |
+
"learning_rate": 3.749756762015957e-05,
|
| 1638 |
+
"loss": 0.2455,
|
| 1639 |
+
"step": 11350
|
| 1640 |
+
},
|
| 1641 |
+
{
|
| 1642 |
+
"epoch": 1.9964973730297724,
|
| 1643 |
+
"grad_norm": 3.596311569213867,
|
| 1644 |
+
"learning_rate": 3.717325030810145e-05,
|
| 1645 |
+
"loss": 0.2473,
|
| 1646 |
+
"step": 11400
|
| 1647 |
+
},
|
| 1648 |
+
{
|
| 1649 |
+
"epoch": 2.0052539404553413,
|
| 1650 |
+
"grad_norm": 2.25345778465271,
|
| 1651 |
+
"learning_rate": 3.684893299604333e-05,
|
| 1652 |
+
"loss": 0.1934,
|
| 1653 |
+
"step": 11450
|
| 1654 |
+
},
|
| 1655 |
+
{
|
| 1656 |
+
"epoch": 2.0140105078809105,
|
| 1657 |
+
"grad_norm": 2.6163904666900635,
|
| 1658 |
+
"learning_rate": 3.652461568398521e-05,
|
| 1659 |
+
"loss": 0.1876,
|
| 1660 |
+
"step": 11500
|
| 1661 |
+
},
|
| 1662 |
+
{
|
| 1663 |
+
"epoch": 2.0227670753064797,
|
| 1664 |
+
"grad_norm": 2.759540319442749,
|
| 1665 |
+
"learning_rate": 3.620029837192709e-05,
|
| 1666 |
+
"loss": 0.1876,
|
| 1667 |
+
"step": 11550
|
| 1668 |
+
},
|
| 1669 |
+
{
|
| 1670 |
+
"epoch": 2.031523642732049,
|
| 1671 |
+
"grad_norm": 2.405531644821167,
|
| 1672 |
+
"learning_rate": 3.587598105986898e-05,
|
| 1673 |
+
"loss": 0.1633,
|
| 1674 |
+
"step": 11600
|
| 1675 |
+
},
|
| 1676 |
+
{
|
| 1677 |
+
"epoch": 2.040280210157618,
|
| 1678 |
+
"grad_norm": 2.2781155109405518,
|
| 1679 |
+
"learning_rate": 3.5551663747810857e-05,
|
| 1680 |
+
"loss": 0.1631,
|
| 1681 |
+
"step": 11650
|
| 1682 |
+
},
|
| 1683 |
+
{
|
| 1684 |
+
"epoch": 2.0490367775831873,
|
| 1685 |
+
"grad_norm": 2.363759756088257,
|
| 1686 |
+
"learning_rate": 3.522734643575274e-05,
|
| 1687 |
+
"loss": 0.1771,
|
| 1688 |
+
"step": 11700
|
| 1689 |
+
},
|
| 1690 |
+
{
|
| 1691 |
+
"epoch": 2.0577933450087564,
|
| 1692 |
+
"grad_norm": 4.277783393859863,
|
| 1693 |
+
"learning_rate": 3.490302912369463e-05,
|
| 1694 |
+
"loss": 0.1653,
|
| 1695 |
+
"step": 11750
|
| 1696 |
+
},
|
| 1697 |
+
{
|
| 1698 |
+
"epoch": 2.0665499124343256,
|
| 1699 |
+
"grad_norm": 3.955893039703369,
|
| 1700 |
+
"learning_rate": 3.45787118116365e-05,
|
| 1701 |
+
"loss": 0.1684,
|
| 1702 |
+
"step": 11800
|
| 1703 |
+
},
|
| 1704 |
+
{
|
| 1705 |
+
"epoch": 2.075306479859895,
|
| 1706 |
+
"grad_norm": 3.8965940475463867,
|
| 1707 |
+
"learning_rate": 3.425439449957839e-05,
|
| 1708 |
+
"loss": 0.1833,
|
| 1709 |
+
"step": 11850
|
| 1710 |
+
},
|
| 1711 |
+
{
|
| 1712 |
+
"epoch": 2.084063047285464,
|
| 1713 |
+
"grad_norm": 5.970109462738037,
|
| 1714 |
+
"learning_rate": 3.393007718752027e-05,
|
| 1715 |
+
"loss": 0.1652,
|
| 1716 |
+
"step": 11900
|
| 1717 |
+
},
|
| 1718 |
+
{
|
| 1719 |
+
"epoch": 2.092819614711033,
|
| 1720 |
+
"grad_norm": 3.1331982612609863,
|
| 1721 |
+
"learning_rate": 3.3605759875462155e-05,
|
| 1722 |
+
"loss": 0.1709,
|
| 1723 |
+
"step": 11950
|
| 1724 |
+
},
|
| 1725 |
+
{
|
| 1726 |
+
"epoch": 2.1015761821366024,
|
| 1727 |
+
"grad_norm": 4.973883628845215,
|
| 1728 |
+
"learning_rate": 3.328144256340404e-05,
|
| 1729 |
+
"loss": 0.1838,
|
| 1730 |
+
"step": 12000
|
| 1731 |
+
},
|
| 1732 |
+
{
|
| 1733 |
+
"epoch": 2.1015761821366024,
|
| 1734 |
+
"eval_runtime": 3.6674,
|
| 1735 |
+
"eval_samples_per_second": 0.0,
|
| 1736 |
+
"eval_steps_per_second": 0.0,
|
| 1737 |
+
"eval_validation_loss": 9.489478006958961,
|
| 1738 |
+
"step": 12000
|
| 1739 |
+
}
|
| 1740 |
+
],
|
| 1741 |
+
"logging_steps": 50,
|
| 1742 |
+
"max_steps": 17130,
|
| 1743 |
+
"num_input_tokens_seen": 0,
|
| 1744 |
+
"num_train_epochs": 3,
|
| 1745 |
+
"save_steps": 2000,
|
| 1746 |
+
"stateful_callbacks": {
|
| 1747 |
+
"TrainerControl": {
|
| 1748 |
+
"args": {
|
| 1749 |
+
"should_epoch_stop": false,
|
| 1750 |
+
"should_evaluate": false,
|
| 1751 |
+
"should_log": false,
|
| 1752 |
+
"should_save": true,
|
| 1753 |
+
"should_training_stop": false
|
| 1754 |
+
},
|
| 1755 |
+
"attributes": {}
|
| 1756 |
+
}
|
| 1757 |
+
},
|
| 1758 |
+
"total_flos": 0.0,
|
| 1759 |
+
"train_batch_size": 64,
|
| 1760 |
+
"trial_name": null,
|
| 1761 |
+
"trial_params": null
|
| 1762 |
+
}
|
checkpoints/checkpoint-12000/training_args.bin
ADDED
|
@@ -0,0 +1,3 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
version https://git-lfs.github.com/spec/v1
|
| 2 |
+
oid sha256:5a47d6e0a083f313a8393fff6e07ffb51741b7c4818b9ce6f5b01ee24fc67121
|
| 3 |
+
size 5752
|