Ba2han commited on
Commit
c8f0472
·
verified ·
1 Parent(s): 860e084

Training in progress, step 800, checkpoint

Browse files
last-checkpoint/model.safetensors CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:0df04f618d1d05c113a38828a4c5ef6460336b9fc1d3cd4d44ac1a40916a3bcb
3
  size 2641039512
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:701ca595ad1defd750a25409c943adf74f8781010426bdefa517964d000f7cb5
3
  size 2641039512
last-checkpoint/optimizer.pt CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:f25251fe47301afc359676a166ef022b26f1f6e7fc4ffdd0ed050420b441a45b
3
  size 1322856248
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:1aa61026d06844cb3156b00475a837e064d2f608ee32e985c65d38002d7cb243
3
  size 1322856248
last-checkpoint/scheduler.pt CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:3118acda830d8b5fd5e51ade797ee30f1a7c20686f164df77664073725c4829a
3
  size 9785
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:e1ba5e8415b30095e686cd73b6abdd2edac02ddfda122507f638f82ba2ed948a
3
  size 9785
last-checkpoint/trainer_state.json CHANGED
@@ -2,9 +2,9 @@
2
  "best_global_step": null,
3
  "best_metric": null,
4
  "best_model_checkpoint": null,
5
- "epoch": 0.1,
6
  "eval_steps": 500,
7
- "global_step": 400,
8
  "is_hyper_param_search": false,
9
  "is_local_process_zero": true,
10
  "is_world_process_zero": true,
@@ -1408,6 +1408,1406 @@
1408
  "learning_rate": 0.0012,
1409
  "loss": 2.2841665744781494,
1410
  "step": 400
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1411
  }
1412
  ],
1413
  "logging_steps": 2,
@@ -1427,7 +2827,7 @@
1427
  "attributes": {}
1428
  }
1429
  },
1430
- "total_flos": 3.858841446782075e+17,
1431
  "train_batch_size": 2,
1432
  "trial_name": null,
1433
  "trial_params": null
 
2
  "best_global_step": null,
3
  "best_metric": null,
4
  "best_model_checkpoint": null,
5
+ "epoch": 0.2,
6
  "eval_steps": 500,
7
+ "global_step": 800,
8
  "is_hyper_param_search": false,
9
  "is_local_process_zero": true,
10
  "is_world_process_zero": true,
 
1408
  "learning_rate": 0.0012,
1409
  "loss": 2.2841665744781494,
1410
  "step": 400
1411
+ },
1412
+ {
1413
+ "epoch": 0.1005,
1414
+ "grad_norm": 0.12054895609617233,
1415
+ "learning_rate": 0.0012,
1416
+ "loss": 2.326702356338501,
1417
+ "step": 402
1418
+ },
1419
+ {
1420
+ "epoch": 0.101,
1421
+ "grad_norm": 0.12209802120923996,
1422
+ "learning_rate": 0.0012,
1423
+ "loss": 2.2534260749816895,
1424
+ "step": 404
1425
+ },
1426
+ {
1427
+ "epoch": 0.1015,
1428
+ "grad_norm": 0.12105856090784073,
1429
+ "learning_rate": 0.0012,
1430
+ "loss": 2.2094016075134277,
1431
+ "step": 406
1432
+ },
1433
+ {
1434
+ "epoch": 0.102,
1435
+ "grad_norm": 0.12396562099456787,
1436
+ "learning_rate": 0.0012,
1437
+ "loss": 2.3064889907836914,
1438
+ "step": 408
1439
+ },
1440
+ {
1441
+ "epoch": 0.1025,
1442
+ "grad_norm": 0.12443626672029495,
1443
+ "learning_rate": 0.0012,
1444
+ "loss": 2.2636513710021973,
1445
+ "step": 410
1446
+ },
1447
+ {
1448
+ "epoch": 0.103,
1449
+ "grad_norm": 0.12337794899940491,
1450
+ "learning_rate": 0.0012,
1451
+ "loss": 2.2778162956237793,
1452
+ "step": 412
1453
+ },
1454
+ {
1455
+ "epoch": 0.1035,
1456
+ "grad_norm": 0.12057880312204361,
1457
+ "learning_rate": 0.0012,
1458
+ "loss": 2.0912723541259766,
1459
+ "step": 414
1460
+ },
1461
+ {
1462
+ "epoch": 0.104,
1463
+ "grad_norm": 0.1243756115436554,
1464
+ "learning_rate": 0.0012,
1465
+ "loss": 2.2777326107025146,
1466
+ "step": 416
1467
+ },
1468
+ {
1469
+ "epoch": 0.1045,
1470
+ "grad_norm": 0.12009448558092117,
1471
+ "learning_rate": 0.0012,
1472
+ "loss": 2.137455940246582,
1473
+ "step": 418
1474
+ },
1475
+ {
1476
+ "epoch": 0.105,
1477
+ "grad_norm": 0.12110329419374466,
1478
+ "learning_rate": 0.0012,
1479
+ "loss": 2.1315882205963135,
1480
+ "step": 420
1481
+ },
1482
+ {
1483
+ "epoch": 0.1055,
1484
+ "grad_norm": 0.12125954777002335,
1485
+ "learning_rate": 0.0012,
1486
+ "loss": 2.2602455615997314,
1487
+ "step": 422
1488
+ },
1489
+ {
1490
+ "epoch": 0.106,
1491
+ "grad_norm": 0.12352994829416275,
1492
+ "learning_rate": 0.0012,
1493
+ "loss": 2.31404447555542,
1494
+ "step": 424
1495
+ },
1496
+ {
1497
+ "epoch": 0.1065,
1498
+ "grad_norm": 0.12671133875846863,
1499
+ "learning_rate": 0.0012,
1500
+ "loss": 2.256730556488037,
1501
+ "step": 426
1502
+ },
1503
+ {
1504
+ "epoch": 0.107,
1505
+ "grad_norm": 0.12330864369869232,
1506
+ "learning_rate": 0.0012,
1507
+ "loss": 2.2596917152404785,
1508
+ "step": 428
1509
+ },
1510
+ {
1511
+ "epoch": 0.1075,
1512
+ "grad_norm": 0.12586729228496552,
1513
+ "learning_rate": 0.0012,
1514
+ "loss": 2.2614588737487793,
1515
+ "step": 430
1516
+ },
1517
+ {
1518
+ "epoch": 0.108,
1519
+ "grad_norm": 0.12044867873191833,
1520
+ "learning_rate": 0.0012,
1521
+ "loss": 2.2217602729797363,
1522
+ "step": 432
1523
+ },
1524
+ {
1525
+ "epoch": 0.1085,
1526
+ "grad_norm": 0.12189746648073196,
1527
+ "learning_rate": 0.0012,
1528
+ "loss": 2.298125982284546,
1529
+ "step": 434
1530
+ },
1531
+ {
1532
+ "epoch": 0.109,
1533
+ "grad_norm": 0.11962965875864029,
1534
+ "learning_rate": 0.0012,
1535
+ "loss": 2.210402011871338,
1536
+ "step": 436
1537
+ },
1538
+ {
1539
+ "epoch": 0.1095,
1540
+ "grad_norm": 0.12688636779785156,
1541
+ "learning_rate": 0.0012,
1542
+ "loss": 2.151930809020996,
1543
+ "step": 438
1544
+ },
1545
+ {
1546
+ "epoch": 0.11,
1547
+ "grad_norm": 0.12192431092262268,
1548
+ "learning_rate": 0.0012,
1549
+ "loss": 2.2577176094055176,
1550
+ "step": 440
1551
+ },
1552
+ {
1553
+ "epoch": 0.1105,
1554
+ "grad_norm": 0.11881116032600403,
1555
+ "learning_rate": 0.0012,
1556
+ "loss": 2.1138787269592285,
1557
+ "step": 442
1558
+ },
1559
+ {
1560
+ "epoch": 0.111,
1561
+ "grad_norm": 0.12109513580799103,
1562
+ "learning_rate": 0.0012,
1563
+ "loss": 2.1739344596862793,
1564
+ "step": 444
1565
+ },
1566
+ {
1567
+ "epoch": 0.1115,
1568
+ "grad_norm": 0.11925635486841202,
1569
+ "learning_rate": 0.0012,
1570
+ "loss": 2.2241151332855225,
1571
+ "step": 446
1572
+ },
1573
+ {
1574
+ "epoch": 0.112,
1575
+ "grad_norm": 0.12064164876937866,
1576
+ "learning_rate": 0.0012,
1577
+ "loss": 2.214655876159668,
1578
+ "step": 448
1579
+ },
1580
+ {
1581
+ "epoch": 0.1125,
1582
+ "grad_norm": 0.12177804112434387,
1583
+ "learning_rate": 0.0012,
1584
+ "loss": 2.304344654083252,
1585
+ "step": 450
1586
+ },
1587
+ {
1588
+ "epoch": 0.113,
1589
+ "grad_norm": 0.12058129906654358,
1590
+ "learning_rate": 0.0012,
1591
+ "loss": 2.1164498329162598,
1592
+ "step": 452
1593
+ },
1594
+ {
1595
+ "epoch": 0.1135,
1596
+ "grad_norm": 0.1220935806632042,
1597
+ "learning_rate": 0.0012,
1598
+ "loss": 2.2567191123962402,
1599
+ "step": 454
1600
+ },
1601
+ {
1602
+ "epoch": 0.114,
1603
+ "grad_norm": 0.12614116072654724,
1604
+ "learning_rate": 0.0012,
1605
+ "loss": 2.3177077770233154,
1606
+ "step": 456
1607
+ },
1608
+ {
1609
+ "epoch": 0.1145,
1610
+ "grad_norm": 0.12056887149810791,
1611
+ "learning_rate": 0.0012,
1612
+ "loss": 2.1604442596435547,
1613
+ "step": 458
1614
+ },
1615
+ {
1616
+ "epoch": 0.115,
1617
+ "grad_norm": 0.1201133131980896,
1618
+ "learning_rate": 0.0012,
1619
+ "loss": 2.251906394958496,
1620
+ "step": 460
1621
+ },
1622
+ {
1623
+ "epoch": 0.1155,
1624
+ "grad_norm": 0.12387340515851974,
1625
+ "learning_rate": 0.0012,
1626
+ "loss": 2.2524404525756836,
1627
+ "step": 462
1628
+ },
1629
+ {
1630
+ "epoch": 0.116,
1631
+ "grad_norm": 0.12445537745952606,
1632
+ "learning_rate": 0.0012,
1633
+ "loss": 2.173084020614624,
1634
+ "step": 464
1635
+ },
1636
+ {
1637
+ "epoch": 0.1165,
1638
+ "grad_norm": 0.12160599231719971,
1639
+ "learning_rate": 0.0012,
1640
+ "loss": 2.253653049468994,
1641
+ "step": 466
1642
+ },
1643
+ {
1644
+ "epoch": 0.117,
1645
+ "grad_norm": 0.1241399273276329,
1646
+ "learning_rate": 0.0012,
1647
+ "loss": 2.1665000915527344,
1648
+ "step": 468
1649
+ },
1650
+ {
1651
+ "epoch": 0.1175,
1652
+ "grad_norm": 0.1183992549777031,
1653
+ "learning_rate": 0.0012,
1654
+ "loss": 2.050638437271118,
1655
+ "step": 470
1656
+ },
1657
+ {
1658
+ "epoch": 0.118,
1659
+ "grad_norm": 0.12072386592626572,
1660
+ "learning_rate": 0.0012,
1661
+ "loss": 2.1509904861450195,
1662
+ "step": 472
1663
+ },
1664
+ {
1665
+ "epoch": 0.1185,
1666
+ "grad_norm": 0.12380450963973999,
1667
+ "learning_rate": 0.0012,
1668
+ "loss": 2.3313965797424316,
1669
+ "step": 474
1670
+ },
1671
+ {
1672
+ "epoch": 0.119,
1673
+ "grad_norm": 0.12388438731431961,
1674
+ "learning_rate": 0.0012,
1675
+ "loss": 2.110642671585083,
1676
+ "step": 476
1677
+ },
1678
+ {
1679
+ "epoch": 0.1195,
1680
+ "grad_norm": 0.123001329600811,
1681
+ "learning_rate": 0.0012,
1682
+ "loss": 2.225430965423584,
1683
+ "step": 478
1684
+ },
1685
+ {
1686
+ "epoch": 0.12,
1687
+ "grad_norm": 0.12334371358156204,
1688
+ "learning_rate": 0.0012,
1689
+ "loss": 2.202939033508301,
1690
+ "step": 480
1691
+ },
1692
+ {
1693
+ "epoch": 0.1205,
1694
+ "grad_norm": 0.11948074400424957,
1695
+ "learning_rate": 0.0012,
1696
+ "loss": 2.1103436946868896,
1697
+ "step": 482
1698
+ },
1699
+ {
1700
+ "epoch": 0.121,
1701
+ "grad_norm": 0.1230388805270195,
1702
+ "learning_rate": 0.0012,
1703
+ "loss": 2.1396327018737793,
1704
+ "step": 484
1705
+ },
1706
+ {
1707
+ "epoch": 0.1215,
1708
+ "grad_norm": 0.11782898753881454,
1709
+ "learning_rate": 0.0012,
1710
+ "loss": 2.1475939750671387,
1711
+ "step": 486
1712
+ },
1713
+ {
1714
+ "epoch": 0.122,
1715
+ "grad_norm": 0.12395215034484863,
1716
+ "learning_rate": 0.0012,
1717
+ "loss": 2.3515262603759766,
1718
+ "step": 488
1719
+ },
1720
+ {
1721
+ "epoch": 0.1225,
1722
+ "grad_norm": 0.12264861911535263,
1723
+ "learning_rate": 0.0012,
1724
+ "loss": 2.3518590927124023,
1725
+ "step": 490
1726
+ },
1727
+ {
1728
+ "epoch": 0.123,
1729
+ "grad_norm": 0.12457684427499771,
1730
+ "learning_rate": 0.0012,
1731
+ "loss": 2.348440647125244,
1732
+ "step": 492
1733
+ },
1734
+ {
1735
+ "epoch": 0.1235,
1736
+ "grad_norm": 0.12033570557832718,
1737
+ "learning_rate": 0.0012,
1738
+ "loss": 2.2577500343322754,
1739
+ "step": 494
1740
+ },
1741
+ {
1742
+ "epoch": 0.124,
1743
+ "grad_norm": 0.12147720903158188,
1744
+ "learning_rate": 0.0012,
1745
+ "loss": 2.2284274101257324,
1746
+ "step": 496
1747
+ },
1748
+ {
1749
+ "epoch": 0.1245,
1750
+ "grad_norm": 0.1266353577375412,
1751
+ "learning_rate": 0.0012,
1752
+ "loss": 2.2095959186553955,
1753
+ "step": 498
1754
+ },
1755
+ {
1756
+ "epoch": 0.125,
1757
+ "grad_norm": 0.12260833382606506,
1758
+ "learning_rate": 0.0012,
1759
+ "loss": 2.2494609355926514,
1760
+ "step": 500
1761
+ },
1762
+ {
1763
+ "epoch": 0.1255,
1764
+ "grad_norm": 0.12166132777929306,
1765
+ "learning_rate": 0.0012,
1766
+ "loss": 2.227855682373047,
1767
+ "step": 502
1768
+ },
1769
+ {
1770
+ "epoch": 0.126,
1771
+ "grad_norm": 0.12374623119831085,
1772
+ "learning_rate": 0.0012,
1773
+ "loss": 2.2455830574035645,
1774
+ "step": 504
1775
+ },
1776
+ {
1777
+ "epoch": 0.1265,
1778
+ "grad_norm": 0.12395448237657547,
1779
+ "learning_rate": 0.0012,
1780
+ "loss": 2.155578136444092,
1781
+ "step": 506
1782
+ },
1783
+ {
1784
+ "epoch": 0.127,
1785
+ "grad_norm": 0.12223073840141296,
1786
+ "learning_rate": 0.0012,
1787
+ "loss": 2.123234272003174,
1788
+ "step": 508
1789
+ },
1790
+ {
1791
+ "epoch": 0.1275,
1792
+ "grad_norm": 0.12525120377540588,
1793
+ "learning_rate": 0.0012,
1794
+ "loss": 2.2657387256622314,
1795
+ "step": 510
1796
+ },
1797
+ {
1798
+ "epoch": 0.128,
1799
+ "grad_norm": 0.12459076941013336,
1800
+ "learning_rate": 0.0012,
1801
+ "loss": 2.2407002449035645,
1802
+ "step": 512
1803
+ },
1804
+ {
1805
+ "epoch": 0.1285,
1806
+ "grad_norm": 0.12786155939102173,
1807
+ "learning_rate": 0.0012,
1808
+ "loss": 2.2713661193847656,
1809
+ "step": 514
1810
+ },
1811
+ {
1812
+ "epoch": 0.129,
1813
+ "grad_norm": 0.12424921989440918,
1814
+ "learning_rate": 0.0012,
1815
+ "loss": 2.277902603149414,
1816
+ "step": 516
1817
+ },
1818
+ {
1819
+ "epoch": 0.1295,
1820
+ "grad_norm": 0.12083666026592255,
1821
+ "learning_rate": 0.0012,
1822
+ "loss": 2.229116201400757,
1823
+ "step": 518
1824
+ },
1825
+ {
1826
+ "epoch": 0.13,
1827
+ "grad_norm": 0.12301281839609146,
1828
+ "learning_rate": 0.0012,
1829
+ "loss": 2.2580509185791016,
1830
+ "step": 520
1831
+ },
1832
+ {
1833
+ "epoch": 0.1305,
1834
+ "grad_norm": 0.12253593653440475,
1835
+ "learning_rate": 0.0012,
1836
+ "loss": 2.060866355895996,
1837
+ "step": 522
1838
+ },
1839
+ {
1840
+ "epoch": 0.131,
1841
+ "grad_norm": 0.12206588685512543,
1842
+ "learning_rate": 0.0012,
1843
+ "loss": 2.190617561340332,
1844
+ "step": 524
1845
+ },
1846
+ {
1847
+ "epoch": 0.1315,
1848
+ "grad_norm": 0.11996202170848846,
1849
+ "learning_rate": 0.0012,
1850
+ "loss": 2.1966025829315186,
1851
+ "step": 526
1852
+ },
1853
+ {
1854
+ "epoch": 0.132,
1855
+ "grad_norm": 0.12044856697320938,
1856
+ "learning_rate": 0.0012,
1857
+ "loss": 2.1235170364379883,
1858
+ "step": 528
1859
+ },
1860
+ {
1861
+ "epoch": 0.1325,
1862
+ "grad_norm": 0.12207049876451492,
1863
+ "learning_rate": 0.0012,
1864
+ "loss": 2.2631895542144775,
1865
+ "step": 530
1866
+ },
1867
+ {
1868
+ "epoch": 0.133,
1869
+ "grad_norm": 0.12151215225458145,
1870
+ "learning_rate": 0.0012,
1871
+ "loss": 2.146211624145508,
1872
+ "step": 532
1873
+ },
1874
+ {
1875
+ "epoch": 0.1335,
1876
+ "grad_norm": 0.12725605070590973,
1877
+ "learning_rate": 0.0012,
1878
+ "loss": 2.3359932899475098,
1879
+ "step": 534
1880
+ },
1881
+ {
1882
+ "epoch": 0.134,
1883
+ "grad_norm": 0.12424077838659286,
1884
+ "learning_rate": 0.0012,
1885
+ "loss": 2.205270528793335,
1886
+ "step": 536
1887
+ },
1888
+ {
1889
+ "epoch": 0.1345,
1890
+ "grad_norm": 0.12291470915079117,
1891
+ "learning_rate": 0.0012,
1892
+ "loss": 2.1694424152374268,
1893
+ "step": 538
1894
+ },
1895
+ {
1896
+ "epoch": 0.135,
1897
+ "grad_norm": 0.12399540841579437,
1898
+ "learning_rate": 0.0012,
1899
+ "loss": 2.1751201152801514,
1900
+ "step": 540
1901
+ },
1902
+ {
1903
+ "epoch": 0.1355,
1904
+ "grad_norm": 0.12478026747703552,
1905
+ "learning_rate": 0.0012,
1906
+ "loss": 2.2821462154388428,
1907
+ "step": 542
1908
+ },
1909
+ {
1910
+ "epoch": 0.136,
1911
+ "grad_norm": 0.12286561727523804,
1912
+ "learning_rate": 0.0012,
1913
+ "loss": 2.240694761276245,
1914
+ "step": 544
1915
+ },
1916
+ {
1917
+ "epoch": 0.1365,
1918
+ "grad_norm": 0.11715179681777954,
1919
+ "learning_rate": 0.0012,
1920
+ "loss": 2.1502816677093506,
1921
+ "step": 546
1922
+ },
1923
+ {
1924
+ "epoch": 0.137,
1925
+ "grad_norm": 0.1263730376958847,
1926
+ "learning_rate": 0.0012,
1927
+ "loss": 2.2521462440490723,
1928
+ "step": 548
1929
+ },
1930
+ {
1931
+ "epoch": 0.1375,
1932
+ "grad_norm": 0.12617576122283936,
1933
+ "learning_rate": 0.0012,
1934
+ "loss": 2.1075775623321533,
1935
+ "step": 550
1936
+ },
1937
+ {
1938
+ "epoch": 0.138,
1939
+ "grad_norm": 0.12463200837373734,
1940
+ "learning_rate": 0.0012,
1941
+ "loss": 2.2123312950134277,
1942
+ "step": 552
1943
+ },
1944
+ {
1945
+ "epoch": 0.1385,
1946
+ "grad_norm": 0.12332479655742645,
1947
+ "learning_rate": 0.0012,
1948
+ "loss": 2.1256752014160156,
1949
+ "step": 554
1950
+ },
1951
+ {
1952
+ "epoch": 0.139,
1953
+ "grad_norm": 0.12213516980409622,
1954
+ "learning_rate": 0.0012,
1955
+ "loss": 2.230741024017334,
1956
+ "step": 556
1957
+ },
1958
+ {
1959
+ "epoch": 0.1395,
1960
+ "grad_norm": 0.12564736604690552,
1961
+ "learning_rate": 0.0012,
1962
+ "loss": 2.1856470108032227,
1963
+ "step": 558
1964
+ },
1965
+ {
1966
+ "epoch": 0.14,
1967
+ "grad_norm": 0.1247808113694191,
1968
+ "learning_rate": 0.0012,
1969
+ "loss": 2.29241943359375,
1970
+ "step": 560
1971
+ },
1972
+ {
1973
+ "epoch": 0.1405,
1974
+ "grad_norm": 0.12066401541233063,
1975
+ "learning_rate": 0.0012,
1976
+ "loss": 2.175884485244751,
1977
+ "step": 562
1978
+ },
1979
+ {
1980
+ "epoch": 0.141,
1981
+ "grad_norm": 0.12430638819932938,
1982
+ "learning_rate": 0.0012,
1983
+ "loss": 2.3148648738861084,
1984
+ "step": 564
1985
+ },
1986
+ {
1987
+ "epoch": 0.1415,
1988
+ "grad_norm": 0.12408965826034546,
1989
+ "learning_rate": 0.0012,
1990
+ "loss": 2.2461142539978027,
1991
+ "step": 566
1992
+ },
1993
+ {
1994
+ "epoch": 0.142,
1995
+ "grad_norm": 0.1242135688662529,
1996
+ "learning_rate": 0.0012,
1997
+ "loss": 2.1376333236694336,
1998
+ "step": 568
1999
+ },
2000
+ {
2001
+ "epoch": 0.1425,
2002
+ "grad_norm": 0.12672850489616394,
2003
+ "learning_rate": 0.0012,
2004
+ "loss": 2.148775100708008,
2005
+ "step": 570
2006
+ },
2007
+ {
2008
+ "epoch": 0.143,
2009
+ "grad_norm": 0.12376829236745834,
2010
+ "learning_rate": 0.0012,
2011
+ "loss": 2.2954864501953125,
2012
+ "step": 572
2013
+ },
2014
+ {
2015
+ "epoch": 0.1435,
2016
+ "grad_norm": 0.12005943804979324,
2017
+ "learning_rate": 0.0012,
2018
+ "loss": 2.115406036376953,
2019
+ "step": 574
2020
+ },
2021
+ {
2022
+ "epoch": 0.144,
2023
+ "grad_norm": 0.1220192164182663,
2024
+ "learning_rate": 0.0012,
2025
+ "loss": 2.1036298274993896,
2026
+ "step": 576
2027
+ },
2028
+ {
2029
+ "epoch": 0.1445,
2030
+ "grad_norm": 0.12172229588031769,
2031
+ "learning_rate": 0.0012,
2032
+ "loss": 2.1697356700897217,
2033
+ "step": 578
2034
+ },
2035
+ {
2036
+ "epoch": 0.145,
2037
+ "grad_norm": 0.12480010837316513,
2038
+ "learning_rate": 0.0012,
2039
+ "loss": 2.2564525604248047,
2040
+ "step": 580
2041
+ },
2042
+ {
2043
+ "epoch": 0.1455,
2044
+ "grad_norm": 0.12419505417346954,
2045
+ "learning_rate": 0.0012,
2046
+ "loss": 2.242037773132324,
2047
+ "step": 582
2048
+ },
2049
+ {
2050
+ "epoch": 0.146,
2051
+ "grad_norm": 0.12008476257324219,
2052
+ "learning_rate": 0.0012,
2053
+ "loss": 2.149271011352539,
2054
+ "step": 584
2055
+ },
2056
+ {
2057
+ "epoch": 0.1465,
2058
+ "grad_norm": 0.12122812122106552,
2059
+ "learning_rate": 0.0012,
2060
+ "loss": 2.2153196334838867,
2061
+ "step": 586
2062
+ },
2063
+ {
2064
+ "epoch": 0.147,
2065
+ "grad_norm": 0.12544192373752594,
2066
+ "learning_rate": 0.0012,
2067
+ "loss": 2.3317863941192627,
2068
+ "step": 588
2069
+ },
2070
+ {
2071
+ "epoch": 0.1475,
2072
+ "grad_norm": 0.1265304833650589,
2073
+ "learning_rate": 0.0012,
2074
+ "loss": 2.216907501220703,
2075
+ "step": 590
2076
+ },
2077
+ {
2078
+ "epoch": 0.148,
2079
+ "grad_norm": 0.12547633051872253,
2080
+ "learning_rate": 0.0012,
2081
+ "loss": 2.1674623489379883,
2082
+ "step": 592
2083
+ },
2084
+ {
2085
+ "epoch": 0.1485,
2086
+ "grad_norm": 0.1255500763654709,
2087
+ "learning_rate": 0.0012,
2088
+ "loss": 2.258897542953491,
2089
+ "step": 594
2090
+ },
2091
+ {
2092
+ "epoch": 0.149,
2093
+ "grad_norm": 0.12620480358600616,
2094
+ "learning_rate": 0.0012,
2095
+ "loss": 2.1567251682281494,
2096
+ "step": 596
2097
+ },
2098
+ {
2099
+ "epoch": 0.1495,
2100
+ "grad_norm": 0.12494870275259018,
2101
+ "learning_rate": 0.0012,
2102
+ "loss": 2.153189182281494,
2103
+ "step": 598
2104
+ },
2105
+ {
2106
+ "epoch": 0.15,
2107
+ "grad_norm": 0.12307412177324295,
2108
+ "learning_rate": 0.0012,
2109
+ "loss": 2.1250929832458496,
2110
+ "step": 600
2111
+ },
2112
+ {
2113
+ "epoch": 0.1505,
2114
+ "grad_norm": 0.12381011992692947,
2115
+ "learning_rate": 0.0012,
2116
+ "loss": 2.176429033279419,
2117
+ "step": 602
2118
+ },
2119
+ {
2120
+ "epoch": 0.151,
2121
+ "grad_norm": 0.12082013487815857,
2122
+ "learning_rate": 0.0012,
2123
+ "loss": 2.184323787689209,
2124
+ "step": 604
2125
+ },
2126
+ {
2127
+ "epoch": 0.1515,
2128
+ "grad_norm": 0.1267080008983612,
2129
+ "learning_rate": 0.0012,
2130
+ "loss": 2.1645710468292236,
2131
+ "step": 606
2132
+ },
2133
+ {
2134
+ "epoch": 0.152,
2135
+ "grad_norm": 0.12078283727169037,
2136
+ "learning_rate": 0.0012,
2137
+ "loss": 2.2049546241760254,
2138
+ "step": 608
2139
+ },
2140
+ {
2141
+ "epoch": 0.1525,
2142
+ "grad_norm": 0.12241696566343307,
2143
+ "learning_rate": 0.0012,
2144
+ "loss": 2.224576711654663,
2145
+ "step": 610
2146
+ },
2147
+ {
2148
+ "epoch": 0.153,
2149
+ "grad_norm": 0.12433452904224396,
2150
+ "learning_rate": 0.0012,
2151
+ "loss": 2.225877523422241,
2152
+ "step": 612
2153
+ },
2154
+ {
2155
+ "epoch": 0.1535,
2156
+ "grad_norm": 0.12083589285612106,
2157
+ "learning_rate": 0.0012,
2158
+ "loss": 2.0981287956237793,
2159
+ "step": 614
2160
+ },
2161
+ {
2162
+ "epoch": 0.154,
2163
+ "grad_norm": 0.12109652161598206,
2164
+ "learning_rate": 0.0012,
2165
+ "loss": 2.0764999389648438,
2166
+ "step": 616
2167
+ },
2168
+ {
2169
+ "epoch": 0.1545,
2170
+ "grad_norm": 0.12194561958312988,
2171
+ "learning_rate": 0.0012,
2172
+ "loss": 2.218468189239502,
2173
+ "step": 618
2174
+ },
2175
+ {
2176
+ "epoch": 0.155,
2177
+ "grad_norm": 0.11935839802026749,
2178
+ "learning_rate": 0.0012,
2179
+ "loss": 2.1261422634124756,
2180
+ "step": 620
2181
+ },
2182
+ {
2183
+ "epoch": 0.1555,
2184
+ "grad_norm": 0.1271117776632309,
2185
+ "learning_rate": 0.0012,
2186
+ "loss": 2.272076368331909,
2187
+ "step": 622
2188
+ },
2189
+ {
2190
+ "epoch": 0.156,
2191
+ "grad_norm": 0.12194891273975372,
2192
+ "learning_rate": 0.0012,
2193
+ "loss": 2.199063777923584,
2194
+ "step": 624
2195
+ },
2196
+ {
2197
+ "epoch": 0.1565,
2198
+ "grad_norm": 0.12229058146476746,
2199
+ "learning_rate": 0.0012,
2200
+ "loss": 2.124752998352051,
2201
+ "step": 626
2202
+ },
2203
+ {
2204
+ "epoch": 0.157,
2205
+ "grad_norm": 0.12368135899305344,
2206
+ "learning_rate": 0.0012,
2207
+ "loss": 2.091749429702759,
2208
+ "step": 628
2209
+ },
2210
+ {
2211
+ "epoch": 0.1575,
2212
+ "grad_norm": 0.12349650263786316,
2213
+ "learning_rate": 0.0012,
2214
+ "loss": 2.000277519226074,
2215
+ "step": 630
2216
+ },
2217
+ {
2218
+ "epoch": 0.158,
2219
+ "grad_norm": 0.11999969929456711,
2220
+ "learning_rate": 0.0012,
2221
+ "loss": 2.1394622325897217,
2222
+ "step": 632
2223
+ },
2224
+ {
2225
+ "epoch": 0.1585,
2226
+ "grad_norm": 0.12507598102092743,
2227
+ "learning_rate": 0.0012,
2228
+ "loss": 2.260275363922119,
2229
+ "step": 634
2230
+ },
2231
+ {
2232
+ "epoch": 0.159,
2233
+ "grad_norm": 0.12678316235542297,
2234
+ "learning_rate": 0.0012,
2235
+ "loss": 2.2557196617126465,
2236
+ "step": 636
2237
+ },
2238
+ {
2239
+ "epoch": 0.1595,
2240
+ "grad_norm": 0.11630699783563614,
2241
+ "learning_rate": 0.0012,
2242
+ "loss": 1.966517686843872,
2243
+ "step": 638
2244
+ },
2245
+ {
2246
+ "epoch": 0.16,
2247
+ "grad_norm": 0.12710458040237427,
2248
+ "learning_rate": 0.0012,
2249
+ "loss": 2.217278480529785,
2250
+ "step": 640
2251
+ },
2252
+ {
2253
+ "epoch": 0.1605,
2254
+ "grad_norm": 0.12581312656402588,
2255
+ "learning_rate": 0.0012,
2256
+ "loss": 2.2156848907470703,
2257
+ "step": 642
2258
+ },
2259
+ {
2260
+ "epoch": 0.161,
2261
+ "grad_norm": 0.12341652810573578,
2262
+ "learning_rate": 0.0012,
2263
+ "loss": 2.111685276031494,
2264
+ "step": 644
2265
+ },
2266
+ {
2267
+ "epoch": 0.1615,
2268
+ "grad_norm": 0.12299773842096329,
2269
+ "learning_rate": 0.0012,
2270
+ "loss": 2.181852340698242,
2271
+ "step": 646
2272
+ },
2273
+ {
2274
+ "epoch": 0.162,
2275
+ "grad_norm": 0.1208917647600174,
2276
+ "learning_rate": 0.0012,
2277
+ "loss": 2.160839796066284,
2278
+ "step": 648
2279
+ },
2280
+ {
2281
+ "epoch": 0.1625,
2282
+ "grad_norm": 0.1254134625196457,
2283
+ "learning_rate": 0.0012,
2284
+ "loss": 2.18388032913208,
2285
+ "step": 650
2286
+ },
2287
+ {
2288
+ "epoch": 0.163,
2289
+ "grad_norm": 0.12103099375963211,
2290
+ "learning_rate": 0.0012,
2291
+ "loss": 2.1160151958465576,
2292
+ "step": 652
2293
+ },
2294
+ {
2295
+ "epoch": 0.1635,
2296
+ "grad_norm": 0.12528404593467712,
2297
+ "learning_rate": 0.0012,
2298
+ "loss": 2.2673239707946777,
2299
+ "step": 654
2300
+ },
2301
+ {
2302
+ "epoch": 0.164,
2303
+ "grad_norm": 0.12464321404695511,
2304
+ "learning_rate": 0.0012,
2305
+ "loss": 2.1309168338775635,
2306
+ "step": 656
2307
+ },
2308
+ {
2309
+ "epoch": 0.1645,
2310
+ "grad_norm": 0.12006670981645584,
2311
+ "learning_rate": 0.0012,
2312
+ "loss": 2.0753886699676514,
2313
+ "step": 658
2314
+ },
2315
+ {
2316
+ "epoch": 0.165,
2317
+ "grad_norm": 0.122077077627182,
2318
+ "learning_rate": 0.0012,
2319
+ "loss": 2.0909481048583984,
2320
+ "step": 660
2321
+ },
2322
+ {
2323
+ "epoch": 0.1655,
2324
+ "grad_norm": 0.12410063296556473,
2325
+ "learning_rate": 0.0012,
2326
+ "loss": 2.2268733978271484,
2327
+ "step": 662
2328
+ },
2329
+ {
2330
+ "epoch": 0.166,
2331
+ "grad_norm": 0.12509913742542267,
2332
+ "learning_rate": 0.0012,
2333
+ "loss": 2.1857738494873047,
2334
+ "step": 664
2335
+ },
2336
+ {
2337
+ "epoch": 0.1665,
2338
+ "grad_norm": 0.12583136558532715,
2339
+ "learning_rate": 0.0012,
2340
+ "loss": 2.217729091644287,
2341
+ "step": 666
2342
+ },
2343
+ {
2344
+ "epoch": 0.167,
2345
+ "grad_norm": 0.12470363080501556,
2346
+ "learning_rate": 0.0012,
2347
+ "loss": 2.1618192195892334,
2348
+ "step": 668
2349
+ },
2350
+ {
2351
+ "epoch": 0.1675,
2352
+ "grad_norm": 0.12461432069540024,
2353
+ "learning_rate": 0.0012,
2354
+ "loss": 2.2985177040100098,
2355
+ "step": 670
2356
+ },
2357
+ {
2358
+ "epoch": 0.168,
2359
+ "grad_norm": 0.12380319833755493,
2360
+ "learning_rate": 0.0012,
2361
+ "loss": 2.209359645843506,
2362
+ "step": 672
2363
+ },
2364
+ {
2365
+ "epoch": 0.1685,
2366
+ "grad_norm": 0.12652839720249176,
2367
+ "learning_rate": 0.0012,
2368
+ "loss": 2.1950721740722656,
2369
+ "step": 674
2370
+ },
2371
+ {
2372
+ "epoch": 0.169,
2373
+ "grad_norm": 0.12219655513763428,
2374
+ "learning_rate": 0.0012,
2375
+ "loss": 2.042815923690796,
2376
+ "step": 676
2377
+ },
2378
+ {
2379
+ "epoch": 0.1695,
2380
+ "grad_norm": 0.12653478980064392,
2381
+ "learning_rate": 0.0012,
2382
+ "loss": 2.242166042327881,
2383
+ "step": 678
2384
+ },
2385
+ {
2386
+ "epoch": 0.17,
2387
+ "grad_norm": 0.12441577017307281,
2388
+ "learning_rate": 0.0012,
2389
+ "loss": 2.1746740341186523,
2390
+ "step": 680
2391
+ },
2392
+ {
2393
+ "epoch": 0.1705,
2394
+ "grad_norm": 0.12125367671251297,
2395
+ "learning_rate": 0.0012,
2396
+ "loss": 2.0081567764282227,
2397
+ "step": 682
2398
+ },
2399
+ {
2400
+ "epoch": 0.171,
2401
+ "grad_norm": 0.12602663040161133,
2402
+ "learning_rate": 0.0012,
2403
+ "loss": 2.3285164833068848,
2404
+ "step": 684
2405
+ },
2406
+ {
2407
+ "epoch": 0.1715,
2408
+ "grad_norm": 0.12515240907669067,
2409
+ "learning_rate": 0.0012,
2410
+ "loss": 2.0954160690307617,
2411
+ "step": 686
2412
+ },
2413
+ {
2414
+ "epoch": 0.172,
2415
+ "grad_norm": 0.12215415388345718,
2416
+ "learning_rate": 0.0012,
2417
+ "loss": 2.1765799522399902,
2418
+ "step": 688
2419
+ },
2420
+ {
2421
+ "epoch": 0.1725,
2422
+ "grad_norm": 0.12254252284765244,
2423
+ "learning_rate": 0.0012,
2424
+ "loss": 2.078477144241333,
2425
+ "step": 690
2426
+ },
2427
+ {
2428
+ "epoch": 0.173,
2429
+ "grad_norm": 0.12743273377418518,
2430
+ "learning_rate": 0.0012,
2431
+ "loss": 2.262345790863037,
2432
+ "step": 692
2433
+ },
2434
+ {
2435
+ "epoch": 0.1735,
2436
+ "grad_norm": 0.12541785836219788,
2437
+ "learning_rate": 0.0012,
2438
+ "loss": 2.200793504714966,
2439
+ "step": 694
2440
+ },
2441
+ {
2442
+ "epoch": 0.174,
2443
+ "grad_norm": 0.12741735577583313,
2444
+ "learning_rate": 0.0012,
2445
+ "loss": 2.197943687438965,
2446
+ "step": 696
2447
+ },
2448
+ {
2449
+ "epoch": 0.1745,
2450
+ "grad_norm": 0.12095748633146286,
2451
+ "learning_rate": 0.0012,
2452
+ "loss": 2.0293803215026855,
2453
+ "step": 698
2454
+ },
2455
+ {
2456
+ "epoch": 0.175,
2457
+ "grad_norm": 0.11412248760461807,
2458
+ "learning_rate": 0.0012,
2459
+ "loss": 1.9167616367340088,
2460
+ "step": 700
2461
+ },
2462
+ {
2463
+ "epoch": 0.1755,
2464
+ "grad_norm": 0.12195702642202377,
2465
+ "learning_rate": 0.0012,
2466
+ "loss": 2.086040496826172,
2467
+ "step": 702
2468
+ },
2469
+ {
2470
+ "epoch": 0.176,
2471
+ "grad_norm": 0.12195327132940292,
2472
+ "learning_rate": 0.0012,
2473
+ "loss": 2.1532459259033203,
2474
+ "step": 704
2475
+ },
2476
+ {
2477
+ "epoch": 0.1765,
2478
+ "grad_norm": 0.1243663877248764,
2479
+ "learning_rate": 0.0012,
2480
+ "loss": 2.200997829437256,
2481
+ "step": 706
2482
+ },
2483
+ {
2484
+ "epoch": 0.177,
2485
+ "grad_norm": 0.11951598525047302,
2486
+ "learning_rate": 0.0012,
2487
+ "loss": 2.160093069076538,
2488
+ "step": 708
2489
+ },
2490
+ {
2491
+ "epoch": 0.1775,
2492
+ "grad_norm": 0.1220458596944809,
2493
+ "learning_rate": 0.0012,
2494
+ "loss": 2.1600608825683594,
2495
+ "step": 710
2496
+ },
2497
+ {
2498
+ "epoch": 0.178,
2499
+ "grad_norm": 0.12344282865524292,
2500
+ "learning_rate": 0.0012,
2501
+ "loss": 2.0668160915374756,
2502
+ "step": 712
2503
+ },
2504
+ {
2505
+ "epoch": 0.1785,
2506
+ "grad_norm": 0.12584751844406128,
2507
+ "learning_rate": 0.0012,
2508
+ "loss": 2.249037504196167,
2509
+ "step": 714
2510
+ },
2511
+ {
2512
+ "epoch": 0.179,
2513
+ "grad_norm": 0.12005162239074707,
2514
+ "learning_rate": 0.0012,
2515
+ "loss": 1.9391106367111206,
2516
+ "step": 716
2517
+ },
2518
+ {
2519
+ "epoch": 0.1795,
2520
+ "grad_norm": 0.12259942293167114,
2521
+ "learning_rate": 0.0012,
2522
+ "loss": 2.0433120727539062,
2523
+ "step": 718
2524
+ },
2525
+ {
2526
+ "epoch": 0.18,
2527
+ "grad_norm": 0.12099462002515793,
2528
+ "learning_rate": 0.0012,
2529
+ "loss": 2.034228801727295,
2530
+ "step": 720
2531
+ },
2532
+ {
2533
+ "epoch": 0.1805,
2534
+ "grad_norm": 0.1258714497089386,
2535
+ "learning_rate": 0.0012,
2536
+ "loss": 2.2467880249023438,
2537
+ "step": 722
2538
+ },
2539
+ {
2540
+ "epoch": 0.181,
2541
+ "grad_norm": 0.12345100194215775,
2542
+ "learning_rate": 0.0012,
2543
+ "loss": 2.1118154525756836,
2544
+ "step": 724
2545
+ },
2546
+ {
2547
+ "epoch": 0.1815,
2548
+ "grad_norm": 0.12497245520353317,
2549
+ "learning_rate": 0.0012,
2550
+ "loss": 2.2561492919921875,
2551
+ "step": 726
2552
+ },
2553
+ {
2554
+ "epoch": 0.182,
2555
+ "grad_norm": 0.12530677020549774,
2556
+ "learning_rate": 0.0012,
2557
+ "loss": 2.067718505859375,
2558
+ "step": 728
2559
+ },
2560
+ {
2561
+ "epoch": 0.1825,
2562
+ "grad_norm": 0.12393652647733688,
2563
+ "learning_rate": 0.0012,
2564
+ "loss": 2.199213743209839,
2565
+ "step": 730
2566
+ },
2567
+ {
2568
+ "epoch": 0.183,
2569
+ "grad_norm": 0.11859786510467529,
2570
+ "learning_rate": 0.0012,
2571
+ "loss": 1.8976398706436157,
2572
+ "step": 732
2573
+ },
2574
+ {
2575
+ "epoch": 0.1835,
2576
+ "grad_norm": 0.12618829309940338,
2577
+ "learning_rate": 0.0012,
2578
+ "loss": 2.1067259311676025,
2579
+ "step": 734
2580
+ },
2581
+ {
2582
+ "epoch": 0.184,
2583
+ "grad_norm": 0.12196256965398788,
2584
+ "learning_rate": 0.0012,
2585
+ "loss": 1.990835189819336,
2586
+ "step": 736
2587
+ },
2588
+ {
2589
+ "epoch": 0.1845,
2590
+ "grad_norm": 0.12610235810279846,
2591
+ "learning_rate": 0.0012,
2592
+ "loss": 2.1363492012023926,
2593
+ "step": 738
2594
+ },
2595
+ {
2596
+ "epoch": 0.185,
2597
+ "grad_norm": 0.13032737374305725,
2598
+ "learning_rate": 0.0012,
2599
+ "loss": 2.2302498817443848,
2600
+ "step": 740
2601
+ },
2602
+ {
2603
+ "epoch": 0.1855,
2604
+ "grad_norm": 0.1223173514008522,
2605
+ "learning_rate": 0.0012,
2606
+ "loss": 2.102412223815918,
2607
+ "step": 742
2608
+ },
2609
+ {
2610
+ "epoch": 0.186,
2611
+ "grad_norm": 0.12412013858556747,
2612
+ "learning_rate": 0.0012,
2613
+ "loss": 2.042909860610962,
2614
+ "step": 744
2615
+ },
2616
+ {
2617
+ "epoch": 0.1865,
2618
+ "grad_norm": 0.12528584897518158,
2619
+ "learning_rate": 0.0012,
2620
+ "loss": 2.156968355178833,
2621
+ "step": 746
2622
+ },
2623
+ {
2624
+ "epoch": 0.187,
2625
+ "grad_norm": 0.12142571061849594,
2626
+ "learning_rate": 0.0012,
2627
+ "loss": 2.0831336975097656,
2628
+ "step": 748
2629
+ },
2630
+ {
2631
+ "epoch": 0.1875,
2632
+ "grad_norm": 0.12042216956615448,
2633
+ "learning_rate": 0.0012,
2634
+ "loss": 2.0399208068847656,
2635
+ "step": 750
2636
+ },
2637
+ {
2638
+ "epoch": 0.188,
2639
+ "grad_norm": 0.1279473900794983,
2640
+ "learning_rate": 0.0012,
2641
+ "loss": 2.230341911315918,
2642
+ "step": 752
2643
+ },
2644
+ {
2645
+ "epoch": 0.1885,
2646
+ "grad_norm": 0.1255028396844864,
2647
+ "learning_rate": 0.0012,
2648
+ "loss": 2.220186233520508,
2649
+ "step": 754
2650
+ },
2651
+ {
2652
+ "epoch": 0.189,
2653
+ "grad_norm": 0.12432970106601715,
2654
+ "learning_rate": 0.0012,
2655
+ "loss": 2.112208843231201,
2656
+ "step": 756
2657
+ },
2658
+ {
2659
+ "epoch": 0.1895,
2660
+ "grad_norm": 0.12302868068218231,
2661
+ "learning_rate": 0.0012,
2662
+ "loss": 2.1108741760253906,
2663
+ "step": 758
2664
+ },
2665
+ {
2666
+ "epoch": 0.19,
2667
+ "grad_norm": 0.12439268827438354,
2668
+ "learning_rate": 0.0012,
2669
+ "loss": 2.093127489089966,
2670
+ "step": 760
2671
+ },
2672
+ {
2673
+ "epoch": 0.1905,
2674
+ "grad_norm": 0.11993008106946945,
2675
+ "learning_rate": 0.0012,
2676
+ "loss": 1.958256721496582,
2677
+ "step": 762
2678
+ },
2679
+ {
2680
+ "epoch": 0.191,
2681
+ "grad_norm": 0.1268967092037201,
2682
+ "learning_rate": 0.0012,
2683
+ "loss": 2.1421263217926025,
2684
+ "step": 764
2685
+ },
2686
+ {
2687
+ "epoch": 0.1915,
2688
+ "grad_norm": 0.12185237556695938,
2689
+ "learning_rate": 0.0012,
2690
+ "loss": 2.036240816116333,
2691
+ "step": 766
2692
+ },
2693
+ {
2694
+ "epoch": 0.192,
2695
+ "grad_norm": 0.1203518882393837,
2696
+ "learning_rate": 0.0012,
2697
+ "loss": 2.120025157928467,
2698
+ "step": 768
2699
+ },
2700
+ {
2701
+ "epoch": 0.1925,
2702
+ "grad_norm": 0.12621000409126282,
2703
+ "learning_rate": 0.0012,
2704
+ "loss": 2.1707708835601807,
2705
+ "step": 770
2706
+ },
2707
+ {
2708
+ "epoch": 0.193,
2709
+ "grad_norm": 0.12319474667310715,
2710
+ "learning_rate": 0.0012,
2711
+ "loss": 2.0842976570129395,
2712
+ "step": 772
2713
+ },
2714
+ {
2715
+ "epoch": 0.1935,
2716
+ "grad_norm": 0.12575924396514893,
2717
+ "learning_rate": 0.0012,
2718
+ "loss": 2.174408197402954,
2719
+ "step": 774
2720
+ },
2721
+ {
2722
+ "epoch": 0.194,
2723
+ "grad_norm": 0.12324059009552002,
2724
+ "learning_rate": 0.0012,
2725
+ "loss": 2.1565682888031006,
2726
+ "step": 776
2727
+ },
2728
+ {
2729
+ "epoch": 0.1945,
2730
+ "grad_norm": 0.12696637213230133,
2731
+ "learning_rate": 0.0012,
2732
+ "loss": 2.242851734161377,
2733
+ "step": 778
2734
+ },
2735
+ {
2736
+ "epoch": 0.195,
2737
+ "grad_norm": 0.12281235307455063,
2738
+ "learning_rate": 0.0012,
2739
+ "loss": 2.0886640548706055,
2740
+ "step": 780
2741
+ },
2742
+ {
2743
+ "epoch": 0.1955,
2744
+ "grad_norm": 0.1271682232618332,
2745
+ "learning_rate": 0.0012,
2746
+ "loss": 2.181980609893799,
2747
+ "step": 782
2748
+ },
2749
+ {
2750
+ "epoch": 0.196,
2751
+ "grad_norm": 0.12921912968158722,
2752
+ "learning_rate": 0.0012,
2753
+ "loss": 2.167280435562134,
2754
+ "step": 784
2755
+ },
2756
+ {
2757
+ "epoch": 0.1965,
2758
+ "grad_norm": 0.1229398250579834,
2759
+ "learning_rate": 0.0012,
2760
+ "loss": 2.111304759979248,
2761
+ "step": 786
2762
+ },
2763
+ {
2764
+ "epoch": 0.197,
2765
+ "grad_norm": 0.12247031927108765,
2766
+ "learning_rate": 0.0012,
2767
+ "loss": 2.1160202026367188,
2768
+ "step": 788
2769
+ },
2770
+ {
2771
+ "epoch": 0.1975,
2772
+ "grad_norm": 0.12028486281633377,
2773
+ "learning_rate": 0.0012,
2774
+ "loss": 2.0347137451171875,
2775
+ "step": 790
2776
+ },
2777
+ {
2778
+ "epoch": 0.198,
2779
+ "grad_norm": 0.12134865671396255,
2780
+ "learning_rate": 0.0012,
2781
+ "loss": 2.09946870803833,
2782
+ "step": 792
2783
+ },
2784
+ {
2785
+ "epoch": 0.1985,
2786
+ "grad_norm": 0.12271501123905182,
2787
+ "learning_rate": 0.0012,
2788
+ "loss": 2.1185460090637207,
2789
+ "step": 794
2790
+ },
2791
+ {
2792
+ "epoch": 0.199,
2793
+ "grad_norm": 0.12715184688568115,
2794
+ "learning_rate": 0.0012,
2795
+ "loss": 1.9932470321655273,
2796
+ "step": 796
2797
+ },
2798
+ {
2799
+ "epoch": 0.1995,
2800
+ "grad_norm": 0.12658338248729706,
2801
+ "learning_rate": 0.0012,
2802
+ "loss": 2.1957900524139404,
2803
+ "step": 798
2804
+ },
2805
+ {
2806
+ "epoch": 0.2,
2807
+ "grad_norm": 0.1263073831796646,
2808
+ "learning_rate": 0.0012,
2809
+ "loss": 2.262310028076172,
2810
+ "step": 800
2811
  }
2812
  ],
2813
  "logging_steps": 2,
 
2827
  "attributes": {}
2828
  }
2829
  },
2830
+ "total_flos": 7.717577544727265e+17,
2831
  "train_batch_size": 2,
2832
  "trial_name": null,
2833
  "trial_params": null