error577 commited on
Commit
84a1845
·
verified ·
1 Parent(s): 6c59cd5

Training in progress, step 400, checkpoint

Browse files
last-checkpoint/adapter_model.safetensors CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:5c6f89b03293c5cbbcb8083b5bb42244d10589ff5cbca5cad523f0f1e76671a2
3
  size 335604696
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:5cb855745e92129072755755d9fdaa0486ec6942c96133c5b09f950a7b7029bc
3
  size 335604696
last-checkpoint/optimizer.pt CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:150c0f434dfd7f3d8f57bf13c70161ffcdd298d226bab72d7c08c0a2d4a801f4
3
  size 90187222
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:d37d2ea5d99c8376477f778d2dcab535a6a9efb26d189d797cbde7bd3ee7a896
3
  size 90187222
last-checkpoint/rng_state.pth CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:00af82b6e07a0d505ff61602f1f74c4f93a2ca6f8089fe2e08b1c9d4b4c1e985
3
  size 14244
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:a34ad82c37dafd9525216378ae3698e89bb327fac4990ae643a10de8796b8c2e
3
  size 14244
last-checkpoint/scheduler.pt CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:54369f03531bd788b68e0a2f2978b7e878c2350e695e0f5a13bcb4c5ed1dee84
3
  size 2080
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:4940e2af5b9950a163fe737c94b79bcc3933d1cf31ad7ac593d5b072cbf9d00c
3
  size 2080
last-checkpoint/trainer_state.json CHANGED
@@ -1,9 +1,9 @@
1
  {
2
  "best_metric": 1.4815335273742676,
3
  "best_model_checkpoint": "miner_id_24/checkpoint-200",
4
- "epoch": 0.015984335351355673,
5
  "eval_steps": 200,
6
- "global_step": 200,
7
  "is_hyper_param_search": false,
8
  "is_local_process_zero": true,
9
  "is_world_process_zero": true,
@@ -1423,6 +1423,1414 @@
1423
  "eval_samples_per_second": 5.118,
1424
  "eval_steps_per_second": 2.564,
1425
  "step": 200
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1426
  }
1427
  ],
1428
  "logging_steps": 1,
@@ -1437,7 +2845,7 @@
1437
  "early_stopping_threshold": 0.0
1438
  },
1439
  "attributes": {
1440
- "early_stopping_patience_counter": 0
1441
  }
1442
  },
1443
  "TrainerControl": {
@@ -1451,7 +2859,7 @@
1451
  "attributes": {}
1452
  }
1453
  },
1454
- "total_flos": 3.766122597423514e+16,
1455
  "train_batch_size": 2,
1456
  "trial_name": null,
1457
  "trial_params": null
 
1
  {
2
  "best_metric": 1.4815335273742676,
3
  "best_model_checkpoint": "miner_id_24/checkpoint-200",
4
+ "epoch": 0.031968670702711345,
5
  "eval_steps": 200,
6
+ "global_step": 400,
7
  "is_hyper_param_search": false,
8
  "is_local_process_zero": true,
9
  "is_world_process_zero": true,
 
1423
  "eval_samples_per_second": 5.118,
1424
  "eval_steps_per_second": 2.564,
1425
  "step": 200
1426
+ },
1427
+ {
1428
+ "epoch": 0.01606425702811245,
1429
+ "grad_norm": 15.242115020751953,
1430
+ "learning_rate": 0.00019998973584733903,
1431
+ "loss": 6.5955,
1432
+ "step": 201
1433
+ },
1434
+ {
1435
+ "epoch": 0.016144178704869228,
1436
+ "grad_norm": 9.51711654663086,
1437
+ "learning_rate": 0.00019998960488010198,
1438
+ "loss": 5.5036,
1439
+ "step": 202
1440
+ },
1441
+ {
1442
+ "epoch": 0.016224100381626007,
1443
+ "grad_norm": 10.303105354309082,
1444
+ "learning_rate": 0.00019998948846478015,
1445
+ "loss": 6.4441,
1446
+ "step": 203
1447
+ },
1448
+ {
1449
+ "epoch": 0.016304022058382786,
1450
+ "grad_norm": 9.889719009399414,
1451
+ "learning_rate": 0.00019998937204945832,
1452
+ "loss": 4.8753,
1453
+ "step": 204
1454
+ },
1455
+ {
1456
+ "epoch": 0.016383943735139562,
1457
+ "grad_norm": 11.760963439941406,
1458
+ "learning_rate": 0.0001999892556341365,
1459
+ "loss": 6.3996,
1460
+ "step": 205
1461
+ },
1462
+ {
1463
+ "epoch": 0.01646386541189634,
1464
+ "grad_norm": 11.809788703918457,
1465
+ "learning_rate": 0.00019998912466689944,
1466
+ "loss": 5.3402,
1467
+ "step": 206
1468
+ },
1469
+ {
1470
+ "epoch": 0.01654378708865312,
1471
+ "grad_norm": 12.838322639465332,
1472
+ "learning_rate": 0.00019998900825157762,
1473
+ "loss": 5.6018,
1474
+ "step": 207
1475
+ },
1476
+ {
1477
+ "epoch": 0.0166237087654099,
1478
+ "grad_norm": 17.00547981262207,
1479
+ "learning_rate": 0.0001999888918362558,
1480
+ "loss": 5.6337,
1481
+ "step": 208
1482
+ },
1483
+ {
1484
+ "epoch": 0.016703630442166675,
1485
+ "grad_norm": 13.280611038208008,
1486
+ "learning_rate": 0.0001999887463171035,
1487
+ "loss": 5.0759,
1488
+ "step": 209
1489
+ },
1490
+ {
1491
+ "epoch": 0.016783552118923455,
1492
+ "grad_norm": 14.64804458618164,
1493
+ "learning_rate": 0.00019998862990178168,
1494
+ "loss": 6.039,
1495
+ "step": 210
1496
+ },
1497
+ {
1498
+ "epoch": 0.016863473795680234,
1499
+ "grad_norm": 14.111835479736328,
1500
+ "learning_rate": 0.00019998849893454462,
1501
+ "loss": 6.1179,
1502
+ "step": 211
1503
+ },
1504
+ {
1505
+ "epoch": 0.016943395472437013,
1506
+ "grad_norm": 13.955074310302734,
1507
+ "learning_rate": 0.00019998836796730757,
1508
+ "loss": 5.9847,
1509
+ "step": 212
1510
+ },
1511
+ {
1512
+ "epoch": 0.01702331714919379,
1513
+ "grad_norm": 16.10040855407715,
1514
+ "learning_rate": 0.00019998825155198574,
1515
+ "loss": 6.3676,
1516
+ "step": 213
1517
+ },
1518
+ {
1519
+ "epoch": 0.017103238825950568,
1520
+ "grad_norm": 14.447005271911621,
1521
+ "learning_rate": 0.00019998812058474869,
1522
+ "loss": 5.6564,
1523
+ "step": 214
1524
+ },
1525
+ {
1526
+ "epoch": 0.017183160502707347,
1527
+ "grad_norm": 10.266460418701172,
1528
+ "learning_rate": 0.00019998798961751163,
1529
+ "loss": 5.3369,
1530
+ "step": 215
1531
+ },
1532
+ {
1533
+ "epoch": 0.017263082179464127,
1534
+ "grad_norm": 17.443172454833984,
1535
+ "learning_rate": 0.00019998785865027457,
1536
+ "loss": 5.487,
1537
+ "step": 216
1538
+ },
1539
+ {
1540
+ "epoch": 0.017343003856220902,
1541
+ "grad_norm": 19.374847412109375,
1542
+ "learning_rate": 0.00019998772768303752,
1543
+ "loss": 5.2789,
1544
+ "step": 217
1545
+ },
1546
+ {
1547
+ "epoch": 0.01742292553297768,
1548
+ "grad_norm": 13.237730979919434,
1549
+ "learning_rate": 0.00019998759671580046,
1550
+ "loss": 5.4945,
1551
+ "step": 218
1552
+ },
1553
+ {
1554
+ "epoch": 0.01750284720973446,
1555
+ "grad_norm": 12.152576446533203,
1556
+ "learning_rate": 0.0001999874657485634,
1557
+ "loss": 5.4477,
1558
+ "step": 219
1559
+ },
1560
+ {
1561
+ "epoch": 0.01758276888649124,
1562
+ "grad_norm": 17.59059715270996,
1563
+ "learning_rate": 0.00019998733478132635,
1564
+ "loss": 6.2299,
1565
+ "step": 220
1566
+ },
1567
+ {
1568
+ "epoch": 0.017662690563248016,
1569
+ "grad_norm": 12.863672256469727,
1570
+ "learning_rate": 0.00019998718926217407,
1571
+ "loss": 6.4539,
1572
+ "step": 221
1573
+ },
1574
+ {
1575
+ "epoch": 0.017742612240004795,
1576
+ "grad_norm": 12.739554405212402,
1577
+ "learning_rate": 0.00019998705829493701,
1578
+ "loss": 4.7151,
1579
+ "step": 222
1580
+ },
1581
+ {
1582
+ "epoch": 0.017822533916761574,
1583
+ "grad_norm": 16.173961639404297,
1584
+ "learning_rate": 0.00019998692732769996,
1585
+ "loss": 7.2765,
1586
+ "step": 223
1587
+ },
1588
+ {
1589
+ "epoch": 0.017902455593518354,
1590
+ "grad_norm": 22.782018661499023,
1591
+ "learning_rate": 0.00019998678180854768,
1592
+ "loss": 6.582,
1593
+ "step": 224
1594
+ },
1595
+ {
1596
+ "epoch": 0.01798237727027513,
1597
+ "grad_norm": 16.2958927154541,
1598
+ "learning_rate": 0.00019998665084131062,
1599
+ "loss": 5.832,
1600
+ "step": 225
1601
+ },
1602
+ {
1603
+ "epoch": 0.01806229894703191,
1604
+ "grad_norm": 11.503108978271484,
1605
+ "learning_rate": 0.00019998651987407357,
1606
+ "loss": 5.2539,
1607
+ "step": 226
1608
+ },
1609
+ {
1610
+ "epoch": 0.018142220623788688,
1611
+ "grad_norm": 15.306110382080078,
1612
+ "learning_rate": 0.00019998637435492128,
1613
+ "loss": 5.9638,
1614
+ "step": 227
1615
+ },
1616
+ {
1617
+ "epoch": 0.018222142300545464,
1618
+ "grad_norm": 12.46424674987793,
1619
+ "learning_rate": 0.00019998624338768423,
1620
+ "loss": 5.5315,
1621
+ "step": 228
1622
+ },
1623
+ {
1624
+ "epoch": 0.018302063977302243,
1625
+ "grad_norm": 15.144165992736816,
1626
+ "learning_rate": 0.00019998611242044717,
1627
+ "loss": 6.3079,
1628
+ "step": 229
1629
+ },
1630
+ {
1631
+ "epoch": 0.018381985654059022,
1632
+ "grad_norm": 14.480883598327637,
1633
+ "learning_rate": 0.0001999859669012949,
1634
+ "loss": 5.4738,
1635
+ "step": 230
1636
+ },
1637
+ {
1638
+ "epoch": 0.0184619073308158,
1639
+ "grad_norm": 13.642375946044922,
1640
+ "learning_rate": 0.0001999858213821426,
1641
+ "loss": 5.5203,
1642
+ "step": 231
1643
+ },
1644
+ {
1645
+ "epoch": 0.018541829007572577,
1646
+ "grad_norm": 14.766783714294434,
1647
+ "learning_rate": 0.00019998567586299032,
1648
+ "loss": 6.6556,
1649
+ "step": 232
1650
+ },
1651
+ {
1652
+ "epoch": 0.018621750684329356,
1653
+ "grad_norm": 11.702398300170898,
1654
+ "learning_rate": 0.00019998553034383804,
1655
+ "loss": 6.1329,
1656
+ "step": 233
1657
+ },
1658
+ {
1659
+ "epoch": 0.018701672361086136,
1660
+ "grad_norm": 10.976285934448242,
1661
+ "learning_rate": 0.00019998538482468575,
1662
+ "loss": 5.2038,
1663
+ "step": 234
1664
+ },
1665
+ {
1666
+ "epoch": 0.018781594037842915,
1667
+ "grad_norm": 17.724811553955078,
1668
+ "learning_rate": 0.0001999852538574487,
1669
+ "loss": 6.0959,
1670
+ "step": 235
1671
+ },
1672
+ {
1673
+ "epoch": 0.01886151571459969,
1674
+ "grad_norm": 13.917747497558594,
1675
+ "learning_rate": 0.0001999851083382964,
1676
+ "loss": 5.6464,
1677
+ "step": 236
1678
+ },
1679
+ {
1680
+ "epoch": 0.01894143739135647,
1681
+ "grad_norm": 15.578882217407227,
1682
+ "learning_rate": 0.00019998496281914413,
1683
+ "loss": 6.1002,
1684
+ "step": 237
1685
+ },
1686
+ {
1687
+ "epoch": 0.01902135906811325,
1688
+ "grad_norm": 13.99124813079834,
1689
+ "learning_rate": 0.00019998481729999185,
1690
+ "loss": 6.1651,
1691
+ "step": 238
1692
+ },
1693
+ {
1694
+ "epoch": 0.01910128074487003,
1695
+ "grad_norm": 14.303272247314453,
1696
+ "learning_rate": 0.00019998467178083956,
1697
+ "loss": 6.2277,
1698
+ "step": 239
1699
+ },
1700
+ {
1701
+ "epoch": 0.019181202421626804,
1702
+ "grad_norm": 12.441352844238281,
1703
+ "learning_rate": 0.00019998452626168728,
1704
+ "loss": 5.3236,
1705
+ "step": 240
1706
+ },
1707
+ {
1708
+ "epoch": 0.019261124098383584,
1709
+ "grad_norm": 16.971145629882812,
1710
+ "learning_rate": 0.000199984380742535,
1711
+ "loss": 5.6737,
1712
+ "step": 241
1713
+ },
1714
+ {
1715
+ "epoch": 0.019341045775140363,
1716
+ "grad_norm": 17.1169490814209,
1717
+ "learning_rate": 0.00019998422067146748,
1718
+ "loss": 6.8689,
1719
+ "step": 242
1720
+ },
1721
+ {
1722
+ "epoch": 0.019420967451897142,
1723
+ "grad_norm": 13.830810546875,
1724
+ "learning_rate": 0.0001999840751523152,
1725
+ "loss": 4.9328,
1726
+ "step": 243
1727
+ },
1728
+ {
1729
+ "epoch": 0.019500889128653918,
1730
+ "grad_norm": 13.696432113647461,
1731
+ "learning_rate": 0.00019998392963316292,
1732
+ "loss": 5.6886,
1733
+ "step": 244
1734
+ },
1735
+ {
1736
+ "epoch": 0.019580810805410697,
1737
+ "grad_norm": 10.656487464904785,
1738
+ "learning_rate": 0.00019998378411401063,
1739
+ "loss": 6.0341,
1740
+ "step": 245
1741
+ },
1742
+ {
1743
+ "epoch": 0.019660732482167476,
1744
+ "grad_norm": 13.665307998657227,
1745
+ "learning_rate": 0.00019998362404294312,
1746
+ "loss": 5.4808,
1747
+ "step": 246
1748
+ },
1749
+ {
1750
+ "epoch": 0.019740654158924256,
1751
+ "grad_norm": 13.564827919006348,
1752
+ "learning_rate": 0.00019998347852379084,
1753
+ "loss": 5.8875,
1754
+ "step": 247
1755
+ },
1756
+ {
1757
+ "epoch": 0.01982057583568103,
1758
+ "grad_norm": 13.60628890991211,
1759
+ "learning_rate": 0.00019998333300463855,
1760
+ "loss": 5.9795,
1761
+ "step": 248
1762
+ },
1763
+ {
1764
+ "epoch": 0.01990049751243781,
1765
+ "grad_norm": 15.560327529907227,
1766
+ "learning_rate": 0.00019998317293357104,
1767
+ "loss": 5.5713,
1768
+ "step": 249
1769
+ },
1770
+ {
1771
+ "epoch": 0.01998041918919459,
1772
+ "grad_norm": 16.924474716186523,
1773
+ "learning_rate": 0.00019998301286250353,
1774
+ "loss": 6.835,
1775
+ "step": 250
1776
+ },
1777
+ {
1778
+ "epoch": 0.02006034086595137,
1779
+ "grad_norm": 13.334891319274902,
1780
+ "learning_rate": 0.00019998286734335124,
1781
+ "loss": 6.8343,
1782
+ "step": 251
1783
+ },
1784
+ {
1785
+ "epoch": 0.020140262542708145,
1786
+ "grad_norm": 14.925477027893066,
1787
+ "learning_rate": 0.00019998270727228373,
1788
+ "loss": 5.8623,
1789
+ "step": 252
1790
+ },
1791
+ {
1792
+ "epoch": 0.020220184219464924,
1793
+ "grad_norm": 10.16474437713623,
1794
+ "learning_rate": 0.00019998256175313145,
1795
+ "loss": 5.9831,
1796
+ "step": 253
1797
+ },
1798
+ {
1799
+ "epoch": 0.020300105896221703,
1800
+ "grad_norm": 15.137889862060547,
1801
+ "learning_rate": 0.0001999823871301487,
1802
+ "loss": 4.9667,
1803
+ "step": 254
1804
+ },
1805
+ {
1806
+ "epoch": 0.020380027572978483,
1807
+ "grad_norm": 18.675920486450195,
1808
+ "learning_rate": 0.0001999822270590812,
1809
+ "loss": 5.0038,
1810
+ "step": 255
1811
+ },
1812
+ {
1813
+ "epoch": 0.02045994924973526,
1814
+ "grad_norm": 18.873275756835938,
1815
+ "learning_rate": 0.0001999820815399289,
1816
+ "loss": 5.7058,
1817
+ "step": 256
1818
+ },
1819
+ {
1820
+ "epoch": 0.020539870926492038,
1821
+ "grad_norm": 15.434806823730469,
1822
+ "learning_rate": 0.0001999819214688614,
1823
+ "loss": 5.4421,
1824
+ "step": 257
1825
+ },
1826
+ {
1827
+ "epoch": 0.020619792603248817,
1828
+ "grad_norm": 15.471893310546875,
1829
+ "learning_rate": 0.0001999817613977939,
1830
+ "loss": 5.9829,
1831
+ "step": 258
1832
+ },
1833
+ {
1834
+ "epoch": 0.020699714280005596,
1835
+ "grad_norm": 12.350846290588379,
1836
+ "learning_rate": 0.00019998160132672638,
1837
+ "loss": 6.2408,
1838
+ "step": 259
1839
+ },
1840
+ {
1841
+ "epoch": 0.020779635956762372,
1842
+ "grad_norm": 14.518590927124023,
1843
+ "learning_rate": 0.00019998144125565886,
1844
+ "loss": 5.2333,
1845
+ "step": 260
1846
+ },
1847
+ {
1848
+ "epoch": 0.02085955763351915,
1849
+ "grad_norm": 14.197212219238281,
1850
+ "learning_rate": 0.00019998128118459135,
1851
+ "loss": 5.4315,
1852
+ "step": 261
1853
+ },
1854
+ {
1855
+ "epoch": 0.02093947931027593,
1856
+ "grad_norm": 11.51275634765625,
1857
+ "learning_rate": 0.0001999811065616086,
1858
+ "loss": 4.8215,
1859
+ "step": 262
1860
+ },
1861
+ {
1862
+ "epoch": 0.02101940098703271,
1863
+ "grad_norm": 13.645966529846191,
1864
+ "learning_rate": 0.0001999809464905411,
1865
+ "loss": 5.6501,
1866
+ "step": 263
1867
+ },
1868
+ {
1869
+ "epoch": 0.021099322663789485,
1870
+ "grad_norm": 12.8093843460083,
1871
+ "learning_rate": 0.0001999807864194736,
1872
+ "loss": 5.3092,
1873
+ "step": 264
1874
+ },
1875
+ {
1876
+ "epoch": 0.021179244340546265,
1877
+ "grad_norm": 12.535063743591309,
1878
+ "learning_rate": 0.00019998062634840608,
1879
+ "loss": 5.1969,
1880
+ "step": 265
1881
+ },
1882
+ {
1883
+ "epoch": 0.021259166017303044,
1884
+ "grad_norm": 18.322696685791016,
1885
+ "learning_rate": 0.00019998045172542334,
1886
+ "loss": 6.1928,
1887
+ "step": 266
1888
+ },
1889
+ {
1890
+ "epoch": 0.02133908769405982,
1891
+ "grad_norm": 12.753133773803711,
1892
+ "learning_rate": 0.00019998029165435582,
1893
+ "loss": 6.3926,
1894
+ "step": 267
1895
+ },
1896
+ {
1897
+ "epoch": 0.0214190093708166,
1898
+ "grad_norm": 10.863653182983398,
1899
+ "learning_rate": 0.00019998011703137308,
1900
+ "loss": 6.2499,
1901
+ "step": 268
1902
+ },
1903
+ {
1904
+ "epoch": 0.021498931047573378,
1905
+ "grad_norm": 15.866484642028809,
1906
+ "learning_rate": 0.00019997995696030557,
1907
+ "loss": 6.2885,
1908
+ "step": 269
1909
+ },
1910
+ {
1911
+ "epoch": 0.021578852724330157,
1912
+ "grad_norm": 18.528520584106445,
1913
+ "learning_rate": 0.00019997978233732283,
1914
+ "loss": 5.9365,
1915
+ "step": 270
1916
+ },
1917
+ {
1918
+ "epoch": 0.021658774401086933,
1919
+ "grad_norm": 17.615192413330078,
1920
+ "learning_rate": 0.00019997962226625532,
1921
+ "loss": 5.6754,
1922
+ "step": 271
1923
+ },
1924
+ {
1925
+ "epoch": 0.021738696077843712,
1926
+ "grad_norm": 16.032712936401367,
1927
+ "learning_rate": 0.0001999794621951878,
1928
+ "loss": 6.0404,
1929
+ "step": 272
1930
+ },
1931
+ {
1932
+ "epoch": 0.02181861775460049,
1933
+ "grad_norm": 13.623299598693848,
1934
+ "learning_rate": 0.00019997927302028984,
1935
+ "loss": 6.0127,
1936
+ "step": 273
1937
+ },
1938
+ {
1939
+ "epoch": 0.02189853943135727,
1940
+ "grad_norm": 12.06942081451416,
1941
+ "learning_rate": 0.00019997911294922233,
1942
+ "loss": 5.1208,
1943
+ "step": 274
1944
+ },
1945
+ {
1946
+ "epoch": 0.021978461108114047,
1947
+ "grad_norm": 13.500571250915527,
1948
+ "learning_rate": 0.00019997893832623959,
1949
+ "loss": 5.3658,
1950
+ "step": 275
1951
+ },
1952
+ {
1953
+ "epoch": 0.022058382784870826,
1954
+ "grad_norm": 14.099763870239258,
1955
+ "learning_rate": 0.00019997876370325685,
1956
+ "loss": 6.2572,
1957
+ "step": 276
1958
+ },
1959
+ {
1960
+ "epoch": 0.022138304461627605,
1961
+ "grad_norm": 15.197004318237305,
1962
+ "learning_rate": 0.00019997860363218933,
1963
+ "loss": 5.8418,
1964
+ "step": 277
1965
+ },
1966
+ {
1967
+ "epoch": 0.022218226138384384,
1968
+ "grad_norm": 16.935300827026367,
1969
+ "learning_rate": 0.00019997841445729136,
1970
+ "loss": 6.2711,
1971
+ "step": 278
1972
+ },
1973
+ {
1974
+ "epoch": 0.02229814781514116,
1975
+ "grad_norm": 15.207847595214844,
1976
+ "learning_rate": 0.00019997825438622385,
1977
+ "loss": 6.2159,
1978
+ "step": 279
1979
+ },
1980
+ {
1981
+ "epoch": 0.02237806949189794,
1982
+ "grad_norm": 15.968687057495117,
1983
+ "learning_rate": 0.00019997806521132588,
1984
+ "loss": 7.2275,
1985
+ "step": 280
1986
+ },
1987
+ {
1988
+ "epoch": 0.02245799116865472,
1989
+ "grad_norm": 12.241089820861816,
1990
+ "learning_rate": 0.00019997789058834314,
1991
+ "loss": 6.8563,
1992
+ "step": 281
1993
+ },
1994
+ {
1995
+ "epoch": 0.022537912845411498,
1996
+ "grad_norm": 12.12191390991211,
1997
+ "learning_rate": 0.0001999777159653604,
1998
+ "loss": 6.3478,
1999
+ "step": 282
2000
+ },
2001
+ {
2002
+ "epoch": 0.022617834522168274,
2003
+ "grad_norm": 15.668216705322266,
2004
+ "learning_rate": 0.00019997754134237766,
2005
+ "loss": 6.4098,
2006
+ "step": 283
2007
+ },
2008
+ {
2009
+ "epoch": 0.022697756198925053,
2010
+ "grad_norm": 13.400096893310547,
2011
+ "learning_rate": 0.00019997736671939492,
2012
+ "loss": 5.2505,
2013
+ "step": 284
2014
+ },
2015
+ {
2016
+ "epoch": 0.022777677875681832,
2017
+ "grad_norm": 11.265392303466797,
2018
+ "learning_rate": 0.00019997719209641218,
2019
+ "loss": 5.1597,
2020
+ "step": 285
2021
+ },
2022
+ {
2023
+ "epoch": 0.02285759955243861,
2024
+ "grad_norm": 19.430946350097656,
2025
+ "learning_rate": 0.0001999770029215142,
2026
+ "loss": 6.6648,
2027
+ "step": 286
2028
+ },
2029
+ {
2030
+ "epoch": 0.022937521229195387,
2031
+ "grad_norm": 13.3882474899292,
2032
+ "learning_rate": 0.00019997681374661624,
2033
+ "loss": 5.9156,
2034
+ "step": 287
2035
+ },
2036
+ {
2037
+ "epoch": 0.023017442905952167,
2038
+ "grad_norm": 12.684931755065918,
2039
+ "learning_rate": 0.0001999766391236335,
2040
+ "loss": 6.5754,
2041
+ "step": 288
2042
+ },
2043
+ {
2044
+ "epoch": 0.023097364582708946,
2045
+ "grad_norm": 15.125930786132812,
2046
+ "learning_rate": 0.00019997646450065076,
2047
+ "loss": 5.6977,
2048
+ "step": 289
2049
+ },
2050
+ {
2051
+ "epoch": 0.023177286259465725,
2052
+ "grad_norm": 14.20514965057373,
2053
+ "learning_rate": 0.00019997628987766802,
2054
+ "loss": 6.033,
2055
+ "step": 290
2056
+ },
2057
+ {
2058
+ "epoch": 0.0232572079362225,
2059
+ "grad_norm": 16.646081924438477,
2060
+ "learning_rate": 0.00019997610070277005,
2061
+ "loss": 6.4136,
2062
+ "step": 291
2063
+ },
2064
+ {
2065
+ "epoch": 0.02333712961297928,
2066
+ "grad_norm": 15.947591781616211,
2067
+ "learning_rate": 0.00019997591152787209,
2068
+ "loss": 6.8916,
2069
+ "step": 292
2070
+ },
2071
+ {
2072
+ "epoch": 0.02341705128973606,
2073
+ "grad_norm": 15.278575897216797,
2074
+ "learning_rate": 0.00019997573690488935,
2075
+ "loss": 6.1326,
2076
+ "step": 293
2077
+ },
2078
+ {
2079
+ "epoch": 0.02349697296649284,
2080
+ "grad_norm": 14.641289710998535,
2081
+ "learning_rate": 0.00019997554772999138,
2082
+ "loss": 6.288,
2083
+ "step": 294
2084
+ },
2085
+ {
2086
+ "epoch": 0.023576894643249614,
2087
+ "grad_norm": 13.565072059631348,
2088
+ "learning_rate": 0.00019997537310700864,
2089
+ "loss": 6.8969,
2090
+ "step": 295
2091
+ },
2092
+ {
2093
+ "epoch": 0.023656816320006394,
2094
+ "grad_norm": 17.934261322021484,
2095
+ "learning_rate": 0.00019997516938019544,
2096
+ "loss": 5.7942,
2097
+ "step": 296
2098
+ },
2099
+ {
2100
+ "epoch": 0.023736737996763173,
2101
+ "grad_norm": 19.171415328979492,
2102
+ "learning_rate": 0.00019997498020529747,
2103
+ "loss": 6.8676,
2104
+ "step": 297
2105
+ },
2106
+ {
2107
+ "epoch": 0.023816659673519952,
2108
+ "grad_norm": 13.919241905212402,
2109
+ "learning_rate": 0.0001999747910303995,
2110
+ "loss": 5.5413,
2111
+ "step": 298
2112
+ },
2113
+ {
2114
+ "epoch": 0.023896581350276728,
2115
+ "grad_norm": 18.490270614624023,
2116
+ "learning_rate": 0.00019997461640741676,
2117
+ "loss": 6.2958,
2118
+ "step": 299
2119
+ },
2120
+ {
2121
+ "epoch": 0.023976503027033507,
2122
+ "grad_norm": 16.66715431213379,
2123
+ "learning_rate": 0.0001999744272325188,
2124
+ "loss": 7.6855,
2125
+ "step": 300
2126
+ },
2127
+ {
2128
+ "epoch": 0.024056424703790286,
2129
+ "grad_norm": 16.368955612182617,
2130
+ "learning_rate": 0.00019997423805762082,
2131
+ "loss": 6.3887,
2132
+ "step": 301
2133
+ },
2134
+ {
2135
+ "epoch": 0.024136346380547066,
2136
+ "grad_norm": 21.846345901489258,
2137
+ "learning_rate": 0.00019997404888272285,
2138
+ "loss": 6.3832,
2139
+ "step": 302
2140
+ },
2141
+ {
2142
+ "epoch": 0.02421626805730384,
2143
+ "grad_norm": 12.367501258850098,
2144
+ "learning_rate": 0.00019997384515590966,
2145
+ "loss": 5.2022,
2146
+ "step": 303
2147
+ },
2148
+ {
2149
+ "epoch": 0.02429618973406062,
2150
+ "grad_norm": 18.50084686279297,
2151
+ "learning_rate": 0.0001999736559810117,
2152
+ "loss": 5.6139,
2153
+ "step": 304
2154
+ },
2155
+ {
2156
+ "epoch": 0.0243761114108174,
2157
+ "grad_norm": 15.343425750732422,
2158
+ "learning_rate": 0.00019997346680611372,
2159
+ "loss": 6.2095,
2160
+ "step": 305
2161
+ },
2162
+ {
2163
+ "epoch": 0.024456033087574176,
2164
+ "grad_norm": 12.259312629699707,
2165
+ "learning_rate": 0.00019997326307930052,
2166
+ "loss": 5.9394,
2167
+ "step": 306
2168
+ },
2169
+ {
2170
+ "epoch": 0.024535954764330955,
2171
+ "grad_norm": 15.81058406829834,
2172
+ "learning_rate": 0.00019997307390440255,
2173
+ "loss": 7.1533,
2174
+ "step": 307
2175
+ },
2176
+ {
2177
+ "epoch": 0.024615876441087734,
2178
+ "grad_norm": 22.787445068359375,
2179
+ "learning_rate": 0.00019997288472950459,
2180
+ "loss": 5.6197,
2181
+ "step": 308
2182
+ },
2183
+ {
2184
+ "epoch": 0.024695798117844513,
2185
+ "grad_norm": 16.70743751525879,
2186
+ "learning_rate": 0.0001999726810026914,
2187
+ "loss": 6.4227,
2188
+ "step": 309
2189
+ },
2190
+ {
2191
+ "epoch": 0.02477571979460129,
2192
+ "grad_norm": 16.33761215209961,
2193
+ "learning_rate": 0.00019997249182779342,
2194
+ "loss": 6.4147,
2195
+ "step": 310
2196
+ },
2197
+ {
2198
+ "epoch": 0.02485564147135807,
2199
+ "grad_norm": 12.479717254638672,
2200
+ "learning_rate": 0.00019997228810098022,
2201
+ "loss": 4.9899,
2202
+ "step": 311
2203
+ },
2204
+ {
2205
+ "epoch": 0.024935563148114848,
2206
+ "grad_norm": 13.511429786682129,
2207
+ "learning_rate": 0.00019997209892608225,
2208
+ "loss": 6.093,
2209
+ "step": 312
2210
+ },
2211
+ {
2212
+ "epoch": 0.025015484824871627,
2213
+ "grad_norm": 14.443562507629395,
2214
+ "learning_rate": 0.00019997189519926906,
2215
+ "loss": 6.141,
2216
+ "step": 313
2217
+ },
2218
+ {
2219
+ "epoch": 0.025095406501628403,
2220
+ "grad_norm": 15.19046401977539,
2221
+ "learning_rate": 0.0001999717060243711,
2222
+ "loss": 5.7764,
2223
+ "step": 314
2224
+ },
2225
+ {
2226
+ "epoch": 0.025175328178385182,
2227
+ "grad_norm": 17.57716178894043,
2228
+ "learning_rate": 0.0001999715022975579,
2229
+ "loss": 6.1878,
2230
+ "step": 315
2231
+ },
2232
+ {
2233
+ "epoch": 0.02525524985514196,
2234
+ "grad_norm": 12.924726486206055,
2235
+ "learning_rate": 0.0001999712985707447,
2236
+ "loss": 5.5529,
2237
+ "step": 316
2238
+ },
2239
+ {
2240
+ "epoch": 0.02533517153189874,
2241
+ "grad_norm": 17.26683235168457,
2242
+ "learning_rate": 0.0001999710948439315,
2243
+ "loss": 6.1933,
2244
+ "step": 317
2245
+ },
2246
+ {
2247
+ "epoch": 0.025415093208655516,
2248
+ "grad_norm": 11.450511932373047,
2249
+ "learning_rate": 0.0001999708911171183,
2250
+ "loss": 5.5608,
2251
+ "step": 318
2252
+ },
2253
+ {
2254
+ "epoch": 0.025495014885412295,
2255
+ "grad_norm": 16.322240829467773,
2256
+ "learning_rate": 0.0001999706873903051,
2257
+ "loss": 6.6088,
2258
+ "step": 319
2259
+ },
2260
+ {
2261
+ "epoch": 0.025574936562169075,
2262
+ "grad_norm": 14.587623596191406,
2263
+ "learning_rate": 0.0001999704836634919,
2264
+ "loss": 5.4771,
2265
+ "step": 320
2266
+ },
2267
+ {
2268
+ "epoch": 0.025654858238925854,
2269
+ "grad_norm": 13.803770065307617,
2270
+ "learning_rate": 0.00019997029448859394,
2271
+ "loss": 6.1518,
2272
+ "step": 321
2273
+ },
2274
+ {
2275
+ "epoch": 0.02573477991568263,
2276
+ "grad_norm": 17.529619216918945,
2277
+ "learning_rate": 0.00019997009076178074,
2278
+ "loss": 6.3047,
2279
+ "step": 322
2280
+ },
2281
+ {
2282
+ "epoch": 0.02581470159243941,
2283
+ "grad_norm": 18.123512268066406,
2284
+ "learning_rate": 0.00019996988703496754,
2285
+ "loss": 6.0607,
2286
+ "step": 323
2287
+ },
2288
+ {
2289
+ "epoch": 0.025894623269196188,
2290
+ "grad_norm": 15.56558895111084,
2291
+ "learning_rate": 0.00019996968330815434,
2292
+ "loss": 7.5001,
2293
+ "step": 324
2294
+ },
2295
+ {
2296
+ "epoch": 0.025974544945952967,
2297
+ "grad_norm": 19.938735961914062,
2298
+ "learning_rate": 0.00019996946502942592,
2299
+ "loss": 5.6603,
2300
+ "step": 325
2301
+ },
2302
+ {
2303
+ "epoch": 0.026054466622709743,
2304
+ "grad_norm": 12.854557991027832,
2305
+ "learning_rate": 0.00019996926130261272,
2306
+ "loss": 4.9226,
2307
+ "step": 326
2308
+ },
2309
+ {
2310
+ "epoch": 0.026134388299466522,
2311
+ "grad_norm": 13.187103271484375,
2312
+ "learning_rate": 0.0001999690430238843,
2313
+ "loss": 6.4182,
2314
+ "step": 327
2315
+ },
2316
+ {
2317
+ "epoch": 0.0262143099762233,
2318
+ "grad_norm": 16.57967758178711,
2319
+ "learning_rate": 0.0001999688392970711,
2320
+ "loss": 5.4498,
2321
+ "step": 328
2322
+ },
2323
+ {
2324
+ "epoch": 0.02629423165298008,
2325
+ "grad_norm": 13.449827194213867,
2326
+ "learning_rate": 0.0001999686355702579,
2327
+ "loss": 5.742,
2328
+ "step": 329
2329
+ },
2330
+ {
2331
+ "epoch": 0.026374153329736857,
2332
+ "grad_norm": 12.401226997375488,
2333
+ "learning_rate": 0.0001999684318434447,
2334
+ "loss": 7.1152,
2335
+ "step": 330
2336
+ },
2337
+ {
2338
+ "epoch": 0.026454075006493636,
2339
+ "grad_norm": 14.42686939239502,
2340
+ "learning_rate": 0.00019996821356471628,
2341
+ "loss": 5.869,
2342
+ "step": 331
2343
+ },
2344
+ {
2345
+ "epoch": 0.026533996683250415,
2346
+ "grad_norm": 15.052666664123535,
2347
+ "learning_rate": 0.00019996799528598785,
2348
+ "loss": 6.2315,
2349
+ "step": 332
2350
+ },
2351
+ {
2352
+ "epoch": 0.026613918360007194,
2353
+ "grad_norm": 17.430248260498047,
2354
+ "learning_rate": 0.00019996779155917466,
2355
+ "loss": 6.361,
2356
+ "step": 333
2357
+ },
2358
+ {
2359
+ "epoch": 0.02669384003676397,
2360
+ "grad_norm": 13.0830659866333,
2361
+ "learning_rate": 0.00019996758783236146,
2362
+ "loss": 5.9668,
2363
+ "step": 334
2364
+ },
2365
+ {
2366
+ "epoch": 0.02677376171352075,
2367
+ "grad_norm": 12.437070846557617,
2368
+ "learning_rate": 0.00019996736955363303,
2369
+ "loss": 5.1858,
2370
+ "step": 335
2371
+ },
2372
+ {
2373
+ "epoch": 0.02685368339027753,
2374
+ "grad_norm": 9.951759338378906,
2375
+ "learning_rate": 0.0001999671512749046,
2376
+ "loss": 6.8424,
2377
+ "step": 336
2378
+ },
2379
+ {
2380
+ "epoch": 0.026933605067034308,
2381
+ "grad_norm": 12.171687126159668,
2382
+ "learning_rate": 0.00019996693299617618,
2383
+ "loss": 6.4313,
2384
+ "step": 337
2385
+ },
2386
+ {
2387
+ "epoch": 0.027013526743791084,
2388
+ "grad_norm": 11.820364952087402,
2389
+ "learning_rate": 0.00019996672926936299,
2390
+ "loss": 4.9972,
2391
+ "step": 338
2392
+ },
2393
+ {
2394
+ "epoch": 0.027093448420547863,
2395
+ "grad_norm": 13.975296974182129,
2396
+ "learning_rate": 0.00019996649643871933,
2397
+ "loss": 7.0921,
2398
+ "step": 339
2399
+ },
2400
+ {
2401
+ "epoch": 0.027173370097304642,
2402
+ "grad_norm": 13.744132995605469,
2403
+ "learning_rate": 0.0001999662781599909,
2404
+ "loss": 6.0032,
2405
+ "step": 340
2406
+ },
2407
+ {
2408
+ "epoch": 0.02725329177406142,
2409
+ "grad_norm": 21.694072723388672,
2410
+ "learning_rate": 0.0001999660744331777,
2411
+ "loss": 5.7393,
2412
+ "step": 341
2413
+ },
2414
+ {
2415
+ "epoch": 0.027333213450818197,
2416
+ "grad_norm": 13.287113189697266,
2417
+ "learning_rate": 0.00019996585615444928,
2418
+ "loss": 6.1796,
2419
+ "step": 342
2420
+ },
2421
+ {
2422
+ "epoch": 0.027413135127574977,
2423
+ "grad_norm": 24.737030029296875,
2424
+ "learning_rate": 0.00019996562332380563,
2425
+ "loss": 7.4829,
2426
+ "step": 343
2427
+ },
2428
+ {
2429
+ "epoch": 0.027493056804331756,
2430
+ "grad_norm": 13.299663543701172,
2431
+ "learning_rate": 0.00019996541959699243,
2432
+ "loss": 5.4366,
2433
+ "step": 344
2434
+ },
2435
+ {
2436
+ "epoch": 0.02757297848108853,
2437
+ "grad_norm": 16.67266082763672,
2438
+ "learning_rate": 0.00019996518676634878,
2439
+ "loss": 6.7686,
2440
+ "step": 345
2441
+ },
2442
+ {
2443
+ "epoch": 0.02765290015784531,
2444
+ "grad_norm": 9.903456687927246,
2445
+ "learning_rate": 0.00019996496848762035,
2446
+ "loss": 5.6142,
2447
+ "step": 346
2448
+ },
2449
+ {
2450
+ "epoch": 0.02773282183460209,
2451
+ "grad_norm": 15.513213157653809,
2452
+ "learning_rate": 0.00019996475020889193,
2453
+ "loss": 5.1707,
2454
+ "step": 347
2455
+ },
2456
+ {
2457
+ "epoch": 0.02781274351135887,
2458
+ "grad_norm": 14.624857902526855,
2459
+ "learning_rate": 0.00019996451737824827,
2460
+ "loss": 6.4379,
2461
+ "step": 348
2462
+ },
2463
+ {
2464
+ "epoch": 0.027892665188115645,
2465
+ "grad_norm": 17.85902976989746,
2466
+ "learning_rate": 0.00019996429909951985,
2467
+ "loss": 6.0558,
2468
+ "step": 349
2469
+ },
2470
+ {
2471
+ "epoch": 0.027972586864872424,
2472
+ "grad_norm": 19.93682098388672,
2473
+ "learning_rate": 0.00019996408082079142,
2474
+ "loss": 6.3928,
2475
+ "step": 350
2476
+ },
2477
+ {
2478
+ "epoch": 0.028052508541629204,
2479
+ "grad_norm": 12.33932113647461,
2480
+ "learning_rate": 0.00019996384799014777,
2481
+ "loss": 5.8751,
2482
+ "step": 351
2483
+ },
2484
+ {
2485
+ "epoch": 0.028132430218385983,
2486
+ "grad_norm": 15.817342758178711,
2487
+ "learning_rate": 0.00019996362971141934,
2488
+ "loss": 6.8256,
2489
+ "step": 352
2490
+ },
2491
+ {
2492
+ "epoch": 0.02821235189514276,
2493
+ "grad_norm": 15.714959144592285,
2494
+ "learning_rate": 0.0001999633968807757,
2495
+ "loss": 7.1489,
2496
+ "step": 353
2497
+ },
2498
+ {
2499
+ "epoch": 0.028292273571899538,
2500
+ "grad_norm": 12.748688697814941,
2501
+ "learning_rate": 0.00019996316405013204,
2502
+ "loss": 5.0708,
2503
+ "step": 354
2504
+ },
2505
+ {
2506
+ "epoch": 0.028372195248656317,
2507
+ "grad_norm": 10.243889808654785,
2508
+ "learning_rate": 0.0001999629457714036,
2509
+ "loss": 4.5773,
2510
+ "step": 355
2511
+ },
2512
+ {
2513
+ "epoch": 0.028452116925413096,
2514
+ "grad_norm": 16.02983856201172,
2515
+ "learning_rate": 0.00019996271294075996,
2516
+ "loss": 6.7184,
2517
+ "step": 356
2518
+ },
2519
+ {
2520
+ "epoch": 0.028532038602169872,
2521
+ "grad_norm": 15.122602462768555,
2522
+ "learning_rate": 0.00019996249466203153,
2523
+ "loss": 5.815,
2524
+ "step": 357
2525
+ },
2526
+ {
2527
+ "epoch": 0.02861196027892665,
2528
+ "grad_norm": 16.68320083618164,
2529
+ "learning_rate": 0.00019996224727947265,
2530
+ "loss": 6.4434,
2531
+ "step": 358
2532
+ },
2533
+ {
2534
+ "epoch": 0.02869188195568343,
2535
+ "grad_norm": 15.334043502807617,
2536
+ "learning_rate": 0.00019996202900074422,
2537
+ "loss": 7.1437,
2538
+ "step": 359
2539
+ },
2540
+ {
2541
+ "epoch": 0.02877180363244021,
2542
+ "grad_norm": 10.798954963684082,
2543
+ "learning_rate": 0.00019996179617010057,
2544
+ "loss": 6.3215,
2545
+ "step": 360
2546
+ },
2547
+ {
2548
+ "epoch": 0.028851725309196986,
2549
+ "grad_norm": 12.362552642822266,
2550
+ "learning_rate": 0.00019996156333945692,
2551
+ "loss": 5.2076,
2552
+ "step": 361
2553
+ },
2554
+ {
2555
+ "epoch": 0.028931646985953765,
2556
+ "grad_norm": 19.123573303222656,
2557
+ "learning_rate": 0.00019996133050881326,
2558
+ "loss": 6.0658,
2559
+ "step": 362
2560
+ },
2561
+ {
2562
+ "epoch": 0.029011568662710544,
2563
+ "grad_norm": 14.757805824279785,
2564
+ "learning_rate": 0.0001999610976781696,
2565
+ "loss": 5.3874,
2566
+ "step": 363
2567
+ },
2568
+ {
2569
+ "epoch": 0.029091490339467323,
2570
+ "grad_norm": 17.045217514038086,
2571
+ "learning_rate": 0.00019996086484752595,
2572
+ "loss": 7.0085,
2573
+ "step": 364
2574
+ },
2575
+ {
2576
+ "epoch": 0.0291714120162241,
2577
+ "grad_norm": 16.436168670654297,
2578
+ "learning_rate": 0.0001999606320168823,
2579
+ "loss": 6.1691,
2580
+ "step": 365
2581
+ },
2582
+ {
2583
+ "epoch": 0.02925133369298088,
2584
+ "grad_norm": 17.719770431518555,
2585
+ "learning_rate": 0.00019996039918623865,
2586
+ "loss": 5.9578,
2587
+ "step": 366
2588
+ },
2589
+ {
2590
+ "epoch": 0.029331255369737658,
2591
+ "grad_norm": 15.637602806091309,
2592
+ "learning_rate": 0.00019996015180367976,
2593
+ "loss": 6.3728,
2594
+ "step": 367
2595
+ },
2596
+ {
2597
+ "epoch": 0.029411177046494437,
2598
+ "grad_norm": 16.410329818725586,
2599
+ "learning_rate": 0.0001999599189730361,
2600
+ "loss": 5.4258,
2601
+ "step": 368
2602
+ },
2603
+ {
2604
+ "epoch": 0.029491098723251213,
2605
+ "grad_norm": 10.284132957458496,
2606
+ "learning_rate": 0.00019995967159047723,
2607
+ "loss": 6.6986,
2608
+ "step": 369
2609
+ },
2610
+ {
2611
+ "epoch": 0.029571020400007992,
2612
+ "grad_norm": 14.195467948913574,
2613
+ "learning_rate": 0.00019995943875983357,
2614
+ "loss": 5.2009,
2615
+ "step": 370
2616
+ },
2617
+ {
2618
+ "epoch": 0.02965094207676477,
2619
+ "grad_norm": 11.96532917022705,
2620
+ "learning_rate": 0.00019995920592918992,
2621
+ "loss": 5.4514,
2622
+ "step": 371
2623
+ },
2624
+ {
2625
+ "epoch": 0.02973086375352155,
2626
+ "grad_norm": 11.906566619873047,
2627
+ "learning_rate": 0.00019995895854663104,
2628
+ "loss": 6.0655,
2629
+ "step": 372
2630
+ },
2631
+ {
2632
+ "epoch": 0.029810785430278326,
2633
+ "grad_norm": 13.493677139282227,
2634
+ "learning_rate": 0.00019995872571598738,
2635
+ "loss": 6.6973,
2636
+ "step": 373
2637
+ },
2638
+ {
2639
+ "epoch": 0.029890707107035105,
2640
+ "grad_norm": 17.246294021606445,
2641
+ "learning_rate": 0.00019995849288534373,
2642
+ "loss": 6.0919,
2643
+ "step": 374
2644
+ },
2645
+ {
2646
+ "epoch": 0.029970628783791885,
2647
+ "grad_norm": 16.358449935913086,
2648
+ "learning_rate": 0.00019995824550278485,
2649
+ "loss": 6.303,
2650
+ "step": 375
2651
+ },
2652
+ {
2653
+ "epoch": 0.030050550460548664,
2654
+ "grad_norm": 14.359763145446777,
2655
+ "learning_rate": 0.00019995799812022597,
2656
+ "loss": 5.8685,
2657
+ "step": 376
2658
+ },
2659
+ {
2660
+ "epoch": 0.03013047213730544,
2661
+ "grad_norm": 15.526153564453125,
2662
+ "learning_rate": 0.0001999577652895823,
2663
+ "loss": 6.4071,
2664
+ "step": 377
2665
+ },
2666
+ {
2667
+ "epoch": 0.03021039381406222,
2668
+ "grad_norm": 19.989709854125977,
2669
+ "learning_rate": 0.0001999575033551082,
2670
+ "loss": 5.7926,
2671
+ "step": 378
2672
+ },
2673
+ {
2674
+ "epoch": 0.030290315490818998,
2675
+ "grad_norm": 15.332075119018555,
2676
+ "learning_rate": 0.00019995727052446455,
2677
+ "loss": 6.5446,
2678
+ "step": 379
2679
+ },
2680
+ {
2681
+ "epoch": 0.030370237167575774,
2682
+ "grad_norm": 15.886347770690918,
2683
+ "learning_rate": 0.00019995702314190567,
2684
+ "loss": 5.7387,
2685
+ "step": 380
2686
+ },
2687
+ {
2688
+ "epoch": 0.030450158844332553,
2689
+ "grad_norm": 15.453957557678223,
2690
+ "learning_rate": 0.00019995677575934678,
2691
+ "loss": 5.9044,
2692
+ "step": 381
2693
+ },
2694
+ {
2695
+ "epoch": 0.030530080521089333,
2696
+ "grad_norm": 14.168845176696777,
2697
+ "learning_rate": 0.0001999565283767879,
2698
+ "loss": 5.3228,
2699
+ "step": 382
2700
+ },
2701
+ {
2702
+ "epoch": 0.030610002197846112,
2703
+ "grad_norm": 16.134654998779297,
2704
+ "learning_rate": 0.00019995628099422902,
2705
+ "loss": 6.2229,
2706
+ "step": 383
2707
+ },
2708
+ {
2709
+ "epoch": 0.030689923874602888,
2710
+ "grad_norm": 17.78655242919922,
2711
+ "learning_rate": 0.00019995603361167014,
2712
+ "loss": 7.0895,
2713
+ "step": 384
2714
+ },
2715
+ {
2716
+ "epoch": 0.030769845551359667,
2717
+ "grad_norm": 15.200431823730469,
2718
+ "learning_rate": 0.00019995578622911125,
2719
+ "loss": 6.4011,
2720
+ "step": 385
2721
+ },
2722
+ {
2723
+ "epoch": 0.030849767228116446,
2724
+ "grad_norm": 16.652729034423828,
2725
+ "learning_rate": 0.00019995553884655237,
2726
+ "loss": 5.9991,
2727
+ "step": 386
2728
+ },
2729
+ {
2730
+ "epoch": 0.030929688904873225,
2731
+ "grad_norm": 18.908794403076172,
2732
+ "learning_rate": 0.0001999552914639935,
2733
+ "loss": 5.4947,
2734
+ "step": 387
2735
+ },
2736
+ {
2737
+ "epoch": 0.03100961058163,
2738
+ "grad_norm": 22.241044998168945,
2739
+ "learning_rate": 0.0001999550440814346,
2740
+ "loss": 5.9547,
2741
+ "step": 388
2742
+ },
2743
+ {
2744
+ "epoch": 0.03108953225838678,
2745
+ "grad_norm": 15.065712928771973,
2746
+ "learning_rate": 0.00019995479669887573,
2747
+ "loss": 5.0218,
2748
+ "step": 389
2749
+ },
2750
+ {
2751
+ "epoch": 0.03116945393514356,
2752
+ "grad_norm": 16.05895233154297,
2753
+ "learning_rate": 0.00019995453476440161,
2754
+ "loss": 5.0685,
2755
+ "step": 390
2756
+ },
2757
+ {
2758
+ "epoch": 0.03124937561190034,
2759
+ "grad_norm": 16.954740524291992,
2760
+ "learning_rate": 0.0001999542728299275,
2761
+ "loss": 6.0334,
2762
+ "step": 391
2763
+ },
2764
+ {
2765
+ "epoch": 0.03132929728865712,
2766
+ "grad_norm": 14.711755752563477,
2767
+ "learning_rate": 0.00019995402544736862,
2768
+ "loss": 6.3458,
2769
+ "step": 392
2770
+ },
2771
+ {
2772
+ "epoch": 0.0314092189654139,
2773
+ "grad_norm": 20.665563583374023,
2774
+ "learning_rate": 0.00019995377806480974,
2775
+ "loss": 6.4642,
2776
+ "step": 393
2777
+ },
2778
+ {
2779
+ "epoch": 0.03148914064217067,
2780
+ "grad_norm": 15.423831939697266,
2781
+ "learning_rate": 0.00019995351613033563,
2782
+ "loss": 6.2702,
2783
+ "step": 394
2784
+ },
2785
+ {
2786
+ "epoch": 0.03156906231892745,
2787
+ "grad_norm": 36.09846878051758,
2788
+ "learning_rate": 0.00019995326874777675,
2789
+ "loss": 6.5314,
2790
+ "step": 395
2791
+ },
2792
+ {
2793
+ "epoch": 0.03164898399568423,
2794
+ "grad_norm": 15.841190338134766,
2795
+ "learning_rate": 0.00019995300681330264,
2796
+ "loss": 6.4815,
2797
+ "step": 396
2798
+ },
2799
+ {
2800
+ "epoch": 0.03172890567244101,
2801
+ "grad_norm": 15.846356391906738,
2802
+ "learning_rate": 0.00019995275943074375,
2803
+ "loss": 7.0392,
2804
+ "step": 397
2805
+ },
2806
+ {
2807
+ "epoch": 0.03180882734919779,
2808
+ "grad_norm": 12.423648834228516,
2809
+ "learning_rate": 0.00019995248294435441,
2810
+ "loss": 5.5649,
2811
+ "step": 398
2812
+ },
2813
+ {
2814
+ "epoch": 0.031888749025954566,
2815
+ "grad_norm": 14.614909172058105,
2816
+ "learning_rate": 0.0001999522210098803,
2817
+ "loss": 6.1323,
2818
+ "step": 399
2819
+ },
2820
+ {
2821
+ "epoch": 0.031968670702711345,
2822
+ "grad_norm": 14.6503267288208,
2823
+ "learning_rate": 0.00019995197362732142,
2824
+ "loss": 5.7497,
2825
+ "step": 400
2826
+ },
2827
+ {
2828
+ "epoch": 0.031968670702711345,
2829
+ "eval_loss": 1.4913572072982788,
2830
+ "eval_runtime": 98.2768,
2831
+ "eval_samples_per_second": 5.118,
2832
+ "eval_steps_per_second": 2.564,
2833
+ "step": 400
2834
  }
2835
  ],
2836
  "logging_steps": 1,
 
2845
  "early_stopping_threshold": 0.0
2846
  },
2847
  "attributes": {
2848
+ "early_stopping_patience_counter": 1
2849
  }
2850
  },
2851
  "TrainerControl": {
 
2859
  "attributes": {}
2860
  }
2861
  },
2862
+ "total_flos": 7.673695808834765e+16,
2863
  "train_batch_size": 2,
2864
  "trial_name": null,
2865
  "trial_params": null