Instructions to use aaron1141/Omniscience-VQA-model with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use aaron1141/Omniscience-VQA-model with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("image-text-to-text", model="aaron1141/Omniscience-VQA-model")
messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/p-blog/candy.JPG"},
            {"type": "text", "text": "What animal is on the candy?"}
        ]
    },
]
pipe(text=messages)

# Load model directly
from transformers import AutoProcessor, AutoModelForMultimodalLM

processor = AutoProcessor.from_pretrained("aaron1141/Omniscience-VQA-model")
model = AutoModelForMultimodalLM.from_pretrained("aaron1141/Omniscience-VQA-model")
messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/p-blog/candy.JPG"},
            {"type": "text", "text": "What animal is on the candy?"}
        ]
    },
]
inputs = processor.apply_chat_template(
	messages,
	add_generation_prompt=True,
	tokenize=True,
	return_dict=True,
	return_tensors="pt",
).to(model.device)

outputs = model.generate(**inputs, max_new_tokens=40)
print(processor.decode(outputs[0][inputs["input_ids"].shape[-1]:]))

Notebooks
Google Colab
Kaggle
Local Apps Settings

vLLM

How to use aaron1141/Omniscience-VQA-model with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "aaron1141/Omniscience-VQA-model"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "aaron1141/Omniscience-VQA-model",
		"messages": [
			{
				"role": "user",
				"content": [
					{
						"type": "text",
						"text": "Describe this image in one sentence."
					},
					{
						"type": "image_url",
						"image_url": {
							"url": "https://cdn.britannica.com/61/93061-050-99147DCE/Statue-of-Liberty-Island-New-York-Bay.jpg"
						}
					}
				]
			}
		]
	}'

Use Docker

docker model run hf.co/aaron1141/Omniscience-VQA-model

SGLang

How to use aaron1141/Omniscience-VQA-model with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "aaron1141/Omniscience-VQA-model" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "aaron1141/Omniscience-VQA-model",
		"messages": [
			{
				"role": "user",
				"content": [
					{
						"type": "text",
						"text": "Describe this image in one sentence."
					},
					{
						"type": "image_url",
						"image_url": {
							"url": "https://cdn.britannica.com/61/93061-050-99147DCE/Statue-of-Liberty-Island-New-York-Bay.jpg"
						}
					}
				]
			}
		]
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "aaron1141/Omniscience-VQA-model" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "aaron1141/Omniscience-VQA-model",
		"messages": [
			{
				"role": "user",
				"content": [
					{
						"type": "text",
						"text": "Describe this image in one sentence."
					},
					{
						"type": "image_url",
						"image_url": {
							"url": "https://cdn.britannica.com/61/93061-050-99147DCE/Statue-of-Liberty-Island-New-York-Bay.jpg"
						}
					}
				]
			}
		]
	}'

Docker Model Runner
How to use aaron1141/Omniscience-VQA-model with Docker Model Runner:
```
docker model run hf.co/aaron1141/Omniscience-VQA-model
```

Omniscience-VQA-model / trainer_state.json

aaron1141

Add files using upload-large-folder tool

5cf49e2 verified about 2 months ago

Raw

History Blame Contribute Delete

86.7 kB

	{
	"best_global_step": null,
	"best_metric": null,
	"best_model_checkpoint": null,
	"epoch": 5.0,
	"eval_steps": 500,
	"global_step": 4690,
	"is_hyper_param_search": false,
	"is_local_process_zero": true,
	"is_world_process_zero": true,
	"log_history": [
	{
	"epoch": 0.010666666666666666,
	"grad_norm": 14.719677069033247,
	"learning_rate": 6.382978723404255e-07,
	"loss": 1.131131935119629,
	"step": 10
	},
	{
	"epoch": 0.021333333333333333,
	"grad_norm": 19.789131904372997,
	"learning_rate": 1.347517730496454e-06,
	"loss": 0.8277447700500489,
	"step": 20
	},
	{
	"epoch": 0.032,
	"grad_norm": 4.008811801062304,
	"learning_rate": 2.0567375886524823e-06,
	"loss": 0.5474711418151855,
	"step": 30
	},
	{
	"epoch": 0.042666666666666665,
	"grad_norm": 3.4969831449617863,
	"learning_rate": 2.765957446808511e-06,
	"loss": 0.4969797611236572,
	"step": 40
	},
	{
	"epoch": 0.05333333333333334,
	"grad_norm": 3.496710211411394,
	"learning_rate": 3.4751773049645393e-06,
	"loss": 0.4998605728149414,
	"step": 50
	},
	{
	"epoch": 0.064,
	"grad_norm": 3.3031965730768413,
	"learning_rate": 4.184397163120568e-06,
	"loss": 0.4771441459655762,
	"step": 60
	},
	{
	"epoch": 0.07466666666666667,
	"grad_norm": 3.5681289223245787,
	"learning_rate": 4.893617021276596e-06,
	"loss": 0.4836556434631348,
	"step": 70
	},
	{
	"epoch": 0.08533333333333333,
	"grad_norm": 3.2287114465847284,
	"learning_rate": 5.602836879432625e-06,
	"loss": 0.47313661575317384,
	"step": 80
	},
	{
	"epoch": 0.096,
	"grad_norm": 2.9987978137542015,
	"learning_rate": 6.312056737588653e-06,
	"loss": 0.4791095733642578,
	"step": 90
	},
	{
	"epoch": 0.10666666666666667,
	"grad_norm": 3.340378081154499,
	"learning_rate": 7.021276595744682e-06,
	"loss": 0.47806363105773925,
	"step": 100
	},
	{
	"epoch": 0.11733333333333333,
	"grad_norm": 2.7047692208810417,
	"learning_rate": 7.73049645390071e-06,
	"loss": 0.49144439697265624,
	"step": 110
	},
	{
	"epoch": 0.128,
	"grad_norm": 2.9034932565546754,
	"learning_rate": 8.439716312056738e-06,
	"loss": 0.4856122970581055,
	"step": 120
	},
	{
	"epoch": 0.13866666666666666,
	"grad_norm": 2.8492532284524983,
	"learning_rate": 9.148936170212767e-06,
	"loss": 0.49585614204406736,
	"step": 130
	},
	{
	"epoch": 0.14933333333333335,
	"grad_norm": 3.1897219221657913,
	"learning_rate": 9.858156028368795e-06,
	"loss": 0.4963822364807129,
	"step": 140
	},
	{
	"epoch": 0.16,
	"grad_norm": 3.180291054321027,
	"learning_rate": 9.999923689069412e-06,
	"loss": 0.49301981925964355,
	"step": 150
	},
	{
	"epoch": 0.17066666666666666,
	"grad_norm": 2.5896623193472585,
	"learning_rate": 9.999613679906083e-06,
	"loss": 0.4908170223236084,
	"step": 160
	},
	{
	"epoch": 0.18133333333333335,
	"grad_norm": 2.582517102244016,
	"learning_rate": 9.999065217851136e-06,
	"loss": 0.512379503250122,
	"step": 170
	},
	{
	"epoch": 0.192,
	"grad_norm": 2.9481033540091173,
	"learning_rate": 9.998278329063063e-06,
	"loss": 0.5089564323425293,
	"step": 180
	},
	{
	"epoch": 0.20266666666666666,
	"grad_norm": 2.742530929422462,
	"learning_rate": 9.997253051071943e-06,
	"loss": 0.49326133728027344,
	"step": 190
	},
	{
	"epoch": 0.21333333333333335,
	"grad_norm": 2.765768124507322,
	"learning_rate": 9.99598943277766e-06,
	"loss": 0.4973162651062012,
	"step": 200
	},
	{
	"epoch": 0.224,
	"grad_norm": 2.770226206469208,
	"learning_rate": 9.994487534447554e-06,
	"loss": 0.49165959358215333,
	"step": 210
	},
	{
	"epoch": 0.23466666666666666,
	"grad_norm": 2.6739784925959724,
	"learning_rate": 9.992747427713561e-06,
	"loss": 0.5012942314147949,
	"step": 220
	},
	{
	"epoch": 0.24533333333333332,
	"grad_norm": 2.564165673280976,
	"learning_rate": 9.990769195568787e-06,
	"loss": 0.4979718208312988,
	"step": 230
	},
	{
	"epoch": 0.256,
	"grad_norm": 2.5032814386910713,
	"learning_rate": 9.988552932363563e-06,
	"loss": 0.5078562736511231,
	"step": 240
	},
	{
	"epoch": 0.26666666666666666,
	"grad_norm": 3.0170101170042805,
	"learning_rate": 9.986098743800922e-06,
	"loss": 0.5044580936431885,
	"step": 250
	},
	{
	"epoch": 0.2773333333333333,
	"grad_norm": 2.679278781269865,
	"learning_rate": 9.983406746931588e-06,
	"loss": 0.515423583984375,
	"step": 260
	},
	{
	"epoch": 0.288,
	"grad_norm": 2.446831637429734,
	"learning_rate": 9.980477070148363e-06,
	"loss": 0.4906794548034668,
	"step": 270
	},
	{
	"epoch": 0.2986666666666667,
	"grad_norm": 2.4600457457453326,
	"learning_rate": 9.977309853180024e-06,
	"loss": 0.4913760185241699,
	"step": 280
	},
	{
	"epoch": 0.30933333333333335,
	"grad_norm": 2.6584767292187426,
	"learning_rate": 9.973905247084654e-06,
	"loss": 0.4985548496246338,
	"step": 290
	},
	{
	"epoch": 0.32,
	"grad_norm": 2.4646094466368766,
	"learning_rate": 9.970263414242429e-06,
	"loss": 0.49314355850219727,
	"step": 300
	},
	{
	"epoch": 0.33066666666666666,
	"grad_norm": 3.149315472839174,
	"learning_rate": 9.966384528347886e-06,
	"loss": 0.5047734260559082,
	"step": 310
	},
	{
	"epoch": 0.3413333333333333,
	"grad_norm": 2.618183661885374,
	"learning_rate": 9.96226877440163e-06,
	"loss": 0.4957937240600586,
	"step": 320
	},
	{
	"epoch": 0.352,
	"grad_norm": 2.615669163983153,
	"learning_rate": 9.957916348701515e-06,
	"loss": 0.49486532211303713,
	"step": 330
	},
	{
	"epoch": 0.3626666666666667,
	"grad_norm": 2.6327990047828793,
	"learning_rate": 9.953327458833276e-06,
	"loss": 0.49072465896606443,
	"step": 340
	},
	{
	"epoch": 0.37333333333333335,
	"grad_norm": 2.8831237701931713,
	"learning_rate": 9.948502323660635e-06,
	"loss": 0.5094201564788818,
	"step": 350
	},
	{
	"epoch": 0.384,
	"grad_norm": 2.4981375259751206,
	"learning_rate": 9.943441173314865e-06,
	"loss": 0.4819591522216797,
	"step": 360
	},
	{
	"epoch": 0.39466666666666667,
	"grad_norm": 2.3457990842275374,
	"learning_rate": 9.938144249183797e-06,
	"loss": 0.507014274597168,
	"step": 370
	},
	{
	"epoch": 0.4053333333333333,
	"grad_norm": 2.4847312856992176,
	"learning_rate": 9.932611803900328e-06,
	"loss": 0.48714618682861327,
	"step": 380
	},
	{
	"epoch": 0.416,
	"grad_norm": 2.3913464084324945,
	"learning_rate": 9.926844101330362e-06,
	"loss": 0.4863110542297363,
	"step": 390
	},
	{
	"epoch": 0.4266666666666667,
	"grad_norm": 2.652794886653921,
	"learning_rate": 9.920841416560221e-06,
	"loss": 0.49074840545654297,
	"step": 400
	},
	{
	"epoch": 0.43733333333333335,
	"grad_norm": 2.5625986892418737,
	"learning_rate": 9.914604035883537e-06,
	"loss": 0.4913002014160156,
	"step": 410
	},
	{
	"epoch": 0.448,
	"grad_norm": 2.4680795319586846,
	"learning_rate": 9.908132256787586e-06,
	"loss": 0.48008413314819337,
	"step": 420
	},
	{
	"epoch": 0.45866666666666667,
	"grad_norm": 2.446518908575631,
	"learning_rate": 9.901426387939104e-06,
	"loss": 0.484285306930542,
	"step": 430
	},
	{
	"epoch": 0.4693333333333333,
	"grad_norm": 2.3434078549751973,
	"learning_rate": 9.894486749169564e-06,
	"loss": 0.48981361389160155,
	"step": 440
	},
	{
	"epoch": 0.48,
	"grad_norm": 2.5243663001591665,
	"learning_rate": 9.887313671459929e-06,
	"loss": 0.4931126594543457,
	"step": 450
	},
	{
	"epoch": 0.49066666666666664,
	"grad_norm": 2.5905415730646935,
	"learning_rate": 9.879907496924853e-06,
	"loss": 0.4852896690368652,
	"step": 460
	},
	{
	"epoch": 0.5013333333333333,
	"grad_norm": 2.3175960946503635,
	"learning_rate": 9.872268578796377e-06,
	"loss": 0.4794930458068848,
	"step": 470
	},
	{
	"epoch": 0.512,
	"grad_norm": 2.3169110867720084,
	"learning_rate": 9.864397281407074e-06,
	"loss": 0.49527502059936523,
	"step": 480
	},
	{
	"epoch": 0.5226666666666666,
	"grad_norm": 2.5081805539045763,
	"learning_rate": 9.856293980172676e-06,
	"loss": 0.49238901138305663,
	"step": 490
	},
	{
	"epoch": 0.5333333333333333,
	"grad_norm": 2.4148307543494756,
	"learning_rate": 9.847959061574163e-06,
	"loss": 0.48439202308654783,
	"step": 500
	},
	{
	"epoch": 0.544,
	"grad_norm": 2.417268129552713,
	"learning_rate": 9.83939292313934e-06,
	"loss": 0.48358449935913084,
	"step": 510
	},
	{
	"epoch": 0.5546666666666666,
	"grad_norm": 2.4212977880426583,
	"learning_rate": 9.830595973423868e-06,
	"loss": 0.4881169319152832,
	"step": 520
	},
	{
	"epoch": 0.5653333333333334,
	"grad_norm": 2.2373251511625227,
	"learning_rate": 9.821568631991785e-06,
	"loss": 0.4937411308288574,
	"step": 530
	},
	{
	"epoch": 0.576,
	"grad_norm": 2.6067848093793113,
	"learning_rate": 9.812311329395492e-06,
	"loss": 0.4851250648498535,
	"step": 540
	},
	{
	"epoch": 0.5866666666666667,
	"grad_norm": 2.505779269023947,
	"learning_rate": 9.802824507155215e-06,
	"loss": 0.476285457611084,
	"step": 550
	},
	{
	"epoch": 0.5973333333333334,
	"grad_norm": 2.453798365354759,
	"learning_rate": 9.793108617737953e-06,
	"loss": 0.4898886203765869,
	"step": 560
	},
	{
	"epoch": 0.608,
	"grad_norm": 2.336419532943086,
	"learning_rate": 9.783164124535896e-06,
	"loss": 0.47934665679931643,
	"step": 570
	},
	{
	"epoch": 0.6186666666666667,
	"grad_norm": 2.3622052222837984,
	"learning_rate": 9.77299150184432e-06,
	"loss": 0.4934229850769043,
	"step": 580
	},
	{
	"epoch": 0.6293333333333333,
	"grad_norm": 2.355971888227553,
	"learning_rate": 9.762591234838972e-06,
	"loss": 0.4741045951843262,
	"step": 590
	},
	{
	"epoch": 0.64,
	"grad_norm": 2.335087591202486,
	"learning_rate": 9.751963819552925e-06,
	"loss": 0.4835971832275391,
	"step": 600
	},
	{
	"epoch": 0.6506666666666666,
	"grad_norm": 2.312226806890674,
	"learning_rate": 9.741109762852924e-06,
	"loss": 0.4975107669830322,
	"step": 610
	},
	{
	"epoch": 0.6613333333333333,
	"grad_norm": 2.4120574289328833,
	"learning_rate": 9.730029582415209e-06,
	"loss": 0.4812762260437012,
	"step": 620
	},
	{
	"epoch": 0.672,
	"grad_norm": 2.70147229008976,
	"learning_rate": 9.718723806700818e-06,
	"loss": 0.46732497215270996,
	"step": 630
	},
	{
	"epoch": 0.6826666666666666,
	"grad_norm": 2.4120813404749573,
	"learning_rate": 9.707192974930403e-06,
	"loss": 0.48064889907836916,
	"step": 640
	},
	{
	"epoch": 0.6933333333333334,
	"grad_norm": 2.3262098681526093,
	"learning_rate": 9.695437637058487e-06,
	"loss": 0.49033608436584475,
	"step": 650
	},
	{
	"epoch": 0.704,
	"grad_norm": 2.6101360877178346,
	"learning_rate": 9.68345835374725e-06,
	"loss": 0.48049345016479494,
	"step": 660
	},
	{
	"epoch": 0.7146666666666667,
	"grad_norm": 2.38416338086165,
	"learning_rate": 9.67125569633979e-06,
	"loss": 0.48430418968200684,
	"step": 670
	},
	{
	"epoch": 0.7253333333333334,
	"grad_norm": 2.396147340040666,
	"learning_rate": 9.658830246832858e-06,
	"loss": 0.486968994140625,
	"step": 680
	},
	{
	"epoch": 0.736,
	"grad_norm": 2.1880846756162775,
	"learning_rate": 9.646182597849119e-06,
	"loss": 0.46998023986816406,
	"step": 690
	},
	{
	"epoch": 0.7466666666666667,
	"grad_norm": 2.3991316493747403,
	"learning_rate": 9.633313352608871e-06,
	"loss": 0.4902526378631592,
	"step": 700
	},
	{
	"epoch": 0.7573333333333333,
	"grad_norm": 2.546776822869976,
	"learning_rate": 9.620223124901289e-06,
	"loss": 0.4668087959289551,
	"step": 710
	},
	{
	"epoch": 0.768,
	"grad_norm": 2.186701096003848,
	"learning_rate": 9.606912539055141e-06,
	"loss": 0.48386144638061523,
	"step": 720
	},
	{
	"epoch": 0.7786666666666666,
	"grad_norm": 2.28344654961423,
	"learning_rate": 9.593382229909012e-06,
	"loss": 0.4883030891418457,
	"step": 730
	},
	{
	"epoch": 0.7893333333333333,
	"grad_norm": 2.289876953573637,
	"learning_rate": 9.579632842781033e-06,
	"loss": 0.4781497001647949,
	"step": 740
	},
	{
	"epoch": 0.8,
	"grad_norm": 2.2868985326044813,
	"learning_rate": 9.565665033438089e-06,
	"loss": 0.4757716655731201,
	"step": 750
	},
	{
	"epoch": 0.8106666666666666,
	"grad_norm": 2.30563701368124,
	"learning_rate": 9.551479468064565e-06,
	"loss": 0.48414173126220705,
	"step": 760
	},
	{
	"epoch": 0.8213333333333334,
	"grad_norm": 2.3272021596931296,
	"learning_rate": 9.537076823230547e-06,
	"loss": 0.4821342468261719,
	"step": 770
	},
	{
	"epoch": 0.832,
	"grad_norm": 2.356076098592652,
	"learning_rate": 9.522457785859572e-06,
	"loss": 0.48393640518188474,
	"step": 780
	},
	{
	"epoch": 0.8426666666666667,
	"grad_norm": 2.283081447884378,
	"learning_rate": 9.507623053195861e-06,
	"loss": 0.4777627944946289,
	"step": 790
	},
	{
	"epoch": 0.8533333333333334,
	"grad_norm": 1.9593766326717093,
	"learning_rate": 9.492573332771056e-06,
	"loss": 0.4635260581970215,
	"step": 800
	},
	{
	"epoch": 0.864,
	"grad_norm": 2.4282608759061093,
	"learning_rate": 9.477309342370491e-06,
	"loss": 0.48109025955200196,
	"step": 810
	},
	{
	"epoch": 0.8746666666666667,
	"grad_norm": 2.2037180310212676,
	"learning_rate": 9.461831809998944e-06,
	"loss": 0.47229413986206054,
	"step": 820
	},
	{
	"epoch": 0.8853333333333333,
	"grad_norm": 2.3422653774041384,
	"learning_rate": 9.446141473845917e-06,
	"loss": 0.47471017837524415,
	"step": 830
	},
	{
	"epoch": 0.896,
	"grad_norm": 2.307529643267961,
	"learning_rate": 9.430239082250438e-06,
	"loss": 0.47556605339050295,
	"step": 840
	},
	{
	"epoch": 0.9066666666666666,
	"grad_norm": 2.4685203961814,
	"learning_rate": 9.41412539366536e-06,
	"loss": 0.460905122756958,
	"step": 850
	},
	{
	"epoch": 0.9173333333333333,
	"grad_norm": 2.253282348951304,
	"learning_rate": 9.39780117662119e-06,
	"loss": 0.46721577644348145,
	"step": 860
	},
	{
	"epoch": 0.928,
	"grad_norm": 2.6725399753463663,
	"learning_rate": 9.381267209689433e-06,
	"loss": 0.4595684051513672,
	"step": 870
	},
	{
	"epoch": 0.9386666666666666,
	"grad_norm": 2.1190030812596174,
	"learning_rate": 9.364524281445464e-06,
	"loss": 0.4708869934082031,
	"step": 880
	},
	{
	"epoch": 0.9493333333333334,
	"grad_norm": 2.6687501945392844,
	"learning_rate": 9.347573190430912e-06,
	"loss": 0.4814455032348633,
	"step": 890
	},
	{
	"epoch": 0.96,
	"grad_norm": 2.293302659426518,
	"learning_rate": 9.330414745115576e-06,
	"loss": 0.46994471549987793,
	"step": 900
	},
	{
	"epoch": 0.9706666666666667,
	"grad_norm": 2.3844259241813273,
	"learning_rate": 9.31304976385887e-06,
	"loss": 0.47742176055908203,
	"step": 910
	},
	{
	"epoch": 0.9813333333333333,
	"grad_norm": 2.2795793162673776,
	"learning_rate": 9.295479074870777e-06,
	"loss": 0.4683531761169434,
	"step": 920
	},
	{
	"epoch": 0.992,
	"grad_norm": 2.3912968167883277,
	"learning_rate": 9.27770351617237e-06,
	"loss": 0.4541953086853027,
	"step": 930
	},
	{
	"epoch": 1.0021333333333333,
	"grad_norm": 1.7527643233253156,
	"learning_rate": 9.259723935555824e-06,
	"loss": 0.422662353515625,
	"step": 940
	},
	{
	"epoch": 1.0128,
	"grad_norm": 2.3671794408283113,
	"learning_rate": 9.241541190543995e-06,
	"loss": 0.2570992946624756,
	"step": 950
	},
	{
	"epoch": 1.0234666666666667,
	"grad_norm": 2.1688535112637095,
	"learning_rate": 9.223156148349511e-06,
	"loss": 0.25190885066986085,
	"step": 960
	},
	{
	"epoch": 1.0341333333333333,
	"grad_norm": 2.2112826371708976,
	"learning_rate": 9.204569685833416e-06,
	"loss": 0.2573091983795166,
	"step": 970
	},
	{
	"epoch": 1.0448,
	"grad_norm": 2.360134745847926,
	"learning_rate": 9.185782689463352e-06,
	"loss": 0.24791259765625,
	"step": 980
	},
	{
	"epoch": 1.0554666666666668,
	"grad_norm": 2.1230653101557726,
	"learning_rate": 9.166796055271267e-06,
	"loss": 0.24686360359191895,
	"step": 990
	},
	{
	"epoch": 1.0661333333333334,
	"grad_norm": 2.179214976563206,
	"learning_rate": 9.147610688810695e-06,
	"loss": 0.24492282867431642,
	"step": 1000
	},
	{
	"epoch": 1.0768,
	"grad_norm": 2.0319612229736013,
	"learning_rate": 9.128227505113557e-06,
	"loss": 0.23637039661407472,
	"step": 1010
	},
	{
	"epoch": 1.0874666666666666,
	"grad_norm": 2.145879982585577,
	"learning_rate": 9.108647428646522e-06,
	"loss": 0.244051194190979,
	"step": 1020
	},
	{
	"epoch": 1.0981333333333334,
	"grad_norm": 2.114387055100977,
	"learning_rate": 9.088871393266912e-06,
	"loss": 0.2529242277145386,
	"step": 1030
	},
	{
	"epoch": 1.1088,
	"grad_norm": 2.035177482973937,
	"learning_rate": 9.068900342178169e-06,
	"loss": 0.2405726671218872,
	"step": 1040
	},
	{
	"epoch": 1.1194666666666666,
	"grad_norm": 2.2418308787896217,
	"learning_rate": 9.048735227884861e-06,
	"loss": 0.24377832412719727,
	"step": 1050
	},
	{
	"epoch": 1.1301333333333332,
	"grad_norm": 2.34726411543382,
	"learning_rate": 9.028377012147262e-06,
	"loss": 0.24974491596221923,
	"step": 1060
	},
	{
	"epoch": 1.1408,
	"grad_norm": 2.3290056204741427,
	"learning_rate": 9.007826665935477e-06,
	"loss": 0.23754820823669434,
	"step": 1070
	},
	{
	"epoch": 1.1514666666666666,
	"grad_norm": 2.0722263152081863,
	"learning_rate": 8.987085169383125e-06,
	"loss": 0.24723689556121825,
	"step": 1080
	},
	{
	"epoch": 1.1621333333333332,
	"grad_norm": 2.201847254257956,
	"learning_rate": 8.966153511740612e-06,
	"loss": 0.2497556686401367,
	"step": 1090
	},
	{
	"epoch": 1.1728,
	"grad_norm": 2.189179516457379,
	"learning_rate": 8.945032691327925e-06,
	"loss": 0.24566569328308105,
	"step": 1100
	},
	{
	"epoch": 1.1834666666666667,
	"grad_norm": 2.3721350824712304,
	"learning_rate": 8.923723715487038e-06,
	"loss": 0.25868451595306396,
	"step": 1110
	},
	{
	"epoch": 1.1941333333333333,
	"grad_norm": 2.0834813633873823,
	"learning_rate": 8.902227600533857e-06,
	"loss": 0.2605243444442749,
	"step": 1120
	},
	{
	"epoch": 1.2048,
	"grad_norm": 2.207036591702502,
	"learning_rate": 8.880545371709749e-06,
	"loss": 0.2487651824951172,
	"step": 1130
	},
	{
	"epoch": 1.2154666666666667,
	"grad_norm": 2.2578329927979652,
	"learning_rate": 8.858678063132649e-06,
	"loss": 0.24483366012573243,
	"step": 1140
	},
	{
	"epoch": 1.2261333333333333,
	"grad_norm": 2.10477492412832,
	"learning_rate": 8.836626717747726e-06,
	"loss": 0.24892668724060057,
	"step": 1150
	},
	{
	"epoch": 1.2368000000000001,
	"grad_norm": 2.3387501935576642,
	"learning_rate": 8.81439238727766e-06,
	"loss": 0.24501357078552247,
	"step": 1160
	},
	{
	"epoch": 1.2474666666666667,
	"grad_norm": 2.0333494452475285,
	"learning_rate": 8.791976132172462e-06,
	"loss": 0.24308676719665528,
	"step": 1170
	},
	{
	"epoch": 1.2581333333333333,
	"grad_norm": 3.1826561387331753,
	"learning_rate": 8.769379021558908e-06,
	"loss": 0.25639915466308594,
	"step": 1180
	},
	{
	"epoch": 1.2688,
	"grad_norm": 2.2808934157856444,
	"learning_rate": 8.746602133189542e-06,
	"loss": 0.2509211540222168,
	"step": 1190
	},
	{
	"epoch": 1.2794666666666665,
	"grad_norm": 2.1930257037095187,
	"learning_rate": 8.723646553391275e-06,
	"loss": 0.2533258438110352,
	"step": 1200
	},
	{
	"epoch": 1.2901333333333334,
	"grad_norm": 2.133767732753803,
	"learning_rate": 8.70051337701358e-06,
	"loss": 0.2539417266845703,
	"step": 1210
	},
	{
	"epoch": 1.3008,
	"grad_norm": 2.239505180748716,
	"learning_rate": 8.677203707376261e-06,
	"loss": 0.2511929988861084,
	"step": 1220
	},
	{
	"epoch": 1.3114666666666666,
	"grad_norm": 2.400110342470654,
	"learning_rate": 8.65371865621684e-06,
	"loss": 0.24864754676818848,
	"step": 1230
	},
	{
	"epoch": 1.3221333333333334,
	"grad_norm": 2.074240653541272,
	"learning_rate": 8.630059343637536e-06,
	"loss": 0.25031208992004395,
	"step": 1240
	},
	{
	"epoch": 1.3328,
	"grad_norm": 2.314210134369462,
	"learning_rate": 8.606226898051832e-06,
	"loss": 0.25528905391693113,
	"step": 1250
	},
	{
	"epoch": 1.3434666666666666,
	"grad_norm": 2.266038410404579,
	"learning_rate": 8.582222456130665e-06,
	"loss": 0.2509054183959961,
	"step": 1260
	},
	{
	"epoch": 1.3541333333333334,
	"grad_norm": 2.1656893509907746,
	"learning_rate": 8.55804716274821e-06,
	"loss": 0.2446660041809082,
	"step": 1270
	},
	{
	"epoch": 1.3648,
	"grad_norm": 2.1062431094058067,
	"learning_rate": 8.533702170927274e-06,
	"loss": 0.24778637886047364,
	"step": 1280
	},
	{
	"epoch": 1.3754666666666666,
	"grad_norm": 2.27440775778361,
	"learning_rate": 8.509188641784313e-06,
	"loss": 0.2531563758850098,
	"step": 1290
	},
	{
	"epoch": 1.3861333333333334,
	"grad_norm": 2.0945350781678407,
	"learning_rate": 8.484507744474043e-06,
	"loss": 0.25156211853027344,
	"step": 1300
	},
	{
	"epoch": 1.3968,
	"grad_norm": 2.344329246263725,
	"learning_rate": 8.459660656133676e-06,
	"loss": 0.25161404609680177,
	"step": 1310
	},
	{
	"epoch": 1.4074666666666666,
	"grad_norm": 2.131637669904885,
	"learning_rate": 8.434648561826791e-06,
	"loss": 0.24704971313476562,
	"step": 1320
	},
	{
	"epoch": 1.4181333333333335,
	"grad_norm": 2.084925140729102,
	"learning_rate": 8.409472654486802e-06,
	"loss": 0.2557060956954956,
	"step": 1330
	},
	{
	"epoch": 1.4288,
	"grad_norm": 2.1914203263108405,
	"learning_rate": 8.384134134860057e-06,
	"loss": 0.2547765254974365,
	"step": 1340
	},
	{
	"epoch": 1.4394666666666667,
	"grad_norm": 2.158051551717063,
	"learning_rate": 8.358634211448595e-06,
	"loss": 0.24558641910552978,
	"step": 1350
	},
	{
	"epoch": 1.4501333333333333,
	"grad_norm": 2.2443418909572523,
	"learning_rate": 8.332974100452472e-06,
	"loss": 0.2537588357925415,
	"step": 1360
	},
	{
	"epoch": 1.4607999999999999,
	"grad_norm": 2.0077376058555765,
	"learning_rate": 8.307155025711783e-06,
	"loss": 0.24577705860137938,
	"step": 1370
	},
	{
	"epoch": 1.4714666666666667,
	"grad_norm": 2.065591654232565,
	"learning_rate": 8.281178218648278e-06,
	"loss": 0.25243277549743653,
	"step": 1380
	},
	{
	"epoch": 1.4821333333333333,
	"grad_norm": 2.2061568477558744,
	"learning_rate": 8.255044918206634e-06,
	"loss": 0.2530541896820068,
	"step": 1390
	},
	{
	"epoch": 1.4928,
	"grad_norm": 2.1819835453447842,
	"learning_rate": 8.228756370795367e-06,
	"loss": 0.2566534042358398,
	"step": 1400
	},
	{
	"epoch": 1.5034666666666667,
	"grad_norm": 2.39971243280419,
	"learning_rate": 8.20231383022738e-06,
	"loss": 0.25281970500946044,
	"step": 1410
	},
	{
	"epoch": 1.5141333333333333,
	"grad_norm": 2.1788579288513117,
	"learning_rate": 8.175718557660168e-06,
	"loss": 0.2553559303283691,
	"step": 1420
	},
	{
	"epoch": 1.5248,
	"grad_norm": 1.9859089958121359,
	"learning_rate": 8.148971821535662e-06,
	"loss": 0.26154184341430664,
	"step": 1430
	},
	{
	"epoch": 1.5354666666666668,
	"grad_norm": 2.2533326386546104,
	"learning_rate": 8.122074897519743e-06,
	"loss": 0.2603666543960571,
	"step": 1440
	},
	{
	"epoch": 1.5461333333333334,
	"grad_norm": 2.3349705598874477,
	"learning_rate": 8.095029068441388e-06,
	"loss": 0.255629825592041,
	"step": 1450
	},
	{
	"epoch": 1.5568,
	"grad_norm": 2.0149070325575544,
	"learning_rate": 8.067835624231488e-06,
	"loss": 0.2591118812561035,
	"step": 1460
	},
	{
	"epoch": 1.5674666666666668,
	"grad_norm": 2.1532244460329966,
	"learning_rate": 8.040495861861342e-06,
	"loss": 0.25819978713989256,
	"step": 1470
	},
	{
	"epoch": 1.5781333333333334,
	"grad_norm": 2.167458483789604,
	"learning_rate": 8.013011085280769e-06,
	"loss": 0.26111855506896975,
	"step": 1480
	},
	{
	"epoch": 1.5888,
	"grad_norm": 2.3369281583312267,
	"learning_rate": 7.985382605355945e-06,
	"loss": 0.25337657928466795,
	"step": 1490
	},
	{
	"epoch": 1.5994666666666668,
	"grad_norm": 2.146446091115663,
	"learning_rate": 7.957611739806869e-06,
	"loss": 0.2608675718307495,
	"step": 1500
	},
	{
	"epoch": 1.6101333333333332,
	"grad_norm": 2.449035710299386,
	"learning_rate": 7.929699813144515e-06,
	"loss": 0.2538380861282349,
	"step": 1510
	},
	{
	"epoch": 1.6208,
	"grad_norm": 2.022668293735054,
	"learning_rate": 7.901648156607666e-06,
	"loss": 0.2559537410736084,
	"step": 1520
	},
	{
	"epoch": 1.6314666666666666,
	"grad_norm": 2.311749346530575,
	"learning_rate": 7.873458108099414e-06,
	"loss": 0.2684500217437744,
	"step": 1530
	},
	{
	"epoch": 1.6421333333333332,
	"grad_norm": 2.3505705501308496,
	"learning_rate": 7.845131012123364e-06,
	"loss": 0.2538013458251953,
	"step": 1540
	},
	{
	"epoch": 1.6528,
	"grad_norm": 2.2321743353517567,
	"learning_rate": 7.816668219719483e-06,
	"loss": 0.2512939691543579,
	"step": 1550
	},
	{
	"epoch": 1.6634666666666666,
	"grad_norm": 2.328319256336755,
	"learning_rate": 7.788071088399696e-06,
	"loss": 0.2541865348815918,
	"step": 1560
	},
	{
	"epoch": 1.6741333333333333,
	"grad_norm": 2.10587226339982,
	"learning_rate": 7.75934098208311e-06,
	"loss": 0.2653418302536011,
	"step": 1570
	},
	{
	"epoch": 1.6848,
	"grad_norm": 2.090592027992588,
	"learning_rate": 7.730479271030986e-06,
	"loss": 0.24748015403747559,
	"step": 1580
	},
	{
	"epoch": 1.6954666666666667,
	"grad_norm": 2.3497226188039275,
	"learning_rate": 7.701487331781372e-06,
	"loss": 0.2669647693634033,
	"step": 1590
	},
	{
	"epoch": 1.7061333333333333,
	"grad_norm": 2.276620579505611,
	"learning_rate": 7.672366547083454e-06,
	"loss": 0.25644373893737793,
	"step": 1600
	},
	{
	"epoch": 1.7168,
	"grad_norm": 2.1222637285476162,
	"learning_rate": 7.643118305831605e-06,
	"loss": 0.2490679979324341,
	"step": 1610
	},
	{
	"epoch": 1.7274666666666667,
	"grad_norm": 2.229863229946843,
	"learning_rate": 7.6137440029991505e-06,
	"loss": 0.24733123779296876,
	"step": 1620
	},
	{
	"epoch": 1.7381333333333333,
	"grad_norm": 2.2249450908491193,
	"learning_rate": 7.584245039571822e-06,
	"loss": 0.25619537830352784,
	"step": 1630
	},
	{
	"epoch": 1.7488000000000001,
	"grad_norm": 2.2102876649687326,
	"learning_rate": 7.554622822480953e-06,
	"loss": 0.2534807205200195,
	"step": 1640
	},
	{
	"epoch": 1.7594666666666665,
	"grad_norm": 2.2712866626459154,
	"learning_rate": 7.524878764536368e-06,
	"loss": 0.2548924446105957,
	"step": 1650
	},
	{
	"epoch": 1.7701333333333333,
	"grad_norm": 2.22733165752973,
	"learning_rate": 7.495014284358999e-06,
	"loss": 0.24510478973388672,
	"step": 1660
	},
	{
	"epoch": 1.7808000000000002,
	"grad_norm": 2.099299914243324,
	"learning_rate": 7.465030806313227e-06,
	"loss": 0.2522265434265137,
	"step": 1670
	},
	{
	"epoch": 1.7914666666666665,
	"grad_norm": 2.197727121468574,
	"learning_rate": 7.4349297604389555e-06,
	"loss": 0.26017649173736573,
	"step": 1680
	},
	{
	"epoch": 1.8021333333333334,
	"grad_norm": 2.2740805256970096,
	"learning_rate": 7.40471258238339e-06,
	"loss": 0.2631208896636963,
	"step": 1690
	},
	{
	"epoch": 1.8128,
	"grad_norm": 2.235596970175843,
	"learning_rate": 7.374380713332581e-06,
	"loss": 0.2545802354812622,
	"step": 1700
	},
	{
	"epoch": 1.8234666666666666,
	"grad_norm": 2.1858944714517463,
	"learning_rate": 7.343935599942681e-06,
	"loss": 0.25033328533172605,
	"step": 1710
	},
	{
	"epoch": 1.8341333333333334,
	"grad_norm": 2.2088385931044066,
	"learning_rate": 7.313378694270943e-06,
	"loss": 0.2528871536254883,
	"step": 1720
	},
	{
	"epoch": 1.8448,
	"grad_norm": 2.162468266561391,
	"learning_rate": 7.282711453706477e-06,
	"loss": 0.25245530605316163,
	"step": 1730
	},
	{
	"epoch": 1.8554666666666666,
	"grad_norm": 2.2054248406128294,
	"learning_rate": 7.251935340900731e-06,
	"loss": 0.2531111240386963,
	"step": 1740
	},
	{
	"epoch": 1.8661333333333334,
	"grad_norm": 2.674099478078809,
	"learning_rate": 7.221051823697734e-06,
	"loss": 0.25325212478637693,
	"step": 1750
	},
	{
	"epoch": 1.8768,
	"grad_norm": 2.2247776209641494,
	"learning_rate": 7.190062375064089e-06,
	"loss": 0.24999377727508545,
	"step": 1760
	},
	{
	"epoch": 1.8874666666666666,
	"grad_norm": 2.200346202814715,
	"learning_rate": 7.15896847301872e-06,
	"loss": 0.25710105895996094,
	"step": 1770
	},
	{
	"epoch": 1.8981333333333335,
	"grad_norm": 2.6602196093964783,
	"learning_rate": 7.127771600562385e-06,
	"loss": 0.24712116718292237,
	"step": 1780
	},
	{
	"epoch": 1.9088,
	"grad_norm": 2.0979266321264083,
	"learning_rate": 7.0964732456069304e-06,
	"loss": 0.2447052478790283,
	"step": 1790
	},
	{
	"epoch": 1.9194666666666667,
	"grad_norm": 2.0469909236188264,
	"learning_rate": 7.065074900904344e-06,
	"loss": 0.2608736515045166,
	"step": 1800
	},
	{
	"epoch": 1.9301333333333335,
	"grad_norm": 2.1567998095922456,
	"learning_rate": 7.033578063975546e-06,
	"loss": 0.2497999668121338,
	"step": 1810
	},
	{
	"epoch": 1.9407999999999999,
	"grad_norm": 2.10629682011714,
	"learning_rate": 7.0019842370389715e-06,
	"loss": 0.24511592388153075,
	"step": 1820
	},
	{
	"epoch": 1.9514666666666667,
	"grad_norm": 2.285009344275457,
	"learning_rate": 6.9702949269389254e-06,
	"loss": 0.2560229778289795,
	"step": 1830
	},
	{
	"epoch": 1.9621333333333333,
	"grad_norm": 2.1580134702270755,
	"learning_rate": 6.938511645073709e-06,
	"loss": 0.24839389324188232,
	"step": 1840
	},
	{
	"epoch": 1.9727999999999999,
	"grad_norm": 2.059285536180603,
	"learning_rate": 6.906635907323538e-06,
	"loss": 0.24895498752593995,
	"step": 1850
	},
	{
	"epoch": 1.9834666666666667,
	"grad_norm": 2.105134983270051,
	"learning_rate": 6.874669233978245e-06,
	"loss": 0.24931104183197023,
	"step": 1860
	},
	{
	"epoch": 1.9941333333333333,
	"grad_norm": 2.1881330324208808,
	"learning_rate": 6.842613149664766e-06,
	"loss": 0.2481091022491455,
	"step": 1870
	},
	{
	"epoch": 2.0042666666666666,
	"grad_norm": 1.5783706945874558,
	"learning_rate": 6.810469183274431e-06,
	"loss": 0.18864092826843262,
	"step": 1880
	},
	{
	"epoch": 2.0149333333333335,
	"grad_norm": 2.9004448396510263,
	"learning_rate": 6.778238867890037e-06,
	"loss": 0.10154182910919189,
	"step": 1890
	},
	{
	"epoch": 2.0256,
	"grad_norm": 1.6795342366911772,
	"learning_rate": 6.745923740712735e-06,
	"loss": 0.10032871961593628,
	"step": 1900
	},
	{
	"epoch": 2.0362666666666667,
	"grad_norm": 1.9329310571356797,
	"learning_rate": 6.713525342988714e-06,
	"loss": 0.10030882358551026,
	"step": 1910
	},
	{
	"epoch": 2.0469333333333335,
	"grad_norm": 1.726962172773418,
	"learning_rate": 6.681045219935684e-06,
	"loss": 0.10112265348434449,
	"step": 1920
	},
	{
	"epoch": 2.0576,
	"grad_norm": 2.19395148573247,
	"learning_rate": 6.648484920669191e-06,
	"loss": 0.09544152021408081,
	"step": 1930
	},
	{
	"epoch": 2.0682666666666667,
	"grad_norm": 1.8315927879577478,
	"learning_rate": 6.615845998128724e-06,
	"loss": 0.09482147693634033,
	"step": 1940
	},
	{
	"epoch": 2.0789333333333335,
	"grad_norm": 1.8744637047628032,
	"learning_rate": 6.583130009003649e-06,
	"loss": 0.10221813917160034,
	"step": 1950
	},
	{
	"epoch": 2.0896,
	"grad_norm": 1.8974711546689556,
	"learning_rate": 6.550338513658968e-06,
	"loss": 0.10497858524322509,
	"step": 1960
	},
	{
	"epoch": 2.1002666666666667,
	"grad_norm": 1.9790354009689832,
	"learning_rate": 6.517473076060898e-06,
	"loss": 0.09149372577667236,
	"step": 1970
	},
	{
	"epoch": 2.1109333333333336,
	"grad_norm": 1.894908500174148,
	"learning_rate": 6.484535263702275e-06,
	"loss": 0.10172038078308106,
	"step": 1980
	},
	{
	"epoch": 2.1216,
	"grad_norm": 2.2665841575960073,
	"learning_rate": 6.451526647527798e-06,
	"loss": 0.10121197700500488,
	"step": 1990
	},
	{
	"epoch": 2.1322666666666668,
	"grad_norm": 1.768879626090275,
	"learning_rate": 6.418448801859096e-06,
	"loss": 0.09814150333404541,
	"step": 2000
	},
	{
	"epoch": 2.142933333333333,
	"grad_norm": 2.058592428067205,
	"learning_rate": 6.385303304319659e-06,
	"loss": 0.1006690263748169,
	"step": 2010
	},
	{
	"epoch": 2.1536,
	"grad_norm": 1.9039407958844294,
	"learning_rate": 6.35209173575957e-06,
	"loss": 0.09862512350082397,
	"step": 2020
	},
	{
	"epoch": 2.164266666666667,
	"grad_norm": 2.0803060535473734,
	"learning_rate": 6.318815680180129e-06,
	"loss": 0.10411169528961181,
	"step": 2030
	},
	{
	"epoch": 2.174933333333333,
	"grad_norm": 1.9708582846150247,
	"learning_rate": 6.285476724658297e-06,
	"loss": 0.10347898006439209,
	"step": 2040
	},
	{
	"epoch": 2.1856,
	"grad_norm": 1.8370840636616792,
	"learning_rate": 6.2520764592709956e-06,
	"loss": 0.09948109388351441,
	"step": 2050
	},
	{
	"epoch": 2.196266666666667,
	"grad_norm": 1.640054618161871,
	"learning_rate": 6.218616477019284e-06,
	"loss": 0.0979497492313385,
	"step": 2060
	},
	{
	"epoch": 2.206933333333333,
	"grad_norm": 1.6881316459290197,
	"learning_rate": 6.185098373752363e-06,
	"loss": 0.10246912240982056,
	"step": 2070
	},
	{
	"epoch": 2.2176,
	"grad_norm": 1.9510315197893235,
	"learning_rate": 6.151523748091479e-06,
	"loss": 0.10057874917984008,
	"step": 2080
	},
	{
	"epoch": 2.228266666666667,
	"grad_norm": 1.9398971555166822,
	"learning_rate": 6.117894201353674e-06,
	"loss": 0.10012391805648804,
	"step": 2090
	},
	{
	"epoch": 2.238933333333333,
	"grad_norm": 1.8491628142556729,
	"learning_rate": 6.084211337475405e-06,
	"loss": 0.09954671263694763,
	"step": 2100
	},
	{
	"epoch": 2.2496,
	"grad_norm": 2.0075354498721047,
	"learning_rate": 6.050476762936053e-06,
	"loss": 0.0973480224609375,
	"step": 2110
	},
	{
	"epoch": 2.2602666666666664,
	"grad_norm": 1.7917192965836677,
	"learning_rate": 6.0166920866813e-06,
	"loss": 0.10263603925704956,
	"step": 2120
	},
	{
	"epoch": 2.2709333333333332,
	"grad_norm": 1.8935450438651906,
	"learning_rate": 5.982858920046394e-06,
	"loss": 0.09901990294456482,
	"step": 2130
	},
	{
	"epoch": 2.2816,
	"grad_norm": 2.0543971506196206,
	"learning_rate": 5.948978876679295e-06,
	"loss": 0.10400991439819336,
	"step": 2140
	},
	{
	"epoch": 2.2922666666666665,
	"grad_norm": 2.0213371478262614,
	"learning_rate": 5.915053572463717e-06,
	"loss": 0.10139213800430298,
	"step": 2150
	},
	{
	"epoch": 2.3029333333333333,
	"grad_norm": 2.0436907552817596,
	"learning_rate": 5.881084625442052e-06,
	"loss": 0.10120956897735596,
	"step": 2160
	},
	{
	"epoch": 2.3136,
	"grad_norm": 1.883843494873419,
	"learning_rate": 5.847073655738205e-06,
	"loss": 0.10240135192871094,
	"step": 2170
	},
	{
	"epoch": 2.3242666666666665,
	"grad_norm": 2.1387772363150637,
	"learning_rate": 5.813022285480324e-06,
	"loss": 0.10209167003631592,
	"step": 2180
	},
	{
	"epoch": 2.3349333333333333,
	"grad_norm": 1.8288371384114255,
	"learning_rate": 5.778932138723431e-06,
	"loss": 0.10337722301483154,
	"step": 2190
	},
	{
	"epoch": 2.3456,
	"grad_norm": 1.9616988710216918,
	"learning_rate": 5.744804841371962e-06,
	"loss": 0.09913747310638428,
	"step": 2200
	},
	{
	"epoch": 2.3562666666666665,
	"grad_norm": 2.0214450312236307,
	"learning_rate": 5.710642021102227e-06,
	"loss": 0.10080082416534424,
	"step": 2210
	},
	{
	"epoch": 2.3669333333333333,
	"grad_norm": 2.1707140914951863,
	"learning_rate": 5.676445307284772e-06,
	"loss": 0.09780606031417846,
	"step": 2220
	},
	{
	"epoch": 2.3776,
	"grad_norm": 1.961318557748666,
	"learning_rate": 5.642216330906674e-06,
	"loss": 0.09840291738510132,
	"step": 2230
	},
	{
	"epoch": 2.3882666666666665,
	"grad_norm": 2.0838757882674783,
	"learning_rate": 5.607956724493745e-06,
	"loss": 0.10183876752853394,
	"step": 2240
	},
	{
	"epoch": 2.3989333333333334,
	"grad_norm": 1.8031482033751283,
	"learning_rate": 5.57366812203268e-06,
	"loss": 0.09854789972305297,
	"step": 2250
	},
	{
	"epoch": 2.4096,
	"grad_norm": 1.9604003203530975,
	"learning_rate": 5.539352158893111e-06,
	"loss": 0.10192519426345825,
	"step": 2260
	},
	{
	"epoch": 2.4202666666666666,
	"grad_norm": 2.083609819574388,
	"learning_rate": 5.505010471749627e-06,
	"loss": 0.10088899135589599,
	"step": 2270
	},
	{
	"epoch": 2.4309333333333334,
	"grad_norm": 1.9688524690663614,
	"learning_rate": 5.470644698503693e-06,
	"loss": 0.0918262243270874,
	"step": 2280
	},
	{
	"epoch": 2.4416,
	"grad_norm": 1.9653339553773426,
	"learning_rate": 5.436256478205555e-06,
	"loss": 0.1046396017074585,
	"step": 2290
	},
	{
	"epoch": 2.4522666666666666,
	"grad_norm": 1.909395739225723,
	"learning_rate": 5.4018474509760476e-06,
	"loss": 0.09628480672836304,
	"step": 2300
	},
	{
	"epoch": 2.4629333333333334,
	"grad_norm": 1.8559870823725173,
	"learning_rate": 5.367419257928375e-06,
	"loss": 0.10115530490875244,
	"step": 2310
	},
	{
	"epoch": 2.4736000000000002,
	"grad_norm": 1.9796666007827959,
	"learning_rate": 5.332973541089847e-06,
	"loss": 0.09821512699127197,
	"step": 2320
	},
	{
	"epoch": 2.4842666666666666,
	"grad_norm": 1.9798904656653922,
	"learning_rate": 5.298511943323553e-06,
	"loss": 0.10272727012634278,
	"step": 2330
	},
	{
	"epoch": 2.4949333333333334,
	"grad_norm": 1.8687106704021803,
	"learning_rate": 5.2640361082500145e-06,
	"loss": 0.09921187162399292,
	"step": 2340
	},
	{
	"epoch": 2.5056000000000003,
	"grad_norm": 2.2024660013982387,
	"learning_rate": 5.229547680168791e-06,
	"loss": 0.09888879656791687,
	"step": 2350
	},
	{
	"epoch": 2.5162666666666667,
	"grad_norm": 2.0122111371782117,
	"learning_rate": 5.195048303980048e-06,
	"loss": 0.09742321968078613,
	"step": 2360
	},
	{
	"epoch": 2.5269333333333335,
	"grad_norm": 2.0298767799906616,
	"learning_rate": 5.160539625106128e-06,
	"loss": 0.09720826148986816,
	"step": 2370
	},
	{
	"epoch": 2.5376,
	"grad_norm": 1.9524020301639395,
	"learning_rate": 5.126023289413044e-06,
	"loss": 0.09672709703445434,
	"step": 2380
	},
	{
	"epoch": 2.5482666666666667,
	"grad_norm": 2.078179133910102,
	"learning_rate": 5.091500943132004e-06,
	"loss": 0.09959486722946168,
	"step": 2390
	},
	{
	"epoch": 2.558933333333333,
	"grad_norm": 1.9256584796650082,
	"learning_rate": 5.056974232780884e-06,
	"loss": 0.09749954342842101,
	"step": 2400
	},
	{
	"epoch": 2.5696,
	"grad_norm": 2.074363572539109,
	"learning_rate": 5.022444805085698e-06,
	"loss": 0.10018951892852783,
	"step": 2410
	},
	{
	"epoch": 2.5802666666666667,
	"grad_norm": 1.8497125777568781,
	"learning_rate": 4.98791430690207e-06,
	"loss": 0.09448161721229553,
	"step": 2420
	},
	{
	"epoch": 2.590933333333333,
	"grad_norm": 2.022384160730883,
	"learning_rate": 4.95338438513667e-06,
	"loss": 0.09817034602165223,
	"step": 2430
	},
	{
	"epoch": 2.6016,
	"grad_norm": 1.955887542052575,
	"learning_rate": 4.918856686668682e-06,
	"loss": 0.09539850950241088,
	"step": 2440
	},
	{
	"epoch": 2.6122666666666667,
	"grad_norm": 2.167010507669025,
	"learning_rate": 4.884332858271253e-06,
	"loss": 0.0984455943107605,
	"step": 2450
	},
	{
	"epoch": 2.622933333333333,
	"grad_norm": 1.811696194703895,
	"learning_rate": 4.8498145465329436e-06,
	"loss": 0.09300415515899658,
	"step": 2460
	},
	{
	"epoch": 2.6336,
	"grad_norm": 2.25169055763056,
	"learning_rate": 4.8153033977792074e-06,
	"loss": 0.09922612905502319,
	"step": 2470
	},
	{
	"epoch": 2.6442666666666668,
	"grad_norm": 1.6564277686469717,
	"learning_rate": 4.780801057993862e-06,
	"loss": 0.09962954521179199,
	"step": 2480
	},
	{
	"epoch": 2.654933333333333,
	"grad_norm": 1.9537961390119003,
	"learning_rate": 4.746309172740587e-06,
	"loss": 0.09291327595710755,
	"step": 2490
	},
	{
	"epoch": 2.6656,
	"grad_norm": 1.8433803672444267,
	"learning_rate": 4.711829387084445e-06,
	"loss": 0.10018911361694335,
	"step": 2500
	},
	{
	"epoch": 2.676266666666667,
	"grad_norm": 1.9859566301616012,
	"learning_rate": 4.67736334551341e-06,
	"loss": 0.10195373296737671,
	"step": 2510
	},
	{
	"epoch": 2.686933333333333,
	"grad_norm": 1.75763142587777,
	"learning_rate": 4.64291269185995e-06,
	"loss": 0.09860211610794067,
	"step": 2520
	},
	{
	"epoch": 2.6976,
	"grad_norm": 2.3313609168568674,
	"learning_rate": 4.6084790692226115e-06,
	"loss": 0.0940359115600586,
	"step": 2530
	},
	{
	"epoch": 2.708266666666667,
	"grad_norm": 1.8058162993800844,
	"learning_rate": 4.57406411988766e-06,
	"loss": 0.09786962270736695,
	"step": 2540
	},
	{
	"epoch": 2.718933333333333,
	"grad_norm": 1.7820901375224036,
	"learning_rate": 4.539669485250759e-06,
	"loss": 0.09959015846252442,
	"step": 2550
	},
	{
	"epoch": 2.7296,
	"grad_norm": 2.12267244765541,
	"learning_rate": 4.5052968057386644e-06,
	"loss": 0.09490803480148316,
	"step": 2560
	},
	{
	"epoch": 2.740266666666667,
	"grad_norm": 2.063349465712137,
	"learning_rate": 4.470947720731011e-06,
	"loss": 0.09844399094581605,
	"step": 2570
	},
	{
	"epoch": 2.7509333333333332,
	"grad_norm": 2.0701288138676097,
	"learning_rate": 4.436623868482103e-06,
	"loss": 0.09281681180000305,
	"step": 2580
	},
	{
	"epoch": 2.7616,
	"grad_norm": 1.9107935853503852,
	"learning_rate": 4.402326886042792e-06,
	"loss": 0.0941335380077362,
	"step": 2590
	},
	{
	"epoch": 2.772266666666667,
	"grad_norm": 1.970720208908214,
	"learning_rate": 4.368058409182387e-06,
	"loss": 0.09814136028289795,
	"step": 2600
	},
	{
	"epoch": 2.7829333333333333,
	"grad_norm": 2.042008595444204,
	"learning_rate": 4.3338200723106534e-06,
	"loss": 0.09451539516448974,
	"step": 2610
	},
	{
	"epoch": 2.7936,
	"grad_norm": 1.9303476253093255,
	"learning_rate": 4.299613508399844e-06,
	"loss": 0.10201413631439209,
	"step": 2620
	},
	{
	"epoch": 2.804266666666667,
	"grad_norm": 2.107623995282579,
	"learning_rate": 4.265440348906829e-06,
	"loss": 0.09718748331069946,
	"step": 2630
	},
	{
	"epoch": 2.8149333333333333,
	"grad_norm": 1.8998522830910374,
	"learning_rate": 4.231302223695281e-06,
	"loss": 0.09019021391868591,
	"step": 2640
	},
	{
	"epoch": 2.8256,
	"grad_norm": 2.005356131895222,
	"learning_rate": 4.197200760957928e-06,
	"loss": 0.09156332612037658,
	"step": 2650
	},
	{
	"epoch": 2.836266666666667,
	"grad_norm": 1.9428391618711587,
	"learning_rate": 4.163137587138919e-06,
	"loss": 0.09814471006393433,
	"step": 2660
	},
	{
	"epoch": 2.8469333333333333,
	"grad_norm": 1.972662055547901,
	"learning_rate": 4.1291143268562365e-06,
	"loss": 0.09959973096847534,
	"step": 2670
	},
	{
	"epoch": 2.8576,
	"grad_norm": 2.1521480462378175,
	"learning_rate": 4.0951326028242176e-06,
	"loss": 0.10096540451049804,
	"step": 2680
	},
	{
	"epoch": 2.8682666666666665,
	"grad_norm": 2.105507273834272,
	"learning_rate": 4.061194035776161e-06,
	"loss": 0.09429124593734742,
	"step": 2690
	},
	{
	"epoch": 2.8789333333333333,
	"grad_norm": 1.7307314170856776,
	"learning_rate": 4.027300244387017e-06,
	"loss": 0.09708666205406188,
	"step": 2700
	},
	{
	"epoch": 2.8895999999999997,
	"grad_norm": 1.8092282148273993,
	"learning_rate": 3.993452845196202e-06,
	"loss": 0.09911662936210633,
	"step": 2710
	},
	{
	"epoch": 2.9002666666666665,
	"grad_norm": 1.9719388177825623,
	"learning_rate": 3.959653452530486e-06,
	"loss": 0.09605438709259033,
	"step": 2720
	},
	{
	"epoch": 2.9109333333333334,
	"grad_norm": 1.888042887616539,
	"learning_rate": 3.925903678427006e-06,
	"loss": 0.09272689819335937,
	"step": 2730
	},
	{
	"epoch": 2.9215999999999998,
	"grad_norm": 2.0303099699113645,
	"learning_rate": 3.892205132556378e-06,
	"loss": 0.09269593954086304,
	"step": 2740
	},
	{
	"epoch": 2.9322666666666666,
	"grad_norm": 2.0796110942232473,
	"learning_rate": 3.858559422145922e-06,
	"loss": 0.09961652159690856,
	"step": 2750
	},
	{
	"epoch": 2.9429333333333334,
	"grad_norm": 2.138265467286245,
	"learning_rate": 3.824968151903012e-06,
	"loss": 0.09340198040008545,
	"step": 2760
	},
	{
	"epoch": 2.9536,
	"grad_norm": 1.8725865318645603,
	"learning_rate": 3.791432923938536e-06,
	"loss": 0.09970090985298156,
	"step": 2770
	},
	{
	"epoch": 2.9642666666666666,
	"grad_norm": 1.8274210063277447,
	"learning_rate": 3.7579553376904953e-06,
	"loss": 0.0867525577545166,
	"step": 2780
	},
	{
	"epoch": 2.9749333333333334,
	"grad_norm": 2.09470667115076,
	"learning_rate": 3.7245369898476986e-06,
	"loss": 0.09662968516349793,
	"step": 2790
	},
	{
	"epoch": 2.9856,
	"grad_norm": 1.9570303942363152,
	"learning_rate": 3.691179474273633e-06,
	"loss": 0.0920698881149292,
	"step": 2800
	},
	{
	"epoch": 2.9962666666666666,
	"grad_norm": 2.0844843109643434,
	"learning_rate": 3.6578843819304307e-06,
	"loss": 0.09618452191352844,
	"step": 2810
	},
	{
	"epoch": 3.0064,
	"grad_norm": 1.2248553202403292,
	"learning_rate": 3.6246533008029955e-06,
	"loss": 0.05844985842704773,
	"step": 2820
	},
	{
	"epoch": 3.0170666666666666,
	"grad_norm": 1.3117509342092362,
	"learning_rate": 3.5914878158232637e-06,
	"loss": 0.03125327229499817,
	"step": 2830
	},
	{
	"epoch": 3.0277333333333334,
	"grad_norm": 1.2541477478130698,
	"learning_rate": 3.5583895087946085e-06,
	"loss": 0.03088976740837097,
	"step": 2840
	},
	{
	"epoch": 3.0384,
	"grad_norm": 1.4783155182677206,
	"learning_rate": 3.5253599583164045e-06,
	"loss": 0.03218575119972229,
	"step": 2850
	},
	{
	"epoch": 3.0490666666666666,
	"grad_norm": 1.410616081942949,
	"learning_rate": 3.4924007397087307e-06,
	"loss": 0.03183246254920959,
	"step": 2860
	},
	{
	"epoch": 3.0597333333333334,
	"grad_norm": 1.3407138045530895,
	"learning_rate": 3.4595134249372403e-06,
	"loss": 0.03236164450645447,
	"step": 2870
	},
	{
	"epoch": 3.0704,
	"grad_norm": 1.4922670778693017,
	"learning_rate": 3.4266995825381866e-06,
	"loss": 0.03172968626022339,
	"step": 2880
	},
	{
	"epoch": 3.0810666666666666,
	"grad_norm": 1.089311705453074,
	"learning_rate": 3.393960777543609e-06,
	"loss": 0.03145281076431274,
	"step": 2890
	},
	{
	"epoch": 3.0917333333333334,
	"grad_norm": 1.863084518775676,
	"learning_rate": 3.361298571406696e-06,
	"loss": 0.03028348684310913,
	"step": 2900
	},
	{
	"epoch": 3.1024,
	"grad_norm": 1.504776673565454,
	"learning_rate": 3.3287145219273105e-06,
	"loss": 0.03216228187084198,
	"step": 2910
	},
	{
	"epoch": 3.1130666666666666,
	"grad_norm": 1.5383377637699456,
	"learning_rate": 3.29621018317769e-06,
	"loss": 0.03290489017963409,
	"step": 2920
	},
	{
	"epoch": 3.1237333333333335,
	"grad_norm": 1.3406022017900636,
	"learning_rate": 3.2637871054283286e-06,
	"loss": 0.03340823650360107,
	"step": 2930
	},
	{
	"epoch": 3.1344,
	"grad_norm": 1.7618488305193376,
	"learning_rate": 3.2314468350740335e-06,
	"loss": 0.03163597881793976,
	"step": 2940
	},
	{
	"epoch": 3.1450666666666667,
	"grad_norm": 1.2231500009791385,
	"learning_rate": 3.1991909145601773e-06,
	"loss": 0.030942180752754213,
	"step": 2950
	},
	{
	"epoch": 3.1557333333333335,
	"grad_norm": 1.381590807143987,
	"learning_rate": 3.16702088230913e-06,
	"loss": 0.031212764978408813,
	"step": 2960
	},
	{
	"epoch": 3.1664,
	"grad_norm": 1.4635626048241384,
	"learning_rate": 3.1349382726468814e-06,
	"loss": 0.030759692192077637,
	"step": 2970
	},
	{
	"epoch": 3.1770666666666667,
	"grad_norm": 1.1904503288581716,
	"learning_rate": 3.1029446157298664e-06,
	"loss": 0.029855865240097045,
	"step": 2980
	},
	{
	"epoch": 3.1877333333333335,
	"grad_norm": 1.442413173144517,
	"learning_rate": 3.0710414374719843e-06,
	"loss": 0.03403459787368775,
	"step": 2990
	},
	{
	"epoch": 3.1984,
	"grad_norm": 1.2063007408827604,
	"learning_rate": 3.0392302594718205e-06,
	"loss": 0.030837768316268922,
	"step": 3000
	},
	{
	"epoch": 3.2090666666666667,
	"grad_norm": 1.2400983070121072,
	"learning_rate": 3.0075125989400776e-06,
	"loss": 0.030533117055892945,
	"step": 3010
	},
	{
	"epoch": 3.219733333333333,
	"grad_norm": 1.4683728085091932,
	"learning_rate": 2.9758899686272137e-06,
	"loss": 0.031501787900924685,
	"step": 3020
	},
	{
	"epoch": 3.2304,
	"grad_norm": 1.7439569327255713,
	"learning_rate": 2.944363876751282e-06,
	"loss": 0.031234163045883178,
	"step": 3030
	},
	{
	"epoch": 3.2410666666666668,
	"grad_norm": 1.4513987396797274,
	"learning_rate": 2.9129358269260148e-06,
	"loss": 0.030271893739700316,
	"step": 3040
	},
	{
	"epoch": 3.251733333333333,
	"grad_norm": 1.9006492513218392,
	"learning_rate": 2.8816073180890974e-06,
	"loss": 0.03289459049701691,
	"step": 3050
	},
	{
	"epoch": 3.2624,
	"grad_norm": 1.2398275136363996,
	"learning_rate": 2.850379844430681e-06,
	"loss": 0.03234478235244751,
	"step": 3060
	},
	{
	"epoch": 3.273066666666667,
	"grad_norm": 1.3057944682761942,
	"learning_rate": 2.8192548953221192e-06,
	"loss": 0.029951435327529908,
	"step": 3070
	},
	{
	"epoch": 3.283733333333333,
	"grad_norm": 1.3807953393263241,
	"learning_rate": 2.788233955244932e-06,
	"loss": 0.030255016684532166,
	"step": 3080
	},
	{
	"epoch": 3.2944,
	"grad_norm": 1.4698208136161888,
	"learning_rate": 2.7573185037200057e-06,
	"loss": 0.03273155689239502,
	"step": 3090
	},
	{
	"epoch": 3.305066666666667,
	"grad_norm": 1.5654677604783303,
	"learning_rate": 2.726510015237027e-06,
	"loss": 0.03322001695632935,
	"step": 3100
	},
	{
	"epoch": 3.315733333333333,
	"grad_norm": 1.9429018932156248,
	"learning_rate": 2.6958099591841614e-06,
	"loss": 0.03184656500816345,
	"step": 3110
	},
	{
	"epoch": 3.3264,
	"grad_norm": 1.3367650237540476,
	"learning_rate": 2.665219799777966e-06,
	"loss": 0.028584790229797364,
	"step": 3120
	},
	{
	"epoch": 3.337066666666667,
	"grad_norm": 1.2701812038609888,
	"learning_rate": 2.634740995993562e-06,
	"loss": 0.03381553292274475,
	"step": 3130
	},
	{
	"epoch": 3.3477333333333332,
	"grad_norm": 1.287164230240089,
	"learning_rate": 2.604375001495043e-06,
	"loss": 0.030759528279304504,
	"step": 3140
	},
	{
	"epoch": 3.3584,
	"grad_norm": 1.4858753772324025,
	"learning_rate": 2.5741232645661485e-06,
	"loss": 0.03196645975112915,
	"step": 3150
	},
	{
	"epoch": 3.369066666666667,
	"grad_norm": 1.3835619896384015,
	"learning_rate": 2.543987228041187e-06,
	"loss": 0.03141043186187744,
	"step": 3160
	},
	{
	"epoch": 3.3797333333333333,
	"grad_norm": 1.5714612953460325,
	"learning_rate": 2.513968329236223e-06,
	"loss": 0.030025213956832886,
	"step": 3170
	},
	{
	"epoch": 3.3904,
	"grad_norm": 1.2803858681044822,
	"learning_rate": 2.48406799988052e-06,
	"loss": 0.027316182851791382,
	"step": 3180
	},
	{
	"epoch": 3.401066666666667,
	"grad_norm": 1.338285094735242,
	"learning_rate": 2.4542876660482634e-06,
	"loss": 0.03051474690437317,
	"step": 3190
	},
	{
	"epoch": 3.4117333333333333,
	"grad_norm": 1.582354190082937,
	"learning_rate": 2.4246287480905374e-06,
	"loss": 0.032800352573394774,
	"step": 3200
	},
	{
	"epoch": 3.4224,
	"grad_norm": 1.0860475615484195,
	"learning_rate": 2.3950926605675856e-06,
	"loss": 0.03172165751457214,
	"step": 3210
	},
	{
	"epoch": 3.4330666666666665,
	"grad_norm": 1.2998333967723454,
	"learning_rate": 2.3656808121813476e-06,
	"loss": 0.03087058663368225,
	"step": 3220
	},
	{
	"epoch": 3.4437333333333333,
	"grad_norm": 1.487368683578124,
	"learning_rate": 2.3363946057082644e-06,
	"loss": 0.03161293864250183,
	"step": 3230
	},
	{
	"epoch": 3.4544,
	"grad_norm": 1.2213002264586503,
	"learning_rate": 2.307235437932382e-06,
	"loss": 0.03232765197753906,
	"step": 3240
	},
	{
	"epoch": 3.4650666666666665,
	"grad_norm": 1.1892888668965673,
	"learning_rate": 2.278204699578728e-06,
	"loss": 0.031056544184684752,
	"step": 3250
	},
	{
	"epoch": 3.4757333333333333,
	"grad_norm": 1.246777364055162,
	"learning_rate": 2.2493037752469843e-06,
	"loss": 0.030368572473526,
	"step": 3260
	},
	{
	"epoch": 3.4864,
	"grad_norm": 1.2918657510537197,
	"learning_rate": 2.220534043345444e-06,
	"loss": 0.02966359257698059,
	"step": 3270
	},
	{
	"epoch": 3.4970666666666665,
	"grad_norm": 1.4713001682690523,
	"learning_rate": 2.191896876025281e-06,
	"loss": 0.027839669585227968,
	"step": 3280
	},
	{
	"epoch": 3.5077333333333334,
	"grad_norm": 1.836229436943731,
	"learning_rate": 2.1633936391150955e-06,
	"loss": 0.03171282410621643,
	"step": 3290
	},
	{
	"epoch": 3.5183999999999997,
	"grad_norm": 1.403793847655251,
	"learning_rate": 2.135025692055777e-06,
	"loss": 0.029556712508201598,
	"step": 3300
	},
	{
	"epoch": 3.5290666666666666,
	"grad_norm": 1.2886931384189084,
	"learning_rate": 2.1067943878356606e-06,
	"loss": 0.030299508571624757,
	"step": 3310
	},
	{
	"epoch": 3.5397333333333334,
	"grad_norm": 1.3157190865181432,
	"learning_rate": 2.078701072926004e-06,
	"loss": 0.030725467205047607,
	"step": 3320
	},
	{
	"epoch": 3.5504,
	"grad_norm": 1.4931607420119726,
	"learning_rate": 2.0507470872167735e-06,
	"loss": 0.03000906705856323,
	"step": 3330
	},
	{
	"epoch": 3.5610666666666666,
	"grad_norm": 1.5643173907212131,
	"learning_rate": 2.022933763952722e-06,
	"loss": 0.030154043436050416,
	"step": 3340
	},
	{
	"epoch": 3.5717333333333334,
	"grad_norm": 1.2586191677551652,
	"learning_rate": 1.9952624296698165e-06,
	"loss": 0.029313915967941286,
	"step": 3350
	},
	{
	"epoch": 3.5824,
	"grad_norm": 1.055980494699596,
	"learning_rate": 1.9677344041319598e-06,
	"loss": 0.0297273188829422,
	"step": 3360
	},
	{
	"epoch": 3.5930666666666666,
	"grad_norm": 1.4148983865760618,
	"learning_rate": 1.940351000268051e-06,
	"loss": 0.02883116602897644,
	"step": 3370
	},
	{
	"epoch": 3.6037333333333335,
	"grad_norm": 1.4687823009089147,
	"learning_rate": 1.913113524109371e-06,
	"loss": 0.03099917769432068,
	"step": 3380
	},
	{
	"epoch": 3.6144,
	"grad_norm": 1.356062536624517,
	"learning_rate": 1.8860232747272773e-06,
	"loss": 0.030835682153701784,
	"step": 3390
	},
	{
	"epoch": 3.6250666666666667,
	"grad_norm": 1.1887609439612317,
	"learning_rate": 1.8590815441712623e-06,
	"loss": 0.030415207147598267,
	"step": 3400
	},
	{
	"epoch": 3.6357333333333335,
	"grad_norm": 1.5064081763785204,
	"learning_rate": 1.8322896174073152e-06,
	"loss": 0.02936675548553467,
	"step": 3410
	},
	{
	"epoch": 3.6464,
	"grad_norm": 1.3307964078420331,
	"learning_rate": 1.8056487722566474e-06,
	"loss": 0.03032155930995941,
	"step": 3420
	},
	{
	"epoch": 3.6570666666666667,
	"grad_norm": 1.699504164548888,
	"learning_rate": 1.7791602793347473e-06,
	"loss": 0.030766186118125916,
	"step": 3430
	},
	{
	"epoch": 3.6677333333333335,
	"grad_norm": 1.2943635241852962,
	"learning_rate": 1.7528254019907703e-06,
	"loss": 0.033089765906333925,
	"step": 3440
	},
	{
	"epoch": 3.6784,
	"grad_norm": 1.445101876420567,
	"learning_rate": 1.7266453962472951e-06,
	"loss": 0.02782222330570221,
	"step": 3450
	},
	{
	"epoch": 3.6890666666666667,
	"grad_norm": 1.5413038390625615,
	"learning_rate": 1.7006215107404073e-06,
	"loss": 0.03135127127170563,
	"step": 3460
	},
	{
	"epoch": 3.6997333333333335,
	"grad_norm": 1.1927529565049009,
	"learning_rate": 1.6747549866601576e-06,
	"loss": 0.03062642514705658,
	"step": 3470
	},
	{
	"epoch": 3.7104,
	"grad_norm": 1.2300125436179223,
	"learning_rate": 1.6490470576913565e-06,
	"loss": 0.028832948207855223,
	"step": 3480
	},
	{
	"epoch": 3.7210666666666667,
	"grad_norm": 1.2095195974352535,
	"learning_rate": 1.6234989499547439e-06,
	"loss": 0.028284126520156862,
	"step": 3490
	},
	{
	"epoch": 3.7317333333333336,
	"grad_norm": 1.3612366975512402,
	"learning_rate": 1.5981118819484937e-06,
	"loss": 0.0322597473859787,
	"step": 3500
	},
	{
	"epoch": 3.7424,
	"grad_norm": 1.257168273357518,
	"learning_rate": 1.5728870644901162e-06,
	"loss": 0.028414607048034668,
	"step": 3510
	},
	{
	"epoch": 3.7530666666666668,
	"grad_norm": 1.129262358950392,
	"learning_rate": 1.5478257006586978e-06,
	"loss": 0.028611594438552858,
	"step": 3520
	},
	{
	"epoch": 3.7637333333333336,
	"grad_norm": 1.36186822095086,
	"learning_rate": 1.5229289857375252e-06,
	"loss": 0.03038409948348999,
	"step": 3530
	},
	{
	"epoch": 3.7744,
	"grad_norm": 1.3634458162460223,
	"learning_rate": 1.4981981071570805e-06,
	"loss": 0.028297340869903563,
	"step": 3540
	},
	{
	"epoch": 3.785066666666667,
	"grad_norm": 1.5737604476978813,
	"learning_rate": 1.4736342444383962e-06,
	"loss": 0.028841692209243774,
	"step": 3550
	},
	{
	"epoch": 3.795733333333333,
	"grad_norm": 1.6028000553747903,
	"learning_rate": 1.4492385691368116e-06,
	"loss": 0.027116188406944276,
	"step": 3560
	},
	{
	"epoch": 3.8064,
	"grad_norm": 1.4787476121405594,
	"learning_rate": 1.4250122447860903e-06,
	"loss": 0.027973264455795288,
	"step": 3570
	},
	{
	"epoch": 3.817066666666667,
	"grad_norm": 1.2102750319983393,
	"learning_rate": 1.4009564268429243e-06,
	"loss": 0.02880849838256836,
	"step": 3580
	},
	{
	"epoch": 3.827733333333333,
	"grad_norm": 1.1277859896264248,
	"learning_rate": 1.3770722626318344e-06,
	"loss": 0.027418041229248048,
	"step": 3590
	},
	{
	"epoch": 3.8384,
	"grad_norm": 1.266610245416368,
	"learning_rate": 1.3533608912904357e-06,
	"loss": 0.03003857731819153,
	"step": 3600
	},
	{
	"epoch": 3.8490666666666664,
	"grad_norm": 1.3347252817701625,
	"learning_rate": 1.3298234437151186e-06,
	"loss": 0.03000456690788269,
	"step": 3610
	},
	{
	"epoch": 3.8597333333333332,
	"grad_norm": 1.1609699488507563,
	"learning_rate": 1.3064610425071072e-06,
	"loss": 0.02627321481704712,
	"step": 3620
	},
	{
	"epoch": 3.8704,
	"grad_norm": 1.4616101346096295,
	"learning_rate": 1.2832748019189162e-06,
	"loss": 0.02866438627243042,
	"step": 3630
	},
	{
	"epoch": 3.8810666666666664,
	"grad_norm": 1.4650048497253887,
	"learning_rate": 1.2602658278012147e-06,
	"loss": 0.027807700634002685,
	"step": 3640
	},
	{
	"epoch": 3.8917333333333333,
	"grad_norm": 1.449742553995798,
	"learning_rate": 1.237435217550071e-06,
	"loss": 0.02682001292705536,
	"step": 3650
	},
	{
	"epoch": 3.9024,
	"grad_norm": 1.638656718437967,
	"learning_rate": 1.214784060054624e-06,
	"loss": 0.03143042623996735,
	"step": 3660
	},
	{
	"epoch": 3.9130666666666665,
	"grad_norm": 1.5726144246473241,
	"learning_rate": 1.1923134356451455e-06,
	"loss": 0.02976059019565582,
	"step": 3670
	},
	{
	"epoch": 3.9237333333333333,
	"grad_norm": 1.19842880705858,
	"learning_rate": 1.1700244160415136e-06,
	"loss": 0.029192063212394714,
	"step": 3680
	},
	{
	"epoch": 3.9344,
	"grad_norm": 1.1602158831221356,
	"learning_rate": 1.1479180643021004e-06,
	"loss": 0.026407629251480103,
	"step": 3690
	},
	{
	"epoch": 3.9450666666666665,
	"grad_norm": 1.1091376748827606,
	"learning_rate": 1.1259954347730678e-06,
	"loss": 0.02736140489578247,
	"step": 3700
	},
	{
	"epoch": 3.9557333333333333,
	"grad_norm": 1.3255652768392305,
	"learning_rate": 1.1042575730380823e-06,
	"loss": 0.026007983088493346,
	"step": 3710
	},
	{
	"epoch": 3.9664,
	"grad_norm": 1.1847245295044515,
	"learning_rate": 1.0827055158684464e-06,
	"loss": 0.030439490079879762,
	"step": 3720
	},
	{
	"epoch": 3.9770666666666665,
	"grad_norm": 1.5101042985061037,
	"learning_rate": 1.0613402911736515e-06,
	"loss": 0.026995635032653807,
	"step": 3730
	},
	{
	"epoch": 3.9877333333333334,
	"grad_norm": 1.461608567690092,
	"learning_rate": 1.040162917952351e-06,
	"loss": 0.02994377017021179,
	"step": 3740
	},
	{
	"epoch": 3.9984,
	"grad_norm": 1.1443847441164345,
	"learning_rate": 1.0191744062437609e-06,
	"loss": 0.027278882265090943,
	"step": 3750
	},
	{
	"epoch": 4.008533333333333,
	"grad_norm": 0.5473646653176306,
	"learning_rate": 9.98375757079486e-07,
	"loss": 0.013099673390388488,
	"step": 3760
	},
	{
	"epoch": 4.0192,
	"grad_norm": 0.37792616264968504,
	"learning_rate": 9.777679624357788e-07,
	"loss": 0.00807638019323349,
	"step": 3770
	},
	{
	"epoch": 4.029866666666667,
	"grad_norm": 0.5550380526534056,
	"learning_rate": 9.573520051862234e-07,
	"loss": 0.008183561265468597,
	"step": 3780
	},
	{
	"epoch": 4.040533333333333,
	"grad_norm": 0.49510165214927393,
	"learning_rate": 9.371288590548617e-07,
	"loss": 0.00711153894662857,
	"step": 3790
	},
	{
	"epoch": 4.0512,
	"grad_norm": 0.45988360524629573,
	"learning_rate": 9.170994885697526e-07,
	"loss": 0.007162685692310333,
	"step": 3800
	},
	{
	"epoch": 4.061866666666667,
	"grad_norm": 0.5191665600689549,
	"learning_rate": 8.972648490169661e-07,
	"loss": 0.006506110727787018,
	"step": 3810
	},
	{
	"epoch": 4.072533333333333,
	"grad_norm": 0.8437510335846564,
	"learning_rate": 8.77625886395026e-07,
	"loss": 0.006933420896530151,
	"step": 3820
	},
	{
	"epoch": 4.0832,
	"grad_norm": 0.7045343899780447,
	"learning_rate": 8.581835373697873e-07,
	"loss": 0.00696869045495987,
	"step": 3830
	},
	{
	"epoch": 4.093866666666667,
	"grad_norm": 0.6901511392869275,
	"learning_rate": 8.389387292297651e-07,
	"loss": 0.008399112522602082,
	"step": 3840
	},
	{
	"epoch": 4.104533333333333,
	"grad_norm": 0.601648813830814,
	"learning_rate": 8.198923798419078e-07,
	"loss": 0.007257913053035736,
	"step": 3850
	},
	{
	"epoch": 4.1152,
	"grad_norm": 0.6160547363466125,
	"learning_rate": 8.010453976078192e-07,
	"loss": 0.007288877665996551,
	"step": 3860
	},
	{
	"epoch": 4.125866666666667,
	"grad_norm": 0.7333061955577345,
	"learning_rate": 7.823986814204349e-07,
	"loss": 0.007841568440198898,
	"step": 3870
	},
	{
	"epoch": 4.136533333333333,
	"grad_norm": 0.61347259466072,
	"learning_rate": 7.639531206211437e-07,
	"loss": 0.007149855047464371,
	"step": 3880
	},
	{
	"epoch": 4.1472,
	"grad_norm": 0.8727544798989509,
	"learning_rate": 7.45709594957385e-07,
	"loss": 0.008679154515266418,
	"step": 3890
	},
	{
	"epoch": 4.157866666666667,
	"grad_norm": 0.7204291910789767,
	"learning_rate": 7.27668974540675e-07,
	"loss": 0.007436293363571167,
	"step": 3900
	},
	{
	"epoch": 4.168533333333333,
	"grad_norm": 0.8087324228899766,
	"learning_rate": 7.098321198051156e-07,
	"loss": 0.007056593149900437,
	"step": 3910
	},
	{
	"epoch": 4.1792,
	"grad_norm": 4.542876111407512,
	"learning_rate": 6.921998814663555e-07,
	"loss": 0.007320564985275268,
	"step": 3920
	},
	{
	"epoch": 4.189866666666667,
	"grad_norm": 0.6914671119024896,
	"learning_rate": 6.74773100481011e-07,
	"loss": 0.007425246387720108,
	"step": 3930
	},
	{
	"epoch": 4.2005333333333335,
	"grad_norm": 0.8994226205293719,
	"learning_rate": 6.575526080065647e-07,
	"loss": 0.007283467054367066,
	"step": 3940
	},
	{
	"epoch": 4.2112,
	"grad_norm": 0.905368380480916,
	"learning_rate": 6.405392253617221e-07,
	"loss": 0.006299850344657898,
	"step": 3950
	},
	{
	"epoch": 4.221866666666667,
	"grad_norm": 0.6746550997950007,
	"learning_rate": 6.237337639872348e-07,
	"loss": 0.006837435066699982,
	"step": 3960
	},
	{
	"epoch": 4.2325333333333335,
	"grad_norm": 0.8930103238302717,
	"learning_rate": 6.071370254072051e-07,
	"loss": 0.006357193738222122,
	"step": 3970
	},
	{
	"epoch": 4.2432,
	"grad_norm": 1.1815007598110534,
	"learning_rate": 5.907498011908519e-07,
	"loss": 0.007808418571949005,
	"step": 3980
	},
	{
	"epoch": 4.253866666666667,
	"grad_norm": 0.6026460876449306,
	"learning_rate": 5.745728729147626e-07,
	"loss": 0.0075499236583709715,
	"step": 3990
	},
	{
	"epoch": 4.2645333333333335,
	"grad_norm": 0.6820518504396401,
	"learning_rate": 5.586070121256171e-07,
	"loss": 0.006816685199737549,
	"step": 4000
	},
	{
	"epoch": 4.2752,
	"grad_norm": 0.5271136761228116,
	"learning_rate": 5.42852980303385e-07,
	"loss": 0.006800135970115662,
	"step": 4010
	},
	{
	"epoch": 4.285866666666666,
	"grad_norm": 0.6283338295668759,
	"learning_rate": 5.273115288250075e-07,
	"loss": 0.007621816545724869,
	"step": 4020
	},
	{
	"epoch": 4.2965333333333335,
	"grad_norm": 0.6499468143509504,
	"learning_rate": 5.11983398928565e-07,
	"loss": 0.0060694623738527295,
	"step": 4030
	},
	{
	"epoch": 4.3072,
	"grad_norm": 0.6924759667759217,
	"learning_rate": 4.968693216779214e-07,
	"loss": 0.008013986796140671,
	"step": 4040
	},
	{
	"epoch": 4.317866666666666,
	"grad_norm": 0.6828492090172651,
	"learning_rate": 4.819700179278597e-07,
	"loss": 0.007641710340976715,
	"step": 4050
	},
	{
	"epoch": 4.328533333333334,
	"grad_norm": 0.8623667471719734,
	"learning_rate": 4.6728619828969646e-07,
	"loss": 0.0071983873844146725,
	"step": 4060
	},
	{
	"epoch": 4.3392,
	"grad_norm": 0.5632182408007773,
	"learning_rate": 4.5281856309739135e-07,
	"loss": 0.006996572017669678,
	"step": 4070
	},
	{
	"epoch": 4.349866666666666,
	"grad_norm": 0.7464180056945608,
	"learning_rate": 4.3856780237414854e-07,
	"loss": 0.0062658354640007016,
	"step": 4080
	},
	{
	"epoch": 4.360533333333334,
	"grad_norm": 0.6109635998503474,
	"learning_rate": 4.2453459579950227e-07,
	"loss": 0.006088725477457047,
	"step": 4090
	},
	{
	"epoch": 4.3712,
	"grad_norm": 0.7257682380626255,
	"learning_rate": 4.107196126769047e-07,
	"loss": 0.00762798935174942,
	"step": 4100
	},
	{
	"epoch": 4.381866666666666,
	"grad_norm": 0.8309233207882876,
	"learning_rate": 3.9712351190179964e-07,
	"loss": 0.007633381336927414,
	"step": 4110
	},
	{
	"epoch": 4.392533333333334,
	"grad_norm": 1.0295966551760083,
	"learning_rate": 3.837469419301959e-07,
	"loss": 0.008131144195795059,
	"step": 4120
	},
	{
	"epoch": 4.4032,
	"grad_norm": 1.0577071417804205,
	"learning_rate": 3.705905407477467e-07,
	"loss": 0.006800051033496857,
	"step": 4130
	},
	{
	"epoch": 4.413866666666666,
	"grad_norm": 0.7438109010204572,
	"learning_rate": 3.5765493583931334e-07,
	"loss": 0.006961482018232346,
	"step": 4140
	},
	{
	"epoch": 4.424533333333334,
	"grad_norm": 0.9615494302851119,
	"learning_rate": 3.449407441590452e-07,
	"loss": 0.007239638268947602,
	"step": 4150
	},
	{
	"epoch": 4.4352,
	"grad_norm": 0.39704258847605284,
	"learning_rate": 3.3244857210094907e-07,
	"loss": 0.007647402584552765,
	"step": 4160
	},
	{
	"epoch": 4.445866666666666,
	"grad_norm": 0.7504230286932907,
	"learning_rate": 3.201790154699669e-07,
	"loss": 0.0072550132870674135,
	"step": 4170
	},
	{
	"epoch": 4.456533333333334,
	"grad_norm": 0.7221532818583009,
	"learning_rate": 3.081326594535655e-07,
	"loss": 0.00656965970993042,
	"step": 4180
	},
	{
	"epoch": 4.4672,
	"grad_norm": 0.565823148804685,
	"learning_rate": 2.9631007859382166e-07,
	"loss": 0.0063125818967819216,
	"step": 4190
	},
	{
	"epoch": 4.477866666666666,
	"grad_norm": 0.6631089876952738,
	"learning_rate": 2.847118367600199e-07,
	"loss": 0.007920263707637787,
	"step": 4200
	},
	{
	"epoch": 4.488533333333334,
	"grad_norm": 0.5966225045196429,
	"learning_rate": 2.7333848712176205e-07,
	"loss": 0.00712723582983017,
	"step": 4210
	},
	{
	"epoch": 4.4992,
	"grad_norm": 0.6655602424036635,
	"learning_rate": 2.621905721225798e-07,
	"loss": 0.0073941051959991455,
	"step": 4220
	},
	{
	"epoch": 4.5098666666666665,
	"grad_norm": 1.0175045295982688,
	"learning_rate": 2.5126862345406846e-07,
	"loss": 0.006954599171876907,
	"step": 4230
	},
	{
	"epoch": 4.520533333333333,
	"grad_norm": 0.8349098920698208,
	"learning_rate": 2.4057316203052296e-07,
	"loss": 0.006717469543218613,
	"step": 4240
	},
	{
	"epoch": 4.5312,
	"grad_norm": 0.6241166162140579,
	"learning_rate": 2.3010469796409917e-07,
	"loss": 0.007116882503032685,
	"step": 4250
	},
	{
	"epoch": 4.5418666666666665,
	"grad_norm": 0.9569309820740544,
	"learning_rate": 2.198637305404777e-07,
	"loss": 0.006584475934505463,
	"step": 4260
	},
	{
	"epoch": 4.552533333333333,
	"grad_norm": 0.5662129369420662,
	"learning_rate": 2.0985074819505734e-07,
	"loss": 0.007812545448541642,
	"step": 4270
	},
	{
	"epoch": 4.5632,
	"grad_norm": 0.8473279528983404,
	"learning_rate": 2.0006622848965428e-07,
	"loss": 0.007558216899633407,
	"step": 4280
	},
	{
	"epoch": 4.5738666666666665,
	"grad_norm": 0.5757643125253704,
	"learning_rate": 1.9051063808972926e-07,
	"loss": 0.006190783903002739,
	"step": 4290
	},
	{
	"epoch": 4.584533333333333,
	"grad_norm": 0.7661946429472218,
	"learning_rate": 1.8118443274212638e-07,
	"loss": 0.007253228127956391,
	"step": 4300
	},
	{
	"epoch": 4.5952,
	"grad_norm": 1.1043524151971975,
	"learning_rate": 1.7208805725334067e-07,
	"loss": 0.007865718752145767,
	"step": 4310
	},
	{
	"epoch": 4.6058666666666666,
	"grad_norm": 0.7364385992433861,
	"learning_rate": 1.632219454683004e-07,
	"loss": 0.007532437145709991,
	"step": 4320
	},
	{
	"epoch": 4.616533333333333,
	"grad_norm": 0.5403893479527664,
	"learning_rate": 1.5458652024967547e-07,
	"loss": 0.006224261969327927,
	"step": 4330
	},
	{
	"epoch": 4.6272,
	"grad_norm": 1.1050872487416523,
	"learning_rate": 1.4618219345771124e-07,
	"loss": 0.006037307903170586,
	"step": 4340
	},
	{
	"epoch": 4.637866666666667,
	"grad_norm": 0.707015508216907,
	"learning_rate": 1.3800936593058311e-07,
	"loss": 0.006189727783203125,
	"step": 4350
	},
	{
	"epoch": 4.648533333333333,
	"grad_norm": 1.1559299161158247,
	"learning_rate": 1.300684274652797e-07,
	"loss": 0.006187578290700912,
	"step": 4360
	},
	{
	"epoch": 4.6592,
	"grad_norm": 0.5814564511585024,
	"learning_rate": 1.2235975679901145e-07,
	"loss": 0.006014608219265938,
	"step": 4370
	},
	{
	"epoch": 4.669866666666667,
	"grad_norm": 0.7578233569060521,
	"learning_rate": 1.148837215911469e-07,
	"loss": 0.007070214301347732,
	"step": 4380
	},
	{
	"epoch": 4.680533333333333,
	"grad_norm": 1.323527570616045,
	"learning_rate": 1.0764067840567938e-07,
	"loss": 0.006455664336681366,
	"step": 4390
	},
	{
	"epoch": 4.6912,
	"grad_norm": 0.5423192259459237,
	"learning_rate": 1.0063097269421729e-07,
	"loss": 0.005080727860331535,
	"step": 4400
	},
	{
	"epoch": 4.701866666666667,
	"grad_norm": 0.6621989765370705,
	"learning_rate": 9.38549387795118e-08,
	"loss": 0.006653989106416703,
	"step": 4410
	},
	{
	"epoch": 4.712533333333333,
	"grad_norm": 0.4620643121854396,
	"learning_rate": 8.731289983950785e-08,
	"loss": 0.006647781282663345,
	"step": 4420
	},
	{
	"epoch": 4.7232,
	"grad_norm": 0.5993319299220737,
	"learning_rate": 8.10051678919349e-08,
	"loss": 0.00639936625957489,
	"step": 4430
	},
	{
	"epoch": 4.733866666666667,
	"grad_norm": 0.4254004012445688,
	"learning_rate": 7.493204377942154e-08,
	"loss": 0.006976790726184845,
	"step": 4440
	},
	{
	"epoch": 4.744533333333333,
	"grad_norm": 0.6048390755143154,
	"learning_rate": 6.909381715514751e-08,
	"loss": 0.006485281884670258,
	"step": 4450
	},
	{
	"epoch": 4.7552,
	"grad_norm": 0.6628679785915567,
	"learning_rate": 6.349076646903263e-08,
	"loss": 0.007484611868858337,
	"step": 4460
	},
	{
	"epoch": 4.765866666666667,
	"grad_norm": 0.9288152200065113,
	"learning_rate": 5.81231589544512e-08,
	"loss": 0.0067789629101753235,
	"step": 4470
	},
	{
	"epoch": 4.776533333333333,
	"grad_norm": 0.4820349897622689,
	"learning_rate": 5.299125061549004e-08,
	"loss": 0.005670921504497528,
	"step": 4480
	},
	{
	"epoch": 4.7872,
	"grad_norm": 0.5393281781767254,
	"learning_rate": 4.809528621473713e-08,
	"loss": 0.006700923293828964,
	"step": 4490
	},
	{
	"epoch": 4.797866666666667,
	"grad_norm": 0.4591959954851221,
	"learning_rate": 4.343549926160706e-08,
	"loss": 0.006184404715895653,
	"step": 4500
	},
	{
	"epoch": 4.808533333333333,
	"grad_norm": 0.7338001648207313,
	"learning_rate": 3.9012112001207136e-08,
	"loss": 0.006320872902870178,
	"step": 4510
	},
	{
	"epoch": 4.8192,
	"grad_norm": 0.8495302107885071,
	"learning_rate": 3.482533540373423e-08,
	"loss": 0.007505752146244049,
	"step": 4520
	},
	{
	"epoch": 4.829866666666667,
	"grad_norm": 0.6080048845649062,
	"learning_rate": 3.087536915441391e-08,
	"loss": 0.006157125905156135,
	"step": 4530
	},
	{
	"epoch": 4.840533333333333,
	"grad_norm": 0.5259203041213936,
	"learning_rate": 2.7162401643976433e-08,
	"loss": 0.006017498672008514,
	"step": 4540
	},
	{
	"epoch": 4.8512,
	"grad_norm": 0.4765839891270384,
	"learning_rate": 2.368660995967276e-08,
	"loss": 0.006342561542987823,
	"step": 4550
	},
	{
	"epoch": 4.861866666666667,
	"grad_norm": 0.6367031379085476,
	"learning_rate": 2.0448159876826358e-08,
	"loss": 0.006308436393737793,
	"step": 4560
	},
	{
	"epoch": 4.872533333333333,
	"grad_norm": 0.4913101928086621,
	"learning_rate": 1.744720585092896e-08,
	"loss": 0.007025667279958725,
	"step": 4570
	},
	{
	"epoch": 4.8832,
	"grad_norm": 0.6579460854880521,
	"learning_rate": 1.4683891010272567e-08,
	"loss": 0.007313048839569092,
	"step": 4580
	},
	{
	"epoch": 4.893866666666667,
	"grad_norm": 0.7729598735513271,
	"learning_rate": 1.2158347149121563e-08,
	"loss": 0.005821356922388077,
	"step": 4590
	},
	{
	"epoch": 4.904533333333333,
	"grad_norm": 0.503247934105803,
	"learning_rate": 9.870694721431095e-09,
	"loss": 0.006996665894985199,
	"step": 4600
	},
	{
	"epoch": 4.9152000000000005,
	"grad_norm": 0.4265279490640293,
	"learning_rate": 7.82104283509777e-09,
	"loss": 0.005546565353870392,
	"step": 4610
	},
	{
	"epoch": 4.925866666666667,
	"grad_norm": 0.6342792831877522,
	"learning_rate": 6.009489246759925e-09,
	"loss": 0.005631337314844132,
	"step": 4620
	},
	{
	"epoch": 4.936533333333333,
	"grad_norm": 0.7853011932554933,
	"learning_rate": 4.436120357130258e-09,
	"loss": 0.00549902357161045,
	"step": 4630
	},
	{
	"epoch": 4.9472000000000005,
	"grad_norm": 0.7542295572497169,
	"learning_rate": 3.101011206879112e-09,
	"loss": 0.006910195946693421,
	"step": 4640
	},
	{
	"epoch": 4.957866666666667,
	"grad_norm": 0.4050384167172828,
	"learning_rate": 2.0042254730545663e-09,
	"loss": 0.0069253332912921906,
	"step": 4650
	},
	{
	"epoch": 4.968533333333333,
	"grad_norm": 0.6530159359528129,
	"learning_rate": 1.1458154660431987e-09,
	"loss": 0.006201118230819702,
	"step": 4660
	},
	{
	"epoch": 4.9792,
	"grad_norm": 0.5573885525128821,
	"learning_rate": 5.258221270793007e-10,
	"loss": 0.006494387984275818,
	"step": 4670
	},
	{
	"epoch": 4.989866666666667,
	"grad_norm": 0.4399630337142657,
	"learning_rate": 1.4427502628755474e-10,
	"loss": 0.0064951017498970035,
	"step": 4680
	},
	{
	"epoch": 5.0,
	"grad_norm": 1.3639104539174323,
	"learning_rate": 1.1923612758257818e-12,
	"loss": 0.007599310576915741,
	"step": 4690
	},
	{
	"epoch": 5.0,
	"step": 4690,
	"total_flos": 1.2342291469267108e+18,
	"train_loss": 0.17693393766117502,
	"train_runtime": 154131.4034,
	"train_samples_per_second": 1.946,
	"train_steps_per_second": 0.03
	}
	],
	"logging_steps": 10,
	"max_steps": 4690,
	"num_input_tokens_seen": 0,
	"num_train_epochs": 5,
	"save_steps": 500,
	"stateful_callbacks": {
	"TrainerControl": {
	"args": {
	"should_epoch_stop": false,
	"should_evaluate": false,
	"should_log": false,
	"should_save": true,
	"should_training_stop": true
	},
	"attributes": {}
	}
	},
	"total_flos": 1.2342291469267108e+18,
	"train_batch_size": 1,
	"trial_name": null,
	"trial_params": null
	}