[2026-06-14 14:08:51,250] [DEBUG] [axolotl.utils.config.resolve_dtype:74] [PID:3393] bf16 support detected, enabling for this configuration.
[2026-06-14 14:08:51,433] [WARNING] [axolotl.utils.config.normalize_config:281] [PID:3393] Gemma4 requires use_reentrant=False for gradient checkpointing in distributed training. Setting use_reentrant=False.
[2026-06-14 14:08:51,433] [DEBUG] [axolotl.utils.config.log_gpu_memory_usage:127] [PID:3393] baseline 0.000GB ()
[2026-06-14 14:08:51,434] [INFO] [axolotl.cli.config.load_cfg:333] [PID:3393] config:
{
  "activation_offloading": true,
  "adapter": "lora",
  "attn_implementation": "sdpa",
  "attn_needs_dtype_cast": false,
  "attn_supports_packing": false,
  "attn_uses_flash_lib": false,
  "axolotl_config_path": "./config.yaml",
  "base_model": "google/gemma-4-E4B-it",
  "base_model_config": "google/gemma-4-E4B-it",
  "batch_size": 16,
  "bf16": true,
  "capabilities": {
    "bf16": true,
    "compute_capability": "sm_80",
    "fp8": false,
    "n_gpu": 1,
    "n_node": 1,
    "tf32": true
  },
  "chat_template": "jinja",
  "chat_template_jinja": "./jinja",
  "context_parallel_size": 1,
  "cut_cross_entropy": true,
  "dataloader_num_workers": 1,
  "dataloader_pin_memory": true,
  "dataloader_prefetch_factor": 256,
  "dataset_num_proc": 31,
  "dataset_prepared_path": "./dataset-e4b",
  "datasets": [
    {
      "chat_template": "tokenizer_default",
      "field_messages": "messages",
      "field_tools": "tools",
      "message_property_mappings": {
        "content": "content",
        "role": "role"
      },
      "path": "jacob-ml/Jacob-2-SSFT-filtered",
      "split": "train",
      "trust_remote_code": false,
      "type": "chat_template"
    }
  ],
  "ddp": false,
  "device": "cuda:0",
  "dion_rank_fraction": 1.0,
  "dion_rank_multiple_of": 1,
  "eaft_alpha": 1.0,
  "eaft_k": 20,
  "env_capabilities": {
    "torch_version": "2.10.0"
  },
  "eval_batch_size": 2,
  "eval_causal_lm_metrics": [
    "sacrebleu",
    "comet",
    "ter",
    "chrf"
  ],
  "eval_max_new_tokens": 128,
  "eval_table_size": 0,
  "experimental_skip_move_to_device": true,
  "fp16": false,
  "freeze_mm_modules": true,
  "generate_samples": false,
  "generation_do_sample": true,
  "generation_max_new_tokens": 50,
  "generation_prompt_ratio": 0.5,
  "generation_temperature": 0.7,
  "gradient_accumulation_steps": 8,
  "gradient_checkpointing": true,
  "gradient_checkpointing_kwargs": {
    "use_reentrant": false
  },
  "hub_model_id": "jacob-ml/Jacob-2-E4B",
  "include_tkps": true,
  "is_multimodal": true,
  "layer_offloading": true,
  "learning_rate": 0.0002,
  "lisa_layers_attribute": "model.layers",
  "load_best_model_at_end": false,
  "load_in_4bit": false,
  "load_in_8bit": true,
  "local_rank": 0,
  "logging_steps": 1,
  "lora_alpha": 16,
  "lora_dropout": 0.0,
  "lora_r": 16,
  "lora_target_modules": "model.language_model.layers.[\\d]+.(_checkpoint_wrapped_module.)?(mlp|self_attn).(up|down|gate|q|k|v|o)_proj",
  "loraplus_lr_embedding": 1e-06,
  "lr_scheduler": "cosine",
  "mean_resizing_embeddings": false,
  "merge_method": "memory_efficient",
  "micro_batch_size": 2,
  "model_config_type": "gemma4",
  "model_config_type_text": "gemma4_text",
  "num_epochs": 1.0,
  "num_generation_samples": 3,
  "optimizer": "adamw_torch_8bit",
  "otel_metrics_host": "localhost",
  "otel_metrics_port": 8000,
  "output_dir": "./outputs/Jacob-2-E4B",
  "pad_to_sequence_len": false,
  "plugins": [
    "axolotl.integrations.cut_cross_entropy.CutCrossEntropyPlugin"
  ],
  "pretrain_multipack_attn": true,
  "processor_config": "google/gemma-4-E4B-it",
  "profiler_steps_start": 0,
  "qgalore_cos_threshold": 0.4,
  "qgalore_gamma_proj": 2,
  "qgalore_proj_bits": 4,
  "qgalore_proj_group_size": 256,
  "qgalore_proj_quant": true,
  "qgalore_proj_type": "std",
  "qgalore_queue_size": 5,
  "qgalore_rank": 256,
  "qgalore_scale": 0.25,
  "qgalore_update_proj_gap": 200,
  "qlora_sharded_model_loading": false,
  "quantize_moe_experts": false,
  "ray_num_workers": 1,
  "relora_prune_method": "magnitude",
  "resources_per_worker": {
    "GPU": 1
  },
  "sample_packing": false,
  "sample_packing_bin_size": 200,
  "sample_packing_group_size": 100000,
  "save_only_model": false,
  "save_safetensors": true,
  "sequence_len": 8192,
  "shuffle_before_merging_datasets": false,
  "shuffle_merged_datasets": true,
  "skip_prepare_dataset": false,
  "streaming_multipack_buffer_size": 10000,
  "strict": false,
  "tensor_parallel_size": 1,
  "tf32": false,
  "tiled_mlp_use_original_mlp": true,
  "tokenizer_config": "google/gemma-4-E4B-it",
  "tokenizer_save_jinja_files": true,
  "torch_dtype": "torch.bfloat16",
  "train_on_inputs": false,
  "trl": {
    "async_prefetch": false,
    "log_completions": false,
    "mask_truncated_completions": false,
    "ref_model_mixup_alpha": 0.9,
    "ref_model_sync_steps": 64,
    "replay_buffer_size": 0,
    "replay_recompute_logps": true,
    "reroll_max_groups": 1,
    "reroll_start_fraction": 1.0,
    "reward_num_workers": 1,
    "scale_rewards": true,
    "skip_zero_advantage_batches": true,
    "sync_ref_model": false,
    "use_data_producer": false,
    "use_vllm": false,
    "vllm_lora_sync": false,
    "vllm_server_host": "0.0.0.0",
    "vllm_server_port": 8000
  },
  "use_otel_metrics": false,
  "use_ray": false,
  "val_set_size": 0.0,
  "vllm": {
    "device": "auto",
    "dtype": "auto",
    "gpu_memory_utilization": 0.9,
    "host": "0.0.0.0",
    "port": 8000
  },
  "warmup_ratio": 0.1,
  "weight_decay": 0.0,
  "world_size": 1
}
[2026-06-14 14:08:55,226] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:311] [PID:3393] EOS: 1 / <eos>
[2026-06-14 14:08:55,226] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:312] [PID:3393] BOS: 2 / <bos>
[2026-06-14 14:08:55,226] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:313] [PID:3393] PAD: 0 / <pad>
[2026-06-14 14:08:55,226] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:314] [PID:3393] UNK: 3 / <unk>
[2026-06-14 14:08:55,227] [INFO] [axolotl.utils.data.shared.load_preprocessed_dataset:482] [PID:3393] Unable to find prepared dataset in dataset-e4b/226f5539ba5a2355ba6a34bd68b2a326
[2026-06-14 14:08:55,228] [INFO] [axolotl.utils.data.sft._load_raw_datasets:320] [PID:3393] Loading raw datasets...
[2026-06-14 14:08:55,228] [WARNING] [axolotl.utils.data.sft._load_raw_datasets:322] [PID:3393] Processing datasets during training can lead to VRAM instability. Please pre-process your dataset using `axolotl preprocess path/to/config.yml`.

Downloading (incomplete total...): 0.00B [00:00, ?B/s]

Fetching 0 files: 0it [00:00, ?it/s]
Fetching 0 files: 0it [00:00, ?it/s]

Download complete: : 0.00B [00:00, ?B/s]              
Download complete: : 0.00B [00:00, ?B/s]
[2026-06-14 14:08:56,312] [INFO] [axolotl.utils.data.wrappers.get_dataset_wrapper:87] [PID:3393] Loading dataset: jacob-ml/Jacob-2-SSFT-filtered with base_type: chat_template and prompt_style: None
[2026-06-14 14:08:56,315] [INFO] [axolotl.prompt_strategies.chat_template.__call__:1209] [PID:3393] Using chat template:
---
{%- macro format_parameters(properties, required, filter_keys=false) -%}
    {%- set standard_keys = ['description', 'type', 'properties', 'required', 'nullable'] -%}
    {%- set ns = namespace(found_first=false) -%}
    {%- for key, value in properties | dictsort -%}
        {%- set add_comma = false -%}
        {%- if not filter_keys or key not in standard_keys -%}
            {%- if ns.found_first %},{% endif -%}
            {%- set ns.found_first = true -%}
            {{ key }}:{
            {%- if value['description'] -%}
                description:<|"|>{{ value['description'] }}<|"|>
                {%- set add_comma = true -%}
            {%- endif -%}
            {%- if value['type'] | upper == 'STRING' -%}
                {%- if value['enum'] -%}
                    {%- if add_comma %},{%- else -%} {%- set add_comma = true -%} {% endif -%}
                    enum:{{ format_argument(value['enum']) }}
                {%- endif -%}
            {%- elif value['type'] | upper == 'ARRAY' -%}
                {%- if value['items'] is mapping and value['items'] -%}
                    {%- if add_comma %},{%- else -%} {%- set add_comma = true -%} {% endif -%}
                    items:{
                    {%- set ns_items = namespace(found_first=false) -%}
                    {%- for item_key, item_value in value['items'] | dictsort -%}
                        {%- if item_value is not none -%}
                            {%- if ns_items.found_first %},{% endif -%}
                            {%- set ns_items.found_first = true -%}
                            {%- if item_key == 'properties' -%}
                                properties:{
                                {%- if item_value is mapping -%}
                                    {{- format_parameters(item_value, value['items']['required'] | default([])) -}}
                                {%- endif -%}
                                }
                            {%- elif item_key == 'required' -%}
                                required:[
                                {%- for req_item in item_value -%}
                                    <|"|>{{- req_item -}}<|"|>
                                    {%- if not loop.last %},{% endif -%}
                                {%- endfor -%}
                                ]
                            {%- elif item_key == 'type' -%}
                                {%- if item_value is string -%}
                                    type:{{ format_argument(item_value | upper) }}
                                {%- else -%}
                                    type:{{ format_argument(item_value | map('upper') | list) }}
                                {%- endif -%}
                            {%- else -%}
                                {{ item_key }}:{{ format_argument(item_value) }}
                            {%- endif -%}
                        {%- endif -%}
                    {%- endfor -%}
                    }
                {%- endif -%}
            {%- endif -%}
            {%- if value['nullable'] %}
                {%- if add_comma %},{%- else -%} {%- set add_comma = true -%} {% endif -%}
                nullable:true
            {%- endif -%}
            {%- if value['type'] | upper == 'OBJECT' -%}
                {%- if value['properties'] is defined and value['properties'] is mapping -%}
                    {%- if add_comma %},{%- else -%} {%- set add_comma = true -%} {% endif -%}
                    properties:{
                    {{- format_parameters(value['properties'], value['required'] | default([])) -}}
                    }
                {%- elif value is mapping -%}
                    {%- if add_comma %},{%- else -%} {%- set add_comma = true -%} {% endif -%}
                    properties:{
                    {{- format_parameters(value, value['required'] | default([]), filter_keys=true) -}}
                    }
                {%- endif -%}
                {%- if value['required'] -%}
                    {%- if add_comma %},{%- else -%} {%- set add_comma = true -%} {% endif -%}
                    required:[
                    {%- for item in value['required'] | default([]) -%}
                        <|"|>{{- item -}}<|"|>
                        {%- if not loop.last %},{% endif -%}
                    {%- endfor -%}
                    ]
                {%- endif -%}
            {%- endif -%}
            {%- if add_comma %},{%- else -%} {%- set add_comma = true -%} {% endif -%}
            type:<|"|>{{ value['type'] | upper }}<|"|>}
        {%- endif -%}
    {%- endfor -%}
{%- endmacro -%}
{%- macro format_function_declaration(tool_data) -%}
    declaration:{{- tool_data['function']['name'] -}}{description:<|"|>{{- tool_data['function']['description'] -}}<|"|>
    {%- set params = tool_data['function']['parameters'] -%}
    {%- if params -%}
        ,parameters:{
        {%- if params['properties'] -%}
            properties:{ {{- format_parameters(params['properties'], params['required']) -}} },
        {%- endif -%}
        {%- if params['required'] -%}
            required:[
            {%- for item in params['required'] -%}
                <|"|>{{- item -}}<|"|>
                {{- ',' if not loop.last -}}
            {%- endfor -%}
            ],
        {%- endif -%}
        {%- if params['type'] -%}
            type:<|"|>{{- params['type'] | upper -}}<|"|>}
        {%- endif -%}
    {%- endif -%}
    {%- if 'response' in tool_data['function'] -%}
        {%- set response_declaration = tool_data['function']['response'] -%}
        ,response:{
        {%- if response_declaration['description'] -%}
            description:<|"|>{{- response_declaration['description'] -}}<|"|>,
        {%- endif -%}
        {%- if response_declaration['type'] | upper == 'OBJECT' -%}
            type:<|"|>{{- response_declaration['type'] | upper -}}<|"|>}
        {%- endif -%}
    {%- endif -%}
    }
{%- endmacro -%}
{%- macro format_argument(argument, escape_keys=True) -%}
    {%- if argument is string -%}
        {{- '<|"|>' + argument + '<|"|>' -}}
    {%- elif argument is boolean -%}
        {{- 'true' if argument else 'false' -}}
    {%- elif argument is mapping -%}
        {{- '{' -}}
        {%- set ns = namespace(found_first=false) -%}
        {%- for key, value in argument | dictsort -%}
            {%- if ns.found_first %},{% endif -%}
            {%- set ns.found_first = true -%}
            {%- if escape_keys -%}
                {{- '<|"|>' + key + '<|"|>' -}}
            {%- else -%}
                {{- key -}}
            {%- endif -%}
            :{{- format_argument(value, escape_keys=escape_keys) -}}
        {%- endfor -%}
        {{- '}' -}}
    {%- elif argument is sequence -%}
        {{- '[' -}}
        {%- for item in argument -%}
            {{- format_argument(item, escape_keys=escape_keys) -}}
            {%- if not loop.last %},{% endif -%}
        {%- endfor -%}
        {{- ']' -}}
    {%- else -%}
        {{- argument -}}
    {%- endif -%}
{%- endmacro -%}
{%- macro strip_thinking(text) -%}
    {%- set ns = namespace(result='') -%}
    {%- for part in text.split('<channel|>') -%}
        {%- if '<|channel>' in part -%}
            {%- set ns.result = ns.result + part.split('<|channel>')[0] -%}
        {%- else -%}
            {%- set ns.result = ns.result + part -%}
        {%- endif -%}
    {%- endfor -%}
    {{- ns.result | trim -}}
{%- endmacro -%}

{%- macro format_tool_response_block(tool_name, response) -%}
    {{- '<|tool_response>' -}}
    {%- if response is mapping -%}
        {{- 'response:' + tool_name + '{' -}}
        {%- for key, value in response | dictsort -%}
            {{- key -}}:{{- format_argument(value, escape_keys=False) -}}
            {%- if not loop.last %},{% endif -%}
        {%- endfor -%}
        {{- '}' -}}
    {%- else -%}
        {{- 'response:' + tool_name + '{value:' + format_argument(response, escape_keys=False) + '}' -}}
    {%- endif -%}
    {{- '<tool_response|>' -}}
{%- endmacro -%}

{%- set ns = namespace(prev_message_type=None) -%}
{%- set loop_messages = messages -%}
{{- bos_token -}}
{#- Handle System/Tool Definitions Block -#}
{%- if (enable_thinking is defined and enable_thinking) or tools or messages[0]['role'] in ['system', 'developer'] -%}
    {{- '<|turn>system\n' -}}
    {#- Inject Thinking token at the very top of the FIRST system turn -#}
    {%- if enable_thinking is defined and enable_thinking -%}
        {{- '<|think|>\n' -}}
        {%- set ns.prev_message_type = 'think' -%}
    {%- endif -%}
    {%- if messages[0]['role'] in ['system', 'developer'] -%}
        {%- if messages[0]['content'] is string -%}
            {{- messages[0]['content'] | trim -}}
        {%- elif messages[0]['content'] is sequence -%}
            {%- for item in messages[0]['content'] -%}
                {{- item['text'] | trim + ' '-}}
            {%- endfor -%}
        {%- endif -%}
        {%- set loop_messages = messages[1:] -%}
    {%- endif -%}
    {%- if tools -%}
        {%- for tool in tools %}
            {{- '<|tool>' -}}
            {{- format_function_declaration(tool) | trim -}}
            {{- '<tool|>' -}}
        {%- endfor %}
        {%- set ns.prev_message_type = 'tool' -%}
    {%- endif -%}
    {{- '<turn|>\n' -}}
{%- endif %}

{#- Pre-scan: find last user message index for reasoning guard -#}
{%- set ns_turn = namespace(last_user_idx=-1) -%}
{%- for i in range(loop_messages | length) -%}
    {%- if loop_messages[i]['role'] == 'user' -%}
        {%- set ns_turn.last_user_idx = i -%}
    {%- endif -%}
{%- endfor -%}

{#- Loop through messages -#}
{%- for message in loop_messages -%}
    {%- if message['role'] != 'tool' -%}
    {%- set ns.prev_message_type = None -%}
    {%- set role = 'model' if message['role'] == 'assistant' else message['role'] -%}
    {%- if message['role'] == 'tool' and 'name' in message -%}
        {%- set _tool_name = message['name'] -%}
    {%- endif -%}
    {#- Detect continuation: suppress duplicate <|turn>model when previous non-tool message was also assistant -#}
    {%- set prev_nt = namespace(role=None, found=false) -%}
    {%- if loop.index0 > 0 -%}
        {%- for j in range(loop.index0 - 1, -1, -1) -%}
            {%- if not prev_nt.found -%}
                {%- if loop_messages[j]['role'] != 'tool' -%}
                    {%- set prev_nt.role = loop_messages[j]['role'] -%}
                    {%- set prev_nt.found = true -%}
                {%- endif -%}
            {%- endif -%}
        {%- endfor -%}
    {%- endif -%}
    {%- set continue_same_model_turn = (role == 'model' and prev_nt.role == 'assistant') -%}
    {%- if not continue_same_model_turn -%}
        {{- '<|turn>' + role + '\n' }}
    {%- endif -%}

    {#- Render reasoning/reasoning_content as thinking channel -#}
    {%- set thinking_text = message.get('reasoning') or message.get('reasoning_content') -%}
    {%- if thinking_text and loop.index0 > ns_turn.last_user_idx and message.get('tool_calls') -%}
        {{- '<|channel>thought\n' + thinking_text + '\n<channel|>' -}}
    {%- endif -%}

            {%- if message['tool_calls'] -%}
                {%- for tool_call in message['tool_calls'] -%}
                    {%- set function = tool_call['function'] -%}
                    {{- '<|tool_call>call:' + function['name'] + '{' -}}
                    {%- if function['arguments'] is mapping -%}
                        {%- set ns_args = namespace(found_first=false) -%}
                        {%- for key, value in function['arguments'] | dictsort -%}
                            {%- if ns_args.found_first %},{% endif -%}
                            {%- set ns_args.found_first = true -%}
                            {{- key -}}:{{- format_argument(value, escape_keys=False) -}}
                        {%- endfor -%}
                    {%- elif function['arguments'] is string -%}
                        {{- function['arguments'] -}}
                    {%- endif -%}
                    {{- '}<tool_call|>' -}}
                {%- endfor -%}
                {%- set ns.prev_message_type = 'tool_call' -%}
            {%- endif -%}

            {%- set ns_tr_out = namespace(flag=false) -%}
            {%- if message.get('tool_responses') -%}
                {#- Legacy: tool_responses embedded on the assistant message (Google/Gemma native) -#}
                {%- for tool_response in message['tool_responses'] -%}
                    {{- format_tool_response_block(tool_response['name'] | default('unknown', true), tool_response['response']) -}}
                    {%- set ns_tr_out.flag = true -%}
                    {%- set ns.prev_message_type = 'tool_response' -%}
                {%- endfor -%}
            {%- elif message.get('tool_calls') -%}
                {#- OpenAI Chat Completions: forward-scan consecutive role:tool messages -#}
                {%- set ns_tool_scan = namespace(stopped=false) -%}
                {%- for k in range(loop.index0 + 1, loop_messages | length) -%}
                    {%- if ns_tool_scan.stopped -%}
                    {%- elif loop_messages[k]['role'] != 'tool' -%}
                        {%- set ns_tool_scan.stopped = true -%}
                    {%- else -%}
                        {%- set follow = loop_messages[k] -%}
                        {#- Resolve tool_call_id to function name -#}
                        {%- set ns_tname = namespace(name=follow['name'] | default('unknown', true)) -%}
                        {%- for tc in message['tool_calls'] -%}
                            {%- if tc.get('id') == follow.get('tool_call_id') -%}
                                {%- set ns_tname.name = tc['function']['name'] -%}
                            {%- endif -%}
                        {%- endfor -%}
                        {#- Handle content as string or content-parts array -#}
                        {%- set tool_body = follow.get('content') -%}
                        {%- if tool_body is string -%}
                            {{- format_tool_response_block(ns_tname.name, tool_body) -}}
                        {%- elif tool_body is sequence and tool_body is not string -%}
                            {%- set ns_txt = namespace(s='') -%}
                            {%- for part in tool_body -%}
                                {%- if part.get('type') == 'text' -%}
                                    {%- set ns_txt.s = ns_txt.s + (part.get('text') | default('')) -%}
                                {%- endif -%}
                            {%- endfor -%}
                            {{- format_tool_response_block(ns_tname.name, ns_txt.s) -}}
                            {%- for part in tool_body -%}
                                {%- if part.get('type') == 'image' -%}
                                    {{- '<|image|>' -}}
                                {%- elif part.get('type') == 'audio' -%}
                                    {{- '<|audio|>' -}}
                                {%- elif part.get('type') == 'video' -%}
                                    {{- '<|video|>' -}}
                                {%- endif -%}
                            {%- endfor -%}
                        {%- else -%}
                            {{- format_tool_response_block(ns_tname.name, tool_body) -}}
                        {%- endif -%}
                        {%- set ns_tr_out.flag = true -%}
                        {%- set ns.prev_message_type = 'tool_response' -%}
                    {%- endif -%}
                {%- endfor -%}
            {%- endif -%}

            {%- set captured_content -%}
            {%- if message['content'] is string -%}
                {%- if role == 'model' -%}
                    {{- strip_thinking(message['content']) -}}
                {%- else -%}
                    {{- message['content'] | trim -}}
                {%- endif -%}
            {%- elif message['content'] is sequence -%}
                {%- for item in message['content'] -%}
                    {%- if item['type'] == 'text' -%}
                        {%- if role == 'model' -%}
                            {{- strip_thinking(item['text']) -}}
                        {%- else -%}
                            {{- item['text'] | trim -}}
                        {%- endif -%}
                    {%- elif item['type'] == 'image' -%}
                        {{- '<|image|>' -}}
                        {%- set ns.prev_message_type = 'image' -%}
                    {%- elif item['type'] == 'audio' -%}
                        {{- '<|audio|>' -}}
                        {%- set ns.prev_message_type = 'audio' -%}
                    {%- elif item['type'] == 'video' -%}
                        {{- '<|video|>' -}}
                        {%- set ns.prev_message_type = 'video' -%}
                    {%- endif -%}
                {%- endfor -%}
            {%- endif -%}
            {%- endset -%}

            {{- captured_content -}}
            {%- set has_content = captured_content | trim | length > 0 -%}

        {%- if ns.prev_message_type == 'tool_call' and not ns_tr_out.flag -%}
            {{- '<|tool_response>' -}}
        {%- elif not (ns_tr_out.flag and not has_content) -%}
            {{- '<turn|>\n' -}}
        {%- endif -%}
    {%- endif -%}
{%- endfor -%}

{%- if add_generation_prompt -%}
    {%- if ns.prev_message_type != 'tool_response' and ns.prev_message_type != 'tool_call' -%}
        {{- '<|turn>model\n' -}}
    {%- endif -%}
{%- endif -%}

---
[2026-06-14 14:08:56,434] [WARNING] [axolotl.prompt_strategies.chat_template._validate_eot_and_eos_tokens:357] [PID:3393] EOS token '<eos>' not found in chat_template. Please check if your template/EOS token is correct.

Tokenizing Prompts (num_proc=31):   0%|                                                                                                                       | 0/4209 [00:00<?, ? examples/s]
Tokenizing Prompts (num_proc=31):   3%|███▌                                                                                                         | 136/4209 [00:10<05:02, 13.47 examples/s]
Tokenizing Prompts (num_proc=31):   6%|███████                                                                                                      | 272/4209 [00:15<03:38, 18.03 examples/s]
Tokenizing Prompts (num_proc=31):  10%|██████████▌                                                                                                  | 408/4209 [00:21<03:05, 20.53 examples/s]
Tokenizing Prompts (num_proc=31):  13%|██████████████                                                                                               | 544/4209 [00:26<02:38, 23.07 examples/s]
Tokenizing Prompts (num_proc=31):  16%|█████████████████▌                                                                                           | 680/4209 [00:30<02:18, 25.49 examples/s]
Tokenizing Prompts (num_proc=31):  19%|█████████████████████▏                                                                                       | 816/4209 [00:35<02:09, 26.25 examples/s]
Tokenizing Prompts (num_proc=31):  23%|████████████████████████▋                                                                                    | 952/4209 [00:39<01:52, 28.90 examples/s]
Tokenizing Prompts (num_proc=31):  26%|███████████████████████████▉                                                                                | 1088/4209 [00:43<01:44, 29.81 examples/s]
Tokenizing Prompts (num_proc=31):  29%|███████████████████████████████▍                                                                            | 1224/4209 [00:47<01:39, 29.92 examples/s]
Tokenizing Prompts (num_proc=31):  32%|██████████████████████████████████▉                                                                         | 1360/4209 [00:51<01:31, 31.06 examples/s]
Tokenizing Prompts (num_proc=31):  36%|██████████████████████████████████████▍                                                                     | 1496/4209 [00:56<01:25, 31.57 examples/s]
Tokenizing Prompts (num_proc=31):  39%|█████████████████████████████████████████▉                                                                  | 1632/4209 [01:00<01:21, 31.66 examples/s]
Tokenizing Prompts (num_proc=31):  42%|█████████████████████████████████████████████▎                                                              | 1768/4209 [01:03<01:12, 33.71 examples/s]
Tokenizing Prompts (num_proc=31):  45%|████████████████████████████████████████████████▊                                                           | 1904/4209 [01:07<01:05, 35.43 examples/s]
Tokenizing Prompts (num_proc=31):  48%|████████████████████████████████████████████████████▎                                                       | 2040/4209 [01:12<01:07, 31.92 examples/s]
Tokenizing Prompts (num_proc=31):  52%|███████████████████████████████████████████████████████▊                                                    | 2176/4209 [01:16<01:03, 32.02 examples/s]
Tokenizing Prompts (num_proc=31):  55%|███████████████████████████████████████████████████████████▎                                                | 2312/4209 [01:20<00:57, 32.98 examples/s]
Tokenizing Prompts (num_proc=31):  58%|██████████████████████████████████████████████████████████████▊                                             | 2448/4209 [01:24<00:54, 32.61 examples/s]
Tokenizing Prompts (num_proc=31):  61%|██████████████████████████████████████████████████████████████████▎                                         | 2584/4209 [01:28<00:49, 32.89 examples/s]
Tokenizing Prompts (num_proc=31):  65%|█████████████████████████████████████████████████████████████████████▊                                      | 2720/4209 [01:32<00:44, 33.45 examples/s]
Tokenizing Prompts (num_proc=31):  68%|█████████████████████████████████████████████████████████████████████████▎                                  | 2856/4209 [01:36<00:38, 35.19 examples/s]
Tokenizing Prompts (num_proc=31):  71%|████████████████████████████████████████████████████████████████████████████▊                               | 2992/4209 [01:40<00:36, 33.45 examples/s]
Tokenizing Prompts (num_proc=31):  74%|████████████████████████████████████████████████████████████████████████████████▎                           | 3128/4209 [01:44<00:32, 33.28 examples/s]
Tokenizing Prompts (num_proc=31):  78%|███████████████████████████████████████████████████████████████████████████████████▊                        | 3264/4209 [01:48<00:28, 33.11 examples/s]
Tokenizing Prompts (num_proc=31):  81%|███████████████████████████████████████████████████████████████████████████████████████▏                    | 3399/4209 [01:52<00:24, 33.56 examples/s]
Tokenizing Prompts (num_proc=31):  84%|██████████████████████████████████████████████████████████████████████████████████████████▋                 | 3534/4209 [01:56<00:20, 33.67 examples/s]
Tokenizing Prompts (num_proc=31):  87%|██████████████████████████████████████████████████████████████████████████████████████████████▏             | 3669/4209 [02:01<00:17, 31.47 examples/s]
Tokenizing Prompts (num_proc=31):  90%|█████████████████████████████████████████████████████████████████████████████████████████████████▌          | 3804/4209 [02:04<00:11, 34.01 examples/s]
Tokenizing Prompts (num_proc=31):  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████       | 3939/4209 [02:09<00:08, 33.46 examples/s]
Tokenizing Prompts (num_proc=31):  97%|████████████████████████████████████████████████████████████████████████████████████████████████████████▌   | 4074/4209 [02:13<00:04, 33.27 examples/s]
Tokenizing Prompts (num_proc=31): 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4209/4209 [02:18<00:00, 30.78 examples/s]
Tokenizing Prompts (num_proc=31): 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4209/4209 [02:19<00:00, 30.16 examples/s]
[2026-06-14 14:11:56,198] [INFO] [axolotl.utils.data.utils._log_dataset_stats:212] [PID:3393] min_input_len: 320
[2026-06-14 14:11:56,199] [INFO] [axolotl.utils.data.utils._log_dataset_stats:213] [PID:3393] max_input_len: 23372

Dropping Invalid Sequences (<None or >8192) (num_proc=31):   0%|                                                                                              | 0/4209 [00:00<?, ? examples/s]
Dropping Invalid Sequences (<None or >8192) (num_proc=31):   3%|██▋                                                                                 | 136/4209 [00:01<00:58, 69.73 examples/s]
Dropping Invalid Sequences (<None or >8192) (num_proc=31):  36%|█████████████████████████████▏                                                    | 1496/4209 [00:02<00:02, 992.91 examples/s]
Dropping Invalid Sequences (<None or >8192) (num_proc=31):  55%|████████████████████████████████████████████▍                                    | 2311/4209 [00:02<00:01, 1592.28 examples/s]
Dropping Invalid Sequences (<None or >8192) (num_proc=31):  74%|████████████████████████████████████████████████████████████▏                    | 3126/4209 [00:02<00:00, 2289.56 examples/s]
Dropping Invalid Sequences (<None or >8192) (num_proc=31): 100%|█████████████████████████████████████████████████████████████████████████████████| 4209/4209 [00:02<00:00, 1595.10 examples/s]
[2026-06-14 14:11:58,919] [INFO] [axolotl.utils.data.utils._drop_outside_range:306] [PID:3393] Dropped 15 sequences outside valid range ([None, 8192])

Saving the dataset (0/16 shards):   0%|                                                                                                                       | 0/4194 [00:00<?, ? examples/s]
Saving the dataset (0/16 shards):   6%|██████▊                                                                                                      | 263/4194 [00:14<03:31, 18.60 examples/s]
Saving the dataset (1/16 shards):  13%|█████████████▋                                                                                               | 526/4194 [00:14<03:17, 18.60 examples/s]
Saving the dataset (2/16 shards):  19%|████████████████████▍                                                                                        | 788/4194 [00:14<03:03, 18.60 examples/s]
Saving the dataset (3/16 shards):  19%|████████████████████▍                                                                                        | 788/4194 [00:14<03:03, 18.60 examples/s]
Saving the dataset (4/16 shards):  25%|███████████████████████████                                                                                 | 1050/4194 [00:14<02:49, 18.60 examples/s]
Saving the dataset (5/16 shards):  31%|█████████████████████████████████▊                                                                          | 1312/4194 [00:14<02:34, 18.60 examples/s]
Saving the dataset (6/16 shards):  38%|████████████████████████████████████████▌                                                                   | 1574/4194 [00:14<02:20, 18.60 examples/s]
Saving the dataset (7/16 shards):  44%|███████████████████████████████████████████████▎                                                            | 1836/4194 [00:14<02:06, 18.60 examples/s]
Saving the dataset (8/16 shards):  50%|██████████████████████████████████████████████████████                                                      | 2098/4194 [00:14<01:52, 18.60 examples/s]
Saving the dataset (9/16 shards):  56%|████████████████████████████████████████████████████████████▊                                               | 2360/4194 [00:14<01:38, 18.60 examples/s]
Saving the dataset (10/16 shards):  63%|██████████████████████████████████████████████████████████████████▉                                        | 2622/4194 [00:14<01:24, 18.60 examples/s]
Saving the dataset (11/16 shards):  69%|█████████████████████████████████████████████████████████████████████████▌                                 | 2884/4194 [00:14<01:10, 18.60 examples/s]
Saving the dataset (12/16 shards):  75%|████████████████████████████████████████████████████████████████████████████████▎                          | 3146/4194 [00:14<00:56, 18.60 examples/s]
Saving the dataset (13/16 shards):  81%|██████████████████████████████████████████████████████████████████████████████████████▉                    | 3408/4194 [00:14<00:42, 18.60 examples/s]
Saving the dataset (14/16 shards):  88%|█████████████████████████████████████████████████████████████████████████████████████████████▋             | 3670/4194 [00:14<00:28, 18.60 examples/s]
Saving the dataset (15/16 shards):  94%|████████████████████████████████████████████████████████████████████████████████████████████████████▎      | 3932/4194 [00:14<00:14, 18.60 examples/s]
Saving the dataset (16/16 shards): 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████| 4194/4194 [00:14<00:00, 18.60 examples/s]
Saving the dataset (16/16 shards): 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 4194/4194 [00:15<00:00, 270.70 examples/s]
[2026-06-14 14:12:15,030] [DEBUG] [axolotl.utils.trainer.calculate_total_num_steps:420] [PID:3393] total_num_tokens: 6_012_949
[2026-06-14 14:12:15,143] [DEBUG] [axolotl.utils.trainer.calculate_total_num_steps:438] [PID:3393] `total_supervised_tokens: 3_764_690`
[2026-06-14 14:12:15,143] [DEBUG] [axolotl.utils.trainer.calculate_total_num_steps:521] [PID:3393] total_num_steps: 263
[2026-06-14 14:12:15,143] [INFO] [axolotl.utils.data.sft._prepare_standard_dataset:121] [PID:3393] Maximum number of steps set at 263
[2026-06-14 14:12:15,405] [DEBUG] [axolotl.train.setup_model_and_tokenizer:70] [PID:3393] loading tokenizer... google/gemma-4-E4B-it
[2026-06-14 14:12:19,460] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:311] [PID:3393] EOS: 1 / <eos>
[2026-06-14 14:12:19,460] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:312] [PID:3393] BOS: 2 / <bos>
[2026-06-14 14:12:19,460] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:313] [PID:3393] PAD: 0 / <pad>
[2026-06-14 14:12:19,460] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:314] [PID:3393] UNK: 3 / <unk>
[2026-06-14 14:12:24,886] [DEBUG] [axolotl.train.setup_model_and_tokenizer:81] [PID:3393] Loading model
[2026-06-14 14:12:24,930] [DEBUG] [axolotl.monkeypatch.torchao_optim.patch_torchao_optim_state_8bit:75] [PID:3393] Patched OptimState8bit for torch.compile compatibility
[2026-06-14 14:12:24,930] [DEBUG] [axolotl.monkeypatch.torchao_optim.patch_torchao_optim_state_8bit:122] [PID:3393] Patched OptimState4bit for torch.compile compatibility
[2026-06-14 14:12:24,930] [DEBUG] [axolotl.monkeypatch.torchao_optim.patch_torchao_optim_state_8bit:154] [PID:3393] Patched OptimStateFp8 for torch.compile compatibility
[2026-06-14 14:12:24,936] [DEBUG] [axolotl.monkeypatch.transformers.trainer_loss_calc.patch_evaluation_loop:94] [PID:3393] Patched Trainer.evaluation_loop with nanmean loss calculation
[2026-06-14 14:12:24,937] [DEBUG] [axolotl.monkeypatch.transformers.trainer_loss_calc.patch_maybe_log_save_evaluate:148] [PID:3393] Patched Trainer._maybe_log_save_evaluate with nanmean loss calculation
[2026-06-14 14:12:25,040] [INFO] [axolotl.monkeypatch.models.gemma4.fused_attn.patch_gemma4_fused_attn:207] [PID:3393] Patched Gemma4TextAttention.forward with fused RMSNorm+RoPE Triton kernels
[2026-06-14 14:12:25,040] [INFO] [axolotl.monkeypatch.models.gemma4.fused_attn.patch_gemma4_fused_attn:211] [PID:3393] Installed Gemma4 shared_kv_states side channel (PR #3611)
[2026-06-14 14:12:25,062] [INFO] [axolotl.integrations.cut_cross_entropy.pre_model_load:94] [PID:3393] Applying Cut Cross Entropy to model type: gemma4

Loading weights:   0%|                                                                                                                                               | 0/2076 [00:00<?, ?it/s]
Loading weights:   2%|██▊                                                                                                                                  | 43/2076 [00:00<00:04, 421.41it/s]
Loading weights:   4%|█████▌                                                                                                                               | 86/2076 [00:00<00:04, 408.21it/s]
Loading weights:   7%|████████▊                                                                                                                           | 139/2076 [00:00<00:04, 422.30it/s]
Loading weights:   9%|████████████                                                                                                                        | 189/2076 [00:00<00:04, 437.88it/s]
Loading weights:  11%|██████████████▊                                                                                                                     | 233/2076 [00:00<00:04, 414.25it/s]
Loading weights:  13%|█████████████████▍                                                                                                                  | 275/2076 [00:00<00:05, 357.36it/s]
Loading weights:  15%|████████████████████▏                                                                                                               | 318/2076 [00:00<00:04, 371.39it/s]
Loading weights:  18%|███████████████████████▌                                                                                                            | 370/2076 [00:00<00:04, 408.91it/s]
Loading weights:  20%|██████████████████████████▏                                                                                                         | 412/2076 [00:01<00:04, 376.62it/s]
Loading weights:  22%|████████████████████████████▋                                                                                                       | 451/2076 [00:01<00:04, 358.21it/s]
Loading weights:  24%|███████████████████████████████▋                                                                                                    | 499/2076 [00:01<00:04, 387.37it/s]
Loading weights:  26%|██████████████████████████████████▎                                                                                                 | 539/2076 [00:01<00:04, 372.42it/s]
Loading weights:  28%|████████████████████████████████████▋                                                                                               | 577/2076 [00:01<00:04, 361.99it/s]
Loading weights:  30%|███████████████████████████████████████▌                                                                                            | 623/2076 [00:01<00:03, 386.03it/s]
Loading weights:  32%|██████████████████████████████████████████▏                                                                                         | 663/2076 [00:01<00:03, 376.76it/s]
Loading weights:  34%|████████████████████████████████████████████▋                                                                                       | 702/2076 [00:01<00:03, 343.95it/s]
Loading weights:  36%|███████████████████████████████████████████████▉                                                                                    | 753/2076 [00:01<00:03, 379.34it/s]
Loading weights:  38%|██████████████████████████████████████████████████▋                                                                                  | 792/2076 [00:04<00:28, 44.87it/s]
Loading weights:  39%|████████████████████████████████████████████████████▌                                                                                | 820/2076 [00:05<00:29, 42.60it/s]
Loading weights:  41%|█████████████████████████████████████████████████████▉                                                                               | 841/2076 [00:06<00:29, 42.47it/s]
Loading weights:  41%|██████████████████████████████████████████████████████▉                                                                              | 857/2076 [00:06<00:30, 39.90it/s]
Loading weights:  42%|███████████████████████████████████████████████████████▋                                                                             | 869/2076 [00:07<00:32, 37.29it/s]
Loading weights:  42%|████████████████████████████████████████████████████████▎                                                                            | 879/2076 [00:07<00:35, 33.32it/s]
Loading weights:  43%|█████████████████████████████████████████████████████████▎                                                                           | 894/2076 [00:07<00:30, 38.83it/s]
Loading weights:  43%|█████████████████████████████████████████████████████████▊                                                                           | 902/2076 [00:08<00:31, 37.01it/s]
Loading weights:  44%|██████████████████████████████████████████████████████████▎                                                                          | 911/2076 [00:08<00:31, 37.35it/s]
Loading weights:  44%|██████████████████████████████████████████████████████████▋                                                                          | 917/2076 [00:08<00:34, 33.24it/s]
Loading weights:  45%|███████████████████████████████████████████████████████████▍                                                                         | 928/2076 [00:08<00:31, 36.45it/s]
Loading weights:  45%|███████████████████████████████████████████████████████████▊                                                                         | 933/2076 [00:09<00:36, 30.96it/s]
Loading weights:  46%|████████████████████████████████████████████████████████████▌                                                                        | 945/2076 [00:09<00:30, 36.87it/s]
Loading weights:  46%|████████████████████████████████████████████████████████████▊                                                                        | 950/2076 [00:09<00:37, 29.74it/s]
Loading weights:  46%|█████████████████████████████████████████████████████████████▎                                                                       | 958/2076 [00:09<00:31, 35.53it/s]
Loading weights:  46%|█████████████████████████████████████████████████████████████▋                                                                       | 963/2076 [00:10<00:38, 29.12it/s]
Loading weights:  47%|█████████████████████████████████████████████████████████████▉                                                                       | 967/2076 [00:10<00:38, 28.53it/s]
Loading weights:  47%|██████████████████████████████████████████████████████████████▋                                                                      | 979/2076 [00:10<00:28, 38.12it/s]
Loading weights:  47%|███████████████████████████████████████████████████████████████                                                                      | 984/2076 [00:10<00:34, 31.40it/s]
Loading weights:  48%|███████████████████████████████████████████████████████████████▊                                                                     | 996/2076 [00:10<00:28, 38.38it/s]
Loading weights:  48%|███████████████████████████████████████████████████████████████▋                                                                    | 1001/2076 [00:11<00:35, 30.58it/s]
Loading weights:  49%|████████████████████████████████████████████████████████████████▍                                                                   | 1013/2076 [00:11<00:27, 38.54it/s]
Loading weights:  49%|████████████████████████████████████████████████████████████████▋                                                                   | 1018/2076 [00:11<00:34, 30.96it/s]
Loading weights:  50%|█████████████████████████████████████████████████████████████████▍                                                                  | 1030/2076 [00:11<00:26, 39.49it/s]
Loading weights:  50%|█████████████████████████████████████████████████████████████████▊                                                                  | 1035/2076 [00:12<00:32, 32.23it/s]
Loading weights:  50%|██████████████████████████████████████████████████████████████████▌                                                                 | 1047/2076 [00:12<00:25, 40.18it/s]
Loading weights:  51%|██████████████████████████████████████████████████████████████████▉                                                                 | 1052/2076 [00:12<00:31, 32.63it/s]
Loading weights:  51%|███████████████████████████████████████████████████████████████████▍                                                                | 1060/2076 [00:12<00:26, 39.02it/s]
Loading weights:  51%|███████████████████████████████████████████████████████████████████▋                                                                | 1065/2076 [00:12<00:32, 31.33it/s]
Loading weights:  51%|███████████████████████████████████████████████████████████████████▉                                                                | 1069/2076 [00:13<00:33, 29.94it/s]
Loading weights:  52%|████████████████████████████████████████████████████████████████████▋                                                               | 1081/2076 [00:13<00:24, 40.31it/s]
Loading weights:  52%|█████████████████████████████████████████████████████████████████████                                                               | 1086/2076 [00:13<00:31, 31.80it/s]
Loading weights:  53%|█████████████████████████████████████████████████████████████████████▊                                                              | 1098/2076 [00:13<00:24, 39.81it/s]
Loading weights:  53%|██████████████████████████████████████████████████████████████████████▏                                                             | 1103/2076 [00:13<00:30, 32.41it/s]
Loading weights:  54%|██████████████████████████████████████████████████████████████████████▉                                                             | 1115/2076 [00:14<00:24, 39.72it/s]
Loading weights:  54%|███████████████████████████████████████████████████████████████████████▏                                                            | 1120/2076 [00:14<00:29, 32.22it/s]
Loading weights:  55%|███████████████████████████████████████████████████████████████████████▉                                                            | 1132/2076 [00:14<00:24, 38.07it/s]
Loading weights:  55%|████████████████████████████████████████████████████████████████████████▎                                                           | 1137/2076 [00:14<00:30, 31.08it/s]
Loading weights:  55%|█████████████████████████████████████████████████████████████████████████                                                           | 1149/2076 [00:15<00:24, 38.34it/s]
Loading weights:  56%|█████████████████████████████████████████████████████████████████████████▍                                                          | 1154/2076 [00:15<00:29, 31.05it/s]
Loading weights:  56%|█████████████████████████████████████████████████████████████████████████▉                                                          | 1162/2076 [00:15<00:24, 37.87it/s]
Loading weights:  56%|██████████████████████████████████████████████████████████████████████████▏                                                         | 1167/2076 [00:15<00:29, 31.18it/s]
Loading weights:  56%|██████████████████████████████████████████████████████████████████████████▍                                                         | 1171/2076 [00:15<00:30, 30.09it/s]
Loading weights:  57%|███████████████████████████████████████████████████████████████████████████                                                         | 1180/2076 [00:16<00:24, 37.17it/s]
Loading weights:  57%|███████████████████████████████████████████████████████████████████████████▎                                                        | 1185/2076 [00:16<00:30, 28.83it/s]
Loading weights:  58%|███████████████████████████████████████████████████████████████████████████▉                                                        | 1194/2076 [00:16<00:25, 34.39it/s]
Loading weights:  58%|████████████████████████████████████████████████████████████████████████████▏                                                       | 1198/2076 [00:16<00:35, 24.64it/s]
Loading weights:  58%|████████████████████████████████████████████████████████████████████████████▊                                                       | 1208/2076 [00:17<00:29, 29.76it/s]
Loading weights:  58%|█████████████████████████████████████████████████████████████████████████████                                                       | 1212/2076 [00:17<00:36, 23.76it/s]
Loading weights:  59%|█████████████████████████████████████████████████████████████████████████████▋                                                      | 1222/2076 [00:17<00:27, 30.84it/s]
Loading weights:  59%|█████████████████████████████████████████████████████████████████████████████▉                                                      | 1226/2076 [00:18<00:34, 25.00it/s]
Loading weights:  60%|██████████████████████████████████████████████████████████████████████████████▌                                                     | 1236/2076 [00:18<00:26, 31.77it/s]
Loading weights:  60%|██████████████████████████████████████████████████████████████████████████████▊                                                     | 1240/2076 [00:18<00:34, 24.48it/s]
Loading weights:  60%|███████████████████████████████████████████████████████████████████████████████▎                                                    | 1247/2076 [00:18<00:27, 30.31it/s]
Loading weights:  60%|███████████████████████████████████████████████████████████████████████████████▌                                                    | 1251/2076 [00:18<00:33, 24.70it/s]
Loading weights:  60%|███████████████████████████████████████████████████████████████████████████████▊                                                    | 1255/2076 [00:19<00:32, 25.20it/s]
Loading weights:  61%|████████████████████████████████████████████████████████████████████████████████▎                                                   | 1264/2076 [00:19<00:26, 30.67it/s]
Loading weights:  61%|████████████████████████████████████████████████████████████████████████████████▌                                                   | 1268/2076 [00:19<00:34, 23.41it/s]
Loading weights:  62%|█████████████████████████████████████████████████████████████████████████████████▎                                                  | 1278/2076 [00:19<00:26, 30.22it/s]
Loading weights:  62%|█████████████████████████████████████████████████████████████████████████████████▌                                                  | 1282/2076 [00:20<00:31, 24.81it/s]
Loading weights:  62%|██████████████████████████████████████████████████████████████████████████████████▏                                                 | 1292/2076 [00:20<00:25, 31.02it/s]
Loading weights:  62%|██████████████████████████████████████████████████████████████████████████████████▍                                                 | 1296/2076 [00:20<00:32, 23.64it/s]
Loading weights:  63%|███████████████████████████████████████████████████████████████████████████████████                                                 | 1306/2076 [00:20<00:25, 30.34it/s]
Loading weights:  63%|███████████████████████████████████████████████████████████████████████████████████▎                                                | 1310/2076 [00:21<00:32, 23.87it/s]
Loading weights:  64%|███████████████████████████████████████████████████████████████████████████████████▉                                                | 1320/2076 [00:21<00:25, 29.52it/s]
Loading weights:  64%|████████████████████████████████████████████████████████████████████████████████████▏                                               | 1324/2076 [00:21<00:30, 24.38it/s]
Loading weights:  64%|████████████████████████████████████████████████████████████████████████████████████▋                                               | 1331/2076 [00:21<00:24, 30.50it/s]
Loading weights:  64%|████████████████████████████████████████████████████████████████████████████████████▉                                               | 1335/2076 [00:22<00:30, 24.15it/s]
Loading weights:  64%|█████████████████████████████████████████████████████████████████████████████████████▏                                              | 1339/2076 [00:22<00:29, 25.27it/s]
Loading weights:  65%|█████████████████████████████████████████████████████████████████████████████████████▋                                              | 1348/2076 [00:22<00:22, 32.23it/s]
Loading weights:  65%|█████████████████████████████████████████████████████████████████████████████████████▉                                              | 1352/2076 [00:22<00:29, 24.95it/s]
Loading weights:  66%|██████████████████████████████████████████████████████████████████████████████████████▌                                             | 1362/2076 [00:22<00:22, 32.00it/s]
Loading weights:  66%|██████████████████████████████████████████████████████████████████████████████████████▊                                             | 1366/2076 [00:23<00:28, 25.10it/s]
Loading weights:  66%|███████████████████████████████████████████████████████████████████████████████████████▍                                            | 1376/2076 [00:23<00:21, 31.93it/s]
Loading weights:  66%|███████████████████████████████████████████████████████████████████████████████████████▋                                            | 1380/2076 [00:23<00:27, 25.08it/s]
Loading weights:  67%|████████████████████████████████████████████████████████████████████████████████████████▍                                           | 1390/2076 [00:23<00:21, 32.17it/s]
Loading weights:  67%|████████████████████████████████████████████████████████████████████████████████████████▋                                           | 1394/2076 [00:24<00:27, 24.57it/s]
Loading weights:  68%|█████████████████████████████████████████████████████████████████████████████████████████▎                                          | 1404/2076 [00:24<00:21, 31.22it/s]
Loading weights:  68%|█████████████████████████████████████████████████████████████████████████████████████████▌                                          | 1408/2076 [00:24<00:26, 25.40it/s]
Loading weights:  68%|█████████████████████████████████████████████████████████████████████████████████████████▉                                          | 1415/2076 [00:24<00:21, 30.97it/s]
Loading weights:  68%|██████████████████████████████████████████████████████████████████████████████████████████▏                                         | 1419/2076 [00:24<00:22, 29.70it/s]
Loading weights:  76%|███████████████████████████████████████████████████████████████████████████████████████████████████                                | 1569/2076 [00:24<00:01, 293.08it/s]
Loading weights:  83%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                      | 1714/2076 [00:25<00:00, 528.51it/s]
Loading weights:  90%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌            | 1878/2076 [00:25<00:00, 774.40it/s]
Loading weights:  98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊  | 2042/2076 [00:25<00:00, 981.87it/s]
Loading weights: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2076/2076 [00:25<00:00, 81.97it/s]
[2026-06-14 14:12:52,761] [INFO] [axolotl.loaders.model._prepare_model_for_quantization:977] [PID:3393] converting PEFT model w/ prepare_model_for_kbit_training
[2026-06-14 14:12:52,780] [INFO] [axolotl.loaders.model._configure_embedding_dtypes:433] [PID:3393] Converting modules to torch.bfloat16
[2026-06-14 14:12:52,965] [DEBUG] [axolotl.loaders.model.log_gpu_memory_usage:127] [PID:3393] Memory usage after model load 22.419GB (+22.419GB allocated, +28.939GB reserved)
trainable params: 34,881,536 || all params: 7,975,982,368 || trainable%: 0.4373
[2026-06-14 14:12:53,476] [DEBUG] [axolotl.loaders.model.log_gpu_memory_usage:127] [PID:3393] after adapters 10.827GB (+10.827GB allocated, +29.068GB reserved)
[2026-06-14 14:12:55,145] [INFO] [axolotl.utils.freeze.freeze_mm_modules:49] [PID:3393] freeze_mm_modules: froze 0 vision/audio parameters
[2026-06-14 14:12:56,196] [INFO] [axolotl.core.trainers.mixins.layer_offloading.__init__:291] [PID:3393] Layer parameter offloading enabled
[2026-06-14 14:12:56,197] [WARNING] [axolotl.core.trainers.mixins.layer_offloading.__init__:73] [PID:3393] LayerOffloadManager: no decoder layers found, offloading disabled
[2026-06-14 14:12:56,197] [INFO] [axolotl.train.save_initial_configs:450] [PID:3393] Pre-saving adapter config to ./outputs/Jacob-2-E4B...
[2026-06-14 14:12:56,198] [INFO] [axolotl.train.save_initial_configs:454] [PID:3393] Pre-saving tokenizer to ./outputs/Jacob-2-E4B...
[2026-06-14 14:12:56,696] [INFO] [axolotl.train.save_initial_configs:459] [PID:3393] Pre-saving model config to ./outputs/Jacob-2-E4B...
[2026-06-14 14:12:56,700] [INFO] [axolotl.train.save_initial_configs:463] [PID:3393] Pre-saving processor to ./outputs/Jacob-2-E4B...
[2026-06-14 14:12:57,113] [INFO] [axolotl.train.execute_training:226] [PID:3393] Starting trainer...

  0%|                                                                                                                                                                 | 0/263 [00:00<?, ?it/s][2026-06-14 14:13:00,854] [WARNING] [py.warnings._showwarnmsg:112] [PID:3393] /workspace/axolotl-venv/lib/python3.12/site-packages/torch/_dynamo/eval_frame.py:1181: UserWarning: torch.utils.checkpoint: the use_reentrant parameter should be passed explicitly. Starting in PyTorch 2.9, calling checkpoint without use_reentrant will raise an exception. use_reentrant=False is recommended, but if you need to preserve the current default behavior, you can pass use_reentrant=True. Refer to docs for more details on the differences between the two variants.
  return fn(*args, **kwargs)

[2026-06-14 14:13:01,453] [WARNING] [py.warnings._showwarnmsg:112] [PID:3393] /workspace/axolotl-venv/lib/python3.12/site-packages/torch/_dynamo/eval_frame.py:1181: UserWarning: torch.utils.checkpoint: the use_reentrant parameter should be passed explicitly. Starting in PyTorch 2.9, calling checkpoint without use_reentrant will raise an exception. use_reentrant=False is recommended, but if you need to preserve the current default behavior, you can pass use_reentrant=True. Refer to docs for more details on the differences between the two variants.
  return fn(*args, **kwargs)

[2026-06-14 14:13:11,380] [WARNING] [py.warnings._showwarnmsg:112] [PID:3393] /workspace/axolotl-venv/lib/python3.12/site-packages/torch/_dynamo/eval_frame.py:1181: UserWarning: torch.utils.checkpoint: the use_reentrant parameter should be passed explicitly. Starting in PyTorch 2.9, calling checkpoint without use_reentrant will raise an exception. use_reentrant=False is recommended, but if you need to preserve the current default behavior, you can pass use_reentrant=True. Refer to docs for more details on the differences between the two variants.
  return fn(*args, **kwargs)

[2026-06-14 14:13:46,333] [WARNING] [py.warnings._showwarnmsg:112] [PID:3393] /workspace/axolotl-venv/lib/python3.12/site-packages/torch/_dynamo/eval_frame.py:1181: UserWarning: torch.utils.checkpoint: the use_reentrant parameter should be passed explicitly. Starting in PyTorch 2.9, calling checkpoint without use_reentrant will raise an exception. use_reentrant=False is recommended, but if you need to preserve the current default behavior, you can pass use_reentrant=True. Refer to docs for more details on the differences between the two variants.
  return fn(*args, **kwargs)

[2026-06-14 14:13:46,745] [WARNING] [py.warnings._showwarnmsg:112] [PID:3393] /workspace/axolotl-venv/lib/python3.12/site-packages/torch/_dynamo/eval_frame.py:1181: UserWarning: torch.utils.checkpoint: the use_reentrant parameter should be passed explicitly. Starting in PyTorch 2.9, calling checkpoint without use_reentrant will raise an exception. use_reentrant=False is recommended, but if you need to preserve the current default behavior, you can pass use_reentrant=True. Refer to docs for more details on the differences between the two variants.
  return fn(*args, **kwargs)

[2026-06-14 14:14:09,129] [INFO] [axolotl.kernels.autotune_telemetry.on_step_end:133] [PID:3393] Reported 2 fused-rope kernel autotune config(s) to telemetry.

  0%|▌                                                                                                                                                      | 1/263 [01:11<5:11:11, 71.27s/it]
                                                                                                                                                                                              
{'loss': '1.576', 'grad_norm': '0.5319', 'learning_rate': '0', 'ppl': '4.836', 'memory/max_active (GiB)': '35.37', 'memory/max_allocated (GiB)': '35.37', 'memory/device_reserved (GiB)': '44.53', 'tokens/trainable': 13646, 'tokens/total': 34320, 'epoch': '0.003815'}

  0%|▌                                                                                                                                                      | 1/263 [01:11<5:11:11, 71.27s/it]
  1%|█▏                                                                                                                                                     | 2/263 [02:07<4:31:48, 62.49s/it]
                                                                                                                                                                                              
{'loss': '1.541', 'grad_norm': '0.4915', 'learning_rate': '7.692e-06', 'ppl': '4.671', 'memory/max_active (GiB)': '37.15', 'memory/max_allocated (GiB)': '37.15', 'memory/device_reserved (GiB)': '47', 'tokens/train_per_sec_per_gpu': '272.8', 'tokens/trainable': 29007, 'tokens/total': 65680, 'epoch': '0.00763'}

  1%|█▏                                                                                                                                                     | 2/263 [02:07<4:31:48, 62.49s/it]
  1%|█▋                                                                                                                                                     | 3/263 [02:52<3:55:45, 54.40s/it]
                                                                                                                                                                                              
{'loss': '1.676', 'grad_norm': '0.5334', 'learning_rate': '1.538e-05', 'ppl': '5.345', 'memory/max_active (GiB)': '26.41', 'memory/max_allocated (GiB)': '26.41', 'memory/device_reserved (GiB)': '34.21', 'tokens/train_per_sec_per_gpu': '241.3', 'tokens/trainable': 39814, 'tokens/total': 89258, 'epoch': '0.01144'}

  1%|█▋                                                                                                                                                     | 3/263 [02:52<3:55:45, 54.40s/it]
  2%|██▎                                                                                                                                                    | 4/263 [03:26<3:20:53, 46.54s/it]
                                                                                                                                                                                              
{'loss': '1.701', 'grad_norm': '0.6123', 'learning_rate': '2.308e-05', 'ppl': '5.478', 'memory/max_active (GiB)': '22.96', 'memory/max_allocated (GiB)': '22.96', 'memory/device_reserved (GiB)': '25.77', 'tokens/train_per_sec_per_gpu': '256.6', 'tokens/trainable': 48660, 'tokens/total': 108024, 'epoch': '0.01526'}

  2%|██▎                                                                                                                                                    | 4/263 [03:26<3:20:53, 46.54s/it]
  2%|██▊                                                                                                                                                    | 5/263 [04:08<3:12:35, 44.79s/it]
                                                                                                                                                                                              
{'loss': '1.721', 'grad_norm': '0.6678', 'learning_rate': '3.077e-05', 'ppl': '5.59', 'memory/max_active (GiB)': '24.42', 'memory/max_allocated (GiB)': '24.42', 'memory/device_reserved (GiB)': '31.26', 'tokens/train_per_sec_per_gpu': '200.1', 'tokens/trainable': 57004, 'tokens/total': 127360, 'epoch': '0.01907'}

  2%|██▊                                                                                                                                                    | 5/263 [04:08<3:12:35, 44.79s/it]
  2%|███▍                                                                                                                                                   | 6/263 [05:00<3:22:41, 47.32s/it]
                                                                                                                                                                                              
{'loss': '1.441', 'grad_norm': '0.5136', 'learning_rate': '3.846e-05', 'ppl': '4.225', 'memory/max_active (GiB)': '43.28', 'memory/max_allocated (GiB)': '43.28', 'memory/device_reserved (GiB)': '60.49', 'tokens/train_per_sec_per_gpu': '340.5', 'tokens/trainable': 74786, 'tokens/total': 165128, 'epoch': '0.02289'}

  2%|███▍                                                                                                                                                   | 6/263 [05:00<3:22:41, 47.32s/it]
  3%|████                                                                                                                                                   | 7/263 [05:43<3:15:55, 45.92s/it]
                                                                                                                                                                                              
{'loss': '1.527', 'grad_norm': '0.5568', 'learning_rate': '4.615e-05', 'ppl': '4.603', 'memory/max_active (GiB)': '38.81', 'memory/max_allocated (GiB)': '38.81', 'memory/device_reserved (GiB)': '53.62', 'tokens/train_per_sec_per_gpu': '290.1', 'tokens/trainable': 87272, 'tokens/total': 194790, 'epoch': '0.0267'}

  3%|████                                                                                                                                                   | 7/263 [05:43<3:15:55, 45.92s/it]
  3%|████▌                                                                                                                                                  | 8/263 [06:32<3:19:30, 46.94s/it]
                                                                                                                                                                                              
{'loss': '1.629', 'grad_norm': '0.7715', 'learning_rate': '5.385e-05', 'ppl': '5.098', 'memory/max_active (GiB)': '34.9', 'memory/max_allocated (GiB)': '34.9', 'memory/device_reserved (GiB)': '53.62', 'tokens/train_per_sec_per_gpu': '247.6', 'tokens/trainable': 99438, 'tokens/total': 223594, 'epoch': '0.03052'}

  3%|████▌                                                                                                                                                  | 8/263 [06:32<3:19:30, 46.94s/it]
  3%|█████▏                                                                                                                                                 | 9/263 [07:20<3:19:53, 47.22s/it]
                                                                                                                                                                                              
{'loss': '1.545', 'grad_norm': '0.7755', 'learning_rate': '6.154e-05', 'ppl': '4.688', 'memory/max_active (GiB)': '42.92', 'memory/max_allocated (GiB)': '42.92', 'memory/device_reserved (GiB)': '59.79', 'tokens/train_per_sec_per_gpu': '298.1', 'tokens/trainable': 113695, 'tokens/total': 256322, 'epoch': '0.03433'}

  3%|█████▏                                                                                                                                                 | 9/263 [07:20<3:19:53, 47.22s/it]
  4%|█████▋                                                                                                                                                | 10/263 [08:10<3:21:47, 47.86s/it]
                                                                                                                                                                                              
{'loss': '1.348', 'grad_norm': '0.6723', 'learning_rate': '6.923e-05', 'ppl': '3.848', 'memory/max_active (GiB)': '28.92', 'memory/max_allocated (GiB)': '28.92', 'memory/device_reserved (GiB)': '37.95', 'tokens/train_per_sec_per_gpu': '238.3', 'tokens/trainable': 125442, 'tokens/total': 282552, 'epoch': '0.03815'}

  4%|█████▋                                                                                                                                                | 10/263 [08:10<3:21:47, 47.86s/it]
  4%|██████▎                                                                                                                                               | 11/263 [08:50<3:10:58, 45.47s/it]
                                                                                                                                                                                              
{'loss': '1.337', 'grad_norm': '0.701', 'learning_rate': '7.692e-05', 'ppl': '3.808', 'memory/max_active (GiB)': '25.92', 'memory/max_allocated (GiB)': '25.92', 'memory/device_reserved (GiB)': '33.79', 'tokens/train_per_sec_per_gpu': '275.6', 'tokens/trainable': 136483, 'tokens/total': 306800, 'epoch': '0.04196'}

  4%|██████▎                                                                                                                                               | 11/263 [08:50<3:10:58, 45.47s/it]
  5%|██████▊                                                                                                                                               | 12/263 [09:22<2:53:32, 41.48s/it]
                                                                                                                                                                                              
{'loss': '1.188', 'grad_norm': '0.5657', 'learning_rate': '8.462e-05', 'ppl': '3.28', 'memory/max_active (GiB)': '28.76', 'memory/max_allocated (GiB)': '28.76', 'memory/device_reserved (GiB)': '37.74', 'tokens/train_per_sec_per_gpu': '364.8', 'tokens/trainable': 148289, 'tokens/total': 329988, 'epoch': '0.04578'}

  5%|██████▊                                                                                                                                               | 12/263 [09:22<2:53:32, 41.48s/it]
  5%|███████▍                                                                                                                                              | 13/263 [10:18<3:11:41, 46.01s/it]
                                                                                                                                                                                              
{'loss': '1.115', 'grad_norm': '0.5181', 'learning_rate': '9.231e-05', 'ppl': '3.048', 'memory/max_active (GiB)': '48.15', 'memory/max_allocated (GiB)': '48.15', 'memory/device_reserved (GiB)': '67.89', 'tokens/train_per_sec_per_gpu': '312.6', 'tokens/trainable': 165922, 'tokens/total': 365046, 'epoch': '0.04959'}

  5%|███████▍                                                                                                                                              | 13/263 [10:18<3:11:41, 46.01s/it]
  5%|███████▉                                                                                                                                              | 14/263 [11:08<3:15:29, 47.11s/it]
                                                                                                                                                                                              
{'loss': '1.097', 'grad_norm': '0.5891', 'learning_rate': '0.0001', 'ppl': '2.995', 'memory/max_active (GiB)': '37.46', 'memory/max_allocated (GiB)': '37.46', 'memory/device_reserved (GiB)': '47.39', 'tokens/train_per_sec_per_gpu': '291.3', 'tokens/trainable': 180382, 'tokens/total': 398168, 'epoch': '0.05341'}

  5%|███████▉                                                                                                                                              | 14/263 [11:08<3:15:29, 47.11s/it]
  6%|████████▌                                                                                                                                             | 15/263 [11:59<3:19:12, 48.19s/it]
                                                                                                                                                                                              
{'loss': '1.005', 'grad_norm': '0.5228', 'learning_rate': '0.0001077', 'ppl': '2.732', 'memory/max_active (GiB)': '39.68', 'memory/max_allocated (GiB)': '39.68', 'memory/device_reserved (GiB)': '55.06', 'tokens/train_per_sec_per_gpu': '245.6', 'tokens/trainable': 192840, 'tokens/total': 425746, 'epoch': '0.05722'}

  6%|████████▌                                                                                                                                             | 15/263 [11:59<3:19:12, 48.19s/it]
  6%|█████████▏                                                                                                                                            | 16/263 [12:52<3:24:35, 49.70s/it]
                                                                                                                                                                                              
{'loss': '0.871', 'grad_norm': '0.36', 'learning_rate': '0.0001154', 'ppl': '2.389', 'memory/max_active (GiB)': '50.71', 'memory/max_allocated (GiB)': '50.71', 'memory/device_reserved (GiB)': '71.7', 'tokens/train_per_sec_per_gpu': '322.6', 'tokens/trainable': 209997, 'tokens/total': 464790, 'epoch': '0.06104'}

  6%|█████████▏                                                                                                                                            | 16/263 [12:52<3:24:35, 49.70s/it]
  6%|█████████▋                                                                                                                                            | 17/263 [13:45<3:27:34, 50.63s/it]
                                                                                                                                                                                              
{'loss': '0.98', 'grad_norm': '0.5478', 'learning_rate': '0.0001231', 'ppl': '2.664', 'memory/max_active (GiB)': '59.65', 'memory/max_allocated (GiB)': '59.65', 'memory/device_reserved (GiB)': '77.29', 'tokens/train_per_sec_per_gpu': '331.7', 'tokens/trainable': 227508, 'tokens/total': 502040, 'epoch': '0.06485'}

  6%|█████████▋                                                                                                                                            | 17/263 [13:45<3:27:34, 50.63s/it]
  7%|██████████▎                                                                                                                                           | 18/263 [14:33<3:24:00, 49.96s/it]
                                                                                                                                                                                              
{'loss': '1.008', 'grad_norm': '0.3831', 'learning_rate': '0.0001308', 'ppl': '2.74', 'memory/max_active (GiB)': '35.45', 'memory/max_allocated (GiB)': '35.45', 'memory/device_reserved (GiB)': '52.24', 'tokens/train_per_sec_per_gpu': '315.6', 'tokens/trainable': 242788, 'tokens/total': 533846, 'epoch': '0.06867'}

  7%|██████████▎                                                                                                                                           | 18/263 [14:33<3:24:00, 49.96s/it]
  7%|██████████▊                                                                                                                                           | 19/263 [15:13<3:10:30, 46.85s/it]
                                                                                                                                                                                              
{'loss': '0.9226', 'grad_norm': '0.4333', 'learning_rate': '0.0001385', 'ppl': '2.516', 'memory/max_active (GiB)': '41.82', 'memory/max_allocated (GiB)': '41.82', 'memory/device_reserved (GiB)': '58.38', 'tokens/train_per_sec_per_gpu': '382.9', 'tokens/trainable': 257947, 'tokens/total': 566334, 'epoch': '0.07248'}

  7%|██████████▊                                                                                                                                           | 19/263 [15:13<3:10:30, 46.85s/it][2026-06-14 14:28:28,050] [WARNING] [py.warnings._showwarnmsg:112] [PID:3393] /workspace/axolotl-venv/lib/python3.12/site-packages/torch/_dynamo/eval_frame.py:1181: UserWarning: torch.utils.checkpoint: the use_reentrant parameter should be passed explicitly. Starting in PyTorch 2.9, calling checkpoint without use_reentrant will raise an exception. use_reentrant=False is recommended, but if you need to preserve the current default behavior, you can pass use_reentrant=True. Refer to docs for more details on the differences between the two variants.
  return fn(*args, **kwargs)

[2026-06-14 14:28:28,323] [WARNING] [py.warnings._showwarnmsg:112] [PID:3393] /workspace/axolotl-venv/lib/python3.12/site-packages/torch/_dynamo/eval_frame.py:1181: UserWarning: torch.utils.checkpoint: the use_reentrant parameter should be passed explicitly. Starting in PyTorch 2.9, calling checkpoint without use_reentrant will raise an exception. use_reentrant=False is recommended, but if you need to preserve the current default behavior, you can pass use_reentrant=True. Refer to docs for more details on the differences between the two variants.
  return fn(*args, **kwargs)


  8%|███████████▍                                                                                                                                          | 20/263 [16:11<3:23:38, 50.28s/it]
                                                                                                                                                                                              
{'loss': '0.9231', 'grad_norm': '0.4565', 'learning_rate': '0.0001462', 'ppl': '2.517', 'memory/max_active (GiB)': '37.11', 'memory/max_allocated (GiB)': '37.11', 'memory/device_reserved (GiB)': '46.94', 'tokens/train_per_sec_per_gpu': '361.3', 'tokens/trainable': 279009, 'tokens/total': 610288, 'epoch': '0.0763'}

  8%|███████████▍                                                                                                                                          | 20/263 [16:11<3:23:38, 50.28s/it]
  8%|███████████▉                                                                                                                                          | 21/263 [17:02<3:23:17, 50.40s/it]
                                                                                                                                                                                              
{'loss': '0.9047', 'grad_norm': '0.5018', 'learning_rate': '0.0001538', 'ppl': '2.471', 'memory/max_active (GiB)': '33.83', 'memory/max_allocated (GiB)': '33.83', 'memory/device_reserved (GiB)': '42.33', 'tokens/train_per_sec_per_gpu': '243', 'tokens/trainable': 291324, 'tokens/total': 637560, 'epoch': '0.08011'}

  8%|███████████▉                                                                                                                                          | 21/263 [17:02<3:23:17, 50.40s/it]
  8%|████████████▌                                                                                                                                         | 22/263 [17:44<3:12:51, 48.01s/it]
                                                                                                                                                                                              
{'loss': '0.892', 'grad_norm': '0.4374', 'learning_rate': '0.0001615', 'ppl': '2.44', 'memory/max_active (GiB)': '31.34', 'memory/max_allocated (GiB)': '31.34', 'memory/device_reserved (GiB)': '41.63', 'tokens/train_per_sec_per_gpu': '440', 'tokens/trainable': 309998, 'tokens/total': 672066, 'epoch': '0.08393'}

  8%|████████████▌                                                                                                                                         | 22/263 [17:44<3:12:51, 48.01s/it]
  9%|█████████████                                                                                                                                         | 23/263 [18:16<2:52:03, 43.01s/it]
                                                                                                                                                                                              
{'loss': '1', 'grad_norm': '0.3918', 'learning_rate': '0.0001692', 'ppl': '2.719', 'memory/max_active (GiB)': '27.48', 'memory/max_allocated (GiB)': '27.48', 'memory/device_reserved (GiB)': '35.84', 'tokens/train_per_sec_per_gpu': '384.6', 'tokens/trainable': 322055, 'tokens/total': 698356, 'epoch': '0.08774'}

  9%|█████████████                                                                                                                                         | 23/263 [18:16<2:52:03, 43.01s/it]
  9%|█████████████▋                                                                                                                                        | 24/263 [18:42<2:31:15, 37.97s/it]
                                                                                                                                                                                              
{'loss': '0.9319', 'grad_norm': '0.3207', 'learning_rate': '0.0001769', 'ppl': '2.539', 'memory/max_active (GiB)': '22.66', 'memory/max_allocated (GiB)': '22.66', 'memory/device_reserved (GiB)': '28.68', 'tokens/train_per_sec_per_gpu': '382.2', 'tokens/trainable': 332075, 'tokens/total': 718552, 'epoch': '0.09156'}

  9%|█████████████▋                                                                                                                                        | 24/263 [18:42<2:31:15, 37.97s/it]
 10%|██████████████▎                                                                                                                                       | 25/263 [19:26<2:38:17, 39.90s/it]
                                                                                                                                                                                              
{'loss': '0.8685', 'grad_norm': '0.2337', 'learning_rate': '0.0001846', 'ppl': '2.383', 'memory/max_active (GiB)': '31.11', 'memory/max_allocated (GiB)': '31.11', 'memory/device_reserved (GiB)': '38.38', 'tokens/train_per_sec_per_gpu': '287', 'tokens/trainable': 344822, 'tokens/total': 746628, 'epoch': '0.09537'}

 10%|██████████████▎                                                                                                                                       | 25/263 [19:26<2:38:17, 39.90s/it]
 10%|██████████████▊                                                                                                                                       | 26/263 [20:17<2:50:36, 43.19s/it]
                                                                                                                                                                                              
{'loss': '0.9079', 'grad_norm': '0.2105', 'learning_rate': '0.0001923', 'ppl': '2.479', 'memory/max_active (GiB)': '27.1', 'memory/max_allocated (GiB)': '27.1', 'memory/device_reserved (GiB)': '35.33', 'tokens/train_per_sec_per_gpu': '241.9', 'tokens/trainable': 357129, 'tokens/total': 775900, 'epoch': '0.09919'}

 10%|██████████████▊                                                                                                                                       | 26/263 [20:17<2:50:36, 43.19s/it]
 10%|███████████████▍                                                                                                                                      | 27/263 [20:59<2:48:53, 42.94s/it]
                                                                                                                                                                                              
{'loss': '0.9097', 'grad_norm': '0.2115', 'learning_rate': '0.0002', 'ppl': '2.484', 'memory/max_active (GiB)': '45.8', 'memory/max_allocated (GiB)': '45.8', 'memory/device_reserved (GiB)': '64.2', 'tokens/train_per_sec_per_gpu': '297.6', 'tokens/trainable': 369730, 'tokens/total': 802730, 'epoch': '0.103'}

 10%|███████████████▍                                                                                                                                      | 27/263 [20:59<2:48:53, 42.94s/it]
 11%|███████████████▉                                                                                                                                      | 28/263 [21:41<2:46:11, 42.43s/it]
                                                                                                                                                                                              
{'loss': '0.8107', 'grad_norm': '0.1699', 'learning_rate': '0.0002', 'ppl': '2.249', 'memory/max_active (GiB)': '39.66', 'memory/max_allocated (GiB)': '39.66', 'memory/device_reserved (GiB)': '64.2', 'tokens/train_per_sec_per_gpu': '399.8', 'tokens/trainable': 386221, 'tokens/total': 839556, 'epoch': '0.1068'}

 11%|███████████████▉                                                                                                                                      | 28/263 [21:41<2:46:11, 42.43s/it]
 11%|████████████████▌                                                                                                                                     | 29/263 [22:13<2:33:22, 39.33s/it]
                                                                                                                                                                                              
{'loss': '0.8618', 'grad_norm': '0.188', 'learning_rate': '0.0002', 'ppl': '2.367', 'memory/max_active (GiB)': '30.9', 'memory/max_allocated (GiB)': '30.9', 'memory/device_reserved (GiB)': '41.18', 'tokens/train_per_sec_per_gpu': '358.7', 'tokens/trainable': 397730, 'tokens/total': 866216, 'epoch': '0.1106'}

 11%|████████████████▌                                                                                                                                     | 29/263 [22:13<2:33:22, 39.33s/it]
 11%|█████████████████                                                                                                                                     | 30/263 [22:51<2:31:11, 38.93s/it]
                                                                                                                                                                                              
{'loss': '0.7588', 'grad_norm': '0.1495', 'learning_rate': '0.0001999', 'ppl': '2.136', 'memory/max_active (GiB)': '31.81', 'memory/max_allocated (GiB)': '31.81', 'memory/device_reserved (GiB)': '42.5', 'tokens/train_per_sec_per_gpu': '420', 'tokens/trainable': 413695, 'tokens/total': 898918, 'epoch': '0.1144'}

 11%|█████████████████                                                                                                                                     | 30/263 [22:51<2:31:11, 38.93s/it]
 12%|█████████████████▋                                                                                                                                    | 31/263 [23:27<2:27:18, 38.10s/it]
                                                                                                                                                                                              
{'loss': '0.7096', 'grad_norm': '0.1585', 'learning_rate': '0.0001999', 'ppl': '2.033', 'memory/max_active (GiB)': '26.02', 'memory/max_allocated (GiB)': '26.02', 'memory/device_reserved (GiB)': '33.68', 'tokens/train_per_sec_per_gpu': '283.3', 'tokens/trainable': 423936, 'tokens/total': 923272, 'epoch': '0.1183'}

 12%|█████████████████▋                                                                                                                                    | 31/263 [23:27<2:27:18, 38.10s/it]
 12%|██████████████████▎                                                                                                                                   | 32/263 [24:16<2:39:47, 41.50s/it]
                                                                                                                                                                                              
{'loss': '0.7129', 'grad_norm': '0.1396', 'learning_rate': '0.0001998', 'ppl': '2.04', 'memory/max_active (GiB)': '49.05', 'memory/max_allocated (GiB)': '49.05', 'memory/device_reserved (GiB)': '69.17', 'tokens/train_per_sec_per_gpu': '434.5', 'tokens/trainable': 445423, 'tokens/total': 968072, 'epoch': '0.1221'}

 12%|██████████████████▎                                                                                                                                   | 32/263 [24:16<2:39:47, 41.50s/it]
 13%|██████████████████▊                                                                                                                                   | 33/263 [24:52<2:32:16, 39.72s/it]
                                                                                                                                                                                              
{'loss': '0.8433', 'grad_norm': '0.1598', 'learning_rate': '0.0001997', 'ppl': '2.324', 'memory/max_active (GiB)': '28.78', 'memory/max_allocated (GiB)': '28.78', 'memory/device_reserved (GiB)': '61.66', 'tokens/train_per_sec_per_gpu': '373.5', 'tokens/trainable': 458707, 'tokens/total': 996758, 'epoch': '0.1259'}

 13%|██████████████████▊                                                                                                                                   | 33/263 [24:52<2:32:16, 39.72s/it]
 13%|███████████████████▍                                                                                                                                  | 34/263 [25:44<2:46:13, 43.55s/it]
                                                                                                                                                                                              
{'loss': '0.7034', 'grad_norm': '0.1374', 'learning_rate': '0.0001996', 'ppl': '2.021', 'memory/max_active (GiB)': '47.51', 'memory/max_allocated (GiB)': '47.51', 'memory/device_reserved (GiB)': '67.08', 'tokens/train_per_sec_per_gpu': '380.5', 'tokens/trainable': 478680, 'tokens/total': 1041764, 'epoch': '0.1297'}

 13%|███████████████████▍                                                                                                                                  | 34/263 [25:44<2:46:13, 43.55s/it]
 13%|███████████████████▉                                                                                                                                  | 35/263 [26:23<2:39:55, 42.09s/it]
                                                                                                                                                                                              
{'loss': '0.705', 'grad_norm': '0.1833', 'learning_rate': '0.0001994', 'ppl': '2.024', 'memory/max_active (GiB)': '35.78', 'memory/max_allocated (GiB)': '35.78', 'memory/device_reserved (GiB)': '45.08', 'tokens/train_per_sec_per_gpu': '333.5', 'tokens/trainable': 491578, 'tokens/total': 1071866, 'epoch': '0.1335'}

 13%|███████████████████▉                                                                                                                                  | 35/263 [26:23<2:39:55, 42.09s/it]
 14%|████████████████████▌                                                                                                                                 | 36/263 [27:25<3:01:14, 47.90s/it]
                                                                                                                                                                                              
{'loss': '0.7842', 'grad_norm': '0.129', 'learning_rate': '0.0001993', 'ppl': '2.191', 'memory/max_active (GiB)': '60.96', 'memory/max_allocated (GiB)': '60.96', 'memory/device_reserved (GiB)': '68.99', 'tokens/train_per_sec_per_gpu': '468.1', 'tokens/trainable': 520355, 'tokens/total': 1124412, 'epoch': '0.1373'}

 14%|████████████████████▌                                                                                                                                 | 36/263 [27:25<3:01:14, 47.90s/it]
 14%|█████████████████████                                                                                                                                 | 37/263 [27:58<2:43:52, 43.51s/it]
                                                                                                                                                                                              
{'loss': '0.81', 'grad_norm': '0.164', 'learning_rate': '0.0001991', 'ppl': '2.248', 'memory/max_active (GiB)': '40.05', 'memory/max_allocated (GiB)': '40.05', 'memory/device_reserved (GiB)': '55.65', 'tokens/train_per_sec_per_gpu': '384.6', 'tokens/trainable': 533138, 'tokens/total': 1152862, 'epoch': '0.1412'}

 14%|█████████████████████                                                                                                                                 | 37/263 [27:58<2:43:52, 43.51s/it]
 14%|█████████████████████▋                                                                                                                                | 38/263 [28:42<2:43:52, 43.70s/it]
                                                                                                                                                                                              
{'loss': '0.6781', 'grad_norm': '0.1564', 'learning_rate': '0.0001989', 'ppl': '1.97', 'memory/max_active (GiB)': '49.18', 'memory/max_allocated (GiB)': '49.18', 'memory/device_reserved (GiB)': '69.5', 'tokens/train_per_sec_per_gpu': '413.4', 'tokens/trainable': 551391, 'tokens/total': 1190852, 'epoch': '0.145'}

 14%|█████████████████████▋                                                                                                                                | 38/263 [28:42<2:43:52, 43.70s/it]
 15%|██████████████████████▏                                                                                                                               | 39/263 [29:17<2:33:07, 41.01s/it]
                                                                                                                                                                                              
{'loss': '0.8666', 'grad_norm': '0.1817', 'learning_rate': '0.0001987', 'ppl': '2.379', 'memory/max_active (GiB)': '42.54', 'memory/max_allocated (GiB)': '42.54', 'memory/device_reserved (GiB)': '59.24', 'tokens/train_per_sec_per_gpu': '349.9', 'tokens/trainable': 563547, 'tokens/total': 1219812, 'epoch': '0.1488'}

 15%|██████████████████████▏                                                                                                                               | 39/263 [29:17<2:33:07, 41.01s/it]
 15%|██████████████████████▊                                                                                                                               | 40/263 [29:53<2:27:38, 39.72s/it]
                                                                                                                                                                                              
{'loss': '0.7456', 'grad_norm': '0.1504', 'learning_rate': '0.0001985', 'ppl': '2.108', 'memory/max_active (GiB)': '37.56', 'memory/max_allocated (GiB)': '37.56', 'memory/device_reserved (GiB)': '47.6', 'tokens/train_per_sec_per_gpu': '429.8', 'tokens/trainable': 579326, 'tokens/total': 1251662, 'epoch': '0.1526'}

 15%|██████████████████████▊                                                                                                                               | 40/263 [29:53<2:27:38, 39.72s/it]
 16%|███████████████████████▍                                                                                                                              | 41/263 [30:30<2:23:42, 38.84s/it]
                                                                                                                                                                                              
{'loss': '0.7436', 'grad_norm': '0.1403', 'learning_rate': '0.0001983', 'ppl': '2.103', 'memory/max_active (GiB)': '35.11', 'memory/max_allocated (GiB)': '35.11', 'memory/device_reserved (GiB)': '44.3', 'tokens/train_per_sec_per_gpu': '410.9', 'tokens/trainable': 594442, 'tokens/total': 1285326, 'epoch': '0.1564'}

 16%|███████████████████████▍                                                                                                                              | 41/263 [30:30<2:23:42, 38.84s/it]
 16%|███████████████████████▉                                                                                                                              | 42/263 [31:12<2:26:40, 39.82s/it]
                                                                                                                                                                                              
{'loss': '0.752', 'grad_norm': '0.1654', 'learning_rate': '0.000198', 'ppl': '2.121', 'memory/max_active (GiB)': '31.65', 'memory/max_allocated (GiB)': '31.65', 'memory/device_reserved (GiB)': '41.45', 'tokens/train_per_sec_per_gpu': '317.2', 'tokens/trainable': 607800, 'tokens/total': 1315504, 'epoch': '0.1602'}

 16%|███████████████████████▉                                                                                                                              | 42/263 [31:12<2:26:40, 39.82s/it]
 16%|████████████████████████▌                                                                                                                             | 43/263 [31:54<2:28:01, 40.37s/it]
                                                                                                                                                                                              
{'loss': '0.823', 'grad_norm': '0.1637', 'learning_rate': '0.0001978', 'ppl': '2.277', 'memory/max_active (GiB)': '26.15', 'memory/max_allocated (GiB)': '26.15', 'memory/device_reserved (GiB)': '28.68', 'tokens/train_per_sec_per_gpu': '277.6', 'tokens/trainable': 619363, 'tokens/total': 1338730, 'epoch': '0.164'}

 16%|████████████████████████▌                                                                                                                             | 43/263 [31:54<2:28:01, 40.37s/it]
 17%|█████████████████████████                                                                                                                             | 44/263 [32:34<2:26:37, 40.17s/it]
                                                                                                                                                                                              
{'loss': '0.7822', 'grad_norm': '0.1594', 'learning_rate': '0.0001975', 'ppl': '2.186', 'memory/max_active (GiB)': '36.38', 'memory/max_allocated (GiB)': '36.38', 'memory/device_reserved (GiB)': '46.06', 'tokens/train_per_sec_per_gpu': '375.6', 'tokens/trainable': 634277, 'tokens/total': 1370806, 'epoch': '0.1679'}

 17%|█████████████████████████                                                                                                                             | 44/263 [32:34<2:26:37, 40.17s/it]
 17%|█████████████████████████▋                                                                                                                            | 45/263 [33:11<2:23:02, 39.37s/it]
                                                                                                                                                                                              
{'loss': '0.7665', 'grad_norm': '0.1315', 'learning_rate': '0.0001972', 'ppl': '2.152', 'memory/max_active (GiB)': '32.6', 'memory/max_allocated (GiB)': '32.6', 'memory/device_reserved (GiB)': '46.06', 'tokens/train_per_sec_per_gpu': '406.5', 'tokens/trainable': 649519, 'tokens/total': 1403632, 'epoch': '0.1717'}

 17%|█████████████████████████▋                                                                                                                            | 45/263 [33:11<2:23:02, 39.37s/it]
 17%|██████████████████████████▏                                                                                                                           | 46/263 [33:41<2:12:01, 36.50s/it]
                                                                                                                                                                                              
{'loss': '0.7592', 'grad_norm': '0.1396', 'learning_rate': '0.0001968', 'ppl': '2.137', 'memory/max_active (GiB)': '22.71', 'memory/max_allocated (GiB)': '22.71', 'memory/device_reserved (GiB)': '33.91', 'tokens/train_per_sec_per_gpu': '378.9', 'tokens/trainable': 660815, 'tokens/total': 1426008, 'epoch': '0.1755'}

 17%|██████████████████████████▏                                                                                                                           | 46/263 [33:41<2:12:01, 36.50s/it]
 18%|██████████████████████████▊                                                                                                                           | 47/263 [34:20<2:14:37, 37.40s/it]
                                                                                                                                                                                              
{'loss': '0.7492', 'grad_norm': '0.1523', 'learning_rate': '0.0001965', 'ppl': '2.115', 'memory/max_active (GiB)': '30.88', 'memory/max_allocated (GiB)': '30.88', 'memory/device_reserved (GiB)': '40.8', 'tokens/train_per_sec_per_gpu': '300.6', 'tokens/trainable': 672685, 'tokens/total': 1452446, 'epoch': '0.1793'}

 18%|██████████████████████████▊                                                                                                                           | 47/263 [34:20<2:14:37, 37.40s/it]
 18%|███████████████████████████▍                                                                                                                          | 48/263 [35:11<2:28:02, 41.32s/it]
                                                                                                                                                                                              
{'loss': '0.7758', 'grad_norm': '0.1287', 'learning_rate': '0.0001962', 'ppl': '2.172', 'memory/max_active (GiB)': '46.66', 'memory/max_allocated (GiB)': '46.66', 'memory/device_reserved (GiB)': '65.45', 'tokens/train_per_sec_per_gpu': '309.9', 'tokens/trainable': 688320, 'tokens/total': 1484130, 'epoch': '0.1831'}

 18%|███████████████████████████▍                                                                                                                          | 48/263 [35:11<2:28:02, 41.32s/it]
 19%|███████████████████████████▉                                                                                                                          | 49/263 [35:50<2:24:35, 40.54s/it]
                                                                                                                                                                                              
{'loss': '0.723', 'grad_norm': '0.1277', 'learning_rate': '0.0001958', 'ppl': '2.061', 'memory/max_active (GiB)': '31.37', 'memory/max_allocated (GiB)': '31.37', 'memory/device_reserved (GiB)': '41.67', 'tokens/train_per_sec_per_gpu': '351.3', 'tokens/trainable': 701926, 'tokens/total': 1512564, 'epoch': '0.1869'}

 19%|███████████████████████████▉                                                                                                                          | 49/263 [35:50<2:24:35, 40.54s/it]
 19%|████████████████████████████▌                                                                                                                         | 50/263 [36:34<2:27:53, 41.66s/it]
                                                                                                                                                                                              
{'loss': '0.6734', 'grad_norm': '0.1139', 'learning_rate': '0.0001954', 'ppl': '1.961', 'memory/max_active (GiB)': '38.79', 'memory/max_allocated (GiB)': '38.79', 'memory/device_reserved (GiB)': '53.5', 'tokens/train_per_sec_per_gpu': '458.3', 'tokens/trainable': 722216, 'tokens/total': 1551038, 'epoch': '0.1907'}

 19%|████████████████████████████▌                                                                                                                         | 50/263 [36:34<2:27:53, 41.66s/it]
 19%|█████████████████████████████                                                                                                                         | 51/263 [37:28<2:40:22, 45.39s/it]
                                                                                                                                                                                              
{'loss': '0.7031', 'grad_norm': '0.1693', 'learning_rate': '0.000195', 'ppl': '2.02', 'memory/max_active (GiB)': '45.1', 'memory/max_allocated (GiB)': '45.1', 'memory/device_reserved (GiB)': '63.62', 'tokens/train_per_sec_per_gpu': '270.4', 'tokens/trainable': 736843, 'tokens/total': 1585540, 'epoch': '0.1946'}

 19%|█████████████████████████████                                                                                                                         | 51/263 [37:28<2:40:22, 45.39s/it]
 20%|█████████████████████████████▋                                                                                                                        | 52/263 [38:10<2:36:32, 44.52s/it]
                                                                                                                                                                                              
{'loss': '0.7569', 'grad_norm': '0.1728', 'learning_rate': '0.0001946', 'ppl': '2.132', 'memory/max_active (GiB)': '20.75', 'memory/max_allocated (GiB)': '20.75', 'memory/device_reserved (GiB)': '25.67', 'tokens/train_per_sec_per_gpu': '179.7', 'tokens/trainable': 744474, 'tokens/total': 1602602, 'epoch': '0.1984'}

 20%|█████████████████████████████▋                                                                                                                        | 52/263 [38:10<2:36:32, 44.52s/it]
 20%|██████████████████████████████▏                                                                                                                       | 53/263 [38:53<2:33:22, 43.82s/it]
                                                                                                                                                                                              
{'loss': '0.81', 'grad_norm': '0.1633', 'learning_rate': '0.0001941', 'ppl': '2.248', 'memory/max_active (GiB)': '27.01', 'memory/max_allocated (GiB)': '27.01', 'memory/device_reserved (GiB)': '35.24', 'tokens/train_per_sec_per_gpu': '223.7', 'tokens/trainable': 753915, 'tokens/total': 1625426, 'epoch': '0.2022'}

 20%|██████████████████████████████▏                                                                                                                       | 53/263 [38:53<2:33:22, 43.82s/it]
 21%|██████████████████████████████▊                                                                                                                       | 54/263 [39:42<2:37:58, 45.35s/it]
                                                                                                                                                                                              
{'loss': '0.7126', 'grad_norm': '0.1385', 'learning_rate': '0.0001937', 'ppl': '2.039', 'memory/max_active (GiB)': '37.95', 'memory/max_allocated (GiB)': '37.95', 'memory/device_reserved (GiB)': '48.03', 'tokens/train_per_sec_per_gpu': '320.1', 'tokens/trainable': 769572, 'tokens/total': 1660362, 'epoch': '0.206'}

 21%|██████████████████████████████▊                                                                                                                       | 54/263 [39:42<2:37:58, 45.35s/it]
 21%|███████████████████████████████▎                                                                                                                      | 55/263 [40:31<2:41:57, 46.72s/it]
                                                                                                                                                                                              
{'loss': '0.6959', 'grad_norm': '0.1312', 'learning_rate': '0.0001932', 'ppl': '2.006', 'memory/max_active (GiB)': '45.85', 'memory/max_allocated (GiB)': '45.85', 'memory/device_reserved (GiB)': '64.3', 'tokens/train_per_sec_per_gpu': '344.5', 'tokens/trainable': 786763, 'tokens/total': 1697704, 'epoch': '0.2098'}

 21%|███████████████████████████████▎                                                                                                                      | 55/263 [40:31<2:41:57, 46.72s/it]
 21%|███████████████████████████████▉                                                                                                                      | 56/263 [41:15<2:37:46, 45.73s/it]
                                                                                                                                                                                              
{'loss': '0.7052', 'grad_norm': '0.1675', 'learning_rate': '0.0001927', 'ppl': '2.024', 'memory/max_active (GiB)': '28.46', 'memory/max_allocated (GiB)': '28.46', 'memory/device_reserved (GiB)': '37.35', 'tokens/train_per_sec_per_gpu': '235.5', 'tokens/trainable': 796991, 'tokens/total': 1720524, 'epoch': '0.2136'}

 21%|███████████████████████████████▉                                                                                                                      | 56/263 [41:15<2:37:46, 45.73s/it]
 22%|████████████████████████████████▌                                                                                                                     | 57/263 [42:15<2:51:52, 50.06s/it]
                                                                                                                                                                                              
{'loss': '0.6921', 'grad_norm': '0.1401', 'learning_rate': '0.0001922', 'ppl': '1.998', 'memory/max_active (GiB)': '54.96', 'memory/max_allocated (GiB)': '54.96', 'memory/device_reserved (GiB)': '78.17', 'tokens/train_per_sec_per_gpu': '296.9', 'tokens/trainable': 814853, 'tokens/total': 1756640, 'epoch': '0.2175'}

 22%|████████████████████████████████▌                                                                                                                     | 57/263 [42:15<2:51:52, 50.06s/it]
 22%|█████████████████████████████████                                                                                                                     | 58/263 [43:00<2:45:34, 48.46s/it]
                                                                                                                                                                                              
{'loss': '0.7537', 'grad_norm': '0.1416', 'learning_rate': '0.0001917', 'ppl': '2.125', 'memory/max_active (GiB)': '32.83', 'memory/max_allocated (GiB)': '32.83', 'memory/device_reserved (GiB)': '41.12', 'tokens/train_per_sec_per_gpu': '332.1', 'tokens/trainable': 829705, 'tokens/total': 1793570, 'epoch': '0.2213'}

 22%|█████████████████████████████████                                                                                                                     | 58/263 [43:00<2:45:34, 48.46s/it]
 22%|█████████████████████████████████▋                                                                                                                    | 59/263 [43:42<2:38:03, 46.49s/it]
                                                                                                                                                                                              
{'loss': '0.731', 'grad_norm': '0.1516', 'learning_rate': '0.0001911', 'ppl': '2.077', 'memory/max_active (GiB)': '33.92', 'memory/max_allocated (GiB)': '33.92', 'memory/device_reserved (GiB)': '43.25', 'tokens/train_per_sec_per_gpu': '357.5', 'tokens/trainable': 844681, 'tokens/total': 1827586, 'epoch': '0.2251'}

 22%|█████████████████████████████████▋                                                                                                                    | 59/263 [43:42<2:38:03, 46.49s/it]
 23%|██████████████████████████████████▏                                                                                                                   | 60/263 [44:31<2:40:35, 47.46s/it]
                                                                                                                                                                                              
{'loss': '0.7322', 'grad_norm': '0.1597', 'learning_rate': '0.0001906', 'ppl': '2.08', 'memory/max_active (GiB)': '27.46', 'memory/max_allocated (GiB)': '27.46', 'memory/device_reserved (GiB)': '42.7', 'tokens/train_per_sec_per_gpu': '226', 'tokens/trainable': 855924, 'tokens/total': 1853648, 'epoch': '0.2289'}

 23%|██████████████████████████████████▏                                                                                                                   | 60/263 [44:31<2:40:35, 47.46s/it]
 23%|██████████████████████████████████▊                                                                                                                   | 61/263 [45:19<2:39:37, 47.41s/it]
                                                                                                                                                                                              
{'loss': '0.7511', 'grad_norm': '0.1819', 'learning_rate': '0.00019', 'ppl': '2.119', 'memory/max_active (GiB)': '27.97', 'memory/max_allocated (GiB)': '27.97', 'memory/device_reserved (GiB)': '36.56', 'tokens/train_per_sec_per_gpu': '225.6', 'tokens/trainable': 866595, 'tokens/total': 1878090, 'epoch': '0.2327'}

 23%|██████████████████████████████████▊                                                                                                                   | 61/263 [45:19<2:39:37, 47.41s/it]
 24%|███████████████████████████████████▎                                                                                                                  | 62/263 [46:01<2:33:28, 45.81s/it]
                                                                                                                                                                                              
{'loss': '0.6627', 'grad_norm': '0.1462', 'learning_rate': '0.0001894', 'ppl': '1.94', 'memory/max_active (GiB)': '38.92', 'memory/max_allocated (GiB)': '38.92', 'memory/device_reserved (GiB)': '53.8', 'tokens/train_per_sec_per_gpu': '373.5', 'tokens/trainable': 882309, 'tokens/total': 1913740, 'epoch': '0.2365'}

 24%|███████████████████████████████████▎                                                                                                                  | 62/263 [46:01<2:33:28, 45.81s/it]
 24%|███████████████████████████████████▉                                                                                                                  | 63/263 [47:16<3:01:53, 54.57s/it]
                                                                                                                                                                                              
{'loss': '0.6414', 'grad_norm': '0.1468', 'learning_rate': '0.0001888', 'ppl': '1.899', 'memory/max_active (GiB)': '56.13', 'memory/max_allocated (GiB)': '56.13', 'memory/device_reserved (GiB)': '73.46', 'tokens/train_per_sec_per_gpu': '332.8', 'tokens/trainable': 907269, 'tokens/total': 1971906, 'epoch': '0.2403'}

 24%|███████████████████████████████████▉                                                                                                                  | 63/263 [47:16<3:01:53, 54.57s/it]
 24%|████████████████████████████████████▌                                                                                                                 | 64/263 [47:56<2:46:47, 50.29s/it]
                                                                                                                                                                                              
{'loss': '0.7153', 'grad_norm': '0.2024', 'learning_rate': '0.0001882', 'ppl': '2.045', 'memory/max_active (GiB)': '53.82', 'memory/max_allocated (GiB)': '53.82', 'memory/device_reserved (GiB)': '76.49', 'tokens/train_per_sec_per_gpu': '322', 'tokens/trainable': 920250, 'tokens/total': 2002390, 'epoch': '0.2442'}

 24%|████████████████████████████████████▌                                                                                                                 | 64/263 [47:56<2:46:47, 50.29s/it]
 25%|█████████████████████████████████████                                                                                                                 | 65/263 [48:30<2:29:57, 45.44s/it]
                                                                                                                                                                                              
{'loss': '0.7389', 'grad_norm': '0.1698', 'learning_rate': '0.0001876', 'ppl': '2.094', 'memory/max_active (GiB)': '29.14', 'memory/max_allocated (GiB)': '29.14', 'memory/device_reserved (GiB)': '32.23', 'tokens/train_per_sec_per_gpu': '324.5', 'tokens/trainable': 931325, 'tokens/total': 2028270, 'epoch': '0.248'}

 25%|█████████████████████████████████████                                                                                                                 | 65/263 [48:30<2:29:57, 45.44s/it]
 25%|█████████████████████████████████████▋                                                                                                                | 66/263 [49:17<2:30:15, 45.76s/it]
                                                                                                                                                                                              
{'loss': '0.8371', 'grad_norm': '0.2279', 'learning_rate': '0.0001869', 'ppl': '2.31', 'memory/max_active (GiB)': '33.75', 'memory/max_allocated (GiB)': '33.75', 'memory/device_reserved (GiB)': '37.72', 'tokens/train_per_sec_per_gpu': '214.5', 'tokens/trainable': 941301, 'tokens/total': 2051108, 'epoch': '0.2518'}

 25%|█████████████████████████████████████▋                                                                                                                | 66/263 [49:17<2:30:15, 45.76s/it]
 25%|██████████████████████████████████████▏                                                                                                               | 67/263 [50:05<2:31:52, 46.49s/it]
                                                                                                                                                                                              
{'loss': '0.705', 'grad_norm': '0.1503', 'learning_rate': '0.0001863', 'ppl': '2.024', 'memory/max_active (GiB)': '27.18', 'memory/max_allocated (GiB)': '27.18', 'memory/device_reserved (GiB)': '35.22', 'tokens/train_per_sec_per_gpu': '279', 'tokens/trainable': 954748, 'tokens/total': 2079644, 'epoch': '0.2556'}

 25%|██████████████████████████████████████▏                                                                                                               | 67/263 [50:05<2:31:52, 46.49s/it]
 26%|██████████████████████████████████████▊                                                                                                               | 68/263 [50:43<2:23:13, 44.07s/it]
                                                                                                                                                                                              
{'loss': '0.7131', 'grad_norm': '0.1581', 'learning_rate': '0.0001856', 'ppl': '2.04', 'memory/max_active (GiB)': '34.76', 'memory/max_allocated (GiB)': '34.76', 'memory/device_reserved (GiB)': '43.81', 'tokens/train_per_sec_per_gpu': '356.9', 'tokens/trainable': 968461, 'tokens/total': 2106514, 'epoch': '0.2594'}

 26%|██████████████████████████████████████▊                                                                                                               | 68/263 [50:43<2:23:13, 44.07s/it]
 26%|███████████████████████████████████████▎                                                                                                              | 69/263 [51:16<2:11:22, 40.63s/it]
                                                                                                                                                                                              
{'loss': '0.7511', 'grad_norm': '0.1736', 'learning_rate': '0.0001849', 'ppl': '2.119', 'memory/max_active (GiB)': '27.61', 'memory/max_allocated (GiB)': '27.61', 'memory/device_reserved (GiB)': '36.19', 'tokens/train_per_sec_per_gpu': '401.6', 'tokens/trainable': 981554, 'tokens/total': 2133242, 'epoch': '0.2632'}

 26%|███████████████████████████████████████▎                                                                                                              | 69/263 [51:16<2:11:22, 40.63s/it]
 27%|███████████████████████████████████████▉                                                                                                              | 70/263 [51:47<2:00:59, 37.61s/it]
                                                                                                                                                                                              
{'loss': '0.7844', 'grad_norm': '0.1974', 'learning_rate': '0.0001842', 'ppl': '2.191', 'memory/max_active (GiB)': '22.87', 'memory/max_allocated (GiB)': '22.87', 'memory/device_reserved (GiB)': '35.35', 'tokens/train_per_sec_per_gpu': '308.7', 'tokens/trainable': 990994, 'tokens/total': 2153354, 'epoch': '0.267'}

 27%|███████████████████████████████████████▉                                                                                                              | 70/263 [51:47<2:00:59, 37.61s/it]
 27%|████████████████████████████████████████▍                                                                                                             | 71/263 [52:43<2:18:20, 43.23s/it]
                                                                                                                                                                                              
{'loss': '0.6828', 'grad_norm': '0.2258', 'learning_rate': '0.0001835', 'ppl': '1.98', 'memory/max_active (GiB)': '39.9', 'memory/max_allocated (GiB)': '39.9', 'memory/device_reserved (GiB)': '55.24', 'tokens/train_per_sec_per_gpu': '225.3', 'tokens/trainable': 1003686, 'tokens/total': 2182806, 'epoch': '0.2709'}

 27%|████████████████████████████████████████▍                                                                                                             | 71/263 [52:43<2:18:20, 43.23s/it]
 27%|█████████████████████████████████████████                                                                                                             | 72/263 [54:06<2:55:59, 55.29s/it]
                                                                                                                                                                                              
{'loss': '0.5772', 'grad_norm': '0.1597', 'learning_rate': '0.0001827', 'ppl': '1.781', 'memory/max_active (GiB)': '59.04', 'memory/max_allocated (GiB)': '59.04', 'memory/device_reserved (GiB)': '76.68', 'tokens/train_per_sec_per_gpu': '300.7', 'tokens/trainable': 1028766, 'tokens/total': 2241490, 'epoch': '0.2747'}

 27%|█████████████████████████████████████████                                                                                                             | 72/263 [54:06<2:55:59, 55.29s/it]
 28%|█████████████████████████████████████████▋                                                                                                            | 73/263 [54:46<2:39:57, 50.51s/it]
                                                                                                                                                                                              
{'loss': '0.6909', 'grad_norm': '0.1693', 'learning_rate': '0.000182', 'ppl': '1.995', 'memory/max_active (GiB)': '42.9', 'memory/max_allocated (GiB)': '42.9', 'memory/device_reserved (GiB)': '59.81', 'tokens/train_per_sec_per_gpu': '349.6', 'tokens/trainable': 1042530, 'tokens/total': 2272086, 'epoch': '0.2785'}

 28%|█████████████████████████████████████████▋                                                                                                            | 73/263 [54:46<2:39:57, 50.51s/it]
 28%|██████████████████████████████████████████▏                                                                                                           | 74/263 [55:30<2:33:13, 48.65s/it]
                                                                                                                                                                                              
{'loss': '0.7108', 'grad_norm': '0.1959', 'learning_rate': '0.0001812', 'ppl': '2.036', 'memory/max_active (GiB)': '28.32', 'memory/max_allocated (GiB)': '28.32', 'memory/device_reserved (GiB)': '37.09', 'tokens/train_per_sec_per_gpu': '224', 'tokens/trainable': 1052450, 'tokens/total': 2294892, 'epoch': '0.2823'}

 28%|██████████████████████████████████████████▏                                                                                                           | 74/263 [55:30<2:33:13, 48.65s/it]
 29%|██████████████████████████████████████████▊                                                                                                           | 75/263 [56:22<2:35:57, 49.78s/it]
                                                                                                                                                                                              
{'loss': '0.7308', 'grad_norm': '0.1824', 'learning_rate': '0.0001804', 'ppl': '2.077', 'memory/max_active (GiB)': '25.12', 'memory/max_allocated (GiB)': '25.12', 'memory/device_reserved (GiB)': '32.62', 'tokens/train_per_sec_per_gpu': '252.4', 'tokens/trainable': 1065680, 'tokens/total': 2320714, 'epoch': '0.2861'}

 29%|██████████████████████████████████████████▊                                                                                                           | 75/263 [56:22<2:35:57, 49.78s/it]
 29%|███████████████████████████████████████████▎                                                                                                          | 76/263 [57:06<2:29:33, 47.99s/it]
                                                                                                                                                                                              
{'loss': '0.6717', 'grad_norm': '0.1747', 'learning_rate': '0.0001796', 'ppl': '1.958', 'memory/max_active (GiB)': '23.01', 'memory/max_allocated (GiB)': '23.01', 'memory/device_reserved (GiB)': '29.15', 'tokens/train_per_sec_per_gpu': '217.3', 'tokens/trainable': 1075199, 'tokens/total': 2342076, 'epoch': '0.2899'}

 29%|███████████████████████████████████████████▎                                                                                                          | 76/263 [57:06<2:29:33, 47.99s/it]
 29%|███████████████████████████████████████████▉                                                                                                          | 77/263 [57:38<2:13:45, 43.15s/it]
                                                                                                                                                                                              
{'loss': '0.7283', 'grad_norm': '0.1765', 'learning_rate': '0.0001788', 'ppl': '2.071', 'memory/max_active (GiB)': '30.09', 'memory/max_allocated (GiB)': '30.09', 'memory/device_reserved (GiB)': '39.71', 'tokens/train_per_sec_per_gpu': '353.1', 'tokens/trainable': 1086448, 'tokens/total': 2367826, 'epoch': '0.2938'}

 29%|███████████████████████████████████████████▉                                                                                                          | 77/263 [57:38<2:13:45, 43.15s/it]
 30%|████████████████████████████████████████████▍                                                                                                         | 78/263 [58:24<2:15:13, 43.86s/it]
                                                                                                                                                                                              
{'loss': '0.6897', 'grad_norm': '0.133', 'learning_rate': '0.000178', 'ppl': '1.993', 'memory/max_active (GiB)': '34.24', 'memory/max_allocated (GiB)': '34.24', 'memory/device_reserved (GiB)': '42.97', 'tokens/train_per_sec_per_gpu': '393.6', 'tokens/trainable': 1104361, 'tokens/total': 2406764, 'epoch': '0.2976'}

 30%|████████████████████████████████████████████▍                                                                                                         | 78/263 [58:24<2:15:13, 43.86s/it]
 30%|█████████████████████████████████████████████                                                                                                         | 79/263 [59:16<2:22:50, 46.58s/it]
                                                                                                                                                                                              
{'loss': '0.726', 'grad_norm': '0.1792', 'learning_rate': '0.0001772', 'ppl': '2.067', 'memory/max_active (GiB)': '40.91', 'memory/max_allocated (GiB)': '40.91', 'memory/device_reserved (GiB)': '56.76', 'tokens/train_per_sec_per_gpu': '245.3', 'tokens/trainable': 1117342, 'tokens/total': 2434766, 'epoch': '0.3014'}

 30%|█████████████████████████████████████████████                                                                                                         | 79/263 [59:16<2:22:50, 46.58s/it]
 30%|█████████████████████████████████████████████                                                                                                       | 80/263 [1:00:12<2:30:27, 49.33s/it]
                                                                                                                                                                                              
{'loss': '0.7226', 'grad_norm': '0.1773', 'learning_rate': '0.0001763', 'ppl': '2.06', 'memory/max_active (GiB)': '24.17', 'memory/max_allocated (GiB)': '24.17', 'memory/device_reserved (GiB)': '30.76', 'tokens/train_per_sec_per_gpu': '201.2', 'tokens/trainable': 1128559, 'tokens/total': 2459278, 'epoch': '0.3052'}

 30%|█████████████████████████████████████████████                                                                                                       | 80/263 [1:00:12<2:30:27, 49.33s/it]
 31%|█████████████████████████████████████████████▌                                                                                                      | 81/263 [1:00:56<2:24:41, 47.70s/it]
                                                                                                                                                                                              
{'loss': '0.687', 'grad_norm': '0.2009', 'learning_rate': '0.0001755', 'ppl': '1.988', 'memory/max_active (GiB)': '25.85', 'memory/max_allocated (GiB)': '25.85', 'memory/device_reserved (GiB)': '33.68', 'tokens/train_per_sec_per_gpu': '252', 'tokens/trainable': 1139622, 'tokens/total': 2482288, 'epoch': '0.309'}

 31%|█████████████████████████████████████████████▌                                                                                                      | 81/263 [1:00:56<2:24:41, 47.70s/it]
 31%|██████████████████████████████████████████████▏                                                                                                     | 82/263 [1:01:30<2:11:37, 43.64s/it]
                                                                                                                                                                                              
{'loss': '0.6404', 'grad_norm': '0.1794', 'learning_rate': '0.0001746', 'ppl': '1.897', 'memory/max_active (GiB)': '34.83', 'memory/max_allocated (GiB)': '34.83', 'memory/device_reserved (GiB)': '38.62', 'tokens/train_per_sec_per_gpu': '332.6', 'tokens/trainable': 1150978, 'tokens/total': 2508102, 'epoch': '0.3128'}

 31%|██████████████████████████████████████████████▏                                                                                                     | 82/263 [1:01:30<2:11:37, 43.64s/it]
 32%|██████████████████████████████████████████████▋                                                                                                     | 83/263 [1:02:17<2:13:57, 44.65s/it]
                                                                                                                                                                                              
{'loss': '0.6434', 'grad_norm': '0.1725', 'learning_rate': '0.0001737', 'ppl': '1.903', 'memory/max_active (GiB)': '34.96', 'memory/max_allocated (GiB)': '34.96', 'memory/device_reserved (GiB)': '43.95', 'tokens/train_per_sec_per_gpu': '264.2', 'tokens/trainable': 1163404, 'tokens/total': 2534552, 'epoch': '0.3166'}

 32%|██████████████████████████████████████████████▋                                                                                                     | 83/263 [1:02:17<2:13:57, 44.65s/it]
 32%|███████████████████████████████████████████████▎                                                                                                    | 84/263 [1:03:06<2:17:12, 45.99s/it]
                                                                                                                                                                                              
{'loss': '0.6432', 'grad_norm': '0.144', 'learning_rate': '0.0001728', 'ppl': '1.903', 'memory/max_active (GiB)': '24.85', 'memory/max_allocated (GiB)': '24.85', 'memory/device_reserved (GiB)': '32.01', 'tokens/train_per_sec_per_gpu': '300', 'tokens/trainable': 1178135, 'tokens/total': 2562982, 'epoch': '0.3205'}

 32%|███████████████████████████████████████████████▎                                                                                                    | 84/263 [1:03:06<2:17:12, 45.99s/it]
 32%|███████████████████████████████████████████████▊                                                                                                    | 85/263 [1:03:53<2:16:37, 46.05s/it]
                                                                                                                                                                                              
{'loss': '0.7349', 'grad_norm': '0.2154', 'learning_rate': '0.0001719', 'ppl': '2.085', 'memory/max_active (GiB)': '25.97', 'memory/max_allocated (GiB)': '25.97', 'memory/device_reserved (GiB)': '33.5', 'tokens/train_per_sec_per_gpu': '201.4', 'tokens/trainable': 1187438, 'tokens/total': 2585130, 'epoch': '0.3243'}

 32%|███████████████████████████████████████████████▊                                                                                                    | 85/263 [1:03:53<2:16:37, 46.05s/it]
 33%|████████████████████████████████████████████████▍                                                                                                   | 86/263 [1:04:34<2:11:44, 44.66s/it]
                                                                                                                                                                                              
{'loss': '0.667', 'grad_norm': '0.1647', 'learning_rate': '0.0001709', 'ppl': '1.948', 'memory/max_active (GiB)': '32.35', 'memory/max_allocated (GiB)': '32.35', 'memory/device_reserved (GiB)': '35.79', 'tokens/train_per_sec_per_gpu': '308.1', 'tokens/trainable': 1200197, 'tokens/total': 2610804, 'epoch': '0.3281'}

 33%|████████████████████████████████████████████████▍                                                                                                   | 86/263 [1:04:34<2:11:44, 44.66s/it]
 33%|████████████████████████████████████████████████▉                                                                                                   | 87/263 [1:05:11<2:03:50, 42.22s/it]
                                                                                                                                                                                              
{'loss': '0.7045', 'grad_norm': '0.1813', 'learning_rate': '0.00017', 'ppl': '2.023', 'memory/max_active (GiB)': '34.17', 'memory/max_allocated (GiB)': '34.17', 'memory/device_reserved (GiB)': '42.85', 'tokens/train_per_sec_per_gpu': '308.7', 'tokens/trainable': 1211474, 'tokens/total': 2635758, 'epoch': '0.3319'}

 33%|████████████████████████████████████████████████▉                                                                                                   | 87/263 [1:05:11<2:03:50, 42.22s/it]
 33%|█████████████████████████████████████████████████▌                                                                                                  | 88/263 [1:06:03<2:12:03, 45.28s/it]
                                                                                                                                                                                              
{'loss': '0.7118', 'grad_norm': '0.1373', 'learning_rate': '0.0001691', 'ppl': '2.038', 'memory/max_active (GiB)': '49.54', 'memory/max_allocated (GiB)': '49.54', 'memory/device_reserved (GiB)': '69.87', 'tokens/train_per_sec_per_gpu': '390', 'tokens/trainable': 1231915, 'tokens/total': 2679352, 'epoch': '0.3357'}

 33%|█████████████████████████████████████████████████▌                                                                                                  | 88/263 [1:06:03<2:12:03, 45.28s/it]
 34%|██████████████████████████████████████████████████                                                                                                  | 89/263 [1:06:36<2:00:21, 41.50s/it]
                                                                                                                                                                                              
{'loss': '0.7212', 'grad_norm': '0.1959', 'learning_rate': '0.0001681', 'ppl': '2.057', 'memory/max_active (GiB)': '26.55', 'memory/max_allocated (GiB)': '26.55', 'memory/device_reserved (GiB)': '38.62', 'tokens/train_per_sec_per_gpu': '346.5', 'tokens/trainable': 1243243, 'tokens/total': 2703340, 'epoch': '0.3395'}

 34%|██████████████████████████████████████████████████                                                                                                  | 89/263 [1:06:36<2:00:21, 41.50s/it]
 34%|██████████████████████████████████████████████████▋                                                                                                 | 90/263 [1:07:06<1:50:05, 38.18s/it]
                                                                                                                                                                                              
{'loss': '0.7258', 'grad_norm': '0.2195', 'learning_rate': '0.0001671', 'ppl': '2.066', 'memory/max_active (GiB)': '30.13', 'memory/max_allocated (GiB)': '30.13', 'memory/device_reserved (GiB)': '39.89', 'tokens/train_per_sec_per_gpu': '316.4', 'tokens/trainable': 1252869, 'tokens/total': 2726904, 'epoch': '0.3433'}

 34%|██████████████████████████████████████████████████▋                                                                                                 | 90/263 [1:07:06<1:50:05, 38.18s/it]
 35%|███████████████████████████████████████████████████▏                                                                                                | 91/263 [1:07:50<1:54:23, 39.90s/it]
                                                                                                                                                                                              
{'loss': '0.7356', 'grad_norm': '0.1998', 'learning_rate': '0.0001661', 'ppl': '2.087', 'memory/max_active (GiB)': '36.96', 'memory/max_allocated (GiB)': '36.96', 'memory/device_reserved (GiB)': '46.66', 'tokens/train_per_sec_per_gpu': '350.6', 'tokens/trainable': 1268267, 'tokens/total': 2760058, 'epoch': '0.3472'}

 35%|███████████████████████████████████████████████████▏                                                                                                | 91/263 [1:07:50<1:54:23, 39.90s/it]
 35%|███████████████████████████████████████████████████▊                                                                                                | 92/263 [1:08:35<1:57:53, 41.37s/it]
                                                                                                                                                                                              
{'loss': '0.6534', 'grad_norm': '0.1845', 'learning_rate': '0.0001651', 'ppl': '1.922', 'memory/max_active (GiB)': '35.55', 'memory/max_allocated (GiB)': '35.55', 'memory/device_reserved (GiB)': '44.75', 'tokens/train_per_sec_per_gpu': '339.5', 'tokens/trainable': 1283469, 'tokens/total': 2794120, 'epoch': '0.351'}

 35%|███████████████████████████████████████████████████▊                                                                                                | 92/263 [1:08:35<1:57:53, 41.37s/it]
 35%|████████████████████████████████████████████████████▎                                                                                               | 93/263 [1:09:07<1:49:00, 38.47s/it]
                                                                                                                                                                                              
{'loss': '0.7409', 'grad_norm': '0.1926', 'learning_rate': '0.0001641', 'ppl': '2.098', 'memory/max_active (GiB)': '23.77', 'memory/max_allocated (GiB)': '23.77', 'memory/device_reserved (GiB)': '44.75', 'tokens/train_per_sec_per_gpu': '334.8', 'tokens/trainable': 1294090, 'tokens/total': 2818588, 'epoch': '0.3548'}

 35%|████████████████████████████████████████████████████▎                                                                                               | 93/263 [1:09:07<1:49:00, 38.47s/it]
 36%|████████████████████████████████████████████████████▉                                                                                               | 94/263 [1:09:49<1:51:37, 39.63s/it]
                                                                                                                                                                                              
{'loss': '0.6379', 'grad_norm': '0.1578', 'learning_rate': '0.0001631', 'ppl': '1.892', 'memory/max_active (GiB)': '34.71', 'memory/max_allocated (GiB)': '34.71', 'memory/device_reserved (GiB)': '43.64', 'tokens/train_per_sec_per_gpu': '369.7', 'tokens/trainable': 1309742, 'tokens/total': 2851686, 'epoch': '0.3586'}

 36%|████████████████████████████████████████████████████▉                                                                                               | 94/263 [1:09:49<1:51:37, 39.63s/it]
 36%|█████████████████████████████████████████████████████▍                                                                                              | 95/263 [1:10:26<1:49:15, 39.02s/it]
                                                                                                                                                                                              
{'loss': '0.7076', 'grad_norm': '0.1786', 'learning_rate': '0.0001621', 'ppl': '2.029', 'memory/max_active (GiB)': '33.53', 'memory/max_allocated (GiB)': '33.53', 'memory/device_reserved (GiB)': '42.02', 'tokens/train_per_sec_per_gpu': '353.4', 'tokens/trainable': 1323027, 'tokens/total': 2880764, 'epoch': '0.3624'}

 36%|█████████████████████████████████████████████████████▍                                                                                              | 95/263 [1:10:26<1:49:15, 39.02s/it]
 37%|██████████████████████████████████████████████████████                                                                                              | 96/263 [1:10:59<1:42:48, 36.94s/it]
                                                                                                                                                                                              
{'loss': '0.6912', 'grad_norm': '0.1893', 'learning_rate': '0.000161', 'ppl': '1.996', 'memory/max_active (GiB)': '35.45', 'memory/max_allocated (GiB)': '35.45', 'memory/device_reserved (GiB)': '44.59', 'tokens/train_per_sec_per_gpu': '352.2', 'tokens/trainable': 1334326, 'tokens/total': 2905950, 'epoch': '0.3662'}

 37%|██████████████████████████████████████████████████████                                                                                              | 96/263 [1:10:59<1:42:48, 36.94s/it]
 37%|██████████████████████████████████████████████████████▌                                                                                             | 97/263 [1:11:43<1:48:20, 39.16s/it]
                                                                                                                                                                                              
{'loss': '0.6708', 'grad_norm': '0.173', 'learning_rate': '0.00016', 'ppl': '1.956', 'memory/max_active (GiB)': '47.2', 'memory/max_allocated (GiB)': '47.2', 'memory/device_reserved (GiB)': '66.49', 'tokens/train_per_sec_per_gpu': '351.1', 'tokens/trainable': 1349894, 'tokens/total': 2942380, 'epoch': '0.3701'}

 37%|██████████████████████████████████████████████████████▌                                                                                             | 97/263 [1:11:43<1:48:20, 39.16s/it]
 37%|███████████████████████████████████████████████████████▏                                                                                            | 98/263 [1:12:38<2:00:32, 43.83s/it]
                                                                                                                                                                                              
{'loss': '0.685', 'grad_norm': '0.1576', 'learning_rate': '0.0001589', 'ppl': '1.984', 'memory/max_active (GiB)': '37.19', 'memory/max_allocated (GiB)': '37.19', 'memory/device_reserved (GiB)': '47.07', 'tokens/train_per_sec_per_gpu': '357.9', 'tokens/trainable': 1369481, 'tokens/total': 2988904, 'epoch': '0.3739'}

 37%|███████████████████████████████████████████████████████▏                                                                                            | 98/263 [1:12:38<2:00:32, 43.83s/it]
 38%|███████████████████████████████████████████████████████▋                                                                                            | 99/263 [1:13:21<1:59:39, 43.77s/it]
                                                                                                                                                                                              
{'loss': '0.6715', 'grad_norm': '0.1494', 'learning_rate': '0.0001578', 'ppl': '1.957', 'memory/max_active (GiB)': '42.43', 'memory/max_allocated (GiB)': '42.43', 'memory/device_reserved (GiB)': '59.1', 'tokens/train_per_sec_per_gpu': '384.8', 'tokens/trainable': 1386274, 'tokens/total': 3026814, 'epoch': '0.3777'}

 38%|███████████████████████████████████████████████████████▋                                                                                            | 99/263 [1:13:21<1:59:39, 43.77s/it]
 38%|███████████████████████████████████████████████████████▉                                                                                           | 100/263 [1:13:55<1:51:09, 40.92s/it]
                                                                                                                                                                                              
{'loss': '0.6481', 'grad_norm': '0.208', 'learning_rate': '0.0001567', 'ppl': '1.912', 'memory/max_active (GiB)': '26.51', 'memory/max_allocated (GiB)': '26.51', 'memory/device_reserved (GiB)': '34.38', 'tokens/train_per_sec_per_gpu': '296.5', 'tokens/trainable': 1396430, 'tokens/total': 3050820, 'epoch': '0.3815'}

 38%|███████████████████████████████████████████████████████▉                                                                                           | 100/263 [1:13:55<1:51:09, 40.92s/it]
 38%|████████████████████████████████████████████████████████▍                                                                                          | 101/263 [1:14:53<2:04:04, 45.96s/it]
                                                                                                                                                                                              
{'loss': '0.7205', 'grad_norm': '0.1546', 'learning_rate': '0.0001556', 'ppl': '2.056', 'memory/max_active (GiB)': '44.95', 'memory/max_allocated (GiB)': '44.95', 'memory/device_reserved (GiB)': '62.88', 'tokens/train_per_sec_per_gpu': '350', 'tokens/trainable': 1416631, 'tokens/total': 3099000, 'epoch': '0.3853'}

 38%|████████████████████████████████████████████████████████▍                                                                                          | 101/263 [1:14:53<2:04:04, 45.96s/it]
 39%|█████████████████████████████████████████████████████████                                                                                          | 102/263 [1:15:38<2:02:20, 45.60s/it]
                                                                                                                                                                                              
{'loss': '0.7284', 'grad_norm': '0.1686', 'learning_rate': '0.0001545', 'ppl': '2.072', 'memory/max_active (GiB)': '32', 'memory/max_allocated (GiB)': '32', 'memory/device_reserved (GiB)': '42.76', 'tokens/train_per_sec_per_gpu': '367.9', 'tokens/trainable': 1433096, 'tokens/total': 3134960, 'epoch': '0.3891'}

 39%|█████████████████████████████████████████████████████████                                                                                          | 102/263 [1:15:38<2:02:20, 45.60s/it]
 39%|█████████████████████████████████████████████████████████▌                                                                                         | 103/263 [1:16:06<1:47:33, 40.33s/it]
                                                                                                                                                                                              
{'loss': '0.6715', 'grad_norm': '0.1936', 'learning_rate': '0.0001534', 'ppl': '1.957', 'memory/max_active (GiB)': '26.34', 'memory/max_allocated (GiB)': '26.34', 'memory/device_reserved (GiB)': '34.07', 'tokens/train_per_sec_per_gpu': '351.9', 'tokens/trainable': 1442967, 'tokens/total': 3156628, 'epoch': '0.3929'}

 39%|█████████████████████████████████████████████████████████▌                                                                                         | 103/263 [1:16:06<1:47:33, 40.33s/it]
 40%|██████████████████████████████████████████████████████████▏                                                                                        | 104/263 [1:16:41<1:42:26, 38.66s/it]
                                                                                                                                                                                              
{'loss': '0.5962', 'grad_norm': '0.1888', 'learning_rate': '0.0001523', 'ppl': '1.815', 'memory/max_active (GiB)': '28.66', 'memory/max_allocated (GiB)': '28.66', 'memory/device_reserved (GiB)': '37.52', 'tokens/train_per_sec_per_gpu': '293.9', 'tokens/trainable': 1453178, 'tokens/total': 3180850, 'epoch': '0.3968'}

 40%|██████████████████████████████████████████████████████████▏                                                                                        | 104/263 [1:16:41<1:42:26, 38.66s/it]
 40%|██████████████████████████████████████████████████████████▋                                                                                        | 105/263 [1:17:11<1:35:30, 36.27s/it]
                                                                                                                                                                                              
{'loss': '0.6637', 'grad_norm': '0.1802', 'learning_rate': '0.0001511', 'ppl': '1.942', 'memory/max_active (GiB)': '28.04', 'memory/max_allocated (GiB)': '28.04', 'memory/device_reserved (GiB)': '37.52', 'tokens/train_per_sec_per_gpu': '375', 'tokens/trainable': 1464686, 'tokens/total': 3203888, 'epoch': '0.4006'}

 40%|██████████████████████████████████████████████████████████▋                                                                                        | 105/263 [1:17:11<1:35:30, 36.27s/it]
 40%|███████████████████████████████████████████████████████████▏                                                                                       | 106/263 [1:17:42<1:30:16, 34.50s/it]
                                                                                                                                                                                              
{'loss': '0.7321', 'grad_norm': '0.2234', 'learning_rate': '0.00015', 'ppl': '2.079', 'memory/max_active (GiB)': '21.56', 'memory/max_allocated (GiB)': '21.56', 'memory/device_reserved (GiB)': '28.04', 'tokens/train_per_sec_per_gpu': '313.8', 'tokens/trainable': 1474221, 'tokens/total': 3224060, 'epoch': '0.4044'}

 40%|███████████████████████████████████████████████████████████▏                                                                                       | 106/263 [1:17:42<1:30:16, 34.50s/it]
 41%|███████████████████████████████████████████████████████████▊                                                                                       | 107/263 [1:18:34<1:43:12, 39.70s/it]
                                                                                                                                                                                              
{'loss': '0.5681', 'grad_norm': '0.162', 'learning_rate': '0.0001488', 'ppl': '1.765', 'memory/max_active (GiB)': '38.42', 'memory/max_allocated (GiB)': '38.42', 'memory/device_reserved (GiB)': '53.23', 'tokens/train_per_sec_per_gpu': '297.5', 'tokens/trainable': 1489638, 'tokens/total': 3260576, 'epoch': '0.4082'}

 41%|███████████████████████████████████████████████████████████▊                                                                                       | 107/263 [1:18:34<1:43:12, 39.70s/it]
 41%|████████████████████████████████████████████████████████████▎                                                                                      | 108/263 [1:19:20<1:47:51, 41.75s/it]
                                                                                                                                                                                              
{'loss': '0.708', 'grad_norm': '0.197', 'learning_rate': '0.0001477', 'ppl': '2.03', 'memory/max_active (GiB)': '29.18', 'memory/max_allocated (GiB)': '29.18', 'memory/device_reserved (GiB)': '38.48', 'tokens/train_per_sec_per_gpu': '274.8', 'tokens/trainable': 1502425, 'tokens/total': 3287854, 'epoch': '0.412'}

 41%|████████████████████████████████████████████████████████████▎                                                                                      | 108/263 [1:19:20<1:47:51, 41.75s/it]
 41%|████████████████████████████████████████████████████████████▉                                                                                      | 109/263 [1:20:18<1:59:25, 46.53s/it]
                                                                                                                                                                                              
{'loss': '0.6689', 'grad_norm': '0.1784', 'learning_rate': '0.0001465', 'ppl': '1.952', 'memory/max_active (GiB)': '38.9', 'memory/max_allocated (GiB)': '38.9', 'memory/device_reserved (GiB)': '53.77', 'tokens/train_per_sec_per_gpu': '320.6', 'tokens/trainable': 1520916, 'tokens/total': 3326198, 'epoch': '0.4158'}

 41%|████████████████████████████████████████████████████████████▉                                                                                      | 109/263 [1:20:18<1:59:25, 46.53s/it]
 42%|█████████████████████████████████████████████████████████████▍                                                                                     | 110/263 [1:21:01<1:56:00, 45.49s/it]
                                                                                                                                                                                              
{'loss': '0.6355', 'grad_norm': '0.1931', 'learning_rate': '0.0001453', 'ppl': '1.888', 'memory/max_active (GiB)': '28.51', 'memory/max_allocated (GiB)': '28.51', 'memory/device_reserved (GiB)': '43.21', 'tokens/train_per_sec_per_gpu': '272.3', 'tokens/trainable': 1532644, 'tokens/total': 3353708, 'epoch': '0.4196'}

 42%|█████████████████████████████████████████████████████████████▍                                                                                     | 110/263 [1:21:01<1:56:00, 45.49s/it]
 42%|██████████████████████████████████████████████████████████████                                                                                     | 111/263 [1:21:37<1:48:21, 42.77s/it]
                                                                                                                                                                                              
{'loss': '0.6837', 'grad_norm': '0.1755', 'learning_rate': '0.0001442', 'ppl': '1.981', 'memory/max_active (GiB)': '35.1', 'memory/max_allocated (GiB)': '35.1', 'memory/device_reserved (GiB)': '44.12', 'tokens/train_per_sec_per_gpu': '395.7', 'tokens/trainable': 1547058, 'tokens/total': 3383196, 'epoch': '0.4235'}

 42%|██████████████████████████████████████████████████████████████                                                                                     | 111/263 [1:21:37<1:48:21, 42.77s/it]
 43%|██████████████████████████████████████████████████████████████▌                                                                                    | 112/263 [1:22:31<1:55:30, 45.90s/it]
                                                                                                                                                                                              
{'loss': '0.6215', 'grad_norm': '0.2103', 'learning_rate': '0.000143', 'ppl': '1.862', 'memory/max_active (GiB)': '40.6', 'memory/max_allocated (GiB)': '40.6', 'memory/device_reserved (GiB)': '56.43', 'tokens/train_per_sec_per_gpu': '248.4', 'tokens/trainable': 1560272, 'tokens/total': 3415688, 'epoch': '0.4273'}

 43%|██████████████████████████████████████████████████████████████▌                                                                                    | 112/263 [1:22:31<1:55:30, 45.90s/it]
 43%|███████████████████████████████████████████████████████████████▏                                                                                   | 113/263 [1:23:20<1:57:39, 47.06s/it]
                                                                                                                                                                                              
{'loss': '0.6699', 'grad_norm': '0.1813', 'learning_rate': '0.0001418', 'ppl': '1.954', 'memory/max_active (GiB)': '37.04', 'memory/max_allocated (GiB)': '37.04', 'memory/device_reserved (GiB)': '46.8', 'tokens/train_per_sec_per_gpu': '282.5', 'tokens/trainable': 1574335, 'tokens/total': 3444166, 'epoch': '0.4311'}

 43%|███████████████████████████████████████████████████████████████▏                                                                                   | 113/263 [1:23:20<1:57:39, 47.06s/it]
 43%|███████████████████████████████████████████████████████████████▋                                                                                   | 114/263 [1:24:12<2:00:02, 48.34s/it]
                                                                                                                                                                                              
{'loss': '0.594', 'grad_norm': '0.1998', 'learning_rate': '0.0001406', 'ppl': '1.811', 'memory/max_active (GiB)': '36.6', 'memory/max_allocated (GiB)': '36.6', 'memory/device_reserved (GiB)': '46.27', 'tokens/train_per_sec_per_gpu': '276.6', 'tokens/trainable': 1588531, 'tokens/total': 3472530, 'epoch': '0.4349'}

 43%|███████████████████████████████████████████████████████████████▋                                                                                   | 114/263 [1:24:12<2:00:02, 48.34s/it]
 44%|████████████████████████████████████████████████████████████████▎                                                                                  | 115/263 [1:25:04<2:01:51, 49.40s/it]
                                                                                                                                                                                              
{'loss': '0.7205', 'grad_norm': '0.1913', 'learning_rate': '0.0001393', 'ppl': '2.055', 'memory/max_active (GiB)': '37.17', 'memory/max_allocated (GiB)': '37.17', 'memory/device_reserved (GiB)': '47.05', 'tokens/train_per_sec_per_gpu': '279.3', 'tokens/trainable': 1603020, 'tokens/total': 3503644, 'epoch': '0.4387'}

 44%|████████████████████████████████████████████████████████████████▎                                                                                  | 115/263 [1:25:04<2:01:51, 49.40s/it]
 44%|████████████████████████████████████████████████████████████████▊                                                                                  | 116/263 [1:25:48<1:57:32, 47.97s/it]
                                                                                                                                                                                              
{'loss': '0.7426', 'grad_norm': '0.2782', 'learning_rate': '0.0001381', 'ppl': '2.101', 'memory/max_active (GiB)': '40', 'memory/max_allocated (GiB)': '40', 'memory/device_reserved (GiB)': '55.41', 'tokens/train_per_sec_per_gpu': '231.5', 'tokens/trainable': 1613354, 'tokens/total': 3529882, 'epoch': '0.4425'}

 44%|████████████████████████████████████████████████████████████████▊                                                                                  | 116/263 [1:25:48<1:57:32, 47.97s/it]
 44%|█████████████████████████████████████████████████████████████████▍                                                                                 | 117/263 [1:26:52<2:08:08, 52.66s/it]
                                                                                                                                                                                              
{'loss': '0.6484', 'grad_norm': '0.1659', 'learning_rate': '0.0001369', 'ppl': '1.913', 'memory/max_active (GiB)': '54.45', 'memory/max_allocated (GiB)': '54.45', 'memory/device_reserved (GiB)': '77.33', 'tokens/train_per_sec_per_gpu': '272', 'tokens/trainable': 1630658, 'tokens/total': 3566156, 'epoch': '0.4464'}

 44%|█████████████████████████████████████████████████████████████████▍                                                                                 | 117/263 [1:26:52<2:08:08, 52.66s/it]
 45%|█████████████████████████████████████████████████████████████████▉                                                                                 | 118/263 [1:27:52<2:12:36, 54.87s/it]
                                                                                                                                                                                              
{'loss': '0.611', 'grad_norm': '0.1486', 'learning_rate': '0.0001357', 'ppl': '1.842', 'memory/max_active (GiB)': '43.75', 'memory/max_allocated (GiB)': '43.75', 'memory/device_reserved (GiB)': '61.14', 'tokens/train_per_sec_per_gpu': '329.4', 'tokens/trainable': 1650425, 'tokens/total': 3606182, 'epoch': '0.4502'}

 45%|█████████████████████████████████████████████████████████████████▉                                                                                 | 118/263 [1:27:52<2:12:36, 54.87s/it]
 45%|██████████████████████████████████████████████████████████████████▌                                                                                | 119/263 [1:28:50<2:13:58, 55.82s/it]
                                                                                                                                                                                              
{'loss': '0.6299', 'grad_norm': '0.1702', 'learning_rate': '0.0001344', 'ppl': '1.877', 'memory/max_active (GiB)': '60.94', 'memory/max_allocated (GiB)': '60.94', 'memory/device_reserved (GiB)': '69.08', 'tokens/train_per_sec_per_gpu': '289.6', 'tokens/trainable': 1667235, 'tokens/total': 3645356, 'epoch': '0.454'}

 45%|██████████████████████████████████████████████████████████████████▌                                                                                | 119/263 [1:28:50<2:13:58, 55.82s/it]
 46%|███████████████████████████████████████████████████████████████████                                                                                | 120/263 [1:29:35<2:05:41, 52.74s/it]
                                                                                                                                                                                              
{'loss': '0.7218', 'grad_norm': '0.1997', 'learning_rate': '0.0001332', 'ppl': '2.058', 'memory/max_active (GiB)': '37.26', 'memory/max_allocated (GiB)': '37.26', 'memory/device_reserved (GiB)': '47', 'tokens/train_per_sec_per_gpu': '310.7', 'tokens/trainable': 1681386, 'tokens/total': 3674268, 'epoch': '0.4578'}

 46%|███████████████████████████████████████████████████████████████████                                                                                | 120/263 [1:29:35<2:05:41, 52.74s/it]
 46%|███████████████████████████████████████████████████████████████████▋                                                                               | 121/263 [1:30:33<2:08:14, 54.19s/it]
                                                                                                                                                                                              
{'loss': '0.6603', 'grad_norm': '0.2087', 'learning_rate': '0.0001319', 'ppl': '1.935', 'memory/max_active (GiB)': '42.12', 'memory/max_allocated (GiB)': '42.12', 'memory/device_reserved (GiB)': '58.63', 'tokens/train_per_sec_per_gpu': '268.9', 'tokens/trainable': 1696869, 'tokens/total': 3710714, 'epoch': '0.4616'}

 46%|███████████████████████████████████████████████████████████████████▋                                                                               | 121/263 [1:30:33<2:08:14, 54.19s/it]
 46%|████████████████████████████████████████████████████████████████████▏                                                                              | 122/263 [1:31:17<2:00:10, 51.14s/it]
                                                                                                                                                                                              
{'loss': '0.7366', 'grad_norm': '0.2266', 'learning_rate': '0.0001306', 'ppl': '2.089', 'memory/max_active (GiB)': '23.04', 'memory/max_allocated (GiB)': '23.04', 'memory/device_reserved (GiB)': '45.24', 'tokens/train_per_sec_per_gpu': '206.1', 'tokens/trainable': 1705941, 'tokens/total': 3730260, 'epoch': '0.4654'}

 46%|████████████████████████████████████████████████████████████████████▏                                                                              | 122/263 [1:31:17<2:00:10, 51.14s/it]
 47%|████████████████████████████████████████████████████████████████████▋                                                                              | 123/263 [1:32:05<1:57:21, 50.29s/it]
                                                                                                                                                                                              
{'loss': '0.7187', 'grad_norm': '0.164', 'learning_rate': '0.0001294', 'ppl': '2.052', 'memory/max_active (GiB)': '31.57', 'memory/max_allocated (GiB)': '31.57', 'memory/device_reserved (GiB)': '41.88', 'tokens/train_per_sec_per_gpu': '350.2', 'tokens/trainable': 1722869, 'tokens/total': 3764600, 'epoch': '0.4692'}

 47%|████████████████████████████████████████████████████████████████████▋                                                                              | 123/263 [1:32:05<1:57:21, 50.29s/it]
 47%|█████████████████████████████████████████████████████████████████████▎                                                                             | 124/263 [1:32:54<1:55:10, 49.72s/it]
                                                                                                                                                                                              
{'loss': '0.7666', 'grad_norm': '0.2024', 'learning_rate': '0.0001281', 'ppl': '2.152', 'memory/max_active (GiB)': '28.74', 'memory/max_allocated (GiB)': '28.74', 'memory/device_reserved (GiB)': '37.72', 'tokens/train_per_sec_per_gpu': '259.1', 'tokens/trainable': 1735401, 'tokens/total': 3789866, 'epoch': '0.4731'}

 47%|█████████████████████████████████████████████████████████████████████▎                                                                             | 124/263 [1:32:54<1:55:10, 49.72s/it]
 48%|█████████████████████████████████████████████████████████████████████▊                                                                             | 125/263 [1:33:56<2:03:06, 53.52s/it]
                                                                                                                                                                                              
{'loss': '0.6747', 'grad_norm': '0.1734', 'learning_rate': '0.0001268', 'ppl': '1.963', 'memory/max_active (GiB)': '36.35', 'memory/max_allocated (GiB)': '36.35', 'memory/device_reserved (GiB)': '45.94', 'tokens/train_per_sec_per_gpu': '266.3', 'tokens/trainable': 1752018, 'tokens/total': 3826538, 'epoch': '0.4769'}

 48%|█████████████████████████████████████████████████████████████████████▊                                                                             | 125/263 [1:33:56<2:03:06, 53.52s/it]
 48%|██████████████████████████████████████████████████████████████████████▍                                                                            | 126/263 [1:34:58<2:07:43, 55.94s/it]
                                                                                                                                                                                              
{'loss': '0.7026', 'grad_norm': '0.1709', 'learning_rate': '0.0001256', 'ppl': '2.019', 'memory/max_active (GiB)': '34.18', 'memory/max_allocated (GiB)': '34.18', 'memory/device_reserved (GiB)': '42.92', 'tokens/train_per_sec_per_gpu': '257.9', 'tokens/trainable': 1767897, 'tokens/total': 3861520, 'epoch': '0.4807'}

 48%|██████████████████████████████████████████████████████████████████████▍                                                                            | 126/263 [1:34:58<2:07:43, 55.94s/it]
 48%|██████████████████████████████████████████████████████████████████████▉                                                                            | 127/263 [1:35:43<1:59:53, 52.89s/it]
                                                                                                                                                                                              
{'loss': '0.7321', 'grad_norm': '0.2378', 'learning_rate': '0.0001243', 'ppl': '2.079', 'memory/max_active (GiB)': '26.64', 'memory/max_allocated (GiB)': '26.64', 'memory/device_reserved (GiB)': '42.92', 'tokens/train_per_sec_per_gpu': '211', 'tokens/trainable': 1777560, 'tokens/total': 3883630, 'epoch': '0.4845'}

 48%|██████████████████████████████████████████████████████████████████████▉                                                                            | 127/263 [1:35:43<1:59:53, 52.89s/it]
 49%|███████████████████████████████████████████████████████████████████████▌                                                                           | 128/263 [1:36:21<1:48:48, 48.36s/it]
                                                                                                                                                                                              
{'loss': '0.6494', 'grad_norm': '0.1878', 'learning_rate': '0.000123', 'ppl': '1.914', 'memory/max_active (GiB)': '23.99', 'memory/max_allocated (GiB)': '23.99', 'memory/device_reserved (GiB)': '31.15', 'tokens/train_per_sec_per_gpu': '303.4', 'tokens/trainable': 1789026, 'tokens/total': 3907826, 'epoch': '0.4883'}

 49%|███████████████████████████████████████████████████████████████████████▌                                                                           | 128/263 [1:36:21<1:48:48, 48.36s/it]
 49%|████████████████████████████████████████████████████████████████████████                                                                           | 129/263 [1:37:18<1:53:46, 50.95s/it]
                                                                                                                                                                                              
{'loss': '0.6286', 'grad_norm': '0.1865', 'learning_rate': '0.0001217', 'ppl': '1.875', 'memory/max_active (GiB)': '34.03', 'memory/max_allocated (GiB)': '34.03', 'memory/device_reserved (GiB)': '42.72', 'tokens/train_per_sec_per_gpu': '281.1', 'tokens/trainable': 1805039, 'tokens/total': 3942120, 'epoch': '0.4921'}

 49%|████████████████████████████████████████████████████████████████████████                                                                           | 129/263 [1:37:18<1:53:46, 50.95s/it]
 49%|████████████████████████████████████████████████████████████████████████▋                                                                          | 130/263 [1:38:19<1:59:46, 54.03s/it]
                                                                                                                                                                                              
{'loss': '0.5905', 'grad_norm': '0.1831', 'learning_rate': '0.0001204', 'ppl': '1.805', 'memory/max_active (GiB)': '40.32', 'memory/max_allocated (GiB)': '40.32', 'memory/device_reserved (GiB)': '55.9', 'tokens/train_per_sec_per_gpu': '282.4', 'tokens/trainable': 1822330, 'tokens/total': 3976238, 'epoch': '0.4959'}

 49%|████████████████████████████████████████████████████████████████████████▋                                                                          | 130/263 [1:38:19<1:59:46, 54.03s/it]
 50%|█████████████████████████████████████████████████████████████████████████▏                                                                         | 131/263 [1:39:03<1:52:00, 50.91s/it]
                                                                                                                                                                                              
{'loss': '0.6443', 'grad_norm': '0.1812', 'learning_rate': '0.0001191', 'ppl': '1.905', 'memory/max_active (GiB)': '33.09', 'memory/max_allocated (GiB)': '33.09', 'memory/device_reserved (GiB)': '41.43', 'tokens/train_per_sec_per_gpu': '301.9', 'tokens/trainable': 1835502, 'tokens/total': 4004024, 'epoch': '0.4998'}

 50%|█████████████████████████████████████████████████████████████████████████▏                                                                         | 131/263 [1:39:03<1:52:00, 50.91s/it]
 50%|█████████████████████████████████████████████████████████████████████████▊                                                                         | 132/263 [1:40:07<1:59:46, 54.86s/it]
                                                                                                                                                                                              
{'loss': '0.6177', 'grad_norm': '0.158', 'learning_rate': '0.0001178', 'ppl': '1.855', 'memory/max_active (GiB)': '44.4', 'memory/max_allocated (GiB)': '44.4', 'memory/device_reserved (GiB)': '62.21', 'tokens/train_per_sec_per_gpu': '299.7', 'tokens/trainable': 1854705, 'tokens/total': 4047366, 'epoch': '0.5036'}

 50%|█████████████████████████████████████████████████████████████████████████▊                                                                         | 132/263 [1:40:07<1:59:46, 54.86s/it]
 51%|██████████████████████████████████████████████████████████████████████████▎                                                                        | 133/263 [1:41:01<1:58:27, 54.67s/it]
                                                                                                                                                                                              
{'loss': '0.6597', 'grad_norm': '0.197', 'learning_rate': '0.0001165', 'ppl': '1.934', 'memory/max_active (GiB)': '38.42', 'memory/max_allocated (GiB)': '38.42', 'memory/device_reserved (GiB)': '48.52', 'tokens/train_per_sec_per_gpu': '225.4', 'tokens/trainable': 1866931, 'tokens/total': 4073028, 'epoch': '0.5074'}

 51%|██████████████████████████████████████████████████████████████████████████▎                                                                        | 133/263 [1:41:01<1:58:27, 54.67s/it]
 51%|██████████████████████████████████████████████████████████████████████████▉                                                                        | 134/263 [1:42:00<2:00:25, 56.01s/it]
                                                                                                                                                                                              
{'loss': '0.6264', 'grad_norm': '0.1803', 'learning_rate': '0.0001152', 'ppl': '1.871', 'memory/max_active (GiB)': '35.15', 'memory/max_allocated (GiB)': '35.15', 'memory/device_reserved (GiB)': '48.52', 'tokens/train_per_sec_per_gpu': '217.6', 'tokens/trainable': 1879795, 'tokens/total': 4103326, 'epoch': '0.5112'}

 51%|██████████████████████████████████████████████████████████████████████████▉                                                                        | 134/263 [1:42:01<2:00:25, 56.01s/it]
 51%|███████████████████████████████████████████████████████████████████████████▍                                                                       | 135/263 [1:43:08<2:06:45, 59.42s/it]
                                                                                                                                                                                              
{'loss': '0.5894', 'grad_norm': '0.1796', 'learning_rate': '0.0001139', 'ppl': '1.803', 'memory/max_active (GiB)': '60.2', 'memory/max_allocated (GiB)': '60.2', 'memory/device_reserved (GiB)': '78.05', 'tokens/train_per_sec_per_gpu': '280.6', 'tokens/trainable': 1898706, 'tokens/total': 4145556, 'epoch': '0.515'}

 51%|███████████████████████████████████████████████████████████████████████████▍                                                                       | 135/263 [1:43:08<2:06:45, 59.42s/it]
 52%|████████████████████████████████████████████████████████████████████████████                                                                       | 136/263 [1:44:02<2:02:32, 57.90s/it]
                                                                                                                                                                                              
{'loss': '0.6652', 'grad_norm': '0.1649', 'learning_rate': '0.0001126', 'ppl': '1.945', 'memory/max_active (GiB)': '36.24', 'memory/max_allocated (GiB)': '36.24', 'memory/device_reserved (GiB)': '45.69', 'tokens/train_per_sec_per_gpu': '253.7', 'tokens/trainable': 1912491, 'tokens/total': 4178912, 'epoch': '0.5188'}

 52%|████████████████████████████████████████████████████████████████████████████                                                                       | 136/263 [1:44:02<2:02:32, 57.90s/it]
 52%|████████████████████████████████████████████████████████████████████████████▌                                                                      | 137/263 [1:45:08<2:06:33, 60.27s/it]
                                                                                                                                                                                              
{'loss': '0.6049', 'grad_norm': '0.1469', 'learning_rate': '0.0001112', 'ppl': '1.831', 'memory/max_active (GiB)': '54.11', 'memory/max_allocated (GiB)': '54.11', 'memory/device_reserved (GiB)': '77.07', 'tokens/train_per_sec_per_gpu': '291.8', 'tokens/trainable': 1931691, 'tokens/total': 4219728, 'epoch': '0.5227'}

 52%|████████████████████████████████████████████████████████████████████████████▌                                                                      | 137/263 [1:45:08<2:06:33, 60.27s/it]
 52%|█████████████████████████████████████████████████████████████████████████████▏                                                                     | 138/263 [1:45:55<1:57:30, 56.40s/it]
                                                                                                                                                                                              
{'loss': '0.7114', 'grad_norm': '0.219', 'learning_rate': '0.0001099', 'ppl': '2.037', 'memory/max_active (GiB)': '29.78', 'memory/max_allocated (GiB)': '29.78', 'memory/device_reserved (GiB)': '39.28', 'tokens/train_per_sec_per_gpu': '230.8', 'tokens/trainable': 1942627, 'tokens/total': 4246086, 'epoch': '0.5265'}

 52%|█████████████████████████████████████████████████████████████████████████████▏                                                                     | 138/263 [1:45:55<1:57:30, 56.40s/it]
 53%|█████████████████████████████████████████████████████████████████████████████▋                                                                     | 139/263 [1:46:33<1:44:54, 50.76s/it]
                                                                                                                                                                                              
{'loss': '0.6658', 'grad_norm': '0.2107', 'learning_rate': '0.0001086', 'ppl': '1.946', 'memory/max_active (GiB)': '32.15', 'memory/max_allocated (GiB)': '32.15', 'memory/device_reserved (GiB)': '35.63', 'tokens/train_per_sec_per_gpu': '371.6', 'tokens/trainable': 1956598, 'tokens/total': 4274466, 'epoch': '0.5303'}

 53%|█████████████████████████████████████████████████████████████████████████████▋                                                                     | 139/263 [1:46:33<1:44:54, 50.76s/it]
 53%|██████████████████████████████████████████████████████████████████████████████▎                                                                    | 140/263 [1:47:10<1:35:26, 46.56s/it]
                                                                                                                                                                                              
{'loss': '0.6586', 'grad_norm': '0.1947', 'learning_rate': '0.0001073', 'ppl': '1.932', 'memory/max_active (GiB)': '29.82', 'memory/max_allocated (GiB)': '29.82', 'memory/device_reserved (GiB)': '39.44', 'tokens/train_per_sec_per_gpu': '341.7', 'tokens/trainable': 1969155, 'tokens/total': 4302324, 'epoch': '0.5341'}

 53%|██████████████████████████████████████████████████████████████████████████████▎                                                                    | 140/263 [1:47:10<1:35:26, 46.56s/it]
 54%|██████████████████████████████████████████████████████████████████████████████▊                                                                    | 141/263 [1:47:52<1:32:13, 45.36s/it]
                                                                                                                                                                                              
{'loss': '0.7005', 'grad_norm': '0.2028', 'learning_rate': '0.000106', 'ppl': '2.015', 'memory/max_active (GiB)': '30.7', 'memory/max_allocated (GiB)': '30.7', 'memory/device_reserved (GiB)': '40.73', 'tokens/train_per_sec_per_gpu': '272.9', 'tokens/trainable': 1980769, 'tokens/total': 4330164, 'epoch': '0.5379'}

 54%|██████████████████████████████████████████████████████████████████████████████▊                                                                    | 141/263 [1:47:52<1:32:13, 45.36s/it]
 54%|███████████████████████████████████████████████████████████████████████████████▎                                                                   | 142/263 [1:48:40<1:33:08, 46.19s/it]
                                                                                                                                                                                              
{'loss': '0.6936', 'grad_norm': '0.207', 'learning_rate': '0.0001046', 'ppl': '2.001', 'memory/max_active (GiB)': '30.38', 'memory/max_allocated (GiB)': '30.38', 'memory/device_reserved (GiB)': '40.1', 'tokens/train_per_sec_per_gpu': '213.5', 'tokens/trainable': 1991044, 'tokens/total': 4352668, 'epoch': '0.5417'}

 54%|███████████████████████████████████████████████████████████████████████████████▎                                                                   | 142/263 [1:48:40<1:33:08, 46.19s/it]
 54%|███████████████████████████████████████████████████████████████████████████████▉                                                                   | 143/263 [1:49:28<1:32:57, 46.48s/it]
                                                                                                                                                                                              
{'loss': '0.7092', 'grad_norm': '0.1816', 'learning_rate': '0.0001033', 'ppl': '2.032', 'memory/max_active (GiB)': '33.08', 'memory/max_allocated (GiB)': '33.08', 'memory/device_reserved (GiB)': '41.49', 'tokens/train_per_sec_per_gpu': '325.4', 'tokens/trainable': 2006393, 'tokens/total': 4386038, 'epoch': '0.5455'}

 54%|███████████████████████████████████████████████████████████████████████████████▉                                                                   | 143/263 [1:49:28<1:32:57, 46.48s/it]
 55%|████████████████████████████████████████████████████████████████████████████████▍                                                                  | 144/263 [1:49:54<1:20:19, 40.50s/it]
                                                                                                                                                                                              
{'loss': '0.6535', 'grad_norm': '0.2587', 'learning_rate': '0.000102', 'ppl': '1.922', 'memory/max_active (GiB)': '24', 'memory/max_allocated (GiB)': '24', 'memory/device_reserved (GiB)': '30.59', 'tokens/train_per_sec_per_gpu': '326.8', 'tokens/trainable': 2015072, 'tokens/total': 4404946, 'epoch': '0.5494'}

 55%|████████████████████████████████████████████████████████████████████████████████▍                                                                  | 144/263 [1:49:54<1:20:19, 40.50s/it]
 55%|█████████████████████████████████████████████████████████████████████████████████                                                                  | 145/263 [1:50:25<1:13:46, 37.51s/it]
                                                                                                                                                                                              
{'loss': '0.6609', 'grad_norm': '0.2187', 'learning_rate': '0.0001007', 'ppl': '1.937', 'memory/max_active (GiB)': '24.8', 'memory/max_allocated (GiB)': '24.8', 'memory/device_reserved (GiB)': '32.23', 'tokens/train_per_sec_per_gpu': '344.2', 'tokens/trainable': 2025583, 'tokens/total': 4426472, 'epoch': '0.5532'}

 55%|█████████████████████████████████████████████████████████████████████████████████                                                                  | 145/263 [1:50:25<1:13:46, 37.51s/it]
 56%|█████████████████████████████████████████████████████████████████████████████████▌                                                                 | 146/263 [1:51:10<1:17:32, 39.76s/it]
                                                                                                                                                                                              
{'loss': '0.6478', 'grad_norm': '0.2216', 'learning_rate': '9.934e-05', 'ppl': '1.911', 'memory/max_active (GiB)': '28.07', 'memory/max_allocated (GiB)': '28.07', 'memory/device_reserved (GiB)': '36.78', 'tokens/train_per_sec_per_gpu': '212.7', 'tokens/trainable': 2035157, 'tokens/total': 4447532, 'epoch': '0.557'}

 56%|█████████████████████████████████████████████████████████████████████████████████▌                                                                 | 146/263 [1:51:10<1:17:32, 39.76s/it]
 56%|██████████████████████████████████████████████████████████████████████████████████▏                                                                | 147/263 [1:51:59<1:22:08, 42.49s/it]
                                                                                                                                                                                              
{'loss': '0.6784', 'grad_norm': '0.2246', 'learning_rate': '9.801e-05', 'ppl': '1.971', 'memory/max_active (GiB)': '24.88', 'memory/max_allocated (GiB)': '24.88', 'memory/device_reserved (GiB)': '31.92', 'tokens/train_per_sec_per_gpu': '225.8', 'tokens/trainable': 2046191, 'tokens/total': 4469110, 'epoch': '0.5608'}

 56%|██████████████████████████████████████████████████████████████████████████████████▏                                                                | 147/263 [1:51:59<1:22:08, 42.49s/it]
 56%|██████████████████████████████████████████████████████████████████████████████████▋                                                                | 148/263 [1:52:52<1:27:37, 45.72s/it]
                                                                                                                                                                                              
{'loss': '0.6373', 'grad_norm': '0.1724', 'learning_rate': '9.669e-05', 'ppl': '1.891', 'memory/max_active (GiB)': '44.04', 'memory/max_allocated (GiB)': '44.04', 'memory/device_reserved (GiB)': '61.51', 'tokens/train_per_sec_per_gpu': '327.3', 'tokens/trainable': 2063617, 'tokens/total': 4505868, 'epoch': '0.5646'}

 56%|██████████████████████████████████████████████████████████████████████████████████▋                                                                | 148/263 [1:52:52<1:27:37, 45.72s/it]
 57%|███████████████████████████████████████████████████████████████████████████████████▎                                                               | 149/263 [1:53:39<1:27:45, 46.19s/it]
                                                                                                                                                                                              
{'loss': '0.5898', 'grad_norm': '0.1733', 'learning_rate': '9.536e-05', 'ppl': '1.804', 'memory/max_active (GiB)': '31.09', 'memory/max_allocated (GiB)': '31.09', 'memory/device_reserved (GiB)': '37.29', 'tokens/train_per_sec_per_gpu': '306.6', 'tokens/trainable': 2078116, 'tokens/total': 4537032, 'epoch': '0.5684'}

 57%|███████████████████████████████████████████████████████████████████████████████████▎                                                               | 149/263 [1:53:39<1:27:45, 46.19s/it]
 57%|███████████████████████████████████████████████████████████████████████████████████▊                                                               | 150/263 [1:54:25<1:26:36, 45.98s/it]
                                                                                                                                                                                              
{'loss': '0.5857', 'grad_norm': '0.199', 'learning_rate': '9.404e-05', 'ppl': '1.796', 'memory/max_active (GiB)': '36.3', 'memory/max_allocated (GiB)': '36.3', 'memory/device_reserved (GiB)': '45.92', 'tokens/train_per_sec_per_gpu': '255', 'tokens/trainable': 2089719, 'tokens/total': 4564268, 'epoch': '0.5722'}

 57%|███████████████████████████████████████████████████████████████████████████████████▊                                                               | 150/263 [1:54:25<1:26:36, 45.98s/it]
 57%|████████████████████████████████████████████████████████████████████████████████████▍                                                              | 151/263 [1:55:16<1:29:04, 47.72s/it]
                                                                                                                                                                                              
{'loss': '0.6078', 'grad_norm': '0.2164', 'learning_rate': '9.272e-05', 'ppl': '1.836', 'memory/max_active (GiB)': '28.76', 'memory/max_allocated (GiB)': '28.76', 'memory/device_reserved (GiB)': '37.95', 'tokens/train_per_sec_per_gpu': '259.3', 'tokens/trainable': 2103145, 'tokens/total': 4593966, 'epoch': '0.5761'}

 57%|████████████████████████████████████████████████████████████████████████████████████▍                                                              | 151/263 [1:55:16<1:29:04, 47.72s/it]
 58%|████████████████████████████████████████████████████████████████████████████████████▉                                                              | 152/263 [1:56:03<1:27:31, 47.31s/it]
                                                                                                                                                                                              
{'loss': '0.7859', 'grad_norm': '0.2286', 'learning_rate': '9.139e-05', 'ppl': '2.194', 'memory/max_active (GiB)': '25.58', 'memory/max_allocated (GiB)': '25.58', 'memory/device_reserved (GiB)': '33.29', 'tokens/train_per_sec_per_gpu': '226', 'tokens/trainable': 2113624, 'tokens/total': 4616602, 'epoch': '0.5799'}

 58%|████████████████████████████████████████████████████████████████████████████████████▉                                                              | 152/263 [1:56:03<1:27:31, 47.31s/it]
 58%|█████████████████████████████████████████████████████████████████████████████████████▌                                                             | 153/263 [1:56:39<1:20:33, 43.94s/it]
                                                                                                                                                                                              
{'loss': '0.6501', 'grad_norm': '0.2131', 'learning_rate': '9.007e-05', 'ppl': '1.916', 'memory/max_active (GiB)': '23.47', 'memory/max_allocated (GiB)': '23.47', 'memory/device_reserved (GiB)': '29.78', 'tokens/train_per_sec_per_gpu': '255.8', 'tokens/trainable': 2122849, 'tokens/total': 4636788, 'epoch': '0.5837'}

 58%|█████████████████████████████████████████████████████████████████████████████████████▌                                                             | 153/263 [1:56:39<1:20:33, 43.94s/it]
 59%|██████████████████████████████████████████████████████████████████████████████████████                                                             | 154/263 [1:57:30<1:23:40, 46.06s/it]
                                                                                                                                                                                              
{'loss': '0.7322', 'grad_norm': '0.2115', 'learning_rate': '8.876e-05', 'ppl': '2.08', 'memory/max_active (GiB)': '38.63', 'memory/max_allocated (GiB)': '38.63', 'memory/device_reserved (GiB)': '53.38', 'tokens/train_per_sec_per_gpu': '324', 'tokens/trainable': 2139377, 'tokens/total': 4672022, 'epoch': '0.5875'}

 59%|██████████████████████████████████████████████████████████████████████████████████████                                                             | 154/263 [1:57:30<1:23:40, 46.06s/it]
 59%|██████████████████████████████████████████████████████████████████████████████████████▋                                                            | 155/263 [1:58:23<1:26:31, 48.07s/it]
                                                                                                                                                                                              
{'loss': '0.6393', 'grad_norm': '0.1979', 'learning_rate': '8.744e-05', 'ppl': '1.895', 'memory/max_active (GiB)': '39.73', 'memory/max_allocated (GiB)': '39.73', 'memory/device_reserved (GiB)': '54.95', 'tokens/train_per_sec_per_gpu': '278.7', 'tokens/trainable': 2154077, 'tokens/total': 4701432, 'epoch': '0.5913'}

 59%|██████████████████████████████████████████████████████████████████████████████████████▋                                                            | 155/263 [1:58:23<1:26:31, 48.07s/it]
 59%|███████████████████████████████████████████████████████████████████████████████████████▏                                                           | 156/263 [1:59:20<1:30:31, 50.76s/it]
                                                                                                                                                                                              
{'loss': '0.6361', 'grad_norm': '0.1782', 'learning_rate': '8.613e-05', 'ppl': '1.889', 'memory/max_active (GiB)': '42.74', 'memory/max_allocated (GiB)': '42.74', 'memory/device_reserved (GiB)': '59.9', 'tokens/train_per_sec_per_gpu': '296.8', 'tokens/trainable': 2171008, 'tokens/total': 4736142, 'epoch': '0.5951'}

 59%|███████████████████████████████████████████████████████████████████████████████████████▏                                                           | 156/263 [1:59:20<1:30:31, 50.76s/it]
 60%|███████████████████████████████████████████████████████████████████████████████████████▊                                                           | 157/263 [2:00:09<1:28:43, 50.22s/it]
                                                                                                                                                                                              
{'loss': '0.7478', 'grad_norm': '0.185', 'learning_rate': '8.481e-05', 'ppl': '2.112', 'memory/max_active (GiB)': '39.56', 'memory/max_allocated (GiB)': '39.56', 'memory/device_reserved (GiB)': '54.81', 'tokens/train_per_sec_per_gpu': '291.1', 'tokens/trainable': 2185260, 'tokens/total': 4769674, 'epoch': '0.599'}

 60%|███████████████████████████████████████████████████████████████████████████████████████▊                                                           | 157/263 [2:00:09<1:28:43, 50.22s/it]
 60%|████████████████████████████████████████████████████████████████████████████████████████▎                                                          | 158/263 [2:01:16<1:36:55, 55.38s/it]
                                                                                                                                                                                              
{'loss': '0.6923', 'grad_norm': '0.1927', 'learning_rate': '8.351e-05', 'ppl': '1.998', 'memory/max_active (GiB)': '51.52', 'memory/max_allocated (GiB)': '51.52', 'memory/device_reserved (GiB)': '73.17', 'tokens/train_per_sec_per_gpu': '299.4', 'tokens/trainable': 2205449, 'tokens/total': 4813544, 'epoch': '0.6028'}

 60%|████████████████████████████████████████████████████████████████████████████████████████▎                                                          | 158/263 [2:01:16<1:36:55, 55.38s/it]
 60%|████████████████████████████████████████████████████████████████████████████████████████▊                                                          | 159/263 [2:02:19<1:39:59, 57.69s/it]
                                                                                                                                                                                              
{'loss': '0.6566', 'grad_norm': '0.1942', 'learning_rate': '8.22e-05', 'ppl': '1.928', 'memory/max_active (GiB)': '45.07', 'memory/max_allocated (GiB)': '45.07', 'memory/device_reserved (GiB)': '63.03', 'tokens/train_per_sec_per_gpu': '265.1', 'tokens/trainable': 2222171, 'tokens/total': 4848392, 'epoch': '0.6066'}

 60%|████████████████████████████████████████████████████████████████████████████████████████▊                                                          | 159/263 [2:02:19<1:39:59, 57.69s/it]
 61%|█████████████████████████████████████████████████████████████████████████████████████████▍                                                         | 160/263 [2:03:11<1:36:19, 56.11s/it]
                                                                                                                                                                                              
{'loss': '0.6622', 'grad_norm': '0.1977', 'learning_rate': '8.09e-05', 'ppl': '1.939', 'memory/max_active (GiB)': '46.42', 'memory/max_allocated (GiB)': '46.42', 'memory/device_reserved (GiB)': '65.06', 'tokens/train_per_sec_per_gpu': '337.5', 'tokens/trainable': 2239867, 'tokens/total': 4886222, 'epoch': '0.6104'}

 61%|█████████████████████████████████████████████████████████████████████████████████████████▍                                                         | 160/263 [2:03:11<1:36:19, 56.11s/it]
 61%|█████████████████████████████████████████████████████████████████████████████████████████▉                                                         | 161/263 [2:03:47<1:24:41, 49.82s/it]
                                                                                                                                                                                              
{'loss': '0.6882', 'grad_norm': '0.1678', 'learning_rate': '7.96e-05', 'ppl': '1.99', 'memory/max_active (GiB)': '25.15', 'memory/max_allocated (GiB)': '25.15', 'memory/device_reserved (GiB)': '32.47', 'tokens/train_per_sec_per_gpu': '420.2', 'tokens/trainable': 2254631, 'tokens/total': 4914572, 'epoch': '0.6142'}

 61%|█████████████████████████████████████████████████████████████████████████████████████████▉                                                         | 161/263 [2:03:47<1:24:41, 49.82s/it]
 62%|██████████████████████████████████████████████████████████████████████████████████████████▌                                                        | 162/263 [2:04:31<1:21:04, 48.17s/it]
                                                                                                                                                                                              
{'loss': '0.6634', 'grad_norm': '0.254', 'learning_rate': '7.83e-05', 'ppl': '1.941', 'memory/max_active (GiB)': '25.88', 'memory/max_allocated (GiB)': '25.88', 'memory/device_reserved (GiB)': '33.36', 'tokens/train_per_sec_per_gpu': '195.9', 'tokens/trainable': 2263311, 'tokens/total': 4934728, 'epoch': '0.618'}

 62%|██████████████████████████████████████████████████████████████████████████████████████████▌                                                        | 162/263 [2:04:31<1:21:04, 48.17s/it]
 62%|███████████████████████████████████████████████████████████████████████████████████████████                                                        | 163/263 [2:05:28<1:24:55, 50.96s/it]
                                                                                                                                                                                              
{'loss': '0.6232', 'grad_norm': '0.1764', 'learning_rate': '7.701e-05', 'ppl': '1.865', 'memory/max_active (GiB)': '33.21', 'memory/max_allocated (GiB)': '33.21', 'memory/device_reserved (GiB)': '41.49', 'tokens/train_per_sec_per_gpu': '270', 'tokens/trainable': 2278829, 'tokens/total': 4967958, 'epoch': '0.6218'}

 62%|███████████████████████████████████████████████████████████████████████████████████████████                                                        | 163/263 [2:05:28<1:24:55, 50.96s/it]
 62%|███████████████████████████████████████████████████████████████████████████████████████████▋                                                       | 164/263 [2:06:01<1:14:46, 45.32s/it]
                                                                                                                                                                                              
{'loss': '0.7008', 'grad_norm': '0.1909', 'learning_rate': '7.572e-05', 'ppl': '2.015', 'memory/max_active (GiB)': '27.44', 'memory/max_allocated (GiB)': '27.44', 'memory/device_reserved (GiB)': '35.74', 'tokens/train_per_sec_per_gpu': '401.3', 'tokens/trainable': 2291731, 'tokens/total': 4994350, 'epoch': '0.6257'}

 62%|███████████████████████████████████████████████████████████████████████████████████████████▋                                                       | 164/263 [2:06:01<1:14:46, 45.32s/it]
 63%|████████████████████████████████████████████████████████████████████████████████████████████▏                                                      | 165/263 [2:06:33<1:07:45, 41.49s/it]
                                                                                                                                                                                              
{'loss': '0.6839', 'grad_norm': '0.213', 'learning_rate': '7.444e-05', 'ppl': '1.982', 'memory/max_active (GiB)': '31.91', 'memory/max_allocated (GiB)': '31.91', 'memory/device_reserved (GiB)': '42.43', 'tokens/train_per_sec_per_gpu': '404.2', 'tokens/trainable': 2304893, 'tokens/total': 5018514, 'epoch': '0.6295'}

 63%|████████████████████████████████████████████████████████████████████████████████████████████▏                                                      | 165/263 [2:06:33<1:07:45, 41.49s/it]
 63%|████████████████████████████████████████████████████████████████████████████████████████████▊                                                      | 166/263 [2:07:29<1:13:54, 45.72s/it]
                                                                                                                                                                                              
{'loss': '0.6054', 'grad_norm': '0.1739', 'learning_rate': '7.316e-05', 'ppl': '1.832', 'memory/max_active (GiB)': '35.17', 'memory/max_allocated (GiB)': '35.17', 'memory/device_reserved (GiB)': '44.2', 'tokens/train_per_sec_per_gpu': '285.8', 'tokens/trainable': 2320783, 'tokens/total': 5050822, 'epoch': '0.6333'}

 63%|████████████████████████████████████████████████████████████████████████████████████████████▊                                                      | 166/263 [2:07:29<1:13:54, 45.72s/it]
 63%|█████████████████████████████████████████████████████████████████████████████████████████████▎                                                     | 167/263 [2:08:27<1:19:11, 49.50s/it]
                                                                                                                                                                                              
{'loss': '0.6887', 'grad_norm': '0.1949', 'learning_rate': '7.188e-05', 'ppl': '1.991', 'memory/max_active (GiB)': '40.38', 'memory/max_allocated (GiB)': '40.38', 'memory/device_reserved (GiB)': '56.06', 'tokens/train_per_sec_per_gpu': '304.9', 'tokens/trainable': 2338559, 'tokens/total': 5082648, 'epoch': '0.6371'}

 63%|█████████████████████████████████████████████████████████████████████████████████████████████▎                                                     | 167/263 [2:08:27<1:19:11, 49.50s/it]
 64%|█████████████████████████████████████████████████████████████████████████████████████████████▉                                                     | 168/263 [2:09:09<1:14:44, 47.20s/it]
                                                                                                                                                                                              
{'loss': '0.6576', 'grad_norm': '0.246', 'learning_rate': '7.061e-05', 'ppl': '1.93', 'memory/max_active (GiB)': '22.77', 'memory/max_allocated (GiB)': '22.77', 'memory/device_reserved (GiB)': '33.36', 'tokens/train_per_sec_per_gpu': '217.1', 'tokens/trainable': 2347641, 'tokens/total': 5103024, 'epoch': '0.6409'}

 64%|█████████████████████████████████████████████████████████████████████████████████████████████▉                                                     | 168/263 [2:09:09<1:14:44, 47.20s/it]
 64%|██████████████████████████████████████████████████████████████████████████████████████████████▍                                                    | 169/263 [2:09:58<1:14:40, 47.66s/it]
                                                                                                                                                                                              
{'loss': '0.5939', 'grad_norm': '0.1881', 'learning_rate': '6.935e-05', 'ppl': '1.811', 'memory/max_active (GiB)': '49.05', 'memory/max_allocated (GiB)': '49.05', 'memory/device_reserved (GiB)': '69.16', 'tokens/train_per_sec_per_gpu': '299.7', 'tokens/trainable': 2362246, 'tokens/total': 5135012, 'epoch': '0.6447'}

 64%|██████████████████████████████████████████████████████████████████████████████████████████████▍                                                    | 169/263 [2:09:58<1:14:40, 47.66s/it]
 65%|███████████████████████████████████████████████████████████████████████████████████████████████                                                    | 170/263 [2:10:42<1:12:29, 46.77s/it]
                                                                                                                                                                                              
{'loss': '0.6675', 'grad_norm': '0.1941', 'learning_rate': '6.809e-05', 'ppl': '1.949', 'memory/max_active (GiB)': '40.07', 'memory/max_allocated (GiB)': '40.07', 'memory/device_reserved (GiB)': '55.49', 'tokens/train_per_sec_per_gpu': '330.2', 'tokens/trainable': 2376998, 'tokens/total': 5165914, 'epoch': '0.6485'}

 65%|███████████████████████████████████████████████████████████████████████████████████████████████                                                    | 170/263 [2:10:42<1:12:29, 46.77s/it]
 65%|███████████████████████████████████████████████████████████████████████████████████████████████▌                                                   | 171/263 [2:11:22<1:08:18, 44.54s/it]
                                                                                                                                                                                              
{'loss': '0.662', 'grad_norm': '0.2005', 'learning_rate': '6.684e-05', 'ppl': '1.939', 'memory/max_active (GiB)': '26.99', 'memory/max_allocated (GiB)': '26.99', 'memory/device_reserved (GiB)': '35.18', 'tokens/train_per_sec_per_gpu': '334.3', 'tokens/trainable': 2390156, 'tokens/total': 5192072, 'epoch': '0.6524'}

 65%|███████████████████████████████████████████████████████████████████████████████████████████████▌                                                   | 171/263 [2:11:22<1:08:18, 44.54s/it]
 65%|████████████████████████████████████████████████████████████████████████████████████████████████▏                                                  | 172/263 [2:12:13<1:10:49, 46.70s/it]
                                                                                                                                                                                              
{'loss': '0.7026', 'grad_norm': '0.2259', 'learning_rate': '6.559e-05', 'ppl': '2.019', 'memory/max_active (GiB)': '47.05', 'memory/max_allocated (GiB)': '47.05', 'memory/device_reserved (GiB)': '66.2', 'tokens/train_per_sec_per_gpu': '264.1', 'tokens/trainable': 2403814, 'tokens/total': 5223520, 'epoch': '0.6562'}

 65%|████████████████████████████████████████████████████████████████████████████████████████████████▏                                                  | 172/263 [2:12:13<1:10:49, 46.70s/it]
 66%|████████████████████████████████████████████████████████████████████████████████████████████████▋                                                  | 173/263 [2:13:04<1:11:49, 47.89s/it]
                                                                                                                                                                                              
{'loss': '0.6707', 'grad_norm': '0.197', 'learning_rate': '6.435e-05', 'ppl': '1.956', 'memory/max_active (GiB)': '23.56', 'memory/max_allocated (GiB)': '23.56', 'memory/device_reserved (GiB)': '30.05', 'tokens/train_per_sec_per_gpu': '217.8', 'tokens/trainable': 2414847, 'tokens/total': 5247654, 'epoch': '0.66'}

 66%|████████████████████████████████████████████████████████████████████████████████████████████████▋                                                  | 173/263 [2:13:04<1:11:49, 47.89s/it]
 66%|█████████████████████████████████████████████████████████████████████████████████████████████████▎                                                 | 174/263 [2:13:57<1:13:05, 49.28s/it]
                                                                                                                                                                                              
{'loss': '0.5625', 'grad_norm': '0.1798', 'learning_rate': '6.311e-05', 'ppl': '1.755', 'memory/max_active (GiB)': '30.71', 'memory/max_allocated (GiB)': '30.71', 'memory/device_reserved (GiB)': '40.59', 'tokens/train_per_sec_per_gpu': '295.5', 'tokens/trainable': 2430368, 'tokens/total': 5276410, 'epoch': '0.6638'}

 66%|█████████████████████████████████████████████████████████████████████████████████████████████████▎                                                 | 174/263 [2:13:57<1:13:05, 49.28s/it]
 67%|█████████████████████████████████████████████████████████████████████████████████████████████████▊                                                 | 175/263 [2:14:44<1:11:22, 48.66s/it]
                                                                                                                                                                                              
{'loss': '0.6375', 'grad_norm': '0.1961', 'learning_rate': '6.188e-05', 'ppl': '1.892', 'memory/max_active (GiB)': '28.14', 'memory/max_allocated (GiB)': '28.14', 'memory/device_reserved (GiB)': '36.8', 'tokens/train_per_sec_per_gpu': '234.5', 'tokens/trainable': 2441441, 'tokens/total': 5302790, 'epoch': '0.6676'}

 67%|█████████████████████████████████████████████████████████████████████████████████████████████████▊                                                 | 175/263 [2:14:44<1:11:22, 48.66s/it]
 67%|██████████████████████████████████████████████████████████████████████████████████████████████████▎                                                | 176/263 [2:15:37<1:12:44, 50.17s/it]
                                                                                                                                                                                              
{'loss': '0.6539', 'grad_norm': '0.1857', 'learning_rate': '6.066e-05', 'ppl': '1.923', 'memory/max_active (GiB)': '44.34', 'memory/max_allocated (GiB)': '44.34', 'memory/device_reserved (GiB)': '61.98', 'tokens/train_per_sec_per_gpu': '260.5', 'tokens/trainable': 2455423, 'tokens/total': 5333674, 'epoch': '0.6714'}

 67%|██████████████████████████████████████████████████████████████████████████████████████████████████▎                                                | 176/263 [2:15:37<1:12:44, 50.17s/it]
 67%|██████████████████████████████████████████████████████████████████████████████████████████████████▉                                                | 177/263 [2:16:24<1:10:15, 49.01s/it]
                                                                                                                                                                                              
{'loss': '0.5762', 'grad_norm': '0.1929', 'learning_rate': '5.945e-05', 'ppl': '1.779', 'memory/max_active (GiB)': '28.62', 'memory/max_allocated (GiB)': '28.62', 'memory/device_reserved (GiB)': '61.98', 'tokens/train_per_sec_per_gpu': '251.4', 'tokens/trainable': 2467068, 'tokens/total': 5359564, 'epoch': '0.6753'}

 67%|██████████████████████████████████████████████████████████████████████████████████████████████████▉                                                | 177/263 [2:16:24<1:10:15, 49.01s/it]
 68%|███████████████████████████████████████████████████████████████████████████████████████████████████▍                                               | 178/263 [2:17:02<1:05:00, 45.89s/it]
                                                                                                                                                                                              
{'loss': '0.6303', 'grad_norm': '0.1936', 'learning_rate': '5.824e-05', 'ppl': '1.878', 'memory/max_active (GiB)': '33.46', 'memory/max_allocated (GiB)': '33.46', 'memory/device_reserved (GiB)': '42.02', 'tokens/train_per_sec_per_gpu': '384.4', 'tokens/trainable': 2481907, 'tokens/total': 5388678, 'epoch': '0.6791'}

 68%|███████████████████████████████████████████████████████████████████████████████████████████████████▍                                               | 178/263 [2:17:02<1:05:00, 45.89s/it]
 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████▍                                               | 179/263 [2:17:37<59:27, 42.47s/it]
                                                                                                                                                                                              
{'loss': '0.6012', 'grad_norm': '0.203', 'learning_rate': '5.704e-05', 'ppl': '1.824', 'memory/max_active (GiB)': '25.76', 'memory/max_allocated (GiB)': '25.76', 'memory/device_reserved (GiB)': '33.21', 'tokens/train_per_sec_per_gpu': '338.2', 'tokens/trainable': 2493569, 'tokens/total': 5414394, 'epoch': '0.6829'}

 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████▍                                               | 179/263 [2:17:37<59:27, 42.47s/it]
 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████▉                                               | 180/263 [2:18:10<54:55, 39.70s/it]
                                                                                                                                                                                              
{'loss': '0.6847', 'grad_norm': '0.1948', 'learning_rate': '5.585e-05', 'ppl': '1.983', 'memory/max_active (GiB)': '30.09', 'memory/max_allocated (GiB)': '30.09', 'memory/device_reserved (GiB)': '39.71', 'tokens/train_per_sec_per_gpu': '404.4', 'tokens/trainable': 2507016, 'tokens/total': 5440266, 'epoch': '0.6867'}

 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████▉                                               | 180/263 [2:18:10<54:55, 39.70s/it]
 69%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌                                              | 181/263 [2:18:44<51:47, 37.90s/it]
                                                                                                                                                                                              
{'loss': '0.6923', 'grad_norm': '0.2085', 'learning_rate': '5.466e-05', 'ppl': '1.998', 'memory/max_active (GiB)': '35.58', 'memory/max_allocated (GiB)': '35.58', 'memory/device_reserved (GiB)': '44.79', 'tokens/train_per_sec_per_gpu': '367.1', 'tokens/trainable': 2519381, 'tokens/total': 5467466, 'epoch': '0.6905'}

 69%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌                                              | 181/263 [2:18:44<51:47, 37.90s/it]
 69%|███████████████████████████████████████████████████████████████████████████████████████████████████████                                              | 182/263 [2:19:19<50:05, 37.10s/it]
                                                                                                                                                                                              
{'loss': '0.7096', 'grad_norm': '0.196', 'learning_rate': '5.348e-05', 'ppl': '2.033', 'memory/max_active (GiB)': '30.89', 'memory/max_allocated (GiB)': '30.89', 'memory/device_reserved (GiB)': '40.73', 'tokens/train_per_sec_per_gpu': '379.8', 'tokens/trainable': 2532772, 'tokens/total': 5497208, 'epoch': '0.6943'}

 69%|███████████████████████████████████████████████████████████████████████████████████████████████████████                                              | 182/263 [2:19:19<50:05, 37.10s/it]
 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████▋                                             | 183/263 [2:19:53<48:13, 36.17s/it]
                                                                                                                                                                                              
{'loss': '0.676', 'grad_norm': '0.2051', 'learning_rate': '5.231e-05', 'ppl': '1.966', 'memory/max_active (GiB)': '24.11', 'memory/max_allocated (GiB)': '24.11', 'memory/device_reserved (GiB)': '38.66', 'tokens/train_per_sec_per_gpu': '345.2', 'tokens/trainable': 2544502, 'tokens/total': 5521580, 'epoch': '0.6981'}

 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████▋                                             | 183/263 [2:19:53<48:13, 36.17s/it]
 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 184/263 [2:20:43<52:59, 40.25s/it]
                                                                                                                                                                                              
{'loss': '0.6542', 'grad_norm': '0.2071', 'learning_rate': '5.115e-05', 'ppl': '1.924', 'memory/max_active (GiB)': '39.48', 'memory/max_allocated (GiB)': '39.48', 'memory/device_reserved (GiB)': '54.69', 'tokens/train_per_sec_per_gpu': '310.1', 'tokens/trainable': 2559938, 'tokens/total': 5553304, 'epoch': '0.702'}

 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 184/263 [2:20:43<52:59, 40.25s/it]
 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                            | 185/263 [2:21:23<52:24, 40.31s/it]
                                                                                                                                                                                              
{'loss': '0.6775', 'grad_norm': '0.2571', 'learning_rate': '5e-05', 'ppl': '1.969', 'memory/max_active (GiB)': '38.61', 'memory/max_allocated (GiB)': '38.61', 'memory/device_reserved (GiB)': '53.19', 'tokens/train_per_sec_per_gpu': '308.9', 'tokens/trainable': 2572432, 'tokens/total': 5582308, 'epoch': '0.7058'}

 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                            | 185/263 [2:21:23<52:24, 40.31s/it]
 71%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                           | 186/263 [2:22:13<55:23, 43.16s/it]
                                                                                                                                                                                              
{'loss': '0.6412', 'grad_norm': '0.2141', 'learning_rate': '4.886e-05', 'ppl': '1.899', 'memory/max_active (GiB)': '50.63', 'memory/max_allocated (GiB)': '50.63', 'memory/device_reserved (GiB)': '71.62', 'tokens/train_per_sec_per_gpu': '345.7', 'tokens/trainable': 2589650, 'tokens/total': 5622242, 'epoch': '0.7096'}

 71%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                           | 186/263 [2:22:13<55:23, 43.16s/it]
 71%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                           | 187/263 [2:22:59<55:44, 44.01s/it]
                                                                                                                                                                                              
{'loss': '0.6154', 'grad_norm': '0.1996', 'learning_rate': '4.772e-05', 'ppl': '1.85', 'memory/max_active (GiB)': '33.16', 'memory/max_allocated (GiB)': '33.16', 'memory/device_reserved (GiB)': '70.77', 'tokens/train_per_sec_per_gpu': '289.1', 'tokens/trainable': 2602951, 'tokens/total': 5652818, 'epoch': '0.7134'}

 71%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                           | 187/263 [2:22:59<55:44, 44.01s/it]
 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                          | 188/263 [2:23:52<58:33, 46.84s/it]
                                                                                                                                                                                              
{'loss': '0.6231', 'grad_norm': '0.2165', 'learning_rate': '4.66e-05', 'ppl': '1.865', 'memory/max_active (GiB)': '55.1', 'memory/max_allocated (GiB)': '55.1', 'memory/device_reserved (GiB)': '78.44', 'tokens/train_per_sec_per_gpu': '241.5', 'tokens/trainable': 2615857, 'tokens/total': 5682190, 'epoch': '0.7172'}

 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                          | 188/263 [2:23:52<58:33, 46.84s/it]
 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                         | 189/263 [2:24:51<1:02:07, 50.37s/it]
                                                                                                                                                                                              
{'loss': '0.644', 'grad_norm': '0.1827', 'learning_rate': '4.548e-05', 'ppl': '1.904', 'memory/max_active (GiB)': '40.42', 'memory/max_allocated (GiB)': '40.42', 'memory/device_reserved (GiB)': '56.19', 'tokens/train_per_sec_per_gpu': '308.8', 'tokens/trainable': 2633955, 'tokens/total': 5718572, 'epoch': '0.721'}

 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                         | 189/263 [2:24:51<1:02:07, 50.37s/it]
 72%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                         | 190/263 [2:25:38<59:58, 49.29s/it]
                                                                                                                                                                                              
{'loss': '0.6435', 'grad_norm': '0.2112', 'learning_rate': '4.437e-05', 'ppl': '1.903', 'memory/max_active (GiB)': '39.61', 'memory/max_allocated (GiB)': '39.61', 'memory/device_reserved (GiB)': '54.75', 'tokens/train_per_sec_per_gpu': '314.9', 'tokens/trainable': 2648683, 'tokens/total': 5751500, 'epoch': '0.7248'}

 72%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                         | 190/263 [2:25:38<59:58, 49.29s/it]
 73%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                        | 191/263 [2:26:29<59:50, 49.87s/it]
                                                                                                                                                                                              
{'loss': '0.6434', 'grad_norm': '0.1974', 'learning_rate': '4.328e-05', 'ppl': '1.903', 'memory/max_active (GiB)': '48.38', 'memory/max_allocated (GiB)': '48.38', 'memory/device_reserved (GiB)': '68.25', 'tokens/train_per_sec_per_gpu': '370.3', 'tokens/trainable': 2667651, 'tokens/total': 5795452, 'epoch': '0.7287'}

 73%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                        | 191/263 [2:26:29<59:50, 49.87s/it]
 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                       | 192/263 [2:27:33<1:04:07, 54.19s/it]
                                                                                                                                                                                              
{'loss': '0.7199', 'grad_norm': '0.1943', 'learning_rate': '4.219e-05', 'ppl': '2.054', 'memory/max_active (GiB)': '51.55', 'memory/max_allocated (GiB)': '51.55', 'memory/device_reserved (GiB)': '72.91', 'tokens/train_per_sec_per_gpu': '241.4', 'tokens/trainable': 2683164, 'tokens/total': 5831970, 'epoch': '0.7325'}

 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                       | 192/263 [2:27:33<1:04:07, 54.19s/it]
 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                       | 193/263 [2:28:31<1:04:25, 55.22s/it]
                                                                                                                                                                                              
{'loss': '0.6151', 'grad_norm': '0.212', 'learning_rate': '4.111e-05', 'ppl': '1.85', 'memory/max_active (GiB)': '45.42', 'memory/max_allocated (GiB)': '45.42', 'memory/device_reserved (GiB)': '63.73', 'tokens/train_per_sec_per_gpu': '237.2', 'tokens/trainable': 2696830, 'tokens/total': 5864046, 'epoch': '0.7363'}

 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                       | 193/263 [2:28:31<1:04:25, 55.22s/it]
 74%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                       | 194/263 [2:29:15<59:32, 51.78s/it]
                                                                                                                                                                                              
{'loss': '0.662', 'grad_norm': '0.1948', 'learning_rate': '4.005e-05', 'ppl': '1.939', 'memory/max_active (GiB)': '36.93', 'memory/max_allocated (GiB)': '36.93', 'memory/device_reserved (GiB)': '46.86', 'tokens/train_per_sec_per_gpu': '370.9', 'tokens/trainable': 2713056, 'tokens/total': 5897816, 'epoch': '0.7401'}

 74%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                       | 194/263 [2:29:15<59:32, 51.78s/it]
 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                      | 195/263 [2:29:58<55:48, 49.24s/it]
                                                                                                                                                                                              
{'loss': '0.7405', 'grad_norm': '0.2793', 'learning_rate': '3.899e-05', 'ppl': '2.097', 'memory/max_active (GiB)': '25.49', 'memory/max_allocated (GiB)': '25.49', 'memory/device_reserved (GiB)': '32.93', 'tokens/train_per_sec_per_gpu': '231.7', 'tokens/trainable': 2723094, 'tokens/total': 5917064, 'epoch': '0.7439'}

 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                      | 195/263 [2:29:58<55:48, 49.24s/it]
 75%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████                                      | 196/263 [2:30:43<53:30, 47.92s/it]
                                                                                                                                                                                              
{'loss': '0.6287', 'grad_norm': '0.2298', 'learning_rate': '3.795e-05', 'ppl': '1.875', 'memory/max_active (GiB)': '21.3', 'memory/max_allocated (GiB)': '21.3', 'memory/device_reserved (GiB)': '26.55', 'tokens/train_per_sec_per_gpu': '184.1', 'tokens/trainable': 2731350, 'tokens/total': 5936682, 'epoch': '0.7477'}

 75%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████                                      | 196/263 [2:30:43<53:30, 47.92s/it]
 75%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                     | 197/263 [2:31:37<54:37, 49.66s/it]
                                                                                                                                                                                              
{'loss': '0.6935', 'grad_norm': '0.2097', 'learning_rate': '3.691e-05', 'ppl': '2.001', 'memory/max_active (GiB)': '30.31', 'memory/max_allocated (GiB)': '30.31', 'memory/device_reserved (GiB)': '40.12', 'tokens/train_per_sec_per_gpu': '254.8', 'tokens/trainable': 2745037, 'tokens/total': 5968342, 'epoch': '0.7515'}

 75%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                     | 197/263 [2:31:37<54:37, 49.66s/it]
 75%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                    | 198/263 [2:32:29<54:33, 50.36s/it]
                                                                                                                                                                                              
{'loss': '0.6516', 'grad_norm': '0.2135', 'learning_rate': '3.589e-05', 'ppl': '1.919', 'memory/max_active (GiB)': '35.1', 'memory/max_allocated (GiB)': '35.1', 'memory/device_reserved (GiB)': '44.11', 'tokens/train_per_sec_per_gpu': '247.8', 'tokens/trainable': 2757923, 'tokens/total': 5997292, 'epoch': '0.7554'}

 75%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                    | 198/263 [2:32:29<54:33, 50.36s/it]
 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                    | 199/263 [2:33:29<56:57, 53.40s/it]
                                                                                                                                                                                              
{'loss': '0.6918', 'grad_norm': '0.1828', 'learning_rate': '3.488e-05', 'ppl': '1.997', 'memory/max_active (GiB)': '56.91', 'memory/max_allocated (GiB)': '56.91', 'memory/device_reserved (GiB)': '73.99', 'tokens/train_per_sec_per_gpu': '302.4', 'tokens/trainable': 2776213, 'tokens/total': 6038550, 'epoch': '0.7592'}

 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                    | 199/263 [2:33:29<56:57, 53.40s/it]
 76%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                   | 200/263 [2:34:22<56:02, 53.37s/it]
                                                                                                                                                                                              
{'loss': '0.6774', 'grad_norm': '0.2068', 'learning_rate': '3.388e-05', 'ppl': '1.969', 'memory/max_active (GiB)': '43.54', 'memory/max_allocated (GiB)': '43.54', 'memory/device_reserved (GiB)': '60.76', 'tokens/train_per_sec_per_gpu': '271.4', 'tokens/trainable': 2790680, 'tokens/total': 6069138, 'epoch': '0.763'}

 76%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                   | 200/263 [2:34:22<56:02, 53.37s/it]
 76%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                   | 201/263 [2:35:22<57:08, 55.30s/it]
                                                                                                                                                                                              
{'loss': '0.6853', 'grad_norm': '0.2284', 'learning_rate': '3.289e-05', 'ppl': '1.984', 'memory/max_active (GiB)': '55.21', 'memory/max_allocated (GiB)': '55.21', 'memory/device_reserved (GiB)': '78.48', 'tokens/train_per_sec_per_gpu': '256.8', 'tokens/trainable': 2806039, 'tokens/total': 6104430, 'epoch': '0.7668'}

 76%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                   | 201/263 [2:35:22<57:08, 55.30s/it]
 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                  | 202/263 [2:35:58<50:17, 49.47s/it]
                                                                                                                                                                                              
{'loss': '0.7109', 'grad_norm': '0.2175', 'learning_rate': '3.191e-05', 'ppl': '2.036', 'memory/max_active (GiB)': '23.78', 'memory/max_allocated (GiB)': '23.78', 'memory/device_reserved (GiB)': '30.28', 'tokens/train_per_sec_per_gpu': '336.1', 'tokens/trainable': 2818090, 'tokens/total': 6127762, 'epoch': '0.7706'}

 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                  | 202/263 [2:35:58<50:17, 49.47s/it]
 77%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                  | 203/263 [2:36:28<43:45, 43.75s/it]
                                                                                                                                                                                              
{'loss': '0.6929', 'grad_norm': '0.2504', 'learning_rate': '3.095e-05', 'ppl': '2', 'memory/max_active (GiB)': '27.24', 'memory/max_allocated (GiB)': '27.24', 'memory/device_reserved (GiB)': '30.67', 'tokens/train_per_sec_per_gpu': '347.7', 'tokens/trainable': 2828664, 'tokens/total': 6151536, 'epoch': '0.7744'}

 77%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                  | 203/263 [2:36:28<43:45, 43.75s/it]
 78%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                 | 204/263 [2:37:16<44:12, 44.96s/it]
                                                                                                                                                                                              
{'loss': '0.6381', 'grad_norm': '0.1846', 'learning_rate': '3e-05', 'ppl': '1.893', 'memory/max_active (GiB)': '35.73', 'memory/max_allocated (GiB)': '35.73', 'memory/device_reserved (GiB)': '45.1', 'tokens/train_per_sec_per_gpu': '335.6', 'tokens/trainable': 2844697, 'tokens/total': 6186540, 'epoch': '0.7783'}

 78%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                 | 204/263 [2:37:16<44:12, 44.96s/it]
 78%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                | 205/263 [2:38:09<45:46, 47.35s/it]
                                                                                                                                                                                              
{'loss': '0.578', 'grad_norm': '0.1669', 'learning_rate': '2.906e-05', 'ppl': '1.783', 'memory/max_active (GiB)': '38.6', 'memory/max_allocated (GiB)': '38.6', 'memory/device_reserved (GiB)': '53.29', 'tokens/train_per_sec_per_gpu': '300.8', 'tokens/trainable': 2860615, 'tokens/total': 6225342, 'epoch': '0.7821'}

 78%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                | 205/263 [2:38:09<45:46, 47.35s/it]
 78%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                | 206/263 [2:38:55<44:36, 46.95s/it]
                                                                                                                                                                                              
{'loss': '0.7123', 'grad_norm': '0.2747', 'learning_rate': '2.813e-05', 'ppl': '2.039', 'memory/max_active (GiB)': '33.82', 'memory/max_allocated (GiB)': '33.82', 'memory/device_reserved (GiB)': '53.29', 'tokens/train_per_sec_per_gpu': '214.9', 'tokens/trainable': 2870504, 'tokens/total': 6249862, 'epoch': '0.7859'}

 78%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                | 206/263 [2:38:55<44:36, 46.95s/it]
 79%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                               | 207/263 [2:39:38<42:35, 45.64s/it]
                                                                                                                                                                                              
{'loss': '0.5941', 'grad_norm': '0.198', 'learning_rate': '2.721e-05', 'ppl': '1.811', 'memory/max_active (GiB)': '28.76', 'memory/max_allocated (GiB)': '28.76', 'memory/device_reserved (GiB)': '42.35', 'tokens/train_per_sec_per_gpu': '301.9', 'tokens/trainable': 2883356, 'tokens/total': 6278118, 'epoch': '0.7897'}

 79%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                               | 207/263 [2:39:38<42:35, 45.64s/it]
 79%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                               | 208/263 [2:40:17<40:11, 43.85s/it]
                                                                                                                                                                                              
{'loss': '0.7291', 'grad_norm': '0.1958', 'learning_rate': '2.631e-05', 'ppl': '2.073', 'memory/max_active (GiB)': '29.79', 'memory/max_allocated (GiB)': '29.79', 'memory/device_reserved (GiB)': '39.24', 'tokens/train_per_sec_per_gpu': '300.4', 'tokens/trainable': 2895280, 'tokens/total': 6304026, 'epoch': '0.7935'}

 79%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                               | 208/263 [2:40:17<40:11, 43.85s/it]
 79%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                              | 209/263 [2:40:56<38:06, 42.35s/it]
                                                                                                                                                                                              
{'loss': '0.6712', 'grad_norm': '0.209', 'learning_rate': '2.542e-05', 'ppl': '1.957', 'memory/max_active (GiB)': '28.91', 'memory/max_allocated (GiB)': '28.91', 'memory/device_reserved (GiB)': '37.99', 'tokens/train_per_sec_per_gpu': '305.4', 'tokens/trainable': 2907146, 'tokens/total': 6329922, 'epoch': '0.7973'}

 79%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                              | 209/263 [2:40:56<38:06, 42.35s/it]
 80%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                              | 210/263 [2:41:38<37:14, 42.17s/it]
                                                                                                                                                                                              
{'loss': '0.6474', 'grad_norm': '0.2265', 'learning_rate': '2.454e-05', 'ppl': '1.911', 'memory/max_active (GiB)': '33.6', 'memory/max_allocated (GiB)': '33.6', 'memory/device_reserved (GiB)': '42.13', 'tokens/train_per_sec_per_gpu': '257.8', 'tokens/trainable': 2917904, 'tokens/total': 6354510, 'epoch': '0.8011'}

 80%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                              | 210/263 [2:41:38<37:14, 42.17s/it]
 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                             | 211/263 [2:42:15<35:18, 40.74s/it]
                                                                                                                                                                                              
{'loss': '0.6219', 'grad_norm': '0.1866', 'learning_rate': '2.368e-05', 'ppl': '1.863', 'memory/max_active (GiB)': '23.98', 'memory/max_allocated (GiB)': '23.98', 'memory/device_reserved (GiB)': '42.13', 'tokens/train_per_sec_per_gpu': '303.4', 'tokens/trainable': 2929254, 'tokens/total': 6379050, 'epoch': '0.805'}

 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                             | 211/263 [2:42:15<35:18, 40.74s/it]
 81%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                             | 212/263 [2:43:06<37:06, 43.66s/it]
                                                                                                                                                                                              
{'loss': '0.5683', 'grad_norm': '0.1713', 'learning_rate': '2.283e-05', 'ppl': '1.765', 'memory/max_active (GiB)': '36.5', 'memory/max_allocated (GiB)': '36.5', 'memory/device_reserved (GiB)': '46.02', 'tokens/train_per_sec_per_gpu': '342.5', 'tokens/trainable': 2946538, 'tokens/total': 6416330, 'epoch': '0.8088'}

 81%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                             | 212/263 [2:43:06<37:06, 43.66s/it]
 81%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                            | 213/263 [2:44:05<40:19, 48.39s/it]
                                                                                                                                                                                              
{'loss': '0.6341', 'grad_norm': '0.1864', 'learning_rate': '2.199e-05', 'ppl': '1.885', 'memory/max_active (GiB)': '52.19', 'memory/max_allocated (GiB)': '52.19', 'memory/device_reserved (GiB)': '74.01', 'tokens/train_per_sec_per_gpu': '274.8', 'tokens/trainable': 2962875, 'tokens/total': 6452688, 'epoch': '0.8126'}

 81%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                            | 213/263 [2:44:05<40:19, 48.39s/it]
 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                           | 214/263 [2:44:59<40:41, 49.83s/it]
                                                                                                                                                                                              
{'loss': '0.6799', 'grad_norm': '0.2418', 'learning_rate': '2.117e-05', 'ppl': '1.974', 'memory/max_active (GiB)': '33.52', 'memory/max_allocated (GiB)': '33.52', 'memory/device_reserved (GiB)': '42', 'tokens/train_per_sec_per_gpu': '259.6', 'tokens/trainable': 2976675, 'tokens/total': 6485638, 'epoch': '0.8164'}

 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                           | 214/263 [2:44:59<40:41, 49.83s/it]
 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                           | 215/263 [2:45:35<36:33, 45.70s/it]
                                                                                                                                                                                              
{'loss': '0.5868', 'grad_norm': '0.2032', 'learning_rate': '2.036e-05', 'ppl': '1.798', 'memory/max_active (GiB)': '24.76', 'memory/max_allocated (GiB)': '24.76', 'memory/device_reserved (GiB)': '31.8', 'tokens/train_per_sec_per_gpu': '283.4', 'tokens/trainable': 2986893, 'tokens/total': 6509020, 'epoch': '0.8202'}

 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                           | 215/263 [2:45:35<36:33, 45.70s/it]
 82%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                          | 216/263 [2:46:18<35:20, 45.12s/it]
                                                                                                                                                                                              
{'loss': '0.7066', 'grad_norm': '0.2272', 'learning_rate': '1.957e-05', 'ppl': '2.027', 'memory/max_active (GiB)': '34.06', 'memory/max_allocated (GiB)': '34.06', 'memory/device_reserved (GiB)': '42.78', 'tokens/train_per_sec_per_gpu': '281.2', 'tokens/trainable': 2999202, 'tokens/total': 6537048, 'epoch': '0.824'}

 82%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                          | 216/263 [2:46:18<35:20, 45.12s/it]
 83%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                          | 217/263 [2:46:58<33:17, 43.41s/it]
                                                                                                                                                                                              
{'loss': '0.6148', 'grad_norm': '0.1853', 'learning_rate': '1.879e-05', 'ppl': '1.849', 'memory/max_active (GiB)': '27.75', 'memory/max_allocated (GiB)': '27.75', 'memory/device_reserved (GiB)': '36.31', 'tokens/train_per_sec_per_gpu': '309.6', 'tokens/trainable': 3011411, 'tokens/total': 6563400, 'epoch': '0.8278'}

 83%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                          | 217/263 [2:46:58<33:17, 43.41s/it]
 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                         | 218/263 [2:47:46<33:43, 44.97s/it]
                                                                                                                                                                                              
{'loss': '0.6522', 'grad_norm': '0.1957', 'learning_rate': '1.802e-05', 'ppl': '1.92', 'memory/max_active (GiB)': '31.19', 'memory/max_allocated (GiB)': '31.19', 'memory/device_reserved (GiB)': '41.37', 'tokens/train_per_sec_per_gpu': '279.6', 'tokens/trainable': 3024998, 'tokens/total': 6593488, 'epoch': '0.8317'}

 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                         | 218/263 [2:47:46<33:43, 44.97s/it]
 83%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                         | 219/263 [2:48:33<33:24, 45.57s/it]
                                                                                                                                                                                              
{'loss': '0.6208', 'grad_norm': '0.1843', 'learning_rate': '1.727e-05', 'ppl': '1.86', 'memory/max_active (GiB)': '30.24', 'memory/max_allocated (GiB)': '30.24', 'memory/device_reserved (GiB)': '39.91', 'tokens/train_per_sec_per_gpu': '332.7', 'tokens/trainable': 3040622, 'tokens/total': 6624140, 'epoch': '0.8355'}

 83%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                         | 219/263 [2:48:33<33:24, 45.57s/it]
 84%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                        | 220/263 [2:49:22<33:25, 46.63s/it]
                                                                                                                                                                                              
{'loss': '0.6097', 'grad_norm': '0.1874', 'learning_rate': '1.653e-05', 'ppl': '1.84', 'memory/max_active (GiB)': '37.68', 'memory/max_allocated (GiB)': '37.68', 'memory/device_reserved (GiB)': '47.76', 'tokens/train_per_sec_per_gpu': '277.7', 'tokens/trainable': 3054263, 'tokens/total': 6654518, 'epoch': '0.8393'}

 84%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                        | 220/263 [2:49:22<33:25, 46.63s/it]
 84%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                       | 221/263 [2:50:14<33:34, 47.97s/it]
                                                                                                                                                                                              
{'loss': '0.6886', 'grad_norm': '0.2007', 'learning_rate': '1.581e-05', 'ppl': '1.991', 'memory/max_active (GiB)': '29.37', 'memory/max_allocated (GiB)': '29.37', 'memory/device_reserved (GiB)': '38.64', 'tokens/train_per_sec_per_gpu': '249.6', 'tokens/trainable': 3067017, 'tokens/total': 6683614, 'epoch': '0.8431'}

 84%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                       | 221/263 [2:50:14<33:34, 47.97s/it]
 84%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                       | 222/263 [2:51:01<32:41, 47.83s/it]
                                                                                                                                                                                              
{'loss': '0.629', 'grad_norm': '0.2061', 'learning_rate': '1.51e-05', 'ppl': '1.876', 'memory/max_active (GiB)': '47.52', 'memory/max_allocated (GiB)': '47.52', 'memory/device_reserved (GiB)': '66.84', 'tokens/train_per_sec_per_gpu': '305', 'tokens/trainable': 3081510, 'tokens/total': 6718874, 'epoch': '0.8469'}

 84%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                       | 222/263 [2:51:01<32:41, 47.83s/it]
 85%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                      | 223/263 [2:51:45<31:07, 46.68s/it]
                                                                                                                                                                                              
{'loss': '0.6047', 'grad_norm': '0.1965', 'learning_rate': '1.441e-05', 'ppl': '1.831', 'memory/max_active (GiB)': '37.79', 'memory/max_allocated (GiB)': '37.79', 'memory/device_reserved (GiB)': '47.88', 'tokens/train_per_sec_per_gpu': '297.3', 'tokens/trainable': 3094585, 'tokens/total': 6747542, 'epoch': '0.8507'}

 85%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                      | 223/263 [2:51:45<31:07, 46.68s/it]
 85%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                      | 224/263 [2:52:53<34:29, 53.05s/it]
                                                                                                                                                                                              
{'loss': '0.6172', 'grad_norm': '0.1745', 'learning_rate': '1.373e-05', 'ppl': '1.854', 'memory/max_active (GiB)': '48.12', 'memory/max_allocated (GiB)': '48.12', 'memory/device_reserved (GiB)': '67.76', 'tokens/train_per_sec_per_gpu': '293.9', 'tokens/trainable': 3114552, 'tokens/total': 6793276, 'epoch': '0.8546'}

 85%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                      | 224/263 [2:52:53<34:29, 53.05s/it]
 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                     | 225/263 [2:53:48<33:52, 53.49s/it]
                                                                                                                                                                                              
{'loss': '0.6193', 'grad_norm': '0.2026', 'learning_rate': '1.307e-05', 'ppl': '1.858', 'memory/max_active (GiB)': '34.24', 'memory/max_allocated (GiB)': '34.24', 'memory/device_reserved (GiB)': '42.99', 'tokens/train_per_sec_per_gpu': '257.3', 'tokens/trainable': 3128578, 'tokens/total': 6823484, 'epoch': '0.8584'}

 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                     | 225/263 [2:53:48<33:52, 53.49s/it]
 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                     | 226/263 [2:54:34<31:37, 51.28s/it]
                                                                                                                                                                                              
{'loss': '0.6827', 'grad_norm': '0.2373', 'learning_rate': '1.242e-05', 'ppl': '1.979', 'memory/max_active (GiB)': '39.13', 'memory/max_allocated (GiB)': '39.13', 'memory/device_reserved (GiB)': '54.05', 'tokens/train_per_sec_per_gpu': '285.3', 'tokens/trainable': 3141735, 'tokens/total': 6855924, 'epoch': '0.8622'}

 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                     | 226/263 [2:54:34<31:37, 51.28s/it]
 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                    | 227/263 [2:55:15<29:03, 48.44s/it]
                                                                                                                                                                                              
{'loss': '0.6604', 'grad_norm': '0.1903', 'learning_rate': '1.179e-05', 'ppl': '1.935', 'memory/max_active (GiB)': '30.3', 'memory/max_allocated (GiB)': '30.3', 'memory/device_reserved (GiB)': '40.04', 'tokens/train_per_sec_per_gpu': '315.4', 'tokens/trainable': 3154923, 'tokens/total': 6884738, 'epoch': '0.866'}

 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                    | 227/263 [2:55:15<29:03, 48.44s/it]
 87%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                   | 228/263 [2:55:58<27:15, 46.74s/it]
                                                                                                                                                                                              
{'loss': '0.6514', 'grad_norm': '0.2107', 'learning_rate': '1.117e-05', 'ppl': '1.918', 'memory/max_active (GiB)': '22.9', 'memory/max_allocated (GiB)': '22.9', 'memory/device_reserved (GiB)': '34.14', 'tokens/train_per_sec_per_gpu': '252.7', 'tokens/trainable': 3165734, 'tokens/total': 6907742, 'epoch': '0.8698'}

 87%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                   | 228/263 [2:55:58<27:15, 46.74s/it]
 87%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                   | 229/263 [2:56:54<27:58, 49.37s/it]
                                                                                                                                                                                              
{'loss': '0.6451', 'grad_norm': '0.1984', 'learning_rate': '1.057e-05', 'ppl': '1.906', 'memory/max_active (GiB)': '43.49', 'memory/max_allocated (GiB)': '43.49', 'memory/device_reserved (GiB)': '60.71', 'tokens/train_per_sec_per_gpu': '272.3', 'tokens/trainable': 3180849, 'tokens/total': 6937996, 'epoch': '0.8736'}

 87%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                   | 229/263 [2:56:54<27:58, 49.37s/it]
 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                  | 230/263 [2:57:41<26:45, 48.65s/it]
                                                                                                                                                                                              
{'loss': '0.6366', 'grad_norm': '0.1864', 'learning_rate': '9.985e-06', 'ppl': '1.89', 'memory/max_active (GiB)': '35.46', 'memory/max_allocated (GiB)': '35.46', 'memory/device_reserved (GiB)': '44.57', 'tokens/train_per_sec_per_gpu': '330', 'tokens/trainable': 3196343, 'tokens/total': 6970136, 'epoch': '0.8774'}

 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                  | 230/263 [2:57:41<26:45, 48.65s/it]
 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                  | 231/263 [2:58:23<24:51, 46.60s/it]
                                                                                                                                                                                              
{'loss': '0.6353', 'grad_norm': '0.1761', 'learning_rate': '9.416e-06', 'ppl': '1.888', 'memory/max_active (GiB)': '34.63', 'memory/max_allocated (GiB)': '34.63', 'memory/device_reserved (GiB)': '44.57', 'tokens/train_per_sec_per_gpu': '386.8', 'tokens/trainable': 3212523, 'tokens/total': 7006106, 'epoch': '0.8813'}

 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                  | 231/263 [2:58:23<24:51, 46.60s/it]
 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                 | 232/263 [2:59:15<24:55, 48.25s/it]
                                                                                                                                                                                              
{'loss': '0.5426', 'grad_norm': '0.1728', 'learning_rate': '8.862e-06', 'ppl': '1.721', 'memory/max_active (GiB)': '38.02', 'memory/max_allocated (GiB)': '38.02', 'memory/device_reserved (GiB)': '48.33', 'tokens/train_per_sec_per_gpu': '275.8', 'tokens/trainable': 3226889, 'tokens/total': 7039494, 'epoch': '0.8851'}

 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                 | 232/263 [2:59:15<24:55, 48.25s/it]
 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                 | 233/263 [2:59:59<23:35, 47.20s/it]
                                                                                                                                                                                              
{'loss': '0.6979', 'grad_norm': '0.2131', 'learning_rate': '8.325e-06', 'ppl': '2.01', 'memory/max_active (GiB)': '35.02', 'memory/max_allocated (GiB)': '35.02', 'memory/device_reserved (GiB)': '44.24', 'tokens/train_per_sec_per_gpu': '322.7', 'tokens/trainable': 3241328, 'tokens/total': 7070424, 'epoch': '0.8889'}

 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                 | 233/263 [2:59:59<23:35, 47.20s/it]
 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                | 234/263 [3:00:41<22:00, 45.55s/it]
                                                                                                                                                                                              
{'loss': '0.6724', 'grad_norm': '0.2417', 'learning_rate': '7.803e-06', 'ppl': '1.959', 'memory/max_active (GiB)': '28.09', 'memory/max_allocated (GiB)': '28.09', 'memory/device_reserved (GiB)': '36.8', 'tokens/train_per_sec_per_gpu': '255', 'tokens/trainable': 3251965, 'tokens/total': 7093680, 'epoch': '0.8927'}

 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                | 234/263 [3:00:41<22:00, 45.55s/it]
 89%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏               | 235/263 [3:01:27<21:14, 45.53s/it]
                                                                                                                                                                                              
{'loss': '0.6359', 'grad_norm': '0.1907', 'learning_rate': '7.298e-06', 'ppl': '1.889', 'memory/max_active (GiB)': '36.62', 'memory/max_allocated (GiB)': '36.62', 'memory/device_reserved (GiB)': '46.28', 'tokens/train_per_sec_per_gpu': '325.9', 'tokens/trainable': 3266781, 'tokens/total': 7123902, 'epoch': '0.8965'}

 89%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏               | 235/263 [3:01:27<21:14, 45.53s/it]
 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋               | 236/263 [3:02:15<20:50, 46.32s/it]
                                                                                                                                                                                              
{'loss': '0.6866', 'grad_norm': '0.202', 'learning_rate': '6.809e-06', 'ppl': '1.987', 'memory/max_active (GiB)': '38.62', 'memory/max_allocated (GiB)': '38.62', 'memory/device_reserved (GiB)': '53.25', 'tokens/train_per_sec_per_gpu': '298.6', 'tokens/trainable': 3281164, 'tokens/total': 7156358, 'epoch': '0.9003'}

 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋               | 236/263 [3:02:15<20:50, 46.32s/it]
 90%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎              | 237/263 [3:02:56<19:22, 44.71s/it]
                                                                                                                                                                                              
{'loss': '0.6841', 'grad_norm': '0.2104', 'learning_rate': '6.337e-06', 'ppl': '1.982', 'memory/max_active (GiB)': '36.98', 'memory/max_allocated (GiB)': '36.98', 'memory/device_reserved (GiB)': '46.64', 'tokens/train_per_sec_per_gpu': '374.6', 'tokens/trainable': 3296514, 'tokens/total': 7188274, 'epoch': '0.9041'}

 90%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎              | 237/263 [3:02:56<19:22, 44.71s/it]
 90%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊              | 238/263 [3:03:46<19:19, 46.39s/it]
                                                                                                                                                                                              
{'loss': '0.6678', 'grad_norm': '0.1991', 'learning_rate': '5.881e-06', 'ppl': '1.95', 'memory/max_active (GiB)': '58.32', 'memory/max_allocated (GiB)': '58.32', 'memory/device_reserved (GiB)': '75.86', 'tokens/train_per_sec_per_gpu': '327.5', 'tokens/trainable': 3312986, 'tokens/total': 7224448, 'epoch': '0.908'}

 90%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊              | 238/263 [3:03:46<19:19, 46.39s/it]
 91%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍             | 239/263 [3:04:33<18:35, 46.48s/it]
                                                                                                                                                                                              
{'loss': '0.6174', 'grad_norm': '0.1702', 'learning_rate': '5.441e-06', 'ppl': '1.854', 'memory/max_active (GiB)': '31.28', 'memory/max_allocated (GiB)': '31.28', 'memory/device_reserved (GiB)': '41.57', 'tokens/train_per_sec_per_gpu': '353.2', 'tokens/trainable': 3329480, 'tokens/total': 7253234, 'epoch': '0.9118'}

 91%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍             | 239/263 [3:04:33<18:35, 46.48s/it]
 91%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉             | 240/263 [3:05:26<18:37, 48.60s/it]
                                                                                                                                                                                              
{'loss': '0.6532', 'grad_norm': '0.1679', 'learning_rate': '5.018e-06', 'ppl': '1.922', 'memory/max_active (GiB)': '34.53', 'memory/max_allocated (GiB)': '34.53', 'memory/device_reserved (GiB)': '43.5', 'tokens/train_per_sec_per_gpu': '319.1', 'tokens/trainable': 3346561, 'tokens/total': 7292512, 'epoch': '0.9156'}

 91%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉             | 240/263 [3:05:26<18:37, 48.60s/it]
 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌            | 241/263 [3:06:09<17:10, 46.84s/it]
                                                                                                                                                                                              
{'loss': '0.6461', 'grad_norm': '0.2172', 'learning_rate': '4.612e-06', 'ppl': '1.908', 'memory/max_active (GiB)': '30.52', 'memory/max_allocated (GiB)': '30.52', 'memory/device_reserved (GiB)': '40.36', 'tokens/train_per_sec_per_gpu': '270.1', 'tokens/trainable': 3358110, 'tokens/total': 7319476, 'epoch': '0.9194'}

 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌            | 241/263 [3:06:09<17:10, 46.84s/it]
 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████            | 242/263 [3:07:13<18:14, 52.12s/it]
                                                                                                                                                                                              
{'loss': '0.6017', 'grad_norm': '0.1813', 'learning_rate': '4.222e-06', 'ppl': '1.825', 'memory/max_active (GiB)': '46.95', 'memory/max_allocated (GiB)': '46.95', 'memory/device_reserved (GiB)': '66.02', 'tokens/train_per_sec_per_gpu': '347.9', 'tokens/trainable': 3380518, 'tokens/total': 7369626, 'epoch': '0.9232'}

 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████            | 242/263 [3:07:13<18:14, 52.12s/it]
 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋           | 243/263 [3:08:11<17:54, 53.72s/it]
                                                                                                                                                                                              
{'loss': '0.5814', 'grad_norm': '0.1749', 'learning_rate': '3.85e-06', 'ppl': '1.789', 'memory/max_active (GiB)': '39.53', 'memory/max_allocated (GiB)': '39.53', 'memory/device_reserved (GiB)': '58.11', 'tokens/train_per_sec_per_gpu': '306.3', 'tokens/trainable': 3398118, 'tokens/total': 7406506, 'epoch': '0.927'}

 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋           | 243/263 [3:08:11<17:54, 53.72s/it]
 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏          | 244/263 [3:08:58<16:25, 51.87s/it]
                                                                                                                                                                                              
{'loss': '0.632', 'grad_norm': '0.1955', 'learning_rate': '3.494e-06', 'ppl': '1.881', 'memory/max_active (GiB)': '49.89', 'memory/max_allocated (GiB)': '49.89', 'memory/device_reserved (GiB)': '70.63', 'tokens/train_per_sec_per_gpu': '358.4', 'tokens/trainable': 3415167, 'tokens/total': 7447132, 'epoch': '0.9309'}

 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏          | 244/263 [3:08:58<16:25, 51.87s/it]
 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊          | 245/263 [3:09:42<14:46, 49.25s/it]
                                                                                                                                                                                              
{'loss': '0.683', 'grad_norm': '0.2159', 'learning_rate': '3.155e-06', 'ppl': '1.98', 'memory/max_active (GiB)': '31.1', 'memory/max_allocated (GiB)': '31.1', 'memory/device_reserved (GiB)': '41.18', 'tokens/train_per_sec_per_gpu': '306.6', 'tokens/trainable': 3428390, 'tokens/total': 7476600, 'epoch': '0.9347'}

 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊          | 245/263 [3:09:42<14:46, 49.25s/it]
 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎         | 246/263 [3:11:01<16:32, 58.35s/it]
                                                                                                                                                                                              
{'loss': '0.6627', 'grad_norm': '0.1617', 'learning_rate': '2.833e-06', 'ppl': '1.94', 'memory/max_active (GiB)': '57.27', 'memory/max_allocated (GiB)': '57.27', 'memory/device_reserved (GiB)': '74.5', 'tokens/train_per_sec_per_gpu': '342.7', 'tokens/trainable': 3455668, 'tokens/total': 7533052, 'epoch': '0.9385'}

 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎         | 246/263 [3:11:01<16:32, 58.35s/it]
 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉         | 247/263 [3:11:31<13:18, 49.90s/it]
                                                                                                                                                                                              
{'loss': '0.6176', 'grad_norm': '0.1991', 'learning_rate': '2.528e-06', 'ppl': '1.855', 'memory/max_active (GiB)': '27.2', 'memory/max_allocated (GiB)': '27.2', 'memory/device_reserved (GiB)': '35.37', 'tokens/train_per_sec_per_gpu': '385.7', 'tokens/trainable': 3467302, 'tokens/total': 7557486, 'epoch': '0.9423'}

 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉         | 247/263 [3:11:31<13:18, 49.90s/it]
 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌        | 248/263 [3:12:15<11:59, 47.94s/it]
                                                                                                                                                                                              
{'loss': '0.6939', 'grad_norm': '0.2216', 'learning_rate': '2.241e-06', 'ppl': '2.002', 'memory/max_active (GiB)': '44.94', 'memory/max_allocated (GiB)': '44.94', 'memory/device_reserved (GiB)': '62.89', 'tokens/train_per_sec_per_gpu': '307.3', 'tokens/trainable': 3480626, 'tokens/total': 7588958, 'epoch': '0.9461'}

 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌        | 248/263 [3:12:15<11:59, 47.94s/it]
 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████        | 249/263 [3:13:08<11:32, 49.44s/it]
                                                                                                                                                                                              
{'loss': '0.6791', 'grad_norm': '0.2064', 'learning_rate': '1.97e-06', 'ppl': '1.972', 'memory/max_active (GiB)': '39.77', 'memory/max_allocated (GiB)': '39.77', 'memory/device_reserved (GiB)': '62.89', 'tokens/train_per_sec_per_gpu': '323.8', 'tokens/trainable': 3497767, 'tokens/total': 7623894, 'epoch': '0.9499'}

 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████        | 249/263 [3:13:08<11:32, 49.44s/it]
 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋       | 250/263 [3:14:15<11:50, 54.69s/it]
                                                                                                                                                                                              
{'loss': '0.6591', 'grad_norm': '0.2037', 'learning_rate': '1.717e-06', 'ppl': '1.933', 'memory/max_active (GiB)': '55.75', 'memory/max_allocated (GiB)': '55.75', 'memory/device_reserved (GiB)': '72.33', 'tokens/train_per_sec_per_gpu': '270.7', 'tokens/trainable': 3515893, 'tokens/total': 7665338, 'epoch': '0.9537'}

 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋       | 250/263 [3:14:15<11:50, 54.69s/it]
 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏      | 251/263 [3:14:50<09:48, 49.05s/it]
                                                                                                                                                                                              
{'loss': '0.6294', 'grad_norm': '0.2187', 'learning_rate': '1.481e-06', 'ppl': '1.876', 'memory/max_active (GiB)': '25.21', 'memory/max_allocated (GiB)': '25.21', 'memory/device_reserved (GiB)': '32.43', 'tokens/train_per_sec_per_gpu': '270.5', 'tokens/trainable': 3525599, 'tokens/total': 7687250, 'epoch': '0.9576'}

 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏      | 251/263 [3:14:50<09:48, 49.05s/it]
 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊      | 252/263 [3:15:41<09:04, 49.48s/it]
                                                                                                                                                                                              
{'loss': '0.545', 'grad_norm': '0.1694', 'learning_rate': '1.262e-06', 'ppl': '1.725', 'memory/max_active (GiB)': '48.1', 'memory/max_allocated (GiB)': '48.1', 'memory/device_reserved (GiB)': '67.93', 'tokens/train_per_sec_per_gpu': '384.7', 'tokens/trainable': 3545027, 'tokens/total': 7722636, 'epoch': '0.9614'}

 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊      | 252/263 [3:15:41<09:04, 49.48s/it]
 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎     | 253/263 [3:16:51<09:16, 55.62s/it]
                                                                                                                                                                                              
{'loss': '0.5997', 'grad_norm': '0.1826', 'learning_rate': '1.061e-06', 'ppl': '1.822', 'memory/max_active (GiB)': '50.46', 'memory/max_allocated (GiB)': '50.46', 'memory/device_reserved (GiB)': '71.27', 'tokens/train_per_sec_per_gpu': '251.7', 'tokens/trainable': 3562629, 'tokens/total': 7766154, 'epoch': '0.9652'}

 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎     | 253/263 [3:16:51<09:16, 55.62s/it]
 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉     | 254/263 [3:17:55<08:42, 58.06s/it]
                                                                                                                                                                                              
{'loss': '0.6639', 'grad_norm': '0.187', 'learning_rate': '8.773e-07', 'ppl': '1.942', 'memory/max_active (GiB)': '51.43', 'memory/max_allocated (GiB)': '51.43', 'memory/device_reserved (GiB)': '72.87', 'tokens/train_per_sec_per_gpu': '309.8', 'tokens/trainable': 3582377, 'tokens/total': 7807646, 'epoch': '0.969'}

 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉     | 254/263 [3:17:55<08:42, 58.06s/it]
 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍    | 255/263 [3:18:36<07:04, 53.09s/it]
                                                                                                                                                                                              
{'loss': '0.7493', 'grad_norm': '0.2242', 'learning_rate': '7.108e-07', 'ppl': '2.116', 'memory/max_active (GiB)': '34.97', 'memory/max_allocated (GiB)': '34.97', 'memory/device_reserved (GiB)': '44.01', 'tokens/train_per_sec_per_gpu': '305.2', 'tokens/trainable': 3595039, 'tokens/total': 7833474, 'epoch': '0.9728'}

 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍    | 255/263 [3:18:36<07:04, 53.09s/it]
 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████    | 256/263 [3:19:23<05:58, 51.28s/it]
                                                                                                                                                                                              
{'loss': '0.6764', 'grad_norm': '0.2359', 'learning_rate': '5.618e-07', 'ppl': '1.967', 'memory/max_active (GiB)': '21.36', 'memory/max_allocated (GiB)': '21.36', 'memory/device_reserved (GiB)': '26.67', 'tokens/train_per_sec_per_gpu': '177.1', 'tokens/trainable': 3603378, 'tokens/total': 7853228, 'epoch': '0.9766'}

 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████    | 256/263 [3:19:23<05:58, 51.28s/it]
 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌   | 257/263 [3:20:16<05:10, 51.73s/it]
                                                                                                                                                                                              
{'loss': '0.5852', 'grad_norm': '0.1929', 'learning_rate': '4.302e-07', 'ppl': '1.795', 'memory/max_active (GiB)': '25.94', 'memory/max_allocated (GiB)': '25.94', 'memory/device_reserved (GiB)': '33.87', 'tokens/train_per_sec_per_gpu': '263.3', 'tokens/trainable': 3617272, 'tokens/total': 7882296, 'epoch': '0.9804'}

 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌   | 257/263 [3:20:16<05:10, 51.73s/it]
 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 258/263 [3:21:05<04:14, 50.88s/it]
                                                                                                                                                                                              
{'loss': '0.709', 'grad_norm': '0.2294', 'learning_rate': '3.161e-07', 'ppl': '2.032', 'memory/max_active (GiB)': '46.35', 'memory/max_allocated (GiB)': '46.35', 'memory/device_reserved (GiB)': '65.2', 'tokens/train_per_sec_per_gpu': '308.2', 'tokens/trainable': 3632340, 'tokens/total': 7915626, 'epoch': '0.9843'}

 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 258/263 [3:21:05<04:14, 50.88s/it]
 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋  | 259/263 [3:21:34<02:57, 44.37s/it]
                                                                                                                                                                                              
{'loss': '0.5761', 'grad_norm': '0.2068', 'learning_rate': '2.196e-07', 'ppl': '1.779', 'memory/max_active (GiB)': '24.15', 'memory/max_allocated (GiB)': '24.15', 'memory/device_reserved (GiB)': '39.5', 'tokens/train_per_sec_per_gpu': '365.9', 'tokens/trainable': 3643011, 'tokens/total': 7937480, 'epoch': '0.9881'}

 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋  | 259/263 [3:21:34<02:57, 44.37s/it]
 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 260/263 [3:22:14<02:09, 43.19s/it]
                                                                                                                                                                                              
{'loss': '0.654', 'grad_norm': '0.1978', 'learning_rate': '1.405e-07', 'ppl': '1.923', 'memory/max_active (GiB)': '29.8', 'memory/max_allocated (GiB)': '29.8', 'memory/device_reserved (GiB)': '39.24', 'tokens/train_per_sec_per_gpu': '340.3', 'tokens/trainable': 3656769, 'tokens/total': 7966668, 'epoch': '0.9919'}

 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 260/263 [3:22:14<02:09, 43.19s/it]
 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 261/263 [3:23:10<01:34, 47.04s/it]
                                                                                                                                                                                              
{'loss': '0.6804', 'grad_norm': '0.2136', 'learning_rate': '7.906e-08', 'ppl': '1.975', 'memory/max_active (GiB)': '32.49', 'memory/max_allocated (GiB)': '32.49', 'memory/device_reserved (GiB)': '41.61', 'tokens/train_per_sec_per_gpu': '282.8', 'tokens/trainable': 3672618, 'tokens/total': 8001206, 'epoch': '0.9957'}

 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 261/263 [3:23:10<01:34, 47.04s/it]
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍| 262/263 [3:24:03<00:48, 48.74s/it]
                                                                                                                                                                                              
{'loss': '0.5862', 'grad_norm': '0.2206', 'learning_rate': '3.514e-08', 'ppl': '1.797', 'memory/max_active (GiB)': '25.21', 'memory/max_allocated (GiB)': '25.21', 'memory/device_reserved (GiB)': '40.98', 'tokens/train_per_sec_per_gpu': '203.9', 'tokens/trainable': 3683361, 'tokens/total': 8024868, 'epoch': '0.9995'}

100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍| 262/263 [3:24:03<00:48, 48.74s/it]
100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 263/263 [3:24:08<00:00, 35.60s/it]
                                                                                                                                                                                              
{'loss': '0.6559', 'grad_norm': '0.6503', 'learning_rate': '8.786e-09', 'ppl': '1.927', 'memory/max_active (GiB)': '17.39', 'memory/max_allocated (GiB)': '17.39', 'memory/device_reserved (GiB)': '32.52', 'tokens/train_per_sec_per_gpu': '203.9', 'tokens/trainable': 3684370, 'tokens/total': 8026968, 'epoch': '1'}

100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 263/263 [3:24:08<00:00, 35.60s/it][2026-06-14 17:37:06,485] [INFO] [axolotl.core.trainers.base._save:846] [PID:3393] Saving model checkpoint to ./outputs/Jacob-2-E4B/checkpoint-263

                                                                                                                                                                                              
{'train_runtime': '1.225e+04', 'train_samples_per_second': '0.343', 'train_steps_per_second': '0.021', 'train_loss': '0.731', 'memory/max_active (GiB)': '11.01', 'memory/max_allocated (GiB)': '11.01', 'memory/device_reserved (GiB)': '20.05', 'epoch': '1'}

100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 263/263 [3:24:11<00:00, 35.60s/it]
100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 263/263 [3:24:11<00:00, 46.58s/it]
[2026-06-14 17:37:12,240] [INFO] [axolotl.train.save_trained_model:267] [PID:3393] Training completed! Saving trained model to ./outputs/Jacob-2-E4B.
[2026-06-14 17:37:12,857] [INFO] [axolotl.train.save_trained_model:388] [PID:3393] Model successfully saved to ./outputs/Jacob-2-E4B
[2026-06-14 17:37:13,576] [INFO] [axolotl.core.trainers.base._save:846] [PID:3393] Saving model checkpoint to ./outputs/Jacob-2-E4B

Processing Files (0 / 0)      : |                                                                                                                                |  0.00B /  0.00B            

New Data Upload               : |                                                                                                                                |  0.00B /  0.00B            


  ...b-2-E4B/training_args.bin: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 24.2kB / 24.2kB            



  ...adapter_model.safetensors:  69%|█████████████████████████████████████████████████████████████████████████████████████▏                                      | 95.9MB /  140MB            




  ...acob-2-E4B/tokenizer.json: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 32.2MB / 32.2MB            


  ...b-2-E4B/training_args.bin: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 24.2kB / 24.2kB            



  ...adapter_model.safetensors:  69%|█████████████████████████████████████████████████████████████████████████████████████▏                                      | 95.9MB /  140MB            




  ...acob-2-E4B/tokenizer.json: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 32.2MB / 32.2MB            
Processing Files (2 / 3)      :  75%|████████████████████████████████████████████████████████████████████████████████████████████▍                               |  128MB /  172MB,   ???B/s  


  ...b-2-E4B/training_args.bin: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 24.2kB / 24.2kB            



  ...adapter_model.safetensors: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████|  140MB /  140MB            




  ...acob-2-E4B/tokenizer.json: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 32.2MB / 32.2MB            
Processing Files (3 / 3)      : 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████|  172MB /  172MB,  219MB/s  


  ...b-2-E4B/training_args.bin: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 24.2kB / 24.2kB            



  ...adapter_model.safetensors: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████|  140MB /  140MB            




  ...acob-2-E4B/tokenizer.json: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 32.2MB / 32.2MB            


  ...b-2-E4B/training_args.bin: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 24.2kB / 24.2kB            



  ...adapter_model.safetensors: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████|  140MB /  140MB            




  ...acob-2-E4B/tokenizer.json: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 32.2MB / 32.2MB            
Processing Files (3 / 3)      : 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████|  172MB /  172MB,  109MB/s  

New Data Upload               : |                                                                                                                                |  0.00B /  0.00B,  0.00B/s  

  ...b-2-E4B/training_args.bin: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 24.2kB / 24.2kB            

  ...adapter_model.safetensors: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████|  140MB /  140MB            

  ...acob-2-E4B/tokenizer.json: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 32.2MB / 32.2MB