| [2026-02-22 13:20:09,846] [DEBUG] [axolotl.utils.config.resolve_dtype:66] [PID:2647] bf16 support detected, enabling for this configuration. |
| [2026-02-22 13:20:10,096] [DEBUG] [axolotl.utils.config.log_gpu_memory_usage:127] [PID:2647] baseline 0.000GB () |
| [2026-02-22 13:20:10,099] [INFO] [axolotl.cli.config.load_cfg:248] [PID:2647] config: |
| { |
| "activation_offloading": false, |
| "adapter": "lora", |
| "axolotl_config_path": "config.yaml", |
| "base_model": "Nanbeige/Nanbeige4.1-3B", |
| "base_model_config": "Nanbeige/Nanbeige4.1-3B", |
| "batch_size": 8, |
| "bf16": true, |
| "capabilities": { |
| "bf16": true, |
| "compute_capability": "sm_90", |
| "fp8": false, |
| "n_gpu": 1, |
| "n_node": 1 |
| }, |
| "context_parallel_size": 1, |
| "dataloader_num_workers": 1, |
| "dataloader_pin_memory": true, |
| "dataloader_prefetch_factor": 256, |
| "dataset_processes": 16, |
| "datasets": [ |
| { |
| "chat_template": "tokenizer_default", |
| "message_property_mappings": { |
| "content": "content", |
| "role": "role" |
| }, |
| "path": "Ailonordsletta/med", |
| "trust_remote_code": false, |
| "type": "chat_template" |
| } |
| ], |
| "ddp": false, |
| "device": "cuda:0", |
| "dion_rank_fraction": 1.0, |
| "dion_rank_multiple_of": 1, |
| "env_capabilities": { |
| "torch_version": "2.7.1" |
| }, |
| "eval_batch_size": 1, |
| "eval_causal_lm_metrics": [ |
| "sacrebleu", |
| "comet", |
| "ter", |
| "chrf" |
| ], |
| "eval_max_new_tokens": 128, |
| "eval_sample_packing": true, |
| "eval_table_size": 0, |
| "experimental_skip_move_to_device": true, |
| "fp16": false, |
| "gradient_accumulation_steps": 8, |
| "gradient_checkpointing": true, |
| "gradient_checkpointing_kwargs": { |
| "use_reentrant": true |
| }, |
| "include_tkps": true, |
| "is_falcon_derived_model": false, |
| "is_llama_derived_model": true, |
| "is_mistral_derived_model": false, |
| "learning_rate": 0.0002, |
| "lisa_layers_attribute": "model.layers", |
| "load_best_model_at_end": false, |
| "load_in_4bit": false, |
| "load_in_8bit": true, |
| "local_rank": 0, |
| "lora_alpha": 16, |
| "lora_dropout": 0.05, |
| "lora_r": 8, |
| "lora_target_modules": [ |
| "q_proj", |
| "v_proj", |
| "k_proj", |
| "o_proj", |
| "gate_proj", |
| "down_proj", |
| "up_proj" |
| ], |
| "loraplus_lr_embedding": 1e-06, |
| "lr_scheduler": "cosine", |
| "mean_resizing_embeddings": false, |
| "micro_batch_size": 1, |
| "model_config_type": "llama", |
| "num_epochs": 1.0, |
| "optimizer": "adamw_bnb_8bit", |
| "output_dir": "./outputs/mymodel", |
| "pad_to_sequence_len": true, |
| "pretrain_multipack_attn": true, |
| "profiler_steps_start": 0, |
| "qlora_sharded_model_loading": false, |
| "ray_num_workers": 1, |
| "resources_per_worker": { |
| "GPU": 1 |
| }, |
| "sample_packing": true, |
| "sample_packing_bin_size": 200, |
| "sample_packing_group_size": 100000, |
| "save_only_model": false, |
| "save_safetensors": true, |
| "sequence_len": 4096, |
| "shuffle_before_merging_datasets": false, |
| "shuffle_merged_datasets": true, |
| "skip_prepare_dataset": false, |
| "streaming_multipack_buffer_size": 10000, |
| "strict": false, |
| "tensor_parallel_size": 1, |
| "tiled_mlp_use_original_mlp": true, |
| "tokenizer_config": "Nanbeige/Nanbeige4.1-3B", |
| "tokenizer_save_jinja_files": true, |
| "tokenizer_use_fast": false, |
| "torch_dtype": "torch.bfloat16", |
| "train_on_inputs": false, |
| "trl": { |
| "log_completions": false, |
| "mask_truncated_completions": false, |
| "ref_model_mixup_alpha": 0.9, |
| "ref_model_sync_steps": 64, |
| "scale_rewards": true, |
| "sync_ref_model": false, |
| "use_vllm": false, |
| "vllm_server_host": "0.0.0.0", |
| "vllm_server_port": 8000 |
| }, |
| "trust_remote_code": true, |
| "type_of_model": "AutoModelForCausalLM", |
| "use_ray": false, |
| "use_wandb": true, |
| "val_set_size": 0.0, |
| "vllm": { |
| "device": "auto", |
| "dtype": "auto", |
| "gpu_memory_utilization": 0.9, |
| "host": "0.0.0.0", |
| "port": 8000 |
| }, |
| "wandb_project": "nanbeige-finetune", |
| "weight_decay": 0.0, |
| "world_size": 1 |
| } |
| [2026-02-22 13:20:11,284] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:278] [PID:2647] EOS: 166101 / <|im_end|> |
| [2026-02-22 13:20:11,285] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:279] [PID:2647] BOS: 166100 / <|im_start|> |
| [2026-02-22 13:20:11,287] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:280] [PID:2647] PAD: 0 / <unk> |
| [2026-02-22 13:20:11,288] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:281] [PID:2647] UNK: 0 / <unk> |
| [2026-02-22 13:20:11,291] [INFO] [axolotl.utils.data.shared.load_preprocessed_dataset:476] [PID:2647] Unable to find prepared dataset in last_run_prepared/5744c3c406d0692562e1b5ec70dff038 |
| [2026-02-22 13:20:11,292] [INFO] [axolotl.utils.data.sft._load_raw_datasets:320] [PID:2647] Loading raw datasets... |
| [2026-02-22 13:20:11,293] [WARNING] [axolotl.utils.data.sft._load_raw_datasets:322] [PID:2647] Processing datasets during training can lead to VRAM instability. Please pre-process your dataset using `axolotl preprocess path/to/config.yml`. |
| [2026-02-22 13:20:13,044] [INFO] [axolotl.utils.data.wrappers.get_dataset_wrapper:87] [PID:2647] Loading dataset: Ailonordsletta/med with base_type: chat_template and prompt_style: None |
| [2026-02-22 13:20:13,055] [INFO] [axolotl.prompt_strategies.chat_template.__call__:969] [PID:2647] Using chat template: |
| --- |
|
|
| {%- if tools %} |
| {{- '<|im_start|>system |
| ' }} |
| {%- if messages[0].role == 'system' %} |
| {{- messages[0].content + ' |
| |
| ' }} |
| {%- else %} |
| {{- '你是一位工具函数调用专家，你会得到一个问题和一组可能的工具函数。根据问题，你需要进行一个或多个函数/工具调用以实现目的，请尽量尝试探索通过工具解决问题。 |
| 如果没有一个函数可以使用，请直接使用自然语言回复用户。 |
| 如果给定的问题缺少函数所需的参数，请使用自然语言进行提问，向用户询问必要信息。 |
| 如果调用结果已经足够回答用户问题，请对历史结果进行总结，使用自然语言回复用户。' }} |
| {%- endif %} |
| {{- "# Tools |
| |
| You may call one or more functions to assist with the user query. |
| |
| You are provided with function signatures within <tools></tools> XML tags: |
| <tools>" }} |
| {%- for tool in tools %} |
| {{- " |
| " }} |
| {{- tool | tojson }} |
| {%- endfor %} |
| {{- " |
| </tools> |
| |
| For each function call, return a json object with function name and arguments within <tool_call></tool_call> XML tags: |
| <tool_call> |
| {\"name\": <function-name>, \"arguments\": <args-json-object>} |
| </tool_call><|im_end|> |
| " }} |
| {%- else %} |
| {%- if messages[0].role == 'system' %} |
| {{- '<|im_start|>system |
| ' + messages[0].content + '<|im_end|> |
| ' }} |
| {%- else %} |
| {{- '<|im_start|>system |
| 你是南北阁，一款由BOSS直聘自主研发并训练的专业大语言模型。<|im_end|> |
| ' }} |
| {%- endif %} |
| {%- endif %} |
| {%- set ns = namespace(multi_step_tool=true, last_query_index=messages|length - 1) %} |
| {%- for message in messages[::-1] %} |
| {%- set index = (messages|length - 1) - loop.index0 %} |
| {%- if ns.multi_step_tool and message.role == "user" and message.content is string and not(message.content.startswith('<tool_response>') and message.content.endswith('</tool_response>')) %} |
| {%- set ns.multi_step_tool = false %} |
| {%- set ns.last_query_index = index %} |
| {%- endif %} |
| {%- endfor %} |
| {%- for message in messages %} |
| {%- if message.content is string %} |
| {%- set content = message.content %} |
| {%- else %} |
| {%- set content = '' %} |
| {%- endif %} |
| {%- if (message.role == "user") or (message.role == "system" and not loop.first) %} |
| {{- '<|im_start|>' + message.role + ' |
| ' + content + '<|im_end|>' + ' |
| ' }} |
| {%- elif message.role == "assistant" %} |
| {%- set reasoning_content = '' %} |
| {%- if message.reasoning_content is string %} |
| {%- set reasoning_content = message.reasoning_content %} |
| {%- else %} |
| {%- if '</think>' in content %} |
| {%- set reasoning_content = content.split('</think>')[0].rstrip(' |
| ').split('<think>')[-1].lstrip(' |
| ') %} |
| {%- set content = content.split('</think>')[-1].lstrip(' |
| ') %} |
| {%- endif %} |
| {%- endif %} |
| {%- if loop.index0 > ns.last_query_index or keep_all_think or (extra_body is defined and extra_body.keep_all_think) %} |
| {%- if loop.last or (not loop.last and reasoning_content) %} |
| {{- '<|im_start|>' + message.role + ' |
| <think> |
| ' + reasoning_content.strip(' |
| ') + ' |
| </think> |
| |
| ' + content.lstrip(' |
| ') }} |
| {%- else %} |
| {{- '<|im_start|>' + message.role + ' |
| ' + content }} |
| {%- endif %} |
| {%- else %} |
| {{- '<|im_start|>' + message.role + ' |
| ' + content }} |
| {%- endif %} |
| {%- if message.tool_calls %} |
| {%- for tool_call in message.tool_calls %} |
| {%- if (loop.first and content) or (not loop.first) %} |
| {{- ' |
| ' }} |
| {%- endif %} |
| {%- if tool_call.function %} |
| {%- set tool_call = tool_call.function %} |
| {%- endif %} |
| {{- '<tool_call> |
| {"name": "' }} |
| {{- tool_call.name }} |
| {{- '", "arguments": ' }} |
| {%- if tool_call.arguments is string %} |
| {{- tool_call.arguments }} |
| {%- else %} |
| {{- tool_call.arguments | tojson }} |
| {%- endif %} |
| {{- '} |
| </tool_call>' }} |
| {%- endfor %} |
| {%- endif %} |
| {{- '<|im_end|> |
| ' }} |
| {%- elif message.role == "tool" %} |
| {%- if loop.first or (messages[loop.index0 - 1].role != "tool") %} |
| {{- '<|im_start|>user' }} |
| {%- endif %} |
| {{- ' |
| <tool_response> |
| ' }} |
| {{- content }} |
| {{- ' |
| </tool_response>' }} |
| {%- if loop.last or (messages[loop.index0 + 1].role != "tool") %} |
| {{- '<|im_end|> |
| ' }} |
| {%- endif %} |
| {%- endif %} |
| {%- endfor %} |
| {%- if add_generation_prompt %} |
| {{- '<|im_start|>assistant |
| ' }} |
| {%- endif %} |
|
|
| --- |
| [2026-02-22 13:20:13,635] [INFO] [axolotl.utils.data.utils.handle_long_seq_in_dataset:218] [PID:2647] min_input_len: 511 |
| [2026-02-22 13:20:13,637] [INFO] [axolotl.utils.data.utils.handle_long_seq_in_dataset:220] [PID:2647] max_input_len: 1062 |
|
Dropping Long Sequences (>4096) (num_proc=16): 0%| | 0/1968 [00:00<?, ? examples/s]
Dropping Long Sequences (>4096) (num_proc=16): 6%|███████▌ | 123/1968 [00:00<00:07, 233.81 examples/s]
Dropping Long Sequences (>4096) (num_proc=16): 56%|██████████████████████████████████████████████████████████████████▉ | 1107/1968 [00:00<00:00, 2257.17 examples/s]
Dropping Long Sequences (>4096) (num_proc=16): 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1968/1968 [00:00<00:00, 2086.01 examples/s] |
|
Drop Samples with Zero Trainable Tokens (num_proc=16): 0%| | 0/1968 [00:00<?, ? examples/s]
Drop Samples with Zero Trainable Tokens (num_proc=16): 6%|███████ | 123/1968 [00:00<00:09, 190.76 examples/s]
Drop Samples with Zero Trainable Tokens (num_proc=16): 81%|██████████████████████████████████████████████████████████████████████████████████████████▏ | 1599/1968 [00:00<00:00, 2787.49 examples/s]
Drop Samples with Zero Trainable Tokens (num_proc=16): 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1968/1968 [00:01<00:00, 1924.42 examples/s] |
|
Add position_id column (Sample Packing) (num_proc=16): 0%| | 0/1968 [00:00<?, ? examples/s]
Add position_id column (Sample Packing) (num_proc=16): 6%|███████ | 123/1968 [00:00<00:09, 194.92 examples/s]
Add position_id column (Sample Packing) (num_proc=16): 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1968/1968 [00:00<00:00, 3455.76 examples/s]
Add position_id column (Sample Packing) (num_proc=16): 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1968/1968 [00:01<00:00, 1774.43 examples/s] |
|
Saving the dataset (0/7 shards): 0%| | 0/1968 [00:00<?, ? examples/s]
Saving the dataset (0/7 shards): 14%|███████████████████▏ | 282/1968 [00:00<00:01, 1331.67 examples/s]
Saving the dataset (1/7 shards): 14%|███████████████████▏ | 282/1968 [00:00<00:01, 1331.67 examples/s]
Saving the dataset (2/7 shards): 29%|██████████████████████████████████████▎ | 563/1968 [00:00<00:01, 1331.67 examples/s]
Saving the dataset (3/7 shards): 43%|█████████████████████████████████████████████████████████▍ | 844/1968 [00:00<00:00, 1331.67 examples/s]
Saving the dataset (4/7 shards): 57%|████████████████████████████████████████████████████████████████████████████ | 1125/1968 [00:00<00:00, 1331.67 examples/s]
Saving the dataset (5/7 shards): 71%|███████████████████████████████████████████████████████████████████████████████████████████████ | 1406/1968 [00:00<00:00, 1331.67 examples/s]
Saving the dataset (6/7 shards): 86%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 1687/1968 [00:00<00:00, 1331.67 examples/s]
Saving the dataset (7/7 shards): 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1968/1968 [00:00<00:00, 1331.67 examples/s]
Saving the dataset (7/7 shards): 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1968/1968 [00:00<00:00, 5650.96 examples/s] |
| [2026-02-22 13:20:17,737] [DEBUG] [axolotl.utils.trainer.calculate_total_num_steps:404] [PID:2647] total_num_tokens: 1_452_728 |
| [2026-02-22 13:20:17,771] [DEBUG] [axolotl.utils.trainer.calculate_total_num_steps:422] [PID:2647] `total_supervised_tokens: 429_381` |
| [2026-02-22 13:20:19,504] [DEBUG] [axolotl.utils.samplers.multipack.__len__:458] [PID:2647] generate_batches time: 0.8231861591339111 |
| [2026-02-22 13:20:20,290] [DEBUG] [axolotl.utils.samplers.multipack.__len__:458] [PID:2647] generate_batches time: 0.7779498100280762 |
| [2026-02-22 13:20:21,101] [DEBUG] [axolotl.utils.samplers.multipack.__len__:458] [PID:2647] generate_batches time: 0.8091142177581787 |
| [2026-02-22 13:20:21,888] [DEBUG] [axolotl.utils.samplers.multipack.__len__:458] [PID:2647] generate_batches time: 0.7763903141021729 |
| [2026-02-22 13:20:21,954] [INFO] [axolotl.utils.samplers.multipack.calc_min_len:434] [PID:2647] gather_len_batches: [379] |
| [2026-02-22 13:20:21,958] [DEBUG] [axolotl.utils.trainer.calculate_total_num_steps:481] [PID:2647] data_loader_len: 47 |
| [2026-02-22 13:20:21,962] [INFO] [axolotl.utils.trainer.calc_sample_packing_eff_est:497] [PID:2647] sample_packing_eff_est across ranks: [0.9358045432058048] |
| [2026-02-22 13:20:21,967] [DEBUG] [axolotl.utils.trainer.calculate_total_num_steps:509] [PID:2647] sample_packing_eff_est: 0.94 |
| [2026-02-22 13:20:21,968] [DEBUG] [axolotl.utils.trainer.calculate_total_num_steps:520] [PID:2647] total_num_steps: 47 |
| [2026-02-22 13:20:21,971] [INFO] [axolotl.utils.data.sft._prepare_standard_dataset:121] [PID:2647] Maximum number of steps set at 47 |
| [2026-02-22 13:20:22,031] [DEBUG] [axolotl.train.setup_model_and_tokenizer:65] [PID:2647] Loading tokenizer... Nanbeige/Nanbeige4.1-3B |
| [2026-02-22 13:20:23,111] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:278] [PID:2647] EOS: 166101 / <|im_end|> |
| [2026-02-22 13:20:23,113] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:279] [PID:2647] BOS: 166100 / <|im_start|> |
| [2026-02-22 13:20:23,115] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:280] [PID:2647] PAD: 0 / <unk> |
| [2026-02-22 13:20:23,117] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:281] [PID:2647] UNK: 0 / <unk> |
| [2026-02-22 13:20:23,120] [DEBUG] [axolotl.train.setup_model_and_tokenizer:74] [PID:2647] Loading model |
| [2026-02-22 13:20:23,283] [DEBUG] [axolotl.monkeypatch.transformers.trainer_loss_calc.patch_evaluation_loop:87] [PID:2647] Patched Trainer.evaluation_loop with nanmean loss calculation |
| [2026-02-22 13:20:23,287] [DEBUG] [axolotl.monkeypatch.transformers.trainer_loss_calc.patch_maybe_log_save_evaluate:138] [PID:2647] Patched Trainer._maybe_log_save_evaluate with nanmean loss calculation |
| [2026-02-22 13:20:23,290] [INFO] [axolotl.loaders.patch_manager._apply_multipack_patches:301] [PID:2647] Applying multipack dataloader patch for sample packing... |
| [2026-02-22 13:20:23,292] [INFO] [axolotl.loaders.patch_manager._patch_llama_sample_packing:430] [PID:2647] Patching llama _prepare_4d_causal_attention_mask*... |
|
Loading checkpoint shards: 0%| | 0/2 [00:00<?, ?it/s]
Loading checkpoint shards: 50%|█████████████████████████████████████████████████████████████████████████████ | 1/2 [00:07<00:07, 7.57s/it]
Loading checkpoint shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:11<00:00, 5.17s/it]
Loading checkpoint shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:11<00:00, 5.53s/it] |
| [2026-02-22 13:20:35,187] [INFO] [axolotl.loaders.model._prepare_model_for_quantization:863] [PID:2647] converting PEFT model w/ prepare_model_for_kbit_training |
| [2026-02-22 13:20:35,191] [INFO] [axolotl.loaders.model._configure_embedding_dtypes:345] [PID:2647] Converting modules to torch.bfloat16 |
| [2026-02-22 13:20:35,194] [DEBUG] [axolotl.loaders.model.log_gpu_memory_usage:127] [PID:2647] Memory usage after model load 6.973GB (+6.973GB allocated, +7.955GB reserved) |
| trainable params: 14,221,312 || all params: 3,947,858,432 || trainable%: 0.3602 |
| [2026-02-22 13:20:35,457] [DEBUG] [axolotl.loaders.model.log_gpu_memory_usage:127] [PID:2647] after adapters 4.589GB (+4.589GB allocated, +8.008GB reserved) |
| [2026-02-22 13:20:42,514] [INFO] [axolotl.train.save_initial_configs:398] [PID:2647] Pre-saving adapter config to ./outputs/mymodel... |
| [2026-02-22 13:20:42,526] [INFO] [axolotl.train.save_initial_configs:402] [PID:2647] Pre-saving tokenizer to ./outputs/mymodel... |
| [2026-02-22 13:20:42,724] [INFO] [axolotl.train.save_initial_configs:407] [PID:2647] Pre-saving model config to ./outputs/mymodel... |
| [2026-02-22 13:20:42,741] [INFO] [axolotl.train.execute_training:196] [PID:2647] Starting trainer... |
| [2026-02-22 13:20:46,013] [DEBUG] [axolotl.utils.samplers.multipack.__len__:458] [PID:2647] generate_batches time: 1.1855175495147705 |
| [2026-02-22 13:20:47,024] [DEBUG] [axolotl.utils.samplers.multipack.__len__:458] [PID:2647] generate_batches time: 1.009000301361084 |
| [2026-02-22 13:20:48,163] [DEBUG] [axolotl.utils.samplers.multipack.__len__:458] [PID:2647] generate_batches time: 1.1379358768463135 |
| [2026-02-22 13:20:49,279] [DEBUG] [axolotl.utils.samplers.multipack.__len__:458] [PID:2647] generate_batches time: 1.113976240158081 |
| [2026-02-22 13:20:49,281] [INFO] [axolotl.utils.samplers.multipack.calc_min_len:434] [PID:2647] gather_len_batches: [378] |
| [34m[1mwandb[0m: (1) Create a W&B account |
| [34m[1mwandb[0m: (2) Use an existing W&B account |
| [34m[1mwandb[0m: (3) Don't visualize my results |
| [34m[1mwandb[0m: You chose "Don't visualize my results" |
| [34m[1mwandb[0m: Tracking run with wandb version 0.22.2 |
| [34m[1mwandb[0m: W&B syncing is set to [1m`offline`[0m in this directory. Run [1m`wandb online`[0m or set [1mWANDB_MODE=online[0m to enable cloud syncing. |
| [34m[1mwandb[0m: Run data is saved locally in [35m[1m/workspace/fine-tuning/wandb/offline-run-20260222_132101-oe3kp5o6[0m |
| [34m[1mwandb[0m: Detected [huggingface_hub.inference, openai] in use. |
| [34m[1mwandb[0m: Use W&B Weave for improved LLM call tracing. Install Weave with `pip install weave` then add `import weave` to the top of your script. |
| [34m[1mwandb[0m: For more information, check out the docs at: https://weave-docs.wandb.ai/ |
| [34m[1mwandb[0m: [33mWARNING[0m Saving files without folders. If you want to preserve subdirectories pass base_path to wandb.save, i.e. wandb.save("/mnt/folder/file.h5", base_path="/mnt") |
| [2026-02-22 13:21:02,096] [INFO] [axolotl.utils.callbacks.on_train_begin:756] [PID:2647] The Axolotl config has been saved to the WandB run under files. |
|
0%| | 0/47 [00:00<?, ?it/s][2026-02-22 13:21:06,821] [WARNING] [py.warnings._showwarnmsg:110] [PID:2647] /root/miniconda3/envs/py3.11/lib/python3.11/site-packages/bitsandbytes/autograd/_functions.py:186: UserWarning: MatMul8bitLt: inputs will be cast from torch.bfloat16 to float16 during quantization |
| warnings.warn(f"MatMul8bitLt: inputs will be cast from {A.dtype} to float16 during quantization") |
| |
|
2%|███▊ | 1/47 [00:15<11:37, 15.17s/it]
{'loss': 4.243, 'grad_norm': 1.4695137739181519, 'learning_rate': 0.0, 'memory/max_active (GiB)': 13.26, 'memory/max_allocated (GiB)': 13.26, 'memory/device_reserved (GiB)': 14.79, 'tokens_per_second_per_gpu': 831.98, 'epoch': 0.02} |
|
2%|███▊ | 1/47 [00:15<11:37, 15.17s/it]
4%|███████▋ | 2/47 [00:24<09:01, 12.02s/it]
{'loss': 4.4313, 'grad_norm': 1.5494900941848755, 'learning_rate': 0.0001, 'memory/max_active (GiB)': 13.29, 'memory/max_allocated (GiB)': 13.29, 'memory/device_reserved (GiB)': 14.82, 'tokens_per_second_per_gpu': 923.02, 'epoch': 0.04} |
|
4%|███████▋ | 2/47 [00:25<09:01, 12.02s/it]
6%|███████████▍ | 3/47 [00:34<08:04, 11.02s/it]
{'loss': 4.3454, 'grad_norm': 1.482877254486084, 'learning_rate': 0.0002, 'memory/max_active (GiB)': 13.29, 'memory/max_allocated (GiB)': 13.29, 'memory/device_reserved (GiB)': 14.82, 'tokens_per_second_per_gpu': 947.31, 'epoch': 0.06} |
|
6%|███████████▍ | 3/47 [00:34<08:04, 11.02s/it]
9%|███████████████▎ | 4/47 [00:44<07:33, 10.54s/it]
{'loss': 4.1976, 'grad_norm': 1.6609998941421509, 'learning_rate': 0.00019975640502598244, 'memory/max_active (GiB)': 13.29, 'memory/max_allocated (GiB)': 13.29, 'memory/device_reserved (GiB)': 14.82, 'tokens_per_second_per_gpu': 912.5, 'epoch': 0.08} |
|
9%|███████████████▎ | 4/47 [00:44<07:33, 10.54s/it]
11%|███████████████████▏ | 5/47 [00:54<07:12, 10.29s/it]
{'loss': 4.0317, 'grad_norm': 1.8902016878128052, 'learning_rate': 0.00019902680687415705, 'memory/max_active (GiB)': 13.29, 'memory/max_allocated (GiB)': 13.29, 'memory/device_reserved (GiB)': 14.82, 'tokens_per_second_per_gpu': 920.49, 'epoch': 0.11} |
|
11%|███████████████████▏ | 5/47 [00:54<07:12, 10.29s/it]
13%|██████████████████████▉ | 6/47 [01:04<06:55, 10.13s/it]
{'loss': 3.7777, 'grad_norm': 1.9003428220748901, 'learning_rate': 0.00019781476007338058, 'memory/max_active (GiB)': 13.29, 'memory/max_allocated (GiB)': 13.29, 'memory/device_reserved (GiB)': 14.82, 'tokens_per_second_per_gpu': 964.0, 'epoch': 0.13} |
|
13%|██████████████████████▉ | 6/47 [01:04<06:55, 10.13s/it]
15%|██████████████████████████▊ | 7/47 [01:14<06:40, 10.01s/it]
{'loss': 3.5865, 'grad_norm': 1.749680757522583, 'learning_rate': 0.0001961261695938319, 'memory/max_active (GiB)': 13.29, 'memory/max_allocated (GiB)': 13.29, 'memory/device_reserved (GiB)': 14.82, 'tokens_per_second_per_gpu': 987.1, 'epoch': 0.15} |
|
15%|██████████████████████████▊ | 7/47 [01:14<06:40, 10.01s/it]
17%|██████████████████████████████▋ | 8/47 [01:23<06:27, 9.94s/it]
{'loss': 3.3415, 'grad_norm': 1.62205171585083, 'learning_rate': 0.00019396926207859084, 'memory/max_active (GiB)': 13.29, 'memory/max_allocated (GiB)': 13.29, 'memory/device_reserved (GiB)': 14.82, 'tokens_per_second_per_gpu': 962.31, 'epoch': 0.17} |
|
17%|██████████████████████████████▋ | 8/47 [01:23<06:27, 9.94s/it]
19%|██████████████████████████████████▍ | 9/47 [01:33<06:16, 9.90s/it]
{'loss': 3.1596, 'grad_norm': 1.6741900444030762, 'learning_rate': 0.0001913545457642601, 'memory/max_active (GiB)': 13.29, 'memory/max_allocated (GiB)': 13.29, 'memory/device_reserved (GiB)': 14.82, 'tokens_per_second_per_gpu': 922.19, 'epoch': 0.19} |
|
19%|██████████████████████████████████▍ | 9/47 [01:33<06:16, 9.90s/it]
21%|██████████████████████████████████████ | 10/47 [01:43<06:04, 9.86s/it]
{'loss': 2.9621, 'grad_norm': 1.7453844547271729, 'learning_rate': 0.00018829475928589271, 'memory/max_active (GiB)': 13.29, 'memory/max_allocated (GiB)': 13.29, 'memory/device_reserved (GiB)': 14.82, 'tokens_per_second_per_gpu': 919.87, 'epoch': 0.21} |
|
21%|██████████████████████████████████████ | 10/47 [01:43<06:04, 9.86s/it]
23%|█████████████████████████████████████████▉ | 11/47 [01:53<05:54, 9.84s/it]
{'loss': 2.862, 'grad_norm': 1.5820896625518799, 'learning_rate': 0.0001848048096156426, 'memory/max_active (GiB)': 13.29, 'memory/max_allocated (GiB)': 13.29, 'memory/device_reserved (GiB)': 14.82, 'tokens_per_second_per_gpu': 927.87, 'epoch': 0.23} |
|
23%|█████████████████████████████████████████▉ | 11/47 [01:53<05:54, 9.84s/it]
26%|█████████████████████████████████████████████▋ | 12/47 [02:03<05:44, 9.83s/it]
{'loss': 2.8199, 'grad_norm': 1.5441746711730957, 'learning_rate': 0.00018090169943749476, 'memory/max_active (GiB)': 13.29, 'memory/max_allocated (GiB)': 13.29, 'memory/device_reserved (GiB)': 14.82, 'tokens_per_second_per_gpu': 910.51, 'epoch': 0.25} |
|
26%|█████████████████████████████████████████████▋ | 12/47 [02:03<05:44, 9.83s/it]
28%|█████████████████████████████████████████████████▌ | 13/47 [02:12<05:34, 9.83s/it]
{'loss': 2.644, 'grad_norm': 1.5563510656356812, 'learning_rate': 0.0001766044443118978, 'memory/max_active (GiB)': 13.29, 'memory/max_allocated (GiB)': 13.29, 'memory/device_reserved (GiB)': 14.82, 'tokens_per_second_per_gpu': 936.34, 'epoch': 0.28} |
|
28%|█████████████████████████████████████████████████▌ | 13/47 [02:12<05:34, 9.83s/it]
30%|█████████████████████████████████████████████████████▎ | 14/47 [02:22<05:23, 9.80s/it]
{'loss': 2.6187, 'grad_norm': 1.8126300573349, 'learning_rate': 0.0001719339800338651, 'memory/max_active (GiB)': 13.29, 'memory/max_allocated (GiB)': 13.29, 'memory/device_reserved (GiB)': 14.82, 'tokens_per_second_per_gpu': 908.78, 'epoch': 0.3} |
|
30%|█████████████████████████████████████████████████████▎ | 14/47 [02:22<05:23, 9.80s/it]
32%|█████████████████████████████████████████████████████████▏ | 15/47 [02:32<05:13, 9.80s/it]
{'loss': 2.4328, 'grad_norm': 1.759360432624817, 'learning_rate': 0.00016691306063588583, 'memory/max_active (GiB)': 13.29, 'memory/max_allocated (GiB)': 13.29, 'memory/device_reserved (GiB)': 14.82, 'tokens_per_second_per_gpu': 940.87, 'epoch': 0.32} |
|
32%|█████████████████████████████████████████████████████████▏ | 15/47 [02:32<05:13, 9.80s/it]
34%|████████████████████████████████████████████████████████████▉ | 16/47 [02:42<05:04, 9.81s/it]
{'loss': 2.4698, 'grad_norm': 1.570029616355896, 'learning_rate': 0.0001615661475325658, 'memory/max_active (GiB)': 13.29, 'memory/max_allocated (GiB)': 13.29, 'memory/device_reserved (GiB)': 14.82, 'tokens_per_second_per_gpu': 946.92, 'epoch': 0.34} |
|
34%|████████████████████████████████████████████████████████████▉ | 16/47 [02:42<05:04, 9.81s/it]
36%|████████████████████████████████████████████████████████████████▋ | 17/47 [02:51<04:52, 9.73s/it]
{'loss': 2.3629, 'grad_norm': 1.0517549514770508, 'learning_rate': 0.0001559192903470747, 'memory/max_active (GiB)': 13.29, 'memory/max_allocated (GiB)': 13.29, 'memory/device_reserved (GiB)': 14.82, 'tokens_per_second_per_gpu': 964.96, 'epoch': 0.36} |
|
36%|████████████████████████████████████████████████████████████████▋ | 17/47 [02:51<04:52, 9.73s/it]
38%|████████████████████████████████████████████████████████████████████▌ | 18/47 [03:01<04:40, 9.68s/it]
{'loss': 2.3148, 'grad_norm': 0.9625561833381653, 'learning_rate': 0.00015000000000000001, 'memory/max_active (GiB)': 13.29, 'memory/max_allocated (GiB)': 13.29, 'memory/device_reserved (GiB)': 14.82, 'tokens_per_second_per_gpu': 993.55, 'epoch': 0.38} |
|
38%|████████████████████████████████████████████████████████████████████▌ | 18/47 [03:01<04:40, 9.68s/it]
40%|████████████████████████████████████████████████████████████████████████▎ | 19/47 [03:11<04:31, 9.71s/it]
{'loss': 2.2627, 'grad_norm': 0.8530783653259277, 'learning_rate': 0.00014383711467890774, 'memory/max_active (GiB)': 13.29, 'memory/max_allocated (GiB)': 13.29, 'memory/device_reserved (GiB)': 14.82, 'tokens_per_second_per_gpu': 930.48, 'epoch': 0.4} |
|
40%|████████████████████████████████████████████████████████████████████████▎ | 19/47 [03:11<04:31, 9.71s/it]
43%|████████████████████████████████████████████████████████████████████████████▏ | 20/47 [03:20<04:22, 9.71s/it]
{'loss': 2.2487, 'grad_norm': 0.9044063687324524, 'learning_rate': 0.00013746065934159123, 'memory/max_active (GiB)': 13.29, 'memory/max_allocated (GiB)': 13.29, 'memory/device_reserved (GiB)': 14.82, 'tokens_per_second_per_gpu': 942.61, 'epoch': 0.42} |
|
43%|████████████████████████████████████████████████████████████████████████████▏ | 20/47 [03:20<04:22, 9.71s/it]
45%|███████████████████████████████████████████████████████████████████████████████▉ | 21/47 [03:30<04:10, 9.65s/it]
{'loss': 2.2553, 'grad_norm': 0.862977147102356, 'learning_rate': 0.00013090169943749476, 'memory/max_active (GiB)': 13.29, 'memory/max_allocated (GiB)': 13.29, 'memory/device_reserved (GiB)': 14.82, 'tokens_per_second_per_gpu': 948.24, 'epoch': 0.44} |
|
45%|███████████████████████████████████████████████████████████████████████████████▉ | 21/47 [03:30<04:10, 9.65s/it]
47%|███████████████████████████████████████████████████████████████████████████████████▊ | 22/47 [03:40<04:01, 9.68s/it]
{'loss': 2.1795, 'grad_norm': 0.8309082984924316, 'learning_rate': 0.00012419218955996676, 'memory/max_active (GiB)': 13.29, 'memory/max_allocated (GiB)': 13.29, 'memory/device_reserved (GiB)': 14.82, 'tokens_per_second_per_gpu': 936.66, 'epoch': 0.47} |
|
47%|███████████████████████████████████████████████████████████████████████████████████▊ | 22/47 [03:40<04:01, 9.68s/it]
49%|███████████████████████████████████████████████████████████████████████████████████████▌ | 23/47 [03:49<03:52, 9.70s/it]
{'loss': 2.1639, 'grad_norm': 0.7150967717170715, 'learning_rate': 0.00011736481776669306, 'memory/max_active (GiB)': 13.29, 'memory/max_allocated (GiB)': 13.29, 'memory/device_reserved (GiB)': 14.82, 'tokens_per_second_per_gpu': 950.7, 'epoch': 0.49} |
|
49%|███████████████████████████████████████████████████████████████████████████████████████▌ | 23/47 [03:49<03:52, 9.70s/it]
51%|███████████████████████████████████████████████████████████████████████████████████████████▍ | 24/47 [03:59<03:43, 9.71s/it]
{'loss': 2.1669, 'grad_norm': 0.7673395276069641, 'learning_rate': 0.00011045284632676536, 'memory/max_active (GiB)': 13.29, 'memory/max_allocated (GiB)': 13.29, 'memory/device_reserved (GiB)': 14.82, 'tokens_per_second_per_gpu': 955.67, 'epoch': 0.51} |
|
51%|███████████████████████████████████████████████████████████████████████████████████████████▍ | 24/47 [03:59<03:43, 9.71s/it]
53%|███████████████████████████████████████████████████████████████████████████████████████████████▏ | 25/47 [04:09<03:33, 9.72s/it]
{'loss': 2.1234, 'grad_norm': 0.7678861021995544, 'learning_rate': 0.00010348994967025012, 'memory/max_active (GiB)': 13.29, 'memory/max_allocated (GiB)': 13.29, 'memory/device_reserved (GiB)': 14.82, 'tokens_per_second_per_gpu': 931.25, 'epoch': 0.53} |
|
53%|███████████████████████████████████████████████████████████████████████████████████████████████▏ | 25/47 [04:09<03:33, 9.72s/it]
55%|███████████████████████████████████████████████████████████████████████████████████████████████████ | 26/47 [04:18<03:22, 9.66s/it]
{'loss': 2.0938, 'grad_norm': 0.7837774753570557, 'learning_rate': 9.651005032974994e-05, 'memory/max_active (GiB)': 13.29, 'memory/max_allocated (GiB)': 13.29, 'memory/device_reserved (GiB)': 14.82, 'tokens_per_second_per_gpu': 946.2, 'epoch': 0.55} |
|
55%|███████████████████████████████████████████████████████████████████████████████████████████████████ | 26/47 [04:18<03:22, 9.66s/it]
57%|██████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 27/47 [04:28<03:13, 9.68s/it]
{'loss': 2.0848, 'grad_norm': 0.7549851536750793, 'learning_rate': 8.954715367323468e-05, 'memory/max_active (GiB)': 13.29, 'memory/max_allocated (GiB)': 13.29, 'memory/device_reserved (GiB)': 14.82, 'tokens_per_second_per_gpu': 914.66, 'epoch': 0.57} |
|
57%|██████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 27/47 [04:28<03:13, 9.68s/it]
60%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 28/47 [04:38<03:04, 9.70s/it]
{'loss': 2.0789, 'grad_norm': 0.8423783779144287, 'learning_rate': 8.263518223330697e-05, 'memory/max_active (GiB)': 13.29, 'memory/max_allocated (GiB)': 13.29, 'memory/device_reserved (GiB)': 14.82, 'tokens_per_second_per_gpu': 939.69, 'epoch': 0.59} |
|
60%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 28/47 [04:38<03:04, 9.70s/it]
62%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 29/47 [04:48<02:54, 9.71s/it]
{'loss': 2.0791, 'grad_norm': 0.64683598279953, 'learning_rate': 7.580781044003324e-05, 'memory/max_active (GiB)': 13.29, 'memory/max_allocated (GiB)': 13.29, 'memory/device_reserved (GiB)': 14.82, 'tokens_per_second_per_gpu': 940.88, 'epoch': 0.61} |
|
62%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 29/47 [04:48<02:54, 9.71s/it]
64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 30/47 [04:57<02:45, 9.72s/it]
{'loss': 2.0038, 'grad_norm': 0.619359016418457, 'learning_rate': 6.909830056250527e-05, 'memory/max_active (GiB)': 13.29, 'memory/max_allocated (GiB)': 13.29, 'memory/device_reserved (GiB)': 14.82, 'tokens_per_second_per_gpu': 935.05, 'epoch': 0.63} |
|
64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 30/47 [04:57<02:45, 9.72s/it]
66%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 31/47 [05:07<02:35, 9.73s/it]
{'loss': 1.9876, 'grad_norm': 0.6234782934188843, 'learning_rate': 6.25393406584088e-05, 'memory/max_active (GiB)': 13.29, 'memory/max_allocated (GiB)': 13.29, 'memory/device_reserved (GiB)': 14.82, 'tokens_per_second_per_gpu': 956.12, 'epoch': 0.66} |
|
66%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 31/47 [05:07<02:35, 9.73s/it]
68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 32/47 [05:17<02:25, 9.68s/it]
{'loss': 2.018, 'grad_norm': 0.5823737978935242, 'learning_rate': 5.616288532109225e-05, 'memory/max_active (GiB)': 13.29, 'memory/max_allocated (GiB)': 13.29, 'memory/device_reserved (GiB)': 14.82, 'tokens_per_second_per_gpu': 937.95, 'epoch': 0.68} |
|
68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 32/47 [05:17<02:25, 9.68s/it]
70%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 33/47 [05:26<02:15, 9.71s/it]
{'loss': 2.0073, 'grad_norm': 0.6582524180412292, 'learning_rate': 5.000000000000002e-05, 'memory/max_active (GiB)': 13.29, 'memory/max_allocated (GiB)': 13.29, 'memory/device_reserved (GiB)': 14.82, 'tokens_per_second_per_gpu': 929.12, 'epoch': 0.7} |
|
70%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 33/47 [05:26<02:15, 9.71s/it]
72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 34/47 [05:36<02:06, 9.70s/it]
{'loss': 2.064, 'grad_norm': 0.6210567355155945, 'learning_rate': 4.4080709652925336e-05, 'memory/max_active (GiB)': 13.29, 'memory/max_allocated (GiB)': 13.29, 'memory/device_reserved (GiB)': 14.82, 'tokens_per_second_per_gpu': 940.96, 'epoch': 0.72} |
|
72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 34/47 [05:36<02:06, 9.70s/it]
74%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 35/47 [05:46<01:56, 9.70s/it]
{'loss': 1.99, 'grad_norm': 0.5986624360084534, 'learning_rate': 3.843385246743417e-05, 'memory/max_active (GiB)': 13.29, 'memory/max_allocated (GiB)': 13.29, 'memory/device_reserved (GiB)': 14.82, 'tokens_per_second_per_gpu': 920.23, 'epoch': 0.74} |
|
74%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 35/47 [05:46<01:56, 9.70s/it]
77%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 36/47 [05:55<01:46, 9.69s/it]
{'loss': 1.9909, 'grad_norm': 0.581673800945282, 'learning_rate': 3.308693936411421e-05, 'memory/max_active (GiB)': 13.29, 'memory/max_allocated (GiB)': 13.29, 'memory/device_reserved (GiB)': 14.82, 'tokens_per_second_per_gpu': 922.44, 'epoch': 0.76} |
|
77%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 36/47 [05:55<01:46, 9.69s/it]
79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 37/47 [06:05<01:36, 9.68s/it]
{'loss': 2.0539, 'grad_norm': 0.5877809524536133, 'learning_rate': 2.8066019966134904e-05, 'memory/max_active (GiB)': 13.29, 'memory/max_allocated (GiB)': 13.29, 'memory/device_reserved (GiB)': 14.82, 'tokens_per_second_per_gpu': 966.66, 'epoch': 0.78} |
|
79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 37/47 [06:05<01:36, 9.68s/it]
81%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 38/47 [06:15<01:27, 9.68s/it]
{'loss': 2.0219, 'grad_norm': 0.6464908719062805, 'learning_rate': 2.339555568810221e-05, 'memory/max_active (GiB)': 13.29, 'memory/max_allocated (GiB)': 13.29, 'memory/device_reserved (GiB)': 14.82, 'tokens_per_second_per_gpu': 947.39, 'epoch': 0.8} |
|
81%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 38/47 [06:15<01:27, 9.68s/it]
83%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 39/47 [06:24<01:17, 9.68s/it]
{'loss': 2.0498, 'grad_norm': 0.7040234208106995, 'learning_rate': 1.9098300562505266e-05, 'memory/max_active (GiB)': 13.29, 'memory/max_allocated (GiB)': 13.29, 'memory/device_reserved (GiB)': 14.82, 'tokens_per_second_per_gpu': 936.54, 'epoch': 0.83} |
|
83%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 39/47 [06:24<01:17, 9.68s/it]
85%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 40/47 [06:34<01:07, 9.67s/it]
{'loss': 1.9452, 'grad_norm': 0.5954016447067261, 'learning_rate': 1.5195190384357404e-05, 'memory/max_active (GiB)': 13.29, 'memory/max_allocated (GiB)': 13.29, 'memory/device_reserved (GiB)': 14.82, 'tokens_per_second_per_gpu': 926.8, 'epoch': 0.85} |
|
85%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 40/47 [06:34<01:07, 9.67s/it]
87%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 41/47 [06:44<00:57, 9.67s/it]
{'loss': 1.9464, 'grad_norm': 0.5770402550697327, 'learning_rate': 1.1705240714107302e-05, 'memory/max_active (GiB)': 13.29, 'memory/max_allocated (GiB)': 13.29, 'memory/device_reserved (GiB)': 14.82, 'tokens_per_second_per_gpu': 908.33, 'epoch': 0.87} |
|
87%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 41/47 [06:44<00:57, 9.67s/it]
89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 42/47 [06:53<00:48, 9.68s/it]
{'loss': 1.968, 'grad_norm': 0.6131947040557861, 'learning_rate': 8.645454235739903e-06, 'memory/max_active (GiB)': 13.29, 'memory/max_allocated (GiB)': 13.29, 'memory/device_reserved (GiB)': 14.82, 'tokens_per_second_per_gpu': 950.52, 'epoch': 0.89} |
|
89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 42/47 [06:53<00:48, 9.68s/it]
91%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 43/47 [07:03<00:38, 9.72s/it]
{'loss': 2.0271, 'grad_norm': 0.5977436304092407, 'learning_rate': 6.030737921409169e-06, 'memory/max_active (GiB)': 13.29, 'memory/max_allocated (GiB)': 13.29, 'memory/device_reserved (GiB)': 14.82, 'tokens_per_second_per_gpu': 937.6, 'epoch': 0.91} |
|
91%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 43/47 [07:03<00:38, 9.72s/it]
94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 44/47 [07:13<00:29, 9.70s/it]
{'loss': 2.0098, 'grad_norm': 0.5758582353591919, 'learning_rate': 3.873830406168111e-06, 'memory/max_active (GiB)': 13.29, 'memory/max_allocated (GiB)': 13.29, 'memory/device_reserved (GiB)': 14.82, 'tokens_per_second_per_gpu': 911.55, 'epoch': 0.93} |
|
94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 44/47 [07:13<00:29, 9.70s/it]
96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 45/47 [07:23<00:19, 9.69s/it]
{'loss': 1.982, 'grad_norm': 0.6744726300239563, 'learning_rate': 2.1852399266194314e-06, 'memory/max_active (GiB)': 13.29, 'memory/max_allocated (GiB)': 13.29, 'memory/device_reserved (GiB)': 14.82, 'tokens_per_second_per_gpu': 948.02, 'epoch': 0.95} |
|
96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 45/47 [07:23<00:19, 9.69s/it]
98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 46/47 [07:32<00:09, 9.69s/it]
{'loss': 1.9892, 'grad_norm': 0.593183696269989, 'learning_rate': 9.731931258429638e-07, 'memory/max_active (GiB)': 13.29, 'memory/max_allocated (GiB)': 13.29, 'memory/device_reserved (GiB)': 14.82, 'tokens_per_second_per_gpu': 905.03, 'epoch': 0.97} |
|
98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 46/47 [07:32<00:09, 9.69s/it]
100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 47/47 [07:42<00:00, 9.68s/it]
{'loss': 1.9531, 'grad_norm': 0.5465917587280273, 'learning_rate': 2.4359497401758024e-07, 'memory/max_active (GiB)': 13.29, 'memory/max_allocated (GiB)': 13.29, 'memory/device_reserved (GiB)': 14.82, 'tokens_per_second_per_gpu': 895.64, 'epoch': 0.99} |
|
100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 47/47 [07:42<00:00, 9.68s/it][2026-02-22 13:28:44,559] [INFO] [axolotl.core.trainers.base._save:671] [PID:2647] Saving model checkpoint to ./outputs/mymodel/checkpoint-47 |
|
{'train_runtime': 476.6958, 'train_samples_per_second': 0.789, 'train_steps_per_second': 0.099, 'train_loss': 2.5180128127970596, 'memory/max_active (GiB)': 4.68, 'memory/max_allocated (GiB)': 4.68, 'memory/device_reserved (GiB)': 14.82, 'epoch': 0.99} |
|
100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 47/47 [07:43<00:00, 9.68s/it]
100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 47/47 [07:43<00:00, 9.87s/it] |
| [2026-02-22 13:28:46,238] [INFO] [axolotl.train.save_trained_model:218] [PID:2647] Training completed! Saving trained model to ./outputs/mymodel. |
| [2026-02-22 13:28:47,222] [INFO] [axolotl.train.save_trained_model:336] [PID:2647] Model successfully saved to ./outputs/mymodel |
| |
