test3

run_step1.sh

@@ -9,16 +9,16 @@
     --weight_decay="0.01" \
     --per_device_train_batch_size="256" \
     --per_device_eval_batch_size="256" \
-    --learning_rate="2e-4" \
-    --warmup_steps="5000" \
+    --learning_rate="4e-4" \
+    --warmup_steps="10000" \
     --overwrite_output_dir \
     --num_train_epochs="1000" \
     --adam_beta1="0.9" \
     --adam_beta2="0.98" \
-    --logging_steps="5000" \
-    --save_steps="5000" \
-    --eval_steps="5000" \
+    --logging_steps="10000" \
+    --save_steps="10000" \
+    --eval_steps="10000" \
     --preprocessing_num_workers="64" \
-    --use_auth_token="True" \
-    --static_learning_rale="True" \
+    --auth_token="True" \
+    --static_learning_rate="True" \
     --push_to_hub