| (failed reverse-i-search)`conda ac': ^C |
| (base) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ conda activate tpuenv |
| (tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ |
| (tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ ls |
| config.json create_config.py requirements.txt run_clm_flax.py tokenizer.json train_tokenizer.py |
| (tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ ./run_clm_flax.py \ |
| > --output_dir="${MODEL_DIR}" \ |
| > --model_type="gpt2-medium" \ |
| > --config_name="${MODEL_DIR}" \ |
| > --tokenizer_name="${MODEL_DIR}" \ |
| > --dataset_name="imthanhlv/binhvq_dedup" \ |
| > --do_train \ |
| > --do_eval \ |
| > --block_size="512" \ |
| > --per_device_train_batch_size="64" \ |
| > --per_device_eval_batch_size="64" \ |
| > --learning_rate="5e-3" --warmup_steps="1000" \ |
| > --adam_beta1="0.9" --adam_beta2="0.98" --weight_decay="0.01" \ |
| > --overwrite_output_dir \ |
| > --num_train_epochs="20" \ |
| > --logging_steps="500" \ |
| > --save_steps="2500" \ |
| > --eval_steps="2500" \ |
| > --preprocessing_num_workers=96 \ |
| > --push_to^Cub |
| (tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ ./run_clm_flax.py --output_dir="${MODEL_DIR}" --model_type="gpt2-medium" --config |
| _name="${MODEL_DIR}" --tokenizer_name="${MODEL_DIR}" --dataset_name="imthanhlv/binhvq_dedup" --do_train --do_eval --block_size="512" |
| --per_device_train_batch_size="64" --per_device_eval_batch_size="64" --learning_rate="5e-3" --warmup_steps="1000" --adam_beta1="0.9" --adam_b |
| eta2="0.98" --weight_decay="0.01" --overwrite_output_dir --num_train_epochs="20" --logging_steps="500" --save_steps="50000" --eval_step |
| s="2500" --preprocessing_num_workers=96 --push-to-hub |
| INFO:absl:Unable to initialize backend 'tpu_driver': NOT_FOUND: Unable to find driver in registry given worker: |
| INFO:absl:Unable to initialize backend 'gpu': NOT_FOUND: Could not find registered platform with name: "cuda". Available platform names are: TPU Interprete |
| r Host |
| Traceback (most recent call last): |
| File "./run_clm_flax.py", line 766, in <module> |
| main() |
| File "./run_clm_flax.py", line 310, in main |
| model_args, data_args, training_args = parser.parse_args_into_dataclasses() |
| File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/hf_argparser.py", line 215, in parse_args_into_dataclasses |
| raise ValueError(f"Some specified arguments are not used by the HfArgumentParser: {remaining_args}") |
| ValueError: Some specified arguments are not used by the HfArgumentParser: ['--push-to-hub'] |
| (tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ ./run_clm_flax.py --output_dir="${MODEL_DIR}" --model_type="gpt2-medium" --config |
| _name="${MODEL_DIR}" --tokenizer_name="${MODEL_DIR}" --dataset_name="imthanhlv/binhvq_dedup" --do_train --do_eval --block_size="512" |
| --per_device_train_batch_size="64" --per_device_eval_batch_size="64" --learning_rate="5e-3" --warmup_steps="1000" --adam_beta1="0.9" --adam_b |
| eta2="0.98" --weight_decay="0.01" --overwrite_output_dir --num_train_epochs="20" --logging_steps="500" --save_steps="50000" --eval_step |
| s="2500" --preprocessing_num_workers=96 --push_to_hub |
| INFO:absl:Unable to initialize backend 'tpu_driver': NOT_FOUND: Unable to find driver in registry given worker: |
| INFO:absl:Unable to initialize backend 'gpu': NOT_FOUND: Could not find registered platform with name: "cuda". Available platform names are: TPU Interprete |
| r Host |
| INFO:__main__:Training/evaluation parameters TrainingArguments(output_dir='.', overwrite_output_dir=True, do_train=True, do_eval=True, per_device_train_bat |
| ch_size=64, per_device_eval_batch_size=64, learning_rate=0.005, weight_decay=0.01, adam_beta1=0.9, adam_beta2=0.98, adam_epsilon=1e-08, adafactor=False, nu |
| m_train_epochs=20.0, warmup_steps=1000, logging_steps=500, save_steps=50000, eval_steps=2500, seed=42, push_to_hub=True, hub_model_id=None, hub_token=None) |
| Traceback (most recent call last): |
| File "./run_clm_flax.py", line 766, in <module> |
| main() |
| File "./run_clm_flax.py", line 347, in main |
| repo_name = get_full_repo_name( |
| File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/file_utils.py", line 2663, in get_full_repo_name |
| username = whoami(token)["name"] |
| File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/huggingface_hub/hf_api.py", line 374, in whoami |
| raise ValueError( |
| ValueError: You need to pass a valid `token` or login by using `huggingface-cli login` |
| (tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ ^C |
| (tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ huggingface-cli login |
|
|
| _| _| _| _| _|_|_| _|_|_| _|_|_| _| _| _|_|_| _|_|_|_| _|_| _|_|_| _|_|_|_| |
| _| _| _| _| _| _| _| _|_| _| _| _| _| _| _| _| |
| _|_|_|_| _| _| _| _|_| _| _|_| _| _| _| _| _| _|_| _|_|_| _|_|_|_| _| _|_|_| |
| _| _| _| _| _| _| _| _| _| _| _|_| _| _| _| _| _| _| _| |
| _| _| _|_| _|_|_| _|_|_| _|_|_| _| _| _|_|_| _| _| _| _|_|_| _|_|_|_| |
|
|
| To login, `huggingface_hub` now requires a token generated from https://huggingface.co/settings/token. |
| (Deprecated, will be removed in v0.3.0) To login with username and password instead, interrupt with Ctrl+C. |
|
|
| Token: |
| Login successful |
| Your token has been saved to /home/lethanh/.huggingface/token |
| Authenticated through git-credential store but this isn't the helper defined on your machine. |
| You might have to re-authenticate when pushing to the Hugging Face Hub. Run the following command in your terminal in case you want to set this credential |
| helper as the default |
|
|
| git config --global credential.helper store |
| (tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ git config --global credential.helper store |
| (tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ ./run_clm_flax.py --output_dir="${MODEL_DIR}" --model_type="gpt2-medium" --config |
| _name="${MODEL_DIR}" --tokenizer_name="${MODEL_DIR}" --dataset_name="imthanhlv/binhvq_dedup" --do_train --do_eval --block_size="512" |
| --per_device_train_batch_size="64" --per_device_eval_batch_size="64" --learning_rate="5e-3" --warmup_steps="1000" --adam_beta1="0.9" --adam_b |
| eta2="0.98" --weight_decay="0.01" --overwrite_output_dir --num_train_epochs="20" --logging_steps="500" --save_steps="50000" --eval_step |
| s="2500" --preprocessing_num_workers=96 --push_to_hub |
| INFO:absl:Unable to initialize backend 'tpu_driver': NOT_FOUND: Unable to find driver in registry given worker: |
| INFO:absl:Unable to initialize backend 'gpu': NOT_FOUND: Could not find registered platform with name: "cuda". Available platform names are: TPU Interprete |
| r Host |
| INFO:__main__:Training/evaluation parameters TrainingArguments(output_dir='.', overwrite_output_dir=True, do_train=True, do_eval=True, per_device_train_bat |
| ch_size=64, per_device_eval_batch_size=64, learning_rate=0.005, weight_decay=0.01, adam_beta1=0.9, adam_beta2=0.98, adam_epsilon=1e-08, adafactor=False, nu |
| m_train_epochs=20.0, warmup_steps=1000, logging_steps=500, save_steps=50000, eval_steps=2500, seed=42, push_to_hub=True, hub_model_id=None, hub_token=None) |
| /home/lethanh/workspace/vigpt2medium/. is already a clone of https://huggingface.co/imthanhlv/vigpt2medium. Make sure you pull the latest changes with `rep |
| o.git_pull()`. |
| WARNING:huggingface_hub.repository:/home/lethanh/workspace/vigpt2medium/. is already a clone of https://huggingface.co/imthanhlv/vigpt2medium. Make sure yo |
| u pull the latest changes with `repo.git_pull()`. |
| WARNING:datasets.load:Using the latest cached version of the module from /home/lethanh/hfcache/modules/datasets_modules/datasets/imthanhlv--binhvq_dedup/60 |
| d03216e35c1b592ca70ae909d1c1f504292e38e9622d04108a14fe9c34868e (last modified on Sun Jan 2 13:15:15 2022) since it couldn't be found locally at imthanhlv/ |
| binhvq_dedup., or remotely on the Hugging Face Hub. |
| Traceback (most recent call last): |
| File "./run_clm_flax.py", line 766, in <module> |
| main() |
| File "./run_clm_flax.py", line 365, in main |
| dataset = load_dataset( |
| File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/datasets/load.py", line 1657, in load_dataset |
| builder_instance = load_dataset_builder( |
| File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/datasets/load.py", line 1499, in load_dataset_builder |
| builder_cls = import_main_class(dataset_module.module_path) |
| File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/datasets/load.py", line 109, in import_main_class |
| module = importlib.import_module(module_path) |
| File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/importlib/__init__.py", line 127, in import_module |
| return _bootstrap._gcd_import(name[level:], package, level) |
| File "<frozen importlib._bootstrap>", line 1014, in _gcd_import |
| File "<frozen importlib._bootstrap>", line 991, in _find_and_load |
| File "<frozen importlib._bootstrap>", line 975, in _find_and_load_unlocked |
| File "<frozen importlib._bootstrap>", line 671, in _load_unlocked |
| File "<frozen importlib._bootstrap_external>", line 848, in exec_module |
| File "<frozen importlib._bootstrap>", line 219, in _call_with_frames_removed |
| File "/home/lethanh/hfcache/modules/datasets_modules/datasets/imthanhlv--binhvq_dedup/60d03216e35c1b592ca70ae909d1c1f504292e38e9622d04108a14fe9c34868e/bi |
| nhvq_dedup.py", line 4, in <module> |
| import lm_dataformat |
| ModuleNotFoundError: No module named 'lm_dataformat' |
| (tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ pip install lm_dataformat |
| Collecting lm_dataformat |
| Downloading lm_dataformat-0.0.20-py3-none-any.whl (5.8 kB) |
| Collecting ujson |
| Downloading ujson-5.1.0-cp38-cp38-manylinux_2_17_x86_64.manylinux2014_x86_64.whl (44 kB) |
| |████████████████████████████████| 44 kB 3.7 MB/s |
| Collecting zstandard |
| Downloading zstandard-0.16.0-cp38-cp38-manylinux_2_17_x86_64.manylinux2014_x86_64.whl (2.9 MB) |
| |████████████████████████████████| 2.9 MB 28.7 MB/s |
| Collecting jsonlines |
| Downloading jsonlines-3.0.0-py3-none-any.whl (8.5 kB) |
| Requirement already satisfied: attrs>=19.2.0 in /home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages (from jsonlines->lm_dataformat) (21.4.0) |
| Installing collected packages: zstandard, ujson, jsonlines, lm-dataformat |
| Successfully installed jsonlines-3.0.0 lm-dataformat-0.0.20 ujson-5.1.0 zstandard-0.16.0 |
| (tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ ./run_clm_flax.py --output_dir="${MODEL_DIR}" --model_type="gpt2-medium" --config |
| _name="${MODEL_DIR}" --tokenizer_name="${MODEL_DIR}" --dataset_name="imthanhlv/binhvq_dedup" --do_train --do_eval --block_size="512" |
| --per_device_train_batch_size="64" --per_device_eval_batch_size="64" --learning_rate="5e-3" --warmup_steps="1000" --adam_beta1="0.9" --adam_b |
| eta2="0.98" --weight_decay="0.01" --overwrite_output_dir --num_train_epochs="20" --logging_steps="500" --save_steps="50000" --eval_step |
| s="2500" --preprocessing_num_workers=96 --push_to_hub |
| INFO:absl:Unable to initialize backend 'tpu_driver': NOT_FOUND: Unable to find driver in registry given worker: |
| INFO:absl:Unable to initialize backend 'gpu': NOT_FOUND: Could not find registered platform with name: "cuda". Available platform names are: Host TPU Inter |
| preter |
| INFO:__main__:Training/evaluation parameters TrainingArguments(output_dir='.', overwrite_output_dir=True, do_train=True, do_eval=True, per_device_train_bat |
| ch_size=64, per_device_eval_batch_size=64, learning_rate=0.005, weight_decay=0.01, adam_beta1=0.9, adam_beta2=0.98, adam_epsilon=1e-08, adafactor=False, nu |
| m_train_epochs=20.0, warmup_steps=1000, logging_steps=500, save_steps=50000, eval_steps=2500, seed=42, push_to_hub=True, hub_model_id=None, hub_token=None) |
| /home/lethanh/workspace/vigpt2medium/. is already a clone of https://huggingface.co/imthanhlv/vigpt2medium. Make sure you pull the latest changes with `rep |
| o.git_pull()`. |
| WARNING:huggingface_hub.repository:/home/lethanh/workspace/vigpt2medium/. is already a clone of https://huggingface.co/imthanhlv/vigpt2medium. Make sure yo |
| u pull the latest changes with `repo.git_pull()`. |
| WARNING:datasets.builder:Reusing dataset binhvq (/home/lethanh/hfcache/datasets/imthanhlv___binhvq/text/1.0.0/60d03216e35c1b592ca70ae909d1c1f504292e38e9622 |
| d04108a14fe9c34868e) |
| 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.98it/s] |
| loading configuration file ./config.json |
| Model config GPT2Config { |
| "_name_or_path": ".", |
| "activation_function": "gelu_new", |
| "architectures": [ |
| "GPT2LMHeadModel" |
| ], |
| "attn_pdrop": 0.0, |
| "bos_token_id": 50256, |
| "embd_pdrop": 0.0, |
| "eos_token_id": 50256, |
| "initializer_range": 0.02, |
| "layer_norm_epsilon": 1e-05, |
| "model_type": "gpt2", |
| "n_ctx": 1024, |
| "n_embd": 1024, |
| "n_head": 16, |
| "n_inner": null, |
| "n_layer": 24, |
| "n_positions": 1024, |
| "n_special": 0, |
| "predict_special_tokens": true, |
| "reorder_and_upcast_attn": false, |
| "resid_pdrop": 0.0, |
| "scale_attn_by_inverse_layer_idx": false, |
| "scale_attn_weights": true, |
| "summary_activation": null, |
| "summary_first_dropout": 0.1, |
| "summary_proj_to_labels": true, |
| "summary_type": "cls_index", |
| "summary_use_proj": true, |
| "task_specific_params": { |
| "text-generation": { |
| "do_sample": true, |
| "max_length": 50 |
| } |
| }, |
| "transformers_version": "4.15.0", |
| "use_cache": true, |
| "vocab_size": 50257 |
| } |
|
|
| Could not locate the tokenizer configuration file, will try to use the model config instead. |
| loading configuration file ./config.json |
| Model config GPT2Config { |
| "_name_or_path": ".", |
| "activation_function": "gelu_new", |
| "architectures": [ |
| "GPT2LMHeadModel" |
| ], |
| "attn_pdrop": 0.0, |
| "bos_token_id": 50256, |
| "embd_pdrop": 0.0, |
| "eos_token_id": 50256, |
| "initializer_range": 0.02, |
| "layer_norm_epsilon": 1e-05, |
| "model_type": "gpt2", |
| "n_ctx": 1024, |
| "n_embd": 1024, |
| "n_head": 16, |
| "n_inner": null, |
| "n_layer": 24, |
| "n_positions": 1024, |
| "n_special": 0, |
| "predict_special_tokens": true, |
| "reorder_and_upcast_attn": false, |
| "resid_pdrop": 0.0, |
| "scale_attn_by_inverse_layer_idx": false, |
| "scale_attn_weights": true, |
| "summary_activation": null, |
| "summary_first_dropout": 0.1, |
| "summary_proj_to_labels": true, |
| "summary_type": "cls_index", |
| "summary_use_proj": true, |
| "task_specific_params": { |
| "text-generation": { |
| "do_sample": true, |
| "max_length": 50 |
| } |
| }, |
| "transformers_version": "4.15.0", |
| "use_cache": true, |
| "vocab_size": 50257 |
| } |
|
|
| Didn't find file ./vocab.json. We won't load it. |
| Didn't find file ./merges.txt. We won't load it. |
| Didn't find file ./added_tokens.json. We won't load it. |
| Didn't find file ./special_tokens_map.json. We won't load it. |
| Didn't find file ./tokenizer_config.json. We won't load it. |
| loading file None |
| loading file None |
| loading file ./tokenizer.json |
| loading file None |
| loading file None |
| loading file None |
| loading configuration file ./config.json |
| Model config GPT2Config { |
| "_name_or_path": ".", |
| "activation_function": "gelu_new", |
| "architectures": [ |
| "GPT2LMHeadModel" |
| ], |
| "attn_pdrop": 0.0, |
| "bos_token_id": 50256, |
| "embd_pdrop": 0.0, |
| "eos_token_id": 50256, |
| "initializer_range": 0.02, |
| "layer_norm_epsilon": 1e-05, |
| "model_type": "gpt2", |
| "n_ctx": 1024, |
| "n_embd": 1024, |
| "n_head": 16, |
| "n_inner": null, |
| "n_layer": 24, |
| "n_positions": 1024, |
| "n_special": 0, |
| "predict_special_tokens": true, |
| "reorder_and_upcast_attn": false, |
| "resid_pdrop": 0.0, |
| "scale_attn_by_inverse_layer_idx": false, |
| "scale_attn_weights": true, |
| "summary_activation": null, |
| "summary_first_dropout": 0.1, |
| "summary_proj_to_labels": true, |
| "summary_type": "cls_index", |
| "summary_use_proj": true, |
| "task_specific_params": { |
| "text-generation": { |
| "do_sample": true, |
| "max_length": 50 |
| } |
| }, |
| "transformers_version": "4.15.0", |
| "use_cache": true, |
| "vocab_size": 50257 |
| } |
|
|
| Special tokens have been added in the vocabulary, make sure the associated word embeddings are fine-tuned or trained. |
| #2: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:40<00:00, 3.14s/ba] |
| #1: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:43<00:00, 3.15s/ba] |
| #5: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:43<00:00, 3.15s/ba] |
| #19: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:42<00:00, 3.15s/ba] |
| #24: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:42<00:00, 3.15s/ba] |
| #3: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:44<00:00, 3.16s/ba] |
| #20: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:44<00:00, 3.16s/ba] |
| #29: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:43<00:00, 3.16s/ba] |
| #54: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:42<00:00, 3.15s/ba] |
| #17: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:45<00:00, 3.16s/ba] |
| #56: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:43<00:00, 3.15s/ba] |
| #22: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:45<00:00, 3.17s/ba] |
| #32: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:45<00:00, 3.16s/ba] |
| #14: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:46<00:00, 3.17s/ba] |
| #44: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:45<00:00, 3.16s/ba] |
| #43: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:45<00:00, 3.16s/ba] |
| #58: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:45<00:00, 3.16s/ba] |
| #35: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:46<00:00, 3.17s/ba] |
| #38: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:46<00:00, 3.17s/ba] |
| #30: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:46<00:00, 3.17s/ba] |
| #41: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:46<00:00, 3.17s/ba] |
| #23: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:47<00:00, 3.18s/ba] |
| #45: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:46<00:00, 3.17s/ba] |
| #78: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:43<00:00, 3.15s/ba] |
| #57: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:45<00:00, 3.17s/ba] |
| #55: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:46<00:00, 3.17s/ba] |
| #60: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:45<00:00, 3.17s/ba] |
| #15: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:48<00:00, 3.18s/ba] |
| #74: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:44<00:00, 3.16s/ba] |
| #21: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:48<00:00, 3.18s/ba] |
| #59: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:45<00:00, 3.17s/ba] |
| #18: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:49<00:00, 3.18s/ba] |
| #75: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:44<00:00, 3.16s/ba] |
| #27: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:48<00:00, 3.18s/ba] |
| #72: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:44<00:00, 3.16s/ba] |
| #47: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:47<00:00, 3.18s/ba] |
| #76: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:44<00:00, 3.16s/ba] |
| #82: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:43<00:00, 3.16s/ba] |
| #80: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:44<00:00, 3.16s/ba] |
| #61: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:46<00:00, 3.17s/ba] |
| #77: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:44<00:00, 3.16s/ba] |
| #63: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:46<00:00, 3.17s/ba] |
| #51: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:48<00:00, 3.18s/ba] |
| #79: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:45<00:00, 3.16s/ba] |
| #86: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:44<00:00, 3.16s/ba] |
| #85: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:44<00:00, 3.16s/ba] |
| #91: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:44<00:00, 3.16s/ba] |
| #69: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:46<00:00, 3.17s/ba] |
| #6: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:52<00:00, 3.20s/ba] |
| #0: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:52<00:00, 3.20s/ba] |
| #7: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:52<00:00, 3.20s/ba] |
| #49: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:49<00:00, 3.18s/ba] |
| #36: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:50<00:00, 3.19s/ba] |
| #40: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:50<00:00, 3.19s/ba] |
| #10: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:52<00:00, 3.20s/ba] |
| #84: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:46<00:00, 3.17s/ba] |
| #50: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:50<00:00, 3.19s/ba] |
| #11: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:53<00:00, 3.20s/ba] |
| #92: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:45<00:00, 3.17s/ba] |
| #42: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:50<00:00, 3.19s/ba] |
| #12: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:53<00:00, 3.20s/ba] |
| #73: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:48<00:00, 3.18s/ba] |
| #33: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:52<00:00, 3.20s/ba] |
| #4: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:53<00:00, 3.20s/ba] |
| #66: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:49<00:00, 3.18s/ba] |
| #13: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:53<00:00, 3.20s/ba] |
| #83: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:46<00:00, 3.17s/ba] |
| #37: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:51<00:00, 3.19s/ba] |
| #88: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:46<00:00, 3.17s/ba] |
| #31: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:52<00:00, 3.20s/ba] |
| #81: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:47<00:00, 3.18s/ba] |
| #9: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:54<00:00, 3.21s/ba] |
| #68: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:49<00:00, 3.18s/ba] |
| #16: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:54<00:00, 3.21s/ba] |
| #67: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:50<00:00, 3.19s/ba] |
| #65: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:50<00:00, 3.19s/ba] |
| #53: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:52<00:00, 3.20s/ba] |
| #8: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:54<00:00, 3.21s/ba] |
| #46: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:51<00:00, 3.20s/ba] |
| #70: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:50<00:00, 3.19s/ba] |
| #62: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:51<00:00, 3.19s/ba] |
| #39: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:53<00:00, 3.20s/ba] |
| #34: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:54<00:00, 3.21s/ba] |
| #64: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:52<00:00, 3.20s/ba] |
| #25: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:55<00:00, 3.21s/ba] |
| #90: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:49<00:00, 3.19s/ba] |
| #94: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:50<00:00, 3.19s/ba] |
| #71: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:52<00:00, 3.20s/ba] |
| #28: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:56<00:00, 3.22s/ba] |
| #26: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:57<00:00, 3.22s/ba] |
| #87: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:51<00:00, 3.19s/ba] |
| #95: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:50<00:00, 3.19s/ba] |
| #93: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:50<00:00, 3.19s/ba] |
| #89: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:54<00:00, 3.21s/ba] |
| #48: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [11:00<00:00, 3.24s/ba] |
| #52: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [11:03<00:00, 3.25s/ba] |
| https://symbolize.stripped_domain/r/?trace=7fba8e9a4410,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a |
| 3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9 |
| a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e |
| 9a3d9d&map=921e3427503a047331cf19475748bda2:7fba80899000-7fba8ec9ec30 |
| E0102 13:46:29.353747 55243 process_state.cc:1069] RAW: Signal 11 raised at PC: 0x7fba8e9a4410 while already in FailureSignalHandler! |
| E0102 13:46:29.353806 55243 process_state.cc:1103] RAW: Raising 11 signal with default behavior |
| #8: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.05ba/s] |
| #10: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.10ba/s] |
| #1: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.22s/ba] |
| #12: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.06s/ba] |
| #0: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.27s/ba] |
| #4: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.42s/ba] |
| #2: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.45s/ba] |
| #16: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.22s/ba] |
| #3: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.45s/ba] |
| #5: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.47s/ba] |
| #6: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.48s/ba] |
| #7: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.48s/ba] |
| #19: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.24s/ba] |
| #9: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.48s/ba] |
| #15: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.40s/ba] |
| #23: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.34s/ba] |
| #14: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.51s/ba] |
| #18: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.49s/ba] |
| #11: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.66s/ba] |
| #13: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.63s/ba] |
| #20: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.51s/ba] |
| #21: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.58s/ba] |
| #17: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.69s/ba] |
| #31: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.45s/ba] |
| #22: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.63s/ba] |
| #24: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.62s/ba] |
| #29: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.56s/ba] |
| #32: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.51s/ba] |
| #26: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.62s/ba] |
| #34: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.49s/ba] |
| #25: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.68s/ba] |
| #39: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.43s/ba] |
| #30: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.61s/ba] |
| #28: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.68s/ba] |
| #44: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.41s/ba] |
| #33: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.66s/ba] |
| #40: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.53s/ba] |
| #45: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.39s/ba] |
| #27: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.77s/ba] |
| #41: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.50s/ba] |
| #38: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.58s/ba] |
| #62: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.01s/ba] |
| #35: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.64s/ba] |
| #63: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.04s/ba] |
| #47: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.40s/ba] |
| #43: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.52s/ba] |
| #37: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.66s/ba] |
| #65: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.01s/ba] |
| #64: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.05s/ba] |
| #48: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.42s/ba] |
| #46: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.47s/ba] |
| #66: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.03s/ba] |
| #67: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.02s/ba] |
| #58: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.22s/ba] |
| #42: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.63s/ba] |
| #36: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.77s/ba] |
| #70: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.01s/ba] |
| #71: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.00ba/s] |
| #49: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.49s/ba] |
| #69: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.05s/ba] |
| #68: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.07s/ba] |
| #56: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.34s/ba] |
| #51: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.53s/ba] |
| #50: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.55s/ba] |
| #55: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.39s/ba] |
| #59: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.36s/ba] |
| #61: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.32s/ba] |
| #52: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.39s/ba] |
| #53: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.43s/ba] |
| #60: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.41s/ba] |
| #57: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.47s/ba] |
| #72: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.14s/ba] |
| #54: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.48s/ba] |
| #73: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.15s/ba] |
| #81: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.06ba/s] |
| #79: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.01s/ba] |
| #75: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.18s/ba] |
| #82: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.03ba/s] |
| #76: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.21s/ba] |
| #74: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.32s/ba] |
| #86: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.01ba/s] |
| #83: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.03s/ba] |
| #77: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.26s/ba] |
| #78: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.27s/ba] |
| #89: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.04ba/s] |
| #88: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.00ba/s] |
| #84: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.11s/ba] |
| #80: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.25s/ba] |
| #87: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.08s/ba] |
| #90: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.00s/ba] |
| #85: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.17s/ba] |
| #91: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.01s/ba] |
| #95: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.07ba/s] |
| #94: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.03ba/s] |
| #93: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.00s/ba] |
| #92: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.03s/ba] |
| https://symbolize.stripped_domain/r/?trace=7fba8e9a4410,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a |
| 3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9 |
| a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e |
| 9a3d9d&map=921e3427503a047331cf19475748bda2:7fba80899000-7fba8ec9ec30 |
| E0102 13:46:41.095923 56001 process_state.cc:1069] RAW: Signal 11 raised at PC: 0x7fba8e9a4410 while already in FailureSignalHandler! |
| E0102 13:46:41.096767 56001 process_state.cc:1103] RAW: Raising 11 signal with default behavior |
| https://symbolize.stripped_domain/r/?trace=7fba8e9a4410,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a |
| 3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9 |
| a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e |
| 9a3d9d&map=921e3427503a047331cf19475748bda2:7fba80899000-7fba8ec9ec30 |
| E0102 13:46:41.097659 56000 process_state.cc:1069] RAW: Signal 11 raised at PC: 0x7fba8e9a4410 while already in FailureSignalHandler! |
| E0102 13:46:41.097727 56000 process_state.cc:1103] RAW: Raising 11 signal with default behavior |
| #2: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:12<00:00, 1.24s/ba] |
| #9: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:13<00:00, 1.24s/ba] |
| #3: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:13<00:00, 1.24s/ba] |
| #47: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:11<00:00, 1.23s/ba] |
| #5: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:14<00:00, 1.25s/ba] |
| #29: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:13<00:00, 1.24s/ba] |
| #23: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:13<00:00, 1.24s/ba] |
| #6: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:15<00:00, 1.25s/ba] |
| #14: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:14<00:00, 1.25s/ba] |
| #94: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:10<00:00, 1.23s/ba] |
| #86: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:11<00:00, 1.23s/ba] |
| #30: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:15<00:00, 1.25s/ba] |
| #18: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:15<00:00, 1.25s/ba] |
| #13: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:16<00:00, 1.26s/ba] |
| #55: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:14<00:00, 1.25s/ba] |
| #1: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:16<00:00, 1.26s/ba] |
| #4: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:16<00:00, 1.26s/ba] |
| #49: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:14<00:00, 1.25s/ba] |
| #56: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:14<00:00, 1.25s/ba] |
| #58: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:14<00:00, 1.25s/ba] |
| #0: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:16<00:00, 1.26s/ba] |
| #57: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:13<00:00, 1.24s/ba] |
| #8: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:16<00:00, 1.26s/ba] |
| #19: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:16<00:00, 1.26s/ba] |
| #11: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:16<00:00, 1.26s/ba] |
| #87: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:12<00:00, 1.24s/ba] |
| #62: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:14<00:00, 1.25s/ba] |
| #90: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:12<00:00, 1.24s/ba] |
| #54: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:15<00:00, 1.25s/ba] |
| #25: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:16<00:00, 1.26s/ba] |
| #17: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:17<00:00, 1.26s/ba] |
| #91: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:12<00:00, 1.24s/ba] |
| #20: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:16<00:00, 1.26s/ba] |
| #21: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:17<00:00, 1.26s/ba] |
| #85: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:12<00:00, 1.24s/ba] |
| #89: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:12<00:00, 1.24s/ba] |
| #52: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:15<00:00, 1.25s/ba] |
| #59: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:15<00:00, 1.25s/ba] |
| #92: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:12<00:00, 1.24s/ba] |
| #16: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:17<00:00, 1.26s/ba] |
| #12: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:17<00:00, 1.26s/ba] |
| #69: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:14<00:00, 1.25s/ba] |
| #41: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:16<00:00, 1.26s/ba] |
| #32: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:16<00:00, 1.26s/ba] |
| #44: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:17<00:00, 1.26s/ba] |
| #35: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:16<00:00, 1.26s/ba] |
| #64: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:15<00:00, 1.25s/ba] |
| #67: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:15<00:00, 1.25s/ba] |
| #63: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:15<00:00, 1.25s/ba] |
| #37: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:16<00:00, 1.26s/ba] |
| #70: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:15<00:00, 1.25s/ba] |
| #24: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:17<00:00, 1.26s/ba] |
| #74: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:14<00:00, 1.25s/ba] |
| #93: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:13<00:00, 1.24s/ba] |
| #7: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:18<00:00, 1.27s/ba] |
| #46: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:17<00:00, 1.26s/ba] |
| #40: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:17<00:00, 1.26s/ba] |
| #75: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:15<00:00, 1.25s/ba] |
| #82: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:14<00:00, 1.25s/ba] |
| #81: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:14<00:00, 1.25s/ba] |
| #65: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:16<00:00, 1.26s/ba] |
| #15: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:18<00:00, 1.27s/ba] |
| #31: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:18<00:00, 1.27s/ba] |
| #53: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:17<00:00, 1.26s/ba] |
| #33: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:18<00:00, 1.27s/ba] |
| #42: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:17<00:00, 1.26s/ba] |
| #73: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:15<00:00, 1.25s/ba] |
| #66: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:16<00:00, 1.26s/ba] |
| #61: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:17<00:00, 1.26s/ba] |
| #51: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:17<00:00, 1.26s/ba] |
| #60: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:17<00:00, 1.26s/ba] |
| #50: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:17<00:00, 1.26s/ba] |
| #95: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:14<00:00, 1.25s/ba] |
| #80: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:15<00:00, 1.25s/ba] |
| #84: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:15<00:00, 1.25s/ba] |
| #28: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:19<00:00, 1.27s/ba] |
| #88: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:15<00:00, 1.25s/ba] |
| #27: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:19<00:00, 1.27s/ba] |
| #43: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:18<00:00, 1.27s/ba] |
| #38: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:18<00:00, 1.27s/ba] |
| #78: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:16<00:00, 1.26s/ba] |
| #34: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:19<00:00, 1.27s/ba] |
| #79: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:16<00:00, 1.26s/ba] |
| #76: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:16<00:00, 1.26s/ba] |
| #22: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:20<00:00, 1.28s/ba] |
| #48: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:19<00:00, 1.27s/ba] |
| #45: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:19<00:00, 1.27s/ba] |
| #72: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:17<00:00, 1.26s/ba] |
| #10: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:21<00:00, 1.28s/ba] |
| #26: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:20<00:00, 1.28s/ba] |
| #39: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:19<00:00, 1.27s/ba] |
| #71: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:18<00:00, 1.27s/ba] |
| #77: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:17<00:00, 1.26s/ba] |
| #36: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:20<00:00, 1.28s/ba] |
| #68: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:20<00:00, 1.28s/ba] |
| #83: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:19<00:00, 1.27s/ba] |
| https://symbolize.stripped_domain/r/?trace=7fba8e9a4410,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a |
| 3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9 |
| a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e |
| 9a3d9d&map=921e3427503a047331cf19475748bda2:7fba80899000-7fba8ec9ec30 |
| E0102 13:51:18.395334 56123 process_state.cc:1069] RAW: Signal 11 raised at PC: 0x7fba8e9a4410 while already in FailureSignalHandler! |
| E0102 13:51:18.395427 56123 process_state.cc:1103] RAW: Raising 11 signal with default behavior |
| #0: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.50ba/s] |
| #1: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.86ba/s] |
| #2: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.86ba/s] |
| #29: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.35ba/s] |
| #4: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.73ba/s] |
| #15: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.87ba/s] |
| #12: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.79ba/s] |
| #10: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.76ba/s] |
| #3: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.65ba/s] |
| #6: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.67ba/s] |
| #19: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.81ba/s] |
| #7: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.62ba/s] |
| #8: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.63ba/s] |
| #5: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.59ba/s] |
| #17: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.75ba/s] |
| #13: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.68ba/s] |
| #48: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.94ba/s] |
| #21: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.82ba/s] |
| #20: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.77ba/s] |
| #9: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.58ba/s] |
| #23: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.69ba/s] |
| #49: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.75ba/s] |
| #30: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.77ba/s] |
| #16: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.58ba/s] |
| #51: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.85ba/s] |
| #31: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.75ba/s] |
| #22: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.63ba/s] |
| #18: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.57ba/s] |
| #11: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.46ba/s] |
| #25: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.63ba/s] |
| #34: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.73ba/s] |
| #33: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.71ba/s] |
| #53: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.82ba/s] |
| #27: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.61ba/s] |
| #14: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.45ba/s] |
| #26: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.57ba/s] |
| #24: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.56ba/s] |
| #32: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.63ba/s] |
| #52: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.51ba/s] |
| #28: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.56ba/s] |
| #54: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.66ba/s] |
| #39: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.74ba/s] |
| #41: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.79ba/s] |
| #40: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.72ba/s] |
| #47: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.91ba/s] |
| #36: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.58ba/s] |
| #37: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.56ba/s] |
| #50: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.08ba/s] |
| #35: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.51ba/s] |
| #45: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.74ba/s] |
| #42: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.63ba/s] |
| #38: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.53ba/s] |
| #46: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.72ba/s] |
| #63: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.74ba/s] |
| #43: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.60ba/s] |
| #65: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.80ba/s] |
| #44: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.60ba/s] |
| #67: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.74ba/s] |
| #68: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.67ba/s] |
| #56: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.04ba/s] |
| #75: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.77ba/s] |
| #58: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.04ba/s] |
| #57: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.96ba/s] |
| #61: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.07ba/s] |
| #60: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.02ba/s] |
| #66: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.27ba/s] |
| #55: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.79ba/s] |
| #59: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.89ba/s] |
| #64: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.03ba/s] |
| #62: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.95ba/s] |
| #69: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.17ba/s] |
| #70: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.16ba/s] |
| #83: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.70ba/s] |
| #71: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.18ba/s] |
| #77: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.35ba/s] |
| #82: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.56ba/s] |
| #74: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.20ba/s] |
| #86: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.77ba/s] |
| #72: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.08ba/s] |
| #88: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.82ba/s] |
| #73: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.02ba/s] |
| #76: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.08ba/s] |
| #93: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 3.07ba/s] |
| #94: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 3.05ba/s] |
| #79: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.06ba/s] |
| #85: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.38ba/s] |
| #95: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 3.11ba/s] |
| #87: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.42ba/s] |
| #89: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.61ba/s] |
| #90: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.66ba/s] |
| #80: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.02ba/s] |
| #84: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.20ba/s] |
| #81: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.98ba/s] |
| #92: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.62ba/s] |
| #78: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.89ba/s] |
| #91: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.24ba/s] |
| https://symbolize.stripped_domain/r/?trace=7fba8e9a4410,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a |
| 3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9 |
| a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e |
| 9a3d9d&map=921e3427503a047331cf19475748bda2:7fba80899000-7fba8ec9ec30 |
| E0102 13:51:27.875289 56422 process_state.cc:1069] RAW: Signal 11 raised at PC: 0x7fba8e9a4410 while already in FailureSignalHandler! |
| E0102 13:51:27.877104 56422 process_state.cc:1103] RAW: Raising 11 signal with default behavior |
| WARNING:__main__:Unable to display metrics through TensorBoard because some package are not installed: No module named 'tensorflow' |
| INFO:__main__:***** Running training ***** |
| INFO:__main__: Num examples = 26035798 |
| INFO:__main__: Num Epochs = 20 |
| INFO:__main__: Instantaneous batch size per device = 64 |
| INFO:__main__: Total train batch size (w. parallel & distributed) = 512 |
| INFO:__main__: Total optimization steps = 1017020 |
| Epoch ... : 0%| | 0/20 [01:32<?, ?it/s] |
| Traceback (most recent call last): |
| File "./run_clm_flax.py", line 766, in <module> |
| main() |
| File "./run_clm_flax.py", line 681, in main |
| state, train_metric = p_train_step(state, batch) |
| File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/jax/_src/traceback_util.py", line 162, in reraise_with_filtered_traceback |
| return fun(*args, **kwargs) |
| File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/jax/_src/api.py", line 2058, in cache_miss |
| out_tree, out_flat = f_pmapped_(*args, **kwargs) |
| File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/jax/_src/api.py", line 1934, in f_pmapped |
| out = pxla.xla_pmap( |
| File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/jax/core.py", line 1727, in bind |
| return call_bind(self, fun, *args, **params) |
| File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/jax/core.py", line 1652, in call_bind |
| outs = primitive.process(top_trace, fun, tracers, params) |
| File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/jax/core.py", line 1730, in process |
| return trace.process_map(self, fun, tracers, params) |
| File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/jax/core.py", line 633, in process_call |
| return primitive.impl(f, *tracers, **params) |
| File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/jax/interpreters/pxla.py", line 766, in xla_pmap_impl |
| compiled_fun, fingerprint = parallel_callable( |
| File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/jax/linear_util.py", line 263, in memoized_fun |
| ans = call(fun, *args) |
| File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/jax/interpreters/pxla.py", line 797, in parallel_callable |
| pmap_executable = pmap_computation.compile() |
| File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/jax/_src/profiler.py", line 206, in wrapper |
| return func(*args, **kwargs) |
| File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/jax/interpreters/pxla.py", line 1048, in compile |
| self._executable = PmapExecutable.from_hlo(self._hlo, *self.compile_args) |
| File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/jax/interpreters/pxla.py", line 1171, in from_hlo |
| compiled = dispatch.compile_or_get_cached( |
| File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/jax/_src/dispatch.py", line 534, in compile_or_get_cached |
| return backend_compile(backend, computation, compile_options) |
| File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/jax/_src/profiler.py", line 206, in wrapper |
| return func(*args, **kwargs) |
| File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/jax/_src/dispatch.py", line 514, in backend_compile |
| return backend.compile(built_c, compile_options=options) |
| jax._src.traceback_util.UnfilteredStackTrace: RuntimeError: RESOURCE_EXHAUSTED: Ran out of memory in memory space hbm. Used 33.22G of 15.48G hbm. Exceeded |
| hbm capacity by 17.74G. |
|
|
| Total hbm usage >= 33.74G: |
| reserved 530.00M |
| program 33.22G |
| arguments 0B |
|
|
| Output size 0B; shares 0B with arguments. |
|
|
| Program hbm requirement 33.22G: |
| global 196.0K |
| scoped 205.0K |
| HLO temp 33.22G (100.0% utilization: Unpadded (32.90G) Padded (32.91G), 1.0% fragmentation (323.29M)) |
|
|
| Largest program allocations in hbm: |
|
|
| 1. Size: 3.07G |
| Shape: bf16[64,511,50257]{1,2,0:T(8,128)(2,1)} |
| Unpadded size: 3.06G |
| Extra memory due to padding: 6.57M (1.0x expansion) |
| XLA label: %fusion.10.remat_uncompressed.remat2 = bf16[64,511,50257]{1,2,0:T(8,128)(2,1)} copy(bf16[64,511,50257]{2,0,1:T(8,128)(2,1)} %fusion.10.rema |
| t_compressed) |
| Allocation type: HLO temp |
| ========================== |
|
|
| 2. Size: 1.00G |
| Operator: op_type="dot_general" op_name="pmap(train_step)/jit(jvp(_einsum))/dot_general[\n dimension_numbers=(((3,), (3,)), ((0, 2), (0, 2)))\n prec |
| ision=None\n preferred_element_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/flax/linen/attention.py" source |
| _line=89 |
| Shape: f32[64,16,512,512]{2,3,1,0:T(8,128)} |
| Unpadded size: 1.00G |
| XLA label: %fusion.40.remat5 = f32[64,16,512,512]{2,3,1,0:T(8,128)} fusion(bf16[64,512,16,64]{1,3,2,0:T(8,128)(2,1)} %bitcast.17, bf16[64,512,16,64]{1 |
| ,3,2,0:T(8,128)(2,1)} %bitcast.18, f32[64,512,512]{1,2,0:T(8,128)} %get-tuple-element.5480), kind=kOutput, calls=%fus... |
| Allocation type: HLO temp |
| ========================== |
|
|
| 3. Size: 1.00G |
| Operator: op_type="dot_general" op_name="pmap(train_step)/jit(transpose(jvp(_einsum)))/dot_general[\n dimension_numbers=(((2,), (3,)), ((0, 1), (0, 2 |
| )))\n precision=None\n preferred_element_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/ |
| gpt2/modeling_flax_gpt2.py" source_line=275 |
| Shape: f32[64,16,512,512]{2,3,1,0:T(8,128)} |
| Unpadded size: 1.00G |
| XLA label: %fusion.7601.remat = f32[64,16,512,512]{2,3,1,0:T(8,128)} fusion(bf16[64,512,16,64]{1,3,2,0:T(8,128)(2,1)} %bitcast.2049, bf16[64,512,16,64 |
| ]{1,3,2,0:T(8,128)(2,1)} %bitcast.16), kind=kOutput, calls=%fused_computation.5202.clone, metadata={op_type="dot_gene... |
| Allocation type: HLO temp |
| ========================== |
|
|
| 4. Size: 256.00M |
| Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el |
| ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li |
| ne=122 |
| Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)} |
| Unpadded size: 256.00M |
| XLA label: %fusion.7169 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.592.remat2.1. |
| remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5486, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3342... |
| Allocation type: HLO temp |
| ========================== |
|
|
| 5. Size: 256.00M |
| Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el |
| ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li |
| ne=122 |
| Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)} |
| Unpadded size: 256.00M |
| XLA label: %fusion.7170 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.583.remat2.1. |
| remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5301, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3354... |
| Allocation type: HLO temp |
| ========================== |
|
|
| 6. Size: 256.00M |
| Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el |
| ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li |
| ne=122 |
| Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)} |
| Unpadded size: 256.00M |
| XLA label: %fusion.7171 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.582.remat2.1. |
| remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5286, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3366... |
| Allocation type: HLO temp |
| ========================== |
|
|
| 7. Size: 256.00M |
| Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el |
| ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li |
| ne=122 |
| Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)} |
| Unpadded size: 256.00M |
| XLA label: %fusion.7172 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.581.remat2.1. |
| remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5271, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3378... |
| Allocation type: HLO temp |
| ========================== |
|
|
| 8. Size: 256.00M |
| Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el |
| ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li |
| ne=122 |
| Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)} |
| Unpadded size: 256.00M |
| XLA label: %fusion.7173 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.580.remat2.1. |
| remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5256, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3390... |
| Allocation type: HLO temp |
| ========================== |
|
|
| 9. Size: 256.00M |
| Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el |
| ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li |
| ne=122 |
| Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)} |
| Unpadded size: 256.00M |
| XLA label: %fusion.7174 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.579.remat2.1. |
| remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5241, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3402... |
| Allocation type: HLO temp |
| ========================== |
|
|
| 10. Size: 256.00M |
| Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el |
| ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li |
| ne=122 |
| Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)} |
| Unpadded size: 256.00M |
| XLA label: %fusion.7175 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.578.remat2.1. |
| remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5226, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3414... |
| Allocation type: HLO temp |
| ========================== |
|
|
| 11. Size: 256.00M |
| Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el |
| ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li |
| ne=122 |
| Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)} |
| Unpadded size: 256.00M |
| XLA label: %fusion.7176 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.577.remat2.1. |
| remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5211, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3426... |
| Allocation type: HLO temp |
| ========================== |
|
|
| 12. Size: 256.00M |
| Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el |
| ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li |
| ne=122 |
| Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)} |
| Unpadded size: 256.00M |
| XLA label: %fusion.7177 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.576.remat2.1. |
| remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5196, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3438... |
| Allocation type: HLO temp |
| ========================== |
|
|
| 13. Size: 256.00M |
| Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el |
| ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li |
| ne=122 |
| Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)} |
| Unpadded size: 256.00M |
| XLA label: %fusion.7178 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.575.remat2.1. |
| remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5181, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3450... |
| Allocation type: HLO temp |
| ========================== |
|
|
| 14. Size: 256.00M |
| Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el |
| ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li |
| ne=122 |
| Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)} |
| Unpadded size: 256.00M |
| XLA label: %fusion.7179 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.574.remat2.1. |
| remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5166, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3462... |
| Allocation type: HLO temp |
| ========================== |
|
|
| 15. Size: 256.00M |
| Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el |
| ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li |
| ne=122 |
| Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)} |
| Unpadded size: 256.00M |
| XLA label: %fusion.7180 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.591.remat2.1. |
| remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5463, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3474... |
| Allocation type: HLO temp |
| ========================== |
|
|
| 16. Size: 256.00M |
| Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el |
| ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li |
| ne=122 |
| Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)} |
| Unpadded size: 256.00M |
| XLA label: %fusion.7181 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.573.remat2.1. |
| remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5151, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3486... |
| Allocation type: HLO temp |
| ========================== |
|
|
| 17. Size: 256.00M |
| Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el |
| ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li |
| ne=122 |
| Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)} |
| Unpadded size: 256.00M |
| XLA label: %fusion.7182 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.572.remat2.1. |
| remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5136, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3498... |
| Allocation type: HLO temp |
| ========================== |
|
|
| 18. Size: 256.00M |
| Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el |
| ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li |
| ne=122 |
| Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)} |
| Unpadded size: 256.00M |
| XLA label: %fusion.7183 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.571.remat2.1. |
| remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5121, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3510... |
| Allocation type: HLO temp |
| ========================== |
|
|
| 19. Size: 256.00M |
| Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el |
| ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li |
| ne=122 |
| Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)} |
| Unpadded size: 256.00M |
| XLA label: %fusion.7184 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.570.remat, f3 |
| 2[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.2077, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3522), kind=k... |
| Allocation type: HLO temp |
| ========================== |
|
|
| 20. Size: 256.00M |
| Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el |
| ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li |
| ne=122 |
| Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)} |
| Unpadded size: 256.00M |
| XLA label: %fusion.7185 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.590.remat2.1. |
| remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5440, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3534... |
| Allocation type: HLO temp |
| ========================== |
|
|
| The stack trace below excludes JAX-internal frames. |
| The preceding is the original exception that occurred, unmodified. |
|
|
| -------------------- |
|
|
| The above exception was the direct cause of the following exception: |
|
|
| Traceback (most recent call last): |
| File "./run_clm_flax.py", line 766, in <module> |
| main() |
| File "./run_clm_flax.py", line 681, in main |
| state, train_metric = p_train_step(state, batch) |
| File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/jax/_src/dispatch.py", line 514, in backend_compile |
| return backend.compile(built_c, compile_options=options) |
| RuntimeError: RESOURCE_EXHAUSTED: Ran out of memory in memory space hbm. Used 33.22G of 15.48G hbm. Exceeded hbm capacity by 17.74G. |
|
|
| Total hbm usage >= 33.74G: |
| reserved 530.00M |
| program 33.22G |
| arguments 0B |
|
|
| Output size 0B; shares 0B with arguments. |
|
|
| Program hbm requirement 33.22G: |
| global 196.0K |
| scoped 205.0K |
| HLO temp 33.22G (100.0% utilization: Unpadded (32.90G) Padded (32.91G), 1.0% fragmentation (323.29M)) |
|
|
| Largest program allocations in hbm: |
|
|
| 1. Size: 3.07G |
| Shape: bf16[64,511,50257]{1,2,0:T(8,128)(2,1)} |
| Unpadded size: 3.06G |
| Extra memory due to padding: 6.57M (1.0x expansion) |
| XLA label: %fusion.10.remat_uncompressed.remat2 = bf16[64,511,50257]{1,2,0:T(8,128)(2,1)} copy(bf16[64,511,50257]{2,0,1:T(8,128)(2,1)} %fusion.10.rema |
| t_compressed) |
| Allocation type: HLO temp |
| ========================== |
|
|
| 2. Size: 1.00G |
| Operator: op_type="dot_general" op_name="pmap(train_step)/jit(jvp(_einsum))/dot_general[\n dimension_numbers=(((3,), (3,)), ((0, 2), (0, 2)))\n prec |
| ision=None\n preferred_element_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/flax/linen/attention.py" source |
| _line=89 |
| Shape: f32[64,16,512,512]{2,3,1,0:T(8,128)} |
| Unpadded size: 1.00G |
| XLA label: %fusion.40.remat5 = f32[64,16,512,512]{2,3,1,0:T(8,128)} fusion(bf16[64,512,16,64]{1,3,2,0:T(8,128)(2,1)} %bitcast.17, bf16[64,512,16,64]{1 |
| ,3,2,0:T(8,128)(2,1)} %bitcast.18, f32[64,512,512]{1,2,0:T(8,128)} %get-tuple-element.5480), kind=kOutput, calls=%fus... |
| Allocation type: HLO temp |
| ========================== |
|
|
| 3. Size: 1.00G |
| Operator: op_type="dot_general" op_name="pmap(train_step)/jit(transpose(jvp(_einsum)))/dot_general[\n dimension_numbers=(((2,), (3,)), ((0, 1), (0, 2 |
| )))\n precision=None\n preferred_element_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/ |
| gpt2/modeling_flax_gpt2.py" source_line=275 |
| Shape: f32[64,16,512,512]{2,3,1,0:T(8,128)} |
| Unpadded size: 1.00G |
| XLA label: %fusion.7601.remat = f32[64,16,512,512]{2,3,1,0:T(8,128)} fusion(bf16[64,512,16,64]{1,3,2,0:T(8,128)(2,1)} %bitcast.2049, bf16[64,512,16,64 |
| ]{1,3,2,0:T(8,128)(2,1)} %bitcast.16), kind=kOutput, calls=%fused_computation.5202.clone, metadata={op_type="dot_gene... |
| Allocation type: HLO temp |
| ========================== |
|
|
| 4. Size: 256.00M |
| Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el |
| ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li |
| ne=122 |
| Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)} |
| Unpadded size: 256.00M |
| XLA label: %fusion.7169 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.592.remat2.1. |
| remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5486, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3342... |
| Allocation type: HLO temp |
| ========================== |
|
|
| 5. Size: 256.00M |
| Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el |
| ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li |
| ne=122 |
| Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)} |
| Unpadded size: 256.00M |
| XLA label: %fusion.7170 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.583.remat2.1. |
| remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5301, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3354... |
| Allocation type: HLO temp |
| ========================== |
|
|
| 6. Size: 256.00M |
| Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el |
| ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li |
| ne=122 |
| Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)} |
| Unpadded size: 256.00M |
| XLA label: %fusion.7171 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.582.remat2.1. |
| remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5286, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3366... |
| Allocation type: HLO temp |
| ========================== |
|
|
| 7. Size: 256.00M |
| Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el |
| ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li |
| ne=122 |
| Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)} |
| Unpadded size: 256.00M |
| XLA label: %fusion.7172 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.581.remat2.1. |
| remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5271, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3378... |
| Allocation type: HLO temp |
| ========================== |
|
|
| 8. Size: 256.00M |
| Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el |
| ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li |
| ne=122 |
| Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)} |
| Unpadded size: 256.00M |
| XLA label: %fusion.7173 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.580.remat2.1. |
| remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5256, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3390... |
| Allocation type: HLO temp |
| ========================== |
|
|
| 9. Size: 256.00M |
| Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el |
| ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li |
| ne=122 |
| Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)} |
| Unpadded size: 256.00M |
| XLA label: %fusion.7174 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.579.remat2.1. |
| remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5241, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3402... |
| Allocation type: HLO temp |
| ========================== |
|
|
| 10. Size: 256.00M |
| Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el |
| ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li |
| ne=122 |
| Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)} |
| Unpadded size: 256.00M |
| XLA label: %fusion.7175 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.578.remat2.1. |
| remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5226, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3414... |
| Allocation type: HLO temp |
| ========================== |
|
|
| 11. Size: 256.00M |
| Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el |
| ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li |
| ne=122 |
| Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)} |
| Unpadded size: 256.00M |
| XLA label: %fusion.7176 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.577.remat2.1. |
| remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5211, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3426... |
| Allocation type: HLO temp |
| ========================== |
|
|
| 12. Size: 256.00M |
| Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el |
| ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li |
| ne=122 |
| Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)} |
| Unpadded size: 256.00M |
| XLA label: %fusion.7177 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.576.remat2.1. |
| remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5196, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3438... |
| Allocation type: HLO temp |
| ========================== |
|
|
| 13. Size: 256.00M |
| Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el |
| ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li |
| ne=122 |
| Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)} |
| Unpadded size: 256.00M |
| XLA label: %fusion.7178 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.575.remat2.1. |
| remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5181, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3450... |
| Allocation type: HLO temp |
| ========================== |
|
|
| 14. Size: 256.00M |
| Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el |
| ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li |
| ne=122 |
| Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)} |
| Unpadded size: 256.00M |
| XLA label: %fusion.7179 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.574.remat2.1. |
| remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5166, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3462... |
| Allocation type: HLO temp |
| ========================== |
|
|
| 15. Size: 256.00M |
| Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el |
| ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li |
| ne=122 |
| Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)} |
| Unpadded size: 256.00M |
| XLA label: %fusion.7180 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.591.remat2.1. |
| remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5463, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3474... |
| Allocation type: HLO temp |
| ========================== |
|
|
| 16. Size: 256.00M |
| Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el |
| ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li |
| ne=122 |
| Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)} |
| Unpadded size: 256.00M |
| XLA label: %fusion.7181 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.573.remat2.1. |
| remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5151, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3486... |
| Allocation type: HLO temp |
| ========================== |
|
|
| 17. Size: 256.00M |
| Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el |
| ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li |
| ne=122 |
| Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)} |
| Unpadded size: 256.00M |
| XLA label: %fusion.7182 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.572.remat2.1. |
| remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5136, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3498... |
| Allocation type: HLO temp |
| ========================== |
|
|
| 18. Size: 256.00M |
| Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el |
| ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li |
| ne=122 |
| Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)} |
| Unpadded size: 256.00M |
| XLA label: %fusion.7183 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.571.remat2.1. |
| remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5121, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3510... |
| Allocation type: HLO temp |
| ========================== |
|
|
| 19. Size: 256.00M |
| Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el |
| ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li |
| ne=122 |
| Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)} |
| Unpadded size: 256.00M |
| XLA label: %fusion.7184 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.570.remat, f3 |
| 2[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.2077, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3522), kind=k... |
| Allocation type: HLO temp |
| ========================== |
|
|
| 20. Size: 256.00M |
| Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el |
| ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li |
| ne=122 |
| Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)} |
| Unpadded size: 256.00M |
| XLA label: %fusion.7185 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.590.remat2.1. |
| remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5440, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3534... |
| Allocation type: HLO temp |
| ========================== |
|
|
|
|
| (tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ |
| (tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ ^C |
| (tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ |
| (tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ |
| (tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ ^C |
| (tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ |
| (tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ ^C |
| (tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ ^C |
| (tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ ^C |
| (tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ script log.txt |
| Script started, file is log.txt |
| (base) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ vim log.txt |
| (base) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ qqqqqqq^C |
| (base) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
