Training in progress, step 100

adapter_config.json

@@ -1,7 +1,7 @@
 {
   "alpha_pattern": {},
   "auto_mapping": null,
-  "base_model_name_or_path": "TheBloke/Llama-2-7B-fp16",
+  "base_model_name_or_path": "meta-llama/Llama-2-7b-chat-hf",
   "bias": "none",
   "fan_in_fan_out": false,
   "inference_mode": true,
@@ -19,8 +19,8 @@
   "rank_pattern": {},
   "revision": null,
   "target_modules": [
-    "v_proj",
-    "q_proj"
+    "q_proj",
+    "v_proj"
   ],
   "task_type": "CAUSAL_LM",
   "use_rslora": false

adapter_model.safetensors

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:0c57a3981a1d85340aa53b276b5044ca6c66e687353b20c09d0f7b976e49907f
+oid sha256:74d9a39132bf72c76103b3379fa92065285e96773193162e78a7a56aba3616bf
 size 16794200

runs/Dec23_08-05-51_85d5b809d3dc/events.out.tfevents.1703318787.85d5b809d3dc.34377.0

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:9347613e761606c8970d63c28ab98c8c15c9d416e386f46fabca68d04ffe3556
+size 6671

special_tokens_map.json

@@ -2,14 +2,14 @@
   "bos_token": {
     "content": "<s>",
     "lstrip": false,
-    "normalized": true,
+    "normalized": false,
     "rstrip": false,
     "single_word": false
   },
   "eos_token": {
     "content": "</s>",
     "lstrip": false,
-    "normalized": true,
+    "normalized": false,
     "rstrip": false,
     "single_word": false
   },
@@ -17,7 +17,7 @@
   "unk_token": {
     "content": "<unk>",
     "lstrip": false,
-    "normalized": true,
+    "normalized": false,
     "rstrip": false,
     "single_word": false
   }

tokenizer.json

@@ -14,7 +14,7 @@
       "single_word": false,
       "lstrip": false,
       "rstrip": false,
-      "normalized": true,
+      "normalized": false,
       "special": true
     },
     {
@@ -23,7 +23,7 @@
       "single_word": false,
       "lstrip": false,
       "rstrip": false,
-      "normalized": true,
+      "normalized": false,
       "special": true
     },
     {
@@ -32,7 +32,7 @@
       "single_word": false,
       "lstrip": false,
       "rstrip": false,
-      "normalized": true,
+      "normalized": false,
       "special": true
     }
   ],
@@ -93271,126 +93271,126 @@
       "▁livre s",
       "lu b",
       "l ub",
+      "▁ ▁",
       "▁▁ ▁▁",
-      "▁▁ ▁▁▁▁",
-      "▁▁ ▁▁▁▁▁▁▁▁",
-      "▁▁ ▁▁▁▁▁",
+      "▁▁▁ ▁",
+      "▁ ▁▁▁",
       "▁▁ ▁▁▁▁▁▁",
-      "▁▁ ▁▁▁▁▁▁▁▁▁▁▁▁",
-      "▁▁ ▁▁▁▁▁▁▁▁▁▁▁▁▁",
-      "▁▁ ▁▁▁▁▁▁▁▁▁▁",
-      "▁▁ ▁▁▁▁▁▁▁▁▁▁▁▁▁▁",
-      "▁▁ ▁▁▁",
-      "▁▁ ▁▁▁▁▁▁▁▁▁",
-      "▁▁ ▁▁▁▁▁▁▁",
-      "▁▁ ▁▁▁▁▁▁▁▁▁▁▁",
-      "▁▁ ▁",
-      "▁▁▁▁ ▁▁",
       "▁▁▁▁ ▁▁▁▁",
-      "▁▁▁▁ ▁▁▁▁▁▁▁▁",
-      "▁▁▁▁ ▁▁▁▁▁",
-      "▁▁▁▁ ▁▁▁▁▁▁",
-      "▁▁▁▁ ▁▁▁▁▁▁▁▁▁▁▁▁",
-      "▁▁▁▁ ▁▁▁▁▁▁▁▁▁▁",
-      "▁▁▁▁ ▁▁▁",
-      "▁▁▁▁ ▁▁▁▁▁▁▁▁▁",
-      "▁▁▁▁ ▁▁▁▁▁▁▁",
-      "▁▁▁▁ ▁▁▁▁▁▁▁▁▁▁▁",
+      "▁▁▁▁▁ ▁▁▁",
+      "▁▁▁▁▁▁ ▁▁",
+      "▁▁▁ ▁▁▁▁▁",
+      "▁▁▁▁▁▁▁ ▁",
+      "▁ ▁▁▁▁▁▁▁",
+      "▁▁ ▁▁▁",
       "▁▁▁▁ ▁",
-      "▁▁▁▁▁▁▁▁ ▁▁",
-      "▁▁▁▁▁▁▁▁ ▁▁▁▁",
+      "▁▁▁ ▁▁",
+      "▁ ▁▁▁▁",
+      "▁▁ ▁▁▁▁▁▁▁▁▁▁▁▁▁▁",
+      "▁▁▁▁ ▁▁▁▁▁▁▁▁▁▁▁▁",
       "▁▁▁▁▁▁▁▁ ▁▁▁▁▁▁▁▁",
-      "▁▁▁▁▁▁▁▁ ▁▁▁▁▁",
-      "▁▁▁▁▁▁▁▁ ▁▁▁▁▁▁",
-      "▁▁▁▁▁▁▁▁ ▁▁▁",
-      "▁▁▁▁▁▁▁▁ ▁▁▁▁▁▁▁",
-      "▁▁▁▁▁▁▁▁ ▁",
-      "▁▁▁▁▁ ▁▁",
-      "▁▁▁▁▁ ▁▁▁▁",
-      "▁▁▁▁▁ ▁▁▁▁▁▁▁▁",
-      "▁▁▁▁▁ ▁▁▁▁▁",
-      "▁▁▁▁▁ ▁▁▁▁▁▁",
-      "▁▁▁▁▁ ▁▁▁▁▁▁▁▁▁▁",
-      "▁▁▁▁▁ ▁▁▁",
-      "▁▁▁▁▁ ▁▁▁▁▁▁▁▁▁",
-      "▁▁▁▁▁ ▁▁▁▁▁▁▁",
       "▁▁▁▁▁ ▁▁▁▁▁▁▁▁▁▁▁",
-      "▁▁▁▁▁ ▁",
-      "▁▁▁▁▁▁ ▁▁",
-      "▁▁▁▁▁▁ ▁▁▁▁",
-      "▁▁▁▁▁▁ ▁▁▁▁▁▁▁▁",
-      "▁▁▁▁▁▁ ▁▁▁▁▁",
-      "▁▁▁▁▁▁ ▁▁▁▁▁▁",
       "▁▁▁▁▁▁ ▁▁▁▁▁▁▁▁▁▁",
-      "▁▁▁▁▁▁ ▁▁▁",
-      "▁▁▁▁▁▁ ▁▁▁▁▁▁▁▁▁",
-      "▁▁▁▁▁▁ ▁▁▁▁▁▁▁",
-      "▁▁▁▁▁▁ ▁",
-      "▁▁▁▁▁▁▁▁▁▁▁▁ ▁▁",
       "▁▁▁▁▁▁▁▁▁▁▁▁ ▁▁▁▁",
-      "▁▁▁▁▁▁▁▁▁▁▁▁ ▁▁▁",
-      "▁▁▁▁▁▁▁▁▁▁▁▁ ▁",
-      "▁▁▁▁▁▁▁▁▁▁▁▁▁ ▁▁",
       "▁▁▁▁▁▁▁▁▁▁▁▁▁ ▁▁▁",
-      "▁▁▁▁▁▁▁▁▁▁▁▁▁ ▁",
-      "▁▁▁▁▁▁▁▁▁▁ ▁▁",
-      "▁▁▁▁▁▁▁▁▁▁ ▁▁▁▁",
-      "▁▁▁▁▁▁▁▁▁▁ ▁▁▁▁▁",
       "▁▁▁▁▁▁▁▁▁▁ ▁▁▁▁▁▁",
-      "▁▁▁▁▁▁▁▁▁▁ ▁▁▁",
-      "▁▁▁▁▁▁▁▁▁▁ ▁",
       "▁▁▁▁▁▁▁▁▁▁▁▁▁▁ ▁▁",
-      "▁▁▁▁▁▁▁▁▁▁▁▁▁▁ ▁",
-      "▁▁▁ ▁▁",
-      "▁▁▁ ▁▁▁▁",
-      "▁▁▁ ▁▁▁▁▁▁▁▁",
-      "▁▁▁ ▁▁▁▁▁",
-      "▁▁▁ ▁▁▁▁▁▁",
-      "▁▁▁ ▁▁▁▁▁▁▁▁▁▁▁▁",
       "▁▁▁ ▁▁▁▁▁▁▁▁▁▁▁▁▁",
-      "▁▁▁ ▁▁▁▁▁▁▁▁▁▁",
+      "▁▁▁▁▁▁▁▁▁ ▁▁▁▁▁▁▁",
+      "▁▁▁▁▁▁▁ ▁▁▁▁▁▁▁▁▁",
+      "▁▁▁▁▁▁▁▁▁▁▁ ▁▁▁▁▁",
+      "▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁ ▁",
+      "▁ ▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁",
+      "▁▁ ▁▁▁▁",
+      "▁▁▁▁ ▁▁",
+      "▁▁▁▁▁ ▁",
       "▁▁▁ ▁▁▁",
+      "▁ ▁▁▁▁▁",
+      "▁▁ ▁▁▁▁▁▁▁▁▁▁",
+      "▁▁▁▁ ▁▁▁▁▁▁▁▁",
+      "▁▁▁▁▁▁▁▁ ▁▁▁▁",
+      "▁▁▁▁▁ ▁▁▁▁▁▁▁",
+      "▁▁▁▁▁▁ ▁▁▁▁▁▁",
+      "▁▁▁▁▁▁▁▁▁▁ ▁▁",
       "▁▁▁ ▁▁▁▁▁▁▁▁▁",
-      "▁▁▁ ▁▁▁▁▁▁▁",
-      "▁▁▁ ▁▁▁▁▁▁▁▁▁▁▁",
-      "▁▁▁ ▁",
-      "▁▁▁▁▁▁▁▁▁ ▁▁",
-      "▁▁▁▁▁▁▁▁▁ ▁▁▁▁",
-      "▁▁▁▁▁▁▁▁▁ ▁▁▁▁▁",
-      "▁▁▁▁▁▁▁▁▁ ▁▁▁▁▁▁",
       "▁▁▁▁▁▁▁▁▁ ▁▁▁",
-      "▁▁▁▁▁▁▁▁▁ ▁▁▁▁▁▁▁",
-      "▁▁▁▁▁▁▁▁▁ ▁",
-      "▁▁▁▁▁▁▁ ▁▁",
-      "▁▁▁▁▁▁▁ ▁▁▁▁",
-      "▁▁▁▁▁▁▁ ▁▁▁▁▁▁▁▁",
       "▁▁▁▁▁▁▁ ▁▁▁▁▁",
+      "▁▁▁▁▁▁▁▁▁▁▁ ▁",
+      "▁ ▁▁▁▁▁▁▁▁▁▁▁",
+      "▁▁ ▁▁▁▁▁▁▁▁▁▁▁",
+      "▁▁▁▁ ▁▁▁▁▁▁▁▁▁",
+      "▁▁▁▁▁▁▁▁ ▁▁▁▁▁",
+      "▁▁▁▁▁ ▁▁▁▁▁▁▁▁",
+      "▁▁▁▁▁▁ ▁▁▁▁▁▁▁",
+      "▁▁▁▁▁▁▁▁▁▁▁▁ ▁",
+      "▁▁▁▁▁▁▁▁▁▁ ▁▁▁",
+      "▁▁▁ ▁▁▁▁▁▁▁▁▁▁",
+      "▁▁▁▁▁▁▁▁▁ ▁▁▁▁",
       "▁▁▁▁▁▁▁ ▁▁▁▁▁▁",
+      "▁▁▁▁▁▁▁▁▁▁▁ ▁▁",
+      "▁ ▁▁▁▁▁▁▁▁▁▁▁▁",
+      "▁▁ ▁▁▁▁▁▁▁▁",
+      "▁▁▁▁ ▁▁▁▁▁▁",
+      "▁▁▁▁▁▁▁▁ ▁▁",
+      "▁▁▁▁▁ ▁▁▁▁▁",
+      "▁▁▁▁▁▁ ▁▁▁▁",
+      "▁▁▁ ▁▁▁▁▁▁▁",
+      "▁▁▁▁▁▁▁▁▁ ▁",
       "▁▁▁▁▁▁▁ ▁▁▁",
-      "▁▁▁▁▁▁▁ ▁▁▁▁▁▁▁▁▁",
+      "▁ ▁▁▁▁▁▁▁▁▁",
+      "▁▁ ▁▁▁▁▁▁▁▁▁▁▁▁",
+      "▁▁▁▁ ▁▁▁▁▁▁▁▁▁▁",
+      "▁▁▁▁▁▁▁▁ ▁▁▁▁▁▁",
+      "▁▁▁▁▁ ▁▁▁▁▁▁▁▁▁",
+      "▁▁▁▁▁▁ ▁▁▁▁▁▁▁▁",
+      "▁▁▁▁▁▁▁▁▁▁▁▁ ▁▁",
+      "▁▁▁▁▁▁▁▁▁▁▁▁▁ ▁",
+      "▁▁▁▁▁▁▁▁▁▁ ▁▁▁▁",
+      "▁▁▁ ▁▁▁▁▁▁▁▁▁▁▁",
+      "▁▁▁▁▁▁▁▁▁ ▁▁▁▁▁",
       "▁▁▁▁▁▁▁ ▁▁▁▁▁▁▁",
-      "▁▁▁▁▁▁▁ ▁",
-      "▁▁▁▁▁▁▁▁▁▁▁ ▁▁",
-      "▁▁▁▁▁▁▁▁▁▁▁ ▁▁▁▁",
-      "▁▁▁▁▁▁▁▁▁▁▁ ▁▁▁▁▁",
       "▁▁▁▁▁▁▁▁▁▁▁ ▁▁▁",
-      "▁▁▁▁▁▁▁▁▁▁▁ ▁",
-      "▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁ ▁",
+      "▁ ▁▁▁▁▁▁▁▁▁▁▁▁▁",
+      "▁▁ ▁",
       "▁ ▁▁",
-      "▁ ▁▁▁▁",
+      "▁▁ ▁▁▁▁▁▁▁",
+      "▁▁▁▁ ▁▁▁▁▁",
+      "▁▁▁▁▁▁▁▁ ▁",
+      "▁▁▁▁▁ ▁▁▁▁",
+      "▁▁▁▁▁▁ ▁▁▁",
+      "▁▁▁ ▁▁▁▁▁▁",
+      "▁▁▁▁▁▁▁ ▁▁",
       "▁ ▁▁▁▁▁▁▁▁",
-      "▁ ▁▁▁▁▁",
+      "▁▁ ▁▁▁▁▁",
+      "▁▁▁▁ ▁▁▁",
+      "▁▁▁▁▁ ▁▁",
+      "▁▁▁▁▁▁ ▁",
+      "▁▁▁ ▁▁▁▁",
       "▁ ▁▁▁▁▁▁",
-      "▁ ▁▁▁▁▁▁▁▁▁▁▁▁",
-      "▁ ▁▁▁▁▁▁▁▁▁▁▁▁▁",
+      "▁▁ ▁▁▁▁▁▁▁▁▁",
+      "▁▁▁▁ ▁▁▁▁▁▁▁",
+      "▁▁▁▁▁▁▁▁ ▁▁▁",
+      "▁▁▁▁▁ ▁▁▁▁▁▁",
+      "▁▁▁▁▁▁ ▁▁▁▁▁",
+      "▁▁▁▁▁▁▁▁▁▁ ▁",
+      "▁▁▁ ▁▁▁▁▁▁▁▁",
+      "▁▁▁▁▁▁▁▁▁ ▁▁",
+      "▁▁▁▁▁▁▁ ▁▁▁▁",
       "▁ ▁▁▁▁▁▁▁▁▁▁",
-      "▁ ▁▁▁▁▁▁▁▁▁▁▁▁▁▁",
-      "▁ ▁▁▁",
-      "▁ ▁▁▁▁▁▁▁▁▁",
-      "▁ ▁▁▁▁▁▁▁",
-      "▁ ▁▁▁▁▁▁▁▁▁▁▁",
-      "▁ ▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁",
-      "▁ ▁"
+      "▁▁ ▁▁▁▁▁▁▁▁▁▁▁▁▁",
+      "▁▁▁▁ ▁▁▁▁▁▁▁▁▁▁▁",
+      "▁▁▁▁▁▁▁▁ ▁▁▁▁▁▁▁",
+      "▁▁▁▁▁ ▁▁▁▁▁▁▁▁▁▁",
+      "▁▁▁▁▁▁ ▁▁▁▁▁▁▁▁▁",
+      "▁▁▁▁▁▁▁▁▁▁▁▁ ▁▁▁",
+      "▁▁▁▁▁▁▁▁▁▁▁▁▁ ▁▁",
+      "▁▁▁▁▁▁▁▁▁▁ ▁▁▁▁▁",
+      "▁▁▁���▁▁▁▁▁▁▁▁▁▁ ▁",
+      "▁▁▁ ▁▁▁▁▁▁▁▁▁▁▁▁",
+      "▁▁▁▁▁▁▁▁▁ ▁▁▁▁▁▁",
+      "▁▁▁▁▁▁▁ ▁▁▁▁▁▁▁▁",
+      "▁▁▁▁▁▁▁▁▁▁▁ ▁▁▁▁",
+      "▁ ▁▁▁▁▁▁▁▁▁▁▁▁▁▁"
     ]
   }
 }

tokenizer_config.json

@@ -5,7 +5,7 @@
     "0": {
       "content": "<unk>",
       "lstrip": false,
-      "normalized": true,
+      "normalized": false,
       "rstrip": false,
       "single_word": false,
       "special": true
@@ -13,7 +13,7 @@
     "1": {
       "content": "<s>",
       "lstrip": false,
-      "normalized": true,
+      "normalized": false,
       "rstrip": false,
       "single_word": false,
       "special": true
@@ -21,18 +21,21 @@
     "2": {
       "content": "</s>",
       "lstrip": false,
-      "normalized": true,
+      "normalized": false,
       "rstrip": false,
       "single_word": false,
       "special": true
     }
   },
   "bos_token": "<s>",
+  "chat_template": "{% if messages[0]['role'] == 'system' %}{% set loop_messages = messages[1:] %}{% set system_message = messages[0]['content'] %}{% else %}{% set loop_messages = messages %}{% set system_message = false %}{% endif %}{% for message in loop_messages %}{% if (message['role'] == 'user') != (loop.index0 % 2 == 0) %}{{ raise_exception('Conversation roles must alternate user/assistant/user/assistant/...') }}{% endif %}{% if loop.index0 == 0 and system_message != false %}{% set content = '<<SYS>>\\n' + system_message + '\\n<</SYS>>\\n\\n' + message['content'] %}{% else %}{% set content = message['content'] %}{% endif %}{% if message['role'] == 'user' %}{{ bos_token + '[INST] ' + content.strip() + ' [/INST]' }}{% elif message['role'] == 'assistant' %}{{ ' '  + content.strip() + ' ' + eos_token }}{% endif %}{% endfor %}",
   "clean_up_tokenization_spaces": false,
   "eos_token": "</s>",
+  "legacy": false,
   "model_max_length": 1000000000000000019884624838656,
   "pad_token": "</s>",
   "padding": true,
+  "padding_side": "right",
   "sp_model_kwargs": {},
   "tokenizer_class": "LlamaTokenizer",
   "unk_token": "<unk>",

training_args.bin

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:f02e3a0c43b750293239c60d6786dcbc618d979461b070ccf987547dd42c1802
+oid sha256:b7fc5a6e041093eb9a4f1b2440d028a0c271552fcb064da1168f340f47b6cab9
 size 4728