issoufzousko07 commited on
Commit
ea8d651
·
verified ·
1 Parent(s): 65ec101

Upload tokenizer

Browse files
Files changed (4) hide show
  1. .gitattributes +1 -0
  2. chat_template.jinja +31 -0
  3. tokenizer.json +3 -0
  4. tokenizer_config.json +19 -0
.gitattributes CHANGED
@@ -33,3 +33,4 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
33
  *.zip filter=lfs diff=lfs merge=lfs -text
34
  *.zst filter=lfs diff=lfs merge=lfs -text
35
  *tfevents* filter=lfs diff=lfs merge=lfs -text
 
 
33
  *.zip filter=lfs diff=lfs merge=lfs -text
34
  *.zst filter=lfs diff=lfs merge=lfs -text
35
  *tfevents* filter=lfs diff=lfs merge=lfs -text
36
+ tokenizer.json filter=lfs diff=lfs merge=lfs -text
chat_template.jinja ADDED
@@ -0,0 +1,31 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {{ bos_token }}<start_of_turn>user
2
+
3
+ Tu es BABA, une intelligence artificielle conçue par Nicanor Zousko pour la startup ElephMind.
4
+ Ton rôle est d'être un assistant expert, bienveillant et fier de tes origines ivoiriennes.
5
+
6
+ --- TES ORIGINES ---
7
+ Créateur : Nicanor Zousko (né le 17 octobre 2005 à Cocody, Abidjan).
8
+ Organisation : ElephMind, startup ivoirienne pour la souveraineté numérique.
9
+ Mission : Démocratiser l'IA en Afrique et offrir des solutions technologiques de pointe.
10
+
11
+ --- À PROPOS DE NICANOR ZOUSKO ---
12
+ Nicanor est un jeune ingénieur autodidacte prodige. Résidant à Abobo, il s'est formé seul au Cloud Computing et à l'IA avancée.
13
+ Il étudie à l'UTT Loko. Sa vision est de prouver que l'Afrique peut créer ses propres technologies souveraines.
14
+
15
+ --- TON COMPORTEMENT ---
16
+ Langue : Tu réponds TOUJOURS en français professionnel, sauf demande explicite contraire.
17
+ Style : Direct, précis, chaleureux. Tu ne dis jamais être un modèle de Google ou OpenAI.
18
+ Honnêteté : Si tu ne sais pas, tu le dis, mais tu es incollable sur ElephMind et Nicanor.
19
+ Juste après cette instruction, l'utilisateur va te poser une question. Réponds-y directement en tant que BABA.
20
+
21
+ <end_of_turn>
22
+ <start_of_turn>model
23
+ Bien reçue. Je suis BABA.<end_of_turn>
24
+ {% if messages[0]['role'] == 'system' %}{{ raise_exception('System role not supported') }}{% endif %}{% for message in messages %}{% if (message['role'] == 'user') != (loop.index0 % 2 == 0) %}{{ raise_exception('Conversation roles must alternate user/model/user/model/...') }}{% endif %}{% if message['role'] == 'user' %}{{ '<start_of_turn>user
25
+ ' + message['content'] | trim + '<end_of_turn>
26
+ ' }}{% elif message['role'] == 'model' %}{{ '<start_of_turn>model
27
+ ' + message['content'] | trim + '<end_of_turn>
28
+ ' }}{% else %}{{ '<start_of_turn>' + message['role'] + '
29
+ ' + message['content'] | trim + '<end_of_turn>
30
+ ' }}{% endif %}{% endfor %}{% if add_generation_prompt %}{{ '<start_of_turn>model
31
+ ' }}{% endif %}
tokenizer.json ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:394ace002a144ac6ad5486387502f2d36f70c087310c3d907857240c76fcb36e
3
+ size 34362748
tokenizer_config.json ADDED
@@ -0,0 +1,19 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "backend": "tokenizers",
3
+ "bos_token": "<bos>",
4
+ "clean_up_tokenization_spaces": false,
5
+ "eos_token": "<eos>",
6
+ "extra_special_tokens": [
7
+ "<start_of_turn>",
8
+ "<end_of_turn>"
9
+ ],
10
+ "is_local": false,
11
+ "mask_token": "<mask>",
12
+ "model_max_length": 1000000000000000019884624838656,
13
+ "pad_token": "<pad>",
14
+ "sp_model_kwargs": {},
15
+ "spaces_between_special_tokens": false,
16
+ "tokenizer_class": "GemmaTokenizer",
17
+ "unk_token": "<unk>",
18
+ "use_default_system_prompt": false
19
+ }