rick commited on
Commit
86b2839
·
unverified ·
1 Parent(s): 9f5792a

changes in the ui lang generator script

Browse files
Files changed (1) hide show
  1. scripts/gen_ui_lang_support.py +103 -49
scripts/gen_ui_lang_support.py CHANGED
@@ -1,12 +1,14 @@
1
  #!/usr/bin/env python3
2
  #coding:utf-8
3
 
 
4
  from os import getenv
5
- from typing import Optional, Any, Union
 
 
6
  import re
7
  import json
8
  import datetime
9
- from openai import OpenAI
10
 
11
 
12
  SUPPORTED_LANGUAGES=[
@@ -21,10 +23,10 @@ SUPPORTED_LANGUAGES_FR_ = [
21
  LANG__ = [ "English" ]
22
 
23
  traductions_ui_dict = {
24
- "Français": {
25
  "titre": "------- DEMORRHA -------",
26
  "entrez_message": "Entrez votre message ici:",
27
- "enregistrez_message": "Ou enregistrez votre message audio :",
28
  "cliquez_enregistrer": "Cliquez pour enregistrer",
29
  "cliquez_arreter": "Cliquez pour arrêter l'enregistrement",
30
  "cliquez_pause": "Cliquez pour mettre en pause",
@@ -56,11 +58,91 @@ traductions_ui_dict = {
56
  "erreur_traitement": "Une erreur s'est produite lors du traitement de votre message : {}",
57
  "erreur_tts": "Une erreur s'est produite lors de la génération du texte en parole : {}",
58
  "chargement": "Chargement en cours...",
59
- "aucun_message": "Aucun message pour le moment. Commencez la conversation !"
 
60
  }
61
  }
62
 
63
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
64
  def generate_ui_lang_support(
65
  base_ui_lang: Optional[str] = "Français",
66
  target_ui_lang: Optional[Union[str, list]] = SUPPORTED_LANGUAGES_FR_) -> str:
@@ -79,48 +161,6 @@ def generate_ui_lang_support(
79
  # raise an error if `base_ui_lang` is the same as `target_ui_lang`
80
  raise ValueError(f"La langue de l'interface {base_ui_lang} est la même que la langue de destination {target_ui_lang}. Veuillez choisir une autre langue de destination.")
81
 
82
-
83
- def get_prompt_translation_ui_text(base_lang: str,
84
- target_lang: str) -> str:
85
- prompt_ = "\n".join([
86
- f"Je souhaite que vous agissiez en tant que traducteur linguistique, correcteur d'orthographe et améliorateur.",
87
- f"Je vous donne un texte en {base_lang} et je vous demande de le traduire en {target_lang}. Puis répondez dans une version corrigée et améliorée de mon texte, dans la langue de destination.",
88
- f"Je souhaite que vous remplaciez mes mots et phrases par des termes et expressions les plus appropriés dans la langue de destination. Conservez le même sens, mais corrigez les fautes.",
89
- f"Je vous demande de ne répondre que par les corrections et améliorations, sans ajouter d'explications.",
90
- f"Lorsque je soumets un texte à traiter, je procéderai de la manière suivante pour délimiter le début et la fin du ou des blocs de texte que tu devras traiter : j'utiliserai trois caractères de guillemets doubles pour délimiter le début d'un bloc de texte à traiter ; j'utiliserai trois caractères de guillemets doubles pour délimiter la fin d'un bloc de texte à traiter. Le texte sera compris entre ces délimitations, que ce soit par format ou par taille du texte dans un bloc à traiter. Si mon texte est sur une seule ligne, il est possible que je place également les délimiteurs de début et de fin sur la même ligne.",
91
- f"Il est impératif que tu respectes le format d'origine au mieux ; donc, à moins qu'il soit absolument nécessaire de corriger le formatage, respecte au mieux ce détail. (Par exemple, tout en une ligne ou sur plusieurs... tu respectes le formatage d'origine. Par contre, tu peux, par exemple, corriger les espaces, tabulations et autres éléments superflus.)"
92
- ])
93
- return prompt_
94
-
95
- def get_openai_connected_client():
96
- openai_client = OpenAI(api_key=getenv("OPENAI_API_KEY"))
97
- return openai_client
98
-
99
- def create_chat_completion(client,
100
- system_prompt,
101
- user_input,
102
- model="gpt-4o-mini",
103
- temperature=0.01,):
104
- response = client.chat.completions.create(
105
- model=f"{model}",
106
- temperature=temperature,
107
- messages=[
108
- {
109
- "role": "system",
110
- "content": f"{system_prompt}"
111
- },
112
- {
113
- "role": "user",
114
- "content": f"{user_input}"
115
- }
116
- ]
117
- )
118
- return response.choices[0].message.content
119
-
120
- def remove_response_separator(response_text:str) -> str:
121
- # Utiliser un regex pour retirer les trois premières et dernières doubles quotes
122
- return re.sub(r'^"{3}|"{3}$', '', response_text.strip())
123
-
124
  openai_client = get_openai_connected_client()
125
 
126
  cnt=0
@@ -157,12 +197,26 @@ def generate_ui_lang_support(
157
 
158
  return json.dumps(traductions_ui_dict, indent=4, ensure_ascii=False, sort_keys=False)
159
 
 
 
 
 
 
 
 
 
 
 
 
 
160
 
161
 
162
  if __name__ == "__main__":
 
 
163
  JSON_UI_LANG_SUPPORT = generate_ui_lang_support(
164
- base_ui_lang="Français",
165
- target_ui_lang=SUPPORTED_LANGUAGES_FR_
166
  )
167
 
168
  # encoding , fr_FR.UTF-8
 
1
  #!/usr/bin/env python3
2
  #coding:utf-8
3
 
4
+ from openai import OpenAI
5
  from os import getenv
6
+ from typing import Optional
7
+ from typing import Union
8
+ from typing import Any
9
  import re
10
  import json
11
  import datetime
 
12
 
13
 
14
  SUPPORTED_LANGUAGES=[
 
23
  LANG__ = [ "English" ]
24
 
25
  traductions_ui_dict = {
26
+ "French": {
27
  "titre": "------- DEMORRHA -------",
28
  "entrez_message": "Entrez votre message ici:",
29
+ "enregistrez_message": "Choisissez ou enregistrez votre message audio :",
30
  "cliquez_enregistrer": "Cliquez pour enregistrer",
31
  "cliquez_arreter": "Cliquez pour arrêter l'enregistrement",
32
  "cliquez_pause": "Cliquez pour mettre en pause",
 
58
  "erreur_traitement": "Une erreur s'est produite lors du traitement de votre message : {}",
59
  "erreur_tts": "Une erreur s'est produite lors de la génération du texte en parole : {}",
60
  "chargement": "Chargement en cours...",
61
+ "aucun_message": "Aucun message pour le moment. Commencez la conversation !",
62
+ "telecharger_audio": "Télécharger l'audio"
63
  }
64
  }
65
 
66
 
67
+ def read_json_file(file_path: str) -> dict:
68
+ with open(file_path, "r") as json_file:
69
+ data = json.load(json_file)# hey copilot what is the type of data ? : dict
70
+ return data
71
+
72
+ def write_json_file(file_path: str, data: Union[str, bytes, dict]) -> None:
73
+ try:
74
+ if type(data) == str:
75
+ data = data.encode("utf-8")
76
+ if type(data) == dict:
77
+ data = json.dumps(data, indent=4, ensure_ascii=False, sort_keys=False).encode("utf-8")
78
+ with open(file_path, "wb") as json_file:
79
+ json_file.write(data)
80
+ json_file.close()
81
+ except Exception as e:
82
+ raise e
83
+
84
+ def get_prompt_translation_ui_text(base_lang: str,
85
+ target_lang: str) -> str:
86
+ prompt_ = "\n".join([
87
+ f"Je souhaite que vous agissiez en tant que traducteur linguistique, correcteur d'orthographe et améliorateur.",
88
+ f"Je vous donne un texte en {base_lang} et je vous demande de le traduire en {target_lang}. Puis répondez dans une version corrigée et améliorée de mon texte, dans la langue de destination.",
89
+ f"Je souhaite que vous remplaciez mes mots et phrases par des termes et expressions les plus appropriés dans la langue de destination. Conservez le même sens, mais corrigez les fautes.",
90
+ f"Je vous demande de ne répondre que par les corrections et améliorations, sans ajouter d'explications.",
91
+ f"Lorsque je soumets un texte à traiter, je procéderai de la manière suivante pour délimiter le début et la fin du ou des blocs de texte que tu devras traiter : j'utiliserai trois caractères de guillemets doubles pour délimiter le début d'un bloc de texte à traiter ; j'utiliserai trois caractères de guillemets doubles pour délimiter la fin d'un bloc de texte à traiter. Le texte sera compris entre ces délimitations, que ce soit par format ou par taille du texte dans un bloc à traiter. Si mon texte est sur une seule ligne, il est possible que je place également les délimiteurs de début et de fin sur la même ligne.",
92
+ f"Il est impératif que tu respectes le format d'origine au mieux ; donc, à moins qu'il soit absolument nécessaire de corriger le formatage, respecte au mieux ce détail. (Par exemple, tout en une ligne ou sur plusieurs... tu respectes le formatage d'origine. Par contre, tu peux, par exemple, corriger les espaces, tabulations et autres éléments superflus.)"
93
+ ])
94
+ return prompt_
95
+
96
+ def get_openai_connected_client():
97
+ openai_client = OpenAI(api_key=getenv("OPENAI_API_KEY"))
98
+ return openai_client
99
+
100
+ def create_chat_completion(client,
101
+ system_prompt,
102
+ user_input,
103
+ model="gpt-4o-mini",
104
+ temperature=0.01,):
105
+ response = client.chat.completions.create(
106
+ model=f"{model}",
107
+ temperature=temperature,
108
+ messages=[
109
+ {
110
+ "role": "system",
111
+ "content": f"{system_prompt}"
112
+ },
113
+ {
114
+ "role": "user",
115
+ "content": f"{user_input}"
116
+ }
117
+ ]
118
+ )
119
+ return response.choices[0].message.content
120
+
121
+ def remove_response_separator(response_text:str) -> str:
122
+ # Utiliser un regex pour retirer les trois premières et dernières doubles quotes
123
+ return re.sub(r'^"{3}|"{3}$', '', response_text.strip())
124
+
125
+
126
+ def translate_ui_template_string(file_path: str,
127
+ base_ui_lang: str,
128
+ target_ui_lang: str) -> str:
129
+ openai_client = get_openai_connected_client()
130
+ PROMPT_ = get_prompt_translation_ui_text(base_ui_lang, target_ui_lang)
131
+ ui_lang_dict = read_json_file(file_path)
132
+ traductions_ui_dict[target_ui_lang] = {}
133
+ for key, text_ui in ui_lang_dict[base_ui_lang].items():
134
+ operation_prompt = f"Translate(\'{base_ui_lang}\' to \'{target_ui_lang}\')"
135
+ traduction_text_ui = remove_response_separator(
136
+ create_chat_completion(
137
+ openai_client,
138
+ PROMPT_,
139
+ f'{operation_prompt} :\n\"\"\"\n{text_ui}\n\"\"\"'
140
+ )
141
+ ).strip()
142
+ traductions_ui_dict[target_ui_lang][key] = traduction_text_ui
143
+ return json.dumps(traductions_ui_dict, indent=4, ensure_ascii=False, sort_keys=False)
144
+
145
+
146
  def generate_ui_lang_support(
147
  base_ui_lang: Optional[str] = "Français",
148
  target_ui_lang: Optional[Union[str, list]] = SUPPORTED_LANGUAGES_FR_) -> str:
 
161
  # raise an error if `base_ui_lang` is the same as `target_ui_lang`
162
  raise ValueError(f"La langue de l'interface {base_ui_lang} est la même que la langue de destination {target_ui_lang}. Veuillez choisir une autre langue de destination.")
163
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
164
  openai_client = get_openai_connected_client()
165
 
166
  cnt=0
 
197
 
198
  return json.dumps(traductions_ui_dict, indent=4, ensure_ascii=False, sort_keys=False)
199
 
200
+ def init_template_base_lang(file_path: str,
201
+ base_ui_lang_dict: Optional[dict] = traductions_ui_dict) -> None:
202
+ base_ui_lang = json.dumps(base_ui_lang_dict, indent=4, ensure_ascii=False, sort_keys=False).encode("utf-8")
203
+ with open(f"/tmp/{file_path}.json", "wb") as json_file:
204
+ json_file.write(base_ui_lang)
205
+ json_file.close()
206
+
207
+ def read_template_base_lang(file_path: str) -> str:
208
+ with open(f"/tmp/{file_path}.json", "rb") as json_file:
209
+ bytes_data = json_file.read()
210
+ data = bytes_data.decode("utf-8")
211
+ return data
212
 
213
 
214
  if __name__ == "__main__":
215
+ #init_template_base_lang("ui_lang_support_base_template", traductions_ui_dict)
216
+
217
  JSON_UI_LANG_SUPPORT = generate_ui_lang_support(
218
+ base_ui_lang="French",
219
+ target_ui_lang=SUPPORTED_LANGUAGES
220
  )
221
 
222
  # encoding , fr_FR.UTF-8