Spaces:
Paused
Paused
rick
commited on
changes in the ui lang generator script
Browse files- scripts/gen_ui_lang_support.py +103 -49
scripts/gen_ui_lang_support.py
CHANGED
|
@@ -1,12 +1,14 @@
|
|
| 1 |
#!/usr/bin/env python3
|
| 2 |
#coding:utf-8
|
| 3 |
|
|
|
|
| 4 |
from os import getenv
|
| 5 |
-
from typing import Optional
|
|
|
|
|
|
|
| 6 |
import re
|
| 7 |
import json
|
| 8 |
import datetime
|
| 9 |
-
from openai import OpenAI
|
| 10 |
|
| 11 |
|
| 12 |
SUPPORTED_LANGUAGES=[
|
|
@@ -21,10 +23,10 @@ SUPPORTED_LANGUAGES_FR_ = [
|
|
| 21 |
LANG__ = [ "English" ]
|
| 22 |
|
| 23 |
traductions_ui_dict = {
|
| 24 |
-
"
|
| 25 |
"titre": "------- DEMORRHA -------",
|
| 26 |
"entrez_message": "Entrez votre message ici:",
|
| 27 |
-
"enregistrez_message": "
|
| 28 |
"cliquez_enregistrer": "Cliquez pour enregistrer",
|
| 29 |
"cliquez_arreter": "Cliquez pour arrêter l'enregistrement",
|
| 30 |
"cliquez_pause": "Cliquez pour mettre en pause",
|
|
@@ -56,11 +58,91 @@ traductions_ui_dict = {
|
|
| 56 |
"erreur_traitement": "Une erreur s'est produite lors du traitement de votre message : {}",
|
| 57 |
"erreur_tts": "Une erreur s'est produite lors de la génération du texte en parole : {}",
|
| 58 |
"chargement": "Chargement en cours...",
|
| 59 |
-
"aucun_message": "Aucun message pour le moment. Commencez la conversation !"
|
|
|
|
| 60 |
}
|
| 61 |
}
|
| 62 |
|
| 63 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 64 |
def generate_ui_lang_support(
|
| 65 |
base_ui_lang: Optional[str] = "Français",
|
| 66 |
target_ui_lang: Optional[Union[str, list]] = SUPPORTED_LANGUAGES_FR_) -> str:
|
|
@@ -79,48 +161,6 @@ def generate_ui_lang_support(
|
|
| 79 |
# raise an error if `base_ui_lang` is the same as `target_ui_lang`
|
| 80 |
raise ValueError(f"La langue de l'interface {base_ui_lang} est la même que la langue de destination {target_ui_lang}. Veuillez choisir une autre langue de destination.")
|
| 81 |
|
| 82 |
-
|
| 83 |
-
def get_prompt_translation_ui_text(base_lang: str,
|
| 84 |
-
target_lang: str) -> str:
|
| 85 |
-
prompt_ = "\n".join([
|
| 86 |
-
f"Je souhaite que vous agissiez en tant que traducteur linguistique, correcteur d'orthographe et améliorateur.",
|
| 87 |
-
f"Je vous donne un texte en {base_lang} et je vous demande de le traduire en {target_lang}. Puis répondez dans une version corrigée et améliorée de mon texte, dans la langue de destination.",
|
| 88 |
-
f"Je souhaite que vous remplaciez mes mots et phrases par des termes et expressions les plus appropriés dans la langue de destination. Conservez le même sens, mais corrigez les fautes.",
|
| 89 |
-
f"Je vous demande de ne répondre que par les corrections et améliorations, sans ajouter d'explications.",
|
| 90 |
-
f"Lorsque je soumets un texte à traiter, je procéderai de la manière suivante pour délimiter le début et la fin du ou des blocs de texte que tu devras traiter : j'utiliserai trois caractères de guillemets doubles pour délimiter le début d'un bloc de texte à traiter ; j'utiliserai trois caractères de guillemets doubles pour délimiter la fin d'un bloc de texte à traiter. Le texte sera compris entre ces délimitations, que ce soit par format ou par taille du texte dans un bloc à traiter. Si mon texte est sur une seule ligne, il est possible que je place également les délimiteurs de début et de fin sur la même ligne.",
|
| 91 |
-
f"Il est impératif que tu respectes le format d'origine au mieux ; donc, à moins qu'il soit absolument nécessaire de corriger le formatage, respecte au mieux ce détail. (Par exemple, tout en une ligne ou sur plusieurs... tu respectes le formatage d'origine. Par contre, tu peux, par exemple, corriger les espaces, tabulations et autres éléments superflus.)"
|
| 92 |
-
])
|
| 93 |
-
return prompt_
|
| 94 |
-
|
| 95 |
-
def get_openai_connected_client():
|
| 96 |
-
openai_client = OpenAI(api_key=getenv("OPENAI_API_KEY"))
|
| 97 |
-
return openai_client
|
| 98 |
-
|
| 99 |
-
def create_chat_completion(client,
|
| 100 |
-
system_prompt,
|
| 101 |
-
user_input,
|
| 102 |
-
model="gpt-4o-mini",
|
| 103 |
-
temperature=0.01,):
|
| 104 |
-
response = client.chat.completions.create(
|
| 105 |
-
model=f"{model}",
|
| 106 |
-
temperature=temperature,
|
| 107 |
-
messages=[
|
| 108 |
-
{
|
| 109 |
-
"role": "system",
|
| 110 |
-
"content": f"{system_prompt}"
|
| 111 |
-
},
|
| 112 |
-
{
|
| 113 |
-
"role": "user",
|
| 114 |
-
"content": f"{user_input}"
|
| 115 |
-
}
|
| 116 |
-
]
|
| 117 |
-
)
|
| 118 |
-
return response.choices[0].message.content
|
| 119 |
-
|
| 120 |
-
def remove_response_separator(response_text:str) -> str:
|
| 121 |
-
# Utiliser un regex pour retirer les trois premières et dernières doubles quotes
|
| 122 |
-
return re.sub(r'^"{3}|"{3}$', '', response_text.strip())
|
| 123 |
-
|
| 124 |
openai_client = get_openai_connected_client()
|
| 125 |
|
| 126 |
cnt=0
|
|
@@ -157,12 +197,26 @@ def generate_ui_lang_support(
|
|
| 157 |
|
| 158 |
return json.dumps(traductions_ui_dict, indent=4, ensure_ascii=False, sort_keys=False)
|
| 159 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 160 |
|
| 161 |
|
| 162 |
if __name__ == "__main__":
|
|
|
|
|
|
|
| 163 |
JSON_UI_LANG_SUPPORT = generate_ui_lang_support(
|
| 164 |
-
base_ui_lang="
|
| 165 |
-
target_ui_lang=
|
| 166 |
)
|
| 167 |
|
| 168 |
# encoding , fr_FR.UTF-8
|
|
|
|
| 1 |
#!/usr/bin/env python3
|
| 2 |
#coding:utf-8
|
| 3 |
|
| 4 |
+
from openai import OpenAI
|
| 5 |
from os import getenv
|
| 6 |
+
from typing import Optional
|
| 7 |
+
from typing import Union
|
| 8 |
+
from typing import Any
|
| 9 |
import re
|
| 10 |
import json
|
| 11 |
import datetime
|
|
|
|
| 12 |
|
| 13 |
|
| 14 |
SUPPORTED_LANGUAGES=[
|
|
|
|
| 23 |
LANG__ = [ "English" ]
|
| 24 |
|
| 25 |
traductions_ui_dict = {
|
| 26 |
+
"French": {
|
| 27 |
"titre": "------- DEMORRHA -------",
|
| 28 |
"entrez_message": "Entrez votre message ici:",
|
| 29 |
+
"enregistrez_message": "Choisissez ou enregistrez votre message audio :",
|
| 30 |
"cliquez_enregistrer": "Cliquez pour enregistrer",
|
| 31 |
"cliquez_arreter": "Cliquez pour arrêter l'enregistrement",
|
| 32 |
"cliquez_pause": "Cliquez pour mettre en pause",
|
|
|
|
| 58 |
"erreur_traitement": "Une erreur s'est produite lors du traitement de votre message : {}",
|
| 59 |
"erreur_tts": "Une erreur s'est produite lors de la génération du texte en parole : {}",
|
| 60 |
"chargement": "Chargement en cours...",
|
| 61 |
+
"aucun_message": "Aucun message pour le moment. Commencez la conversation !",
|
| 62 |
+
"telecharger_audio": "Télécharger l'audio"
|
| 63 |
}
|
| 64 |
}
|
| 65 |
|
| 66 |
|
| 67 |
+
def read_json_file(file_path: str) -> dict:
|
| 68 |
+
with open(file_path, "r") as json_file:
|
| 69 |
+
data = json.load(json_file)# hey copilot what is the type of data ? : dict
|
| 70 |
+
return data
|
| 71 |
+
|
| 72 |
+
def write_json_file(file_path: str, data: Union[str, bytes, dict]) -> None:
|
| 73 |
+
try:
|
| 74 |
+
if type(data) == str:
|
| 75 |
+
data = data.encode("utf-8")
|
| 76 |
+
if type(data) == dict:
|
| 77 |
+
data = json.dumps(data, indent=4, ensure_ascii=False, sort_keys=False).encode("utf-8")
|
| 78 |
+
with open(file_path, "wb") as json_file:
|
| 79 |
+
json_file.write(data)
|
| 80 |
+
json_file.close()
|
| 81 |
+
except Exception as e:
|
| 82 |
+
raise e
|
| 83 |
+
|
| 84 |
+
def get_prompt_translation_ui_text(base_lang: str,
|
| 85 |
+
target_lang: str) -> str:
|
| 86 |
+
prompt_ = "\n".join([
|
| 87 |
+
f"Je souhaite que vous agissiez en tant que traducteur linguistique, correcteur d'orthographe et améliorateur.",
|
| 88 |
+
f"Je vous donne un texte en {base_lang} et je vous demande de le traduire en {target_lang}. Puis répondez dans une version corrigée et améliorée de mon texte, dans la langue de destination.",
|
| 89 |
+
f"Je souhaite que vous remplaciez mes mots et phrases par des termes et expressions les plus appropriés dans la langue de destination. Conservez le même sens, mais corrigez les fautes.",
|
| 90 |
+
f"Je vous demande de ne répondre que par les corrections et améliorations, sans ajouter d'explications.",
|
| 91 |
+
f"Lorsque je soumets un texte à traiter, je procéderai de la manière suivante pour délimiter le début et la fin du ou des blocs de texte que tu devras traiter : j'utiliserai trois caractères de guillemets doubles pour délimiter le début d'un bloc de texte à traiter ; j'utiliserai trois caractères de guillemets doubles pour délimiter la fin d'un bloc de texte à traiter. Le texte sera compris entre ces délimitations, que ce soit par format ou par taille du texte dans un bloc à traiter. Si mon texte est sur une seule ligne, il est possible que je place également les délimiteurs de début et de fin sur la même ligne.",
|
| 92 |
+
f"Il est impératif que tu respectes le format d'origine au mieux ; donc, à moins qu'il soit absolument nécessaire de corriger le formatage, respecte au mieux ce détail. (Par exemple, tout en une ligne ou sur plusieurs... tu respectes le formatage d'origine. Par contre, tu peux, par exemple, corriger les espaces, tabulations et autres éléments superflus.)"
|
| 93 |
+
])
|
| 94 |
+
return prompt_
|
| 95 |
+
|
| 96 |
+
def get_openai_connected_client():
|
| 97 |
+
openai_client = OpenAI(api_key=getenv("OPENAI_API_KEY"))
|
| 98 |
+
return openai_client
|
| 99 |
+
|
| 100 |
+
def create_chat_completion(client,
|
| 101 |
+
system_prompt,
|
| 102 |
+
user_input,
|
| 103 |
+
model="gpt-4o-mini",
|
| 104 |
+
temperature=0.01,):
|
| 105 |
+
response = client.chat.completions.create(
|
| 106 |
+
model=f"{model}",
|
| 107 |
+
temperature=temperature,
|
| 108 |
+
messages=[
|
| 109 |
+
{
|
| 110 |
+
"role": "system",
|
| 111 |
+
"content": f"{system_prompt}"
|
| 112 |
+
},
|
| 113 |
+
{
|
| 114 |
+
"role": "user",
|
| 115 |
+
"content": f"{user_input}"
|
| 116 |
+
}
|
| 117 |
+
]
|
| 118 |
+
)
|
| 119 |
+
return response.choices[0].message.content
|
| 120 |
+
|
| 121 |
+
def remove_response_separator(response_text:str) -> str:
|
| 122 |
+
# Utiliser un regex pour retirer les trois premières et dernières doubles quotes
|
| 123 |
+
return re.sub(r'^"{3}|"{3}$', '', response_text.strip())
|
| 124 |
+
|
| 125 |
+
|
| 126 |
+
def translate_ui_template_string(file_path: str,
|
| 127 |
+
base_ui_lang: str,
|
| 128 |
+
target_ui_lang: str) -> str:
|
| 129 |
+
openai_client = get_openai_connected_client()
|
| 130 |
+
PROMPT_ = get_prompt_translation_ui_text(base_ui_lang, target_ui_lang)
|
| 131 |
+
ui_lang_dict = read_json_file(file_path)
|
| 132 |
+
traductions_ui_dict[target_ui_lang] = {}
|
| 133 |
+
for key, text_ui in ui_lang_dict[base_ui_lang].items():
|
| 134 |
+
operation_prompt = f"Translate(\'{base_ui_lang}\' to \'{target_ui_lang}\')"
|
| 135 |
+
traduction_text_ui = remove_response_separator(
|
| 136 |
+
create_chat_completion(
|
| 137 |
+
openai_client,
|
| 138 |
+
PROMPT_,
|
| 139 |
+
f'{operation_prompt} :\n\"\"\"\n{text_ui}\n\"\"\"'
|
| 140 |
+
)
|
| 141 |
+
).strip()
|
| 142 |
+
traductions_ui_dict[target_ui_lang][key] = traduction_text_ui
|
| 143 |
+
return json.dumps(traductions_ui_dict, indent=4, ensure_ascii=False, sort_keys=False)
|
| 144 |
+
|
| 145 |
+
|
| 146 |
def generate_ui_lang_support(
|
| 147 |
base_ui_lang: Optional[str] = "Français",
|
| 148 |
target_ui_lang: Optional[Union[str, list]] = SUPPORTED_LANGUAGES_FR_) -> str:
|
|
|
|
| 161 |
# raise an error if `base_ui_lang` is the same as `target_ui_lang`
|
| 162 |
raise ValueError(f"La langue de l'interface {base_ui_lang} est la même que la langue de destination {target_ui_lang}. Veuillez choisir une autre langue de destination.")
|
| 163 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 164 |
openai_client = get_openai_connected_client()
|
| 165 |
|
| 166 |
cnt=0
|
|
|
|
| 197 |
|
| 198 |
return json.dumps(traductions_ui_dict, indent=4, ensure_ascii=False, sort_keys=False)
|
| 199 |
|
| 200 |
+
def init_template_base_lang(file_path: str,
|
| 201 |
+
base_ui_lang_dict: Optional[dict] = traductions_ui_dict) -> None:
|
| 202 |
+
base_ui_lang = json.dumps(base_ui_lang_dict, indent=4, ensure_ascii=False, sort_keys=False).encode("utf-8")
|
| 203 |
+
with open(f"/tmp/{file_path}.json", "wb") as json_file:
|
| 204 |
+
json_file.write(base_ui_lang)
|
| 205 |
+
json_file.close()
|
| 206 |
+
|
| 207 |
+
def read_template_base_lang(file_path: str) -> str:
|
| 208 |
+
with open(f"/tmp/{file_path}.json", "rb") as json_file:
|
| 209 |
+
bytes_data = json_file.read()
|
| 210 |
+
data = bytes_data.decode("utf-8")
|
| 211 |
+
return data
|
| 212 |
|
| 213 |
|
| 214 |
if __name__ == "__main__":
|
| 215 |
+
#init_template_base_lang("ui_lang_support_base_template", traductions_ui_dict)
|
| 216 |
+
|
| 217 |
JSON_UI_LANG_SUPPORT = generate_ui_lang_support(
|
| 218 |
+
base_ui_lang="French",
|
| 219 |
+
target_ui_lang=SUPPORTED_LANGUAGES
|
| 220 |
)
|
| 221 |
|
| 222 |
# encoding , fr_FR.UTF-8
|