Upload app.py

app.py

@@ -1,221 +1,102 @@
-def is_genitive(word):
-    # Implement your logic to determine if a word is in the genitive case
-    # This is a placeholder; you need to define the actual rules
-    # For example, in Lithuanian, genitive singular often ends with 's' or 'os'
-    return word.endswith('s') or word.endswith('os')  # Adjust as necessary
-
-def extract_genitive_words(text):
-    # Split the input text into words
-    words = text.split()
+import gradio as gr
+from huggingface_hub import InferenceClient
+
+# Default client with the first model
+client = InferenceClient("mistralai/Mistral-7B-Instruct-v0.3")
+
+# Function to switch between models based on selection
+def switch_client(model_name: str):
+    return InferenceClient(model_name)
+
+# Define presets for each model
+presets = {
+    "mistralai/Mistral-7B-Instruct-v0.3": {
+        "Fast": {"max_tokens": 256, "temperature": 1.0, "top_p": 0.9},
+        "Normal": {"max_tokens": 512, "temperature": 0.7, "top_p": 0.95},
+        "Quality": {"max_tokens": 1024, "temperature": 0.5, "top_p": 0.90},
+        "Unreal Performance": {"max_tokens": 2048, "temperature": 0.6, "top_p": 0.75},
+    }
+}
+
+# Fixed system message
+SYSTEM_MESSAGE = "Your name is Lake 1 Base but my is User"
+
+def respond(
+    message,
+    history: list,
+    model_name,
+    preset_name
+):
+    # Switch client based on model selection
+    global client
+    client = switch_client(model_name)
     
-    # Filter words that are in the genitive case
-    genitive_words = [word for word in words if is_genitive(word)]
+    messages = [{"role": "system", "content": SYSTEM_MESSAGE}]
+
+    # Ensure history is a list of dictionaries
+    for val in history:
+        if isinstance(val, dict) and 'role' in val and 'content' in val:
+            messages.append({"role": val['role'], "content": val['content']})
+
+    messages.append({"role": "user", "content": message})
+
+    # Get the preset settings
+    preset = presets[model_name][preset_name]
+    max_tokens = preset["max_tokens"]
+    temperature = preset["temperature"]
+    top_p = preset["top_p"]
+
+    # Get the response from the model
+    response = client.chat_completion(
+        messages,
+        max_tokens=max_tokens,
+        temperature=temperature,
+        top_p=top_p,
+    )
+
+    # Extract the content from the response
+    final_response = response.choices[0].message['content']
     
-    return genitive_words
-
-def save_to_file(words, filename='genitive_words.txt'):
-    # Save the genitive words to a file
-    with open(filename, 'w', encoding='utf-8') as f:
-        for word in words:
-            f.write(f"{word}\n")
-
-def main():
-    # Input text from the user
-    text = """Gyveno senelis ir senelė ir turėjo mergytę. Senutė
-mirė, ir senis paėmė raganą. Ta ragana baisiai
-nekęsdavo mergytės ir vis liepdavo seniui, kad ją
-kur nors išvežtų:
-
-– Jeigu tu jos niekur neišveši, aš ją vis tek nuga-
-labysiu.
-
-Vienąkart senis pasiėmė kirvį ir išėjo su dukte-
-ria į mišką. Vidury miško rado tokią trobelytę. Joje
-
-palikęs savo dukterį, senis pats išėjo, sakydamas:
-– Tu čia pabūk, ligi aš malkų prikaposiu.
-Mergytė liko trobelėje, o senis pririšo prie medžio
-kūlę ir parėjo sau namo.
-Duktė sėdi, sėdi troboje ir niekaip negali sulaukti
-su malkomis savo tėvo. Vėjas supa kūlę, ta į medį
-pykši, o mergytei regis, kad tėvas malkas kapoja.
-Kai nusibodo laukti, išėjo mergytė laukan ir sako:
-– Gana, tėveli, jau prikapojai malkų.
-Sugrįžo atgal į vidų ir vėl laukia. Laukia laukia,
-o tėvas vis neateina su malkomis. Nebesulaukdama
-vėl išėjo, – ir vėl girdi, kad kūlė supama pykši į medį,
-tarytum kas malkas kapoja. Mergytė sako:
-
-
-– Gana gi, tėvel, jau pakaks malkų, kiek prikapo-
-jai, – ir vėl įėjo į trobelę.
-
-Laukė laukė – tėvas vis negrįžta. Išėjusi trečią
-kartą, nuėjo ten, kur pykši, ir pamatė, kad nei tėvo,
-nei malkų niekur nėra, tik kūlė į medį pykši. Labai
-nusigando mergytė, likus viena vidury didelio miško,
-taip toli nuo namų, ir pradėjo šaukti:
-– Kas miškuose, kas laukuose, ateikit į pagalbą!
-– Aš, meškelė nabagėlė, aš ateisiu į pagalbą! –
-drūtai atsiliepė iš laužo meška.
-Mergytė dar labiau persigando, įbėgo į trobelę,
-užsidarė, atsigulė ant lovos ir, visa drebėdama iš
-baimės, apsiklojo kailiniais. Meška priėjo prie durų
-ir šaukia:
-– Merga, merga, atidaryk duris!
-Mergytė atidarė.
-– Merga, merga, įkelk mane trobon!
-Mergytė įkėlė.
-– Merga, merga, pataisyk man patalą!
-Mergytė pataisė.
-– Merga, merga, užkelk mane ant lovos!
-Mergytė užkėlė.
-– Merga, merga, pakrapštyk man ausį!
-
-
-Mergytė pakrapštė, ir ėmė byrėti iš meškos
-ausies miltai. Tiek daug pribyrėjo – gal bent pusė
-maišo.
-– Merga, merga, išvirk man parpelių!
-Mergytė sukūrė ugnį, užkaitė katilą su vandeniu
-ir dirba parpelius. Atbėgo pelytė ir prašo:
-– Duok man bent vieną parpeliuką, aš tu ateisiu
-į pagalbą.
-Mergytė papenėjo pelytę, ir ta nubėgo. Meška,
-privalgius parpelių, prikrovė ant krosnies dvi eiles
-pliauskų ir plytų, užgesino žiburį, padavė mergytei
-raktelius ir liepė bėgioti po trobą palei pasienius,
-skambinant su rakteliais, o pati užlipo ant krosnies
-ir ėmė svaidyti plytomis ir pliauskomis į visas puses.
-Tuo laiku pribėgo prie mergytės pelytė, paėmė
-
-iš jos raktelius, liepė mergytei pasislėpti pakros-
-nyje, o pati, skambindama rakteliais, ėmė bėgioti
-
-pasieniais ir pasuoliais. Meška išsvaidė nuo kros-
-nies visus pagalius ir plytas, bet pelytei nė karto
-
-nekliudė. Pelytė greitai nubėgo pas mergytę ir, ati-
-davus raktelius, liepė lįsti iš pakrosnio. Meška nuo
-
-krosnies klausia:
-– Merga, merga, ar tu gyva?
-– Gyva, – atsakė mergytė.
-
-
-Tada meška nulipo nuo krosnies ir liepė vėl
-pakrapštyti jai vieną ausį. Mergytė pakrapštė, ir
-pradėjo iš ausies byrėti miltai. Paskui liepė meška
-
-pakrapštyti kitą ausį, ir iš tos ausies išėjo pora dide-
-lių gražių arklių, užkinkytų paauksintoje karietoje.
-
-Senelio duktė prisikepė daug gardžių pyragų, susi-
-dėjo į ratus ir išvažiavo namo. Pamatė senelio kalytė
-
-ir loja prie vartų:
-Kiau, kiau, atvažiuoja senio duktė,
-Kiau, kiau, atsiveža daug pyragų!
-Duos man kur didesnį, kur gardesnį!
-Išėjo ragana, nuvijo kalytę ir vėl sugrįžo į trobą.
-O kalytė atbėgo prie vartų ir vėl loja:
-Kiau, kiau, atvažiuoja senio duktė,
-Kiau, kiau, atsiveža daug pyragų!
-Duos man kur didesnį, kur gardesnį!
-Ragana išėjus vėl nuvijo nuo vartų kalytę, o ta
-atsistojo prie vartų ir kiauksi:
-Kiau, kiau, atvažiuoja senio duktė,
-Kiau, kiau, atsiveža daug pyragų!
-
-
-Duos man kur didesnį, kur gardesnį!
-
-Ragana, visa perpykus, išėjo laukan su žarste-
-kliu užmušti kalytės, bet pamatė, kad senio duktė
-
-jau važiuoja į kiemą su vežimu pyragų. Patį didįjį
-ir gražųjį pyragą ji atidavė kalytei, o visus kitus –
-
-seniui, raganai ir jos dukteriai. Pamatę, kad mer-
-gytė gyva ir sveika, visi labai stebėjosi ir klausinėjo,
-
-kaip ji atvažiavo ir kur gavo tokį gražų vežimą, pilną
-pyragų. Mergytė visa nusakė, kaip jai buvo atsitikę.
-Ragana dar labiau užpyko ant senio dukters ir dar
-labiau pradėjo jos neapkęsti.
-Vieną dieną ragana sako seniui:
-– Vežk ir mano dukterį tenai, kur buvai nuvedęs
-savąją.
-Senis nuvežė raganos dukterį į tą pačią trobelę,
-pririšo prie medžio kūlę ir sugrįžo namo. Raganos
-duktė sėdi troboje ir vis juokias. Truputį pabuvusi,
-išėjo laukan ir sako juokdamasi:
-– Tėveli, pakaks jau malkų!
-Ir vėl sugrįžo į vidų.
-Taip pat antrą kartą buvo išėjusi. O trečią kartą
-nuėjo prie to medžio, kur buvo pririšta kūlė, ir kaip
-senio duktė sušuko:
-– Kas laukuose, kas miškuose, ateikit į pagalbą!
-
-Meška iš laužo atsiliepė:
-– Aš, meškelė nabagėlė, aš ateisiu į pagalbą!
-Paskui raganos duktė nubėgo ir atsigulė troboje
-ant lovos. Meška priėjo prie durų ir sako:
-– Merga, merga, atidaryk duris!
-– Ar negali pati atsidaryti! – atsakė raganos
-duktė.
-Meška atsidarė duris.
-– Merga, merga, įkelk mane trobon!
-– Ar negali pati įlipti! – atsakė raganos duktė.
-Ir ką tik meška liepia, raganos duktė vis neklauso.
-Nei ji lovos taisė, nei ausies meškai krapštė. O kai,
-verdant parpelius, atbėgo pelytė ir paprašė, kad
-duotų jai bent vieną parpeliuką, toji suriko:
-– Ar neisi šalin! Ko tau čia reikia!
-Meška, gulėdama ant lovos, paklausė:
-– Su kuo tu čia kalbiesi?
-Sužinojusi, kad kalbasi su pele, liepė sutrepsėti
-ir ją nuvaikyti.
-Pelytė nubėgo.
-Išvirė parpeliai, ir pavalgius meška užgesino
-žiburį, padavė raganos dukteriai raktelius, liepė
-
-lakstyti po trobą ir skambinti, o pati užlipo ant kros-
-nies, kur buvo prikrauta daug pliauskų ir plytų, ir
-
-pradėjo svaidyti į visas puses. Šiuokart pelytė neat-
-
-
-bėgo užvaduoti raganos dukters, ir ją meška tuoj
-
-užmušė; paskui, nulipus nuo krosnies, suėdė ir kau-
-lelius nučiulpė. Tada meška pasikrapštė ausį, ir iš
-
-jos išlindo kiaulė, užkinkyta geldoje. Meška sudėjo
-kaulelius geldon, ir kiaulė parvežė juos namo.
-Kalytė, stovėdama prie vartų, vėl kiauski:
-Kiau, kiau, atvažiuoja bobos duktė,
-Kiau, kiau, su geldele, su kauleliais.
-Duos man kur didesnį, kur gardesnį!
-Ragana, sėdėdama palangėje, laukė atvažiuojant
-dukters su pyragais. Užgirdus kalytę taip lojant,
-
-tuoj ją nuvaikė. Bet kalytė ir vėl loja. Ragana užpy-
-kus išbėgo kalytės užmušti, bet pamatė įvažiuojant
-
-kiaulę su kaulais geldoje ir persigandus vietoj nusi-
-baigė.
-
-Tada senis su savo dukteria labai ilgai gyveno,
-nieko netrūkdami."""
+    return final_response
+
+# Model names and their pseudonyms
+model_choices = [
+    ("mistralai/Mistral-7B-Instruct-v0.3", "Lake 1 Base")
+]
+
+# Convert pseudonyms to model names for the dropdown
+pseudonyms = [model[1] for model in model_choices]
+
+# Function to handle model selection and pseudonyms
+def respond_with_pseudonym(
+    message,
+    history: list,
+    selected_model,  # Change this to selected_model
+    selected_preset
+):
+    print(f"Selected Model: {selected_model}")  # Debugging line
+    print(f"Available Models: {pseudonyms}")  # Debugging line
+
+    # Find the actual model name from the pseudonym
+    try:
+        model_name = next(model[0] for model in model_choices if model[1] == selected_model)
+    except StopIteration:
+        return f"Error: The selected model '{selected_model}' is not valid. Please select a valid model."
+
+    # Call the existing respond function
+    response = respond(message, history, model_name, selected_preset)
     
-    # Extract genitive words
-    genitive_words = extract_genitive_words(text)
-    
-    # Save to file
-    save_to_file(genitive_words)
-    
-    print(f"Extracted {len(genitive_words)} genitive words and saved to 'genitive_words.txt'.")
+    return response
+
+# Gradio Chat Interface
+demo = gr.ChatInterface(
+    fn=respond_with_pseudonym,
+    additional_inputs=[
+        gr.Dropdown(choices=pseudonyms, label="Select Model", value=pseudonyms[0]),  # Pseudonym selection dropdown
+        gr.Dropdown(choices=list(presets["mistralai/Mistral-7B-Instruct-v0.3"].keys()), label="Select Preset", value="Fast")  # Preset selection dropdown
+        
+    ],
+)
 
 if __name__ == "__main__":
-    main()
+    demo.launch()