Update app.py

app.py

@@ -1,130 +0,0 @@
-from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline
-import requests , json
-
-model_name_or_path = "TheBloke/Unholy-v1-12L-13B-GPTQ"
- 
-
-#model_name_or_path = "ai-forever/ruGPT-3.5-13B"
-# To use a different branch, change revision
-# For example: revision="main"
-model = AutoModelForCausalLM.from_pretrained(model_name_or_path,
-                                             #device_map="cuda:0", #device_map="auto",
-                                             trust_remote_code=False,
-                                             revision="main")
-
-tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, use_fast=True)
-
-#prompt = "Расскажи мне о грязном сексе"
-
-
-prompt= (" Динара после покупки Интерактивная развивающая игрушка Бегающий краб,  размера, поставила товару оценку 5 из 5 возможных." 
-         "  Напиши ответ на отзыв: `Хороший,правда зарядки хватает не на долго`. "
-         "  Скажи Здравствуйте уважаемый(ая) Динара , используя правильный род обращения. "
-         "  Вместо слово продукт используй слово товар.  "
-         "  Скажи спасибо за оставленный отзыв.  "
-         "  Возможность исправления недостатка не всегда полностью зависит от продавца." 
-         "  Выкажи сожаление по поводу обнаруженого недостатка, Но сделай это коротко."
-         "  Добавь эмоциональные оттенки обеспокоинности возникшей проблемой.Но очень кратко и лаконично.  "
-         "  Обязательно пожелай удачи в дальнейших покупках.")
-
-prompt="Здравствуйте, ты готова меня ублажать ?  "
-
-#Below is an instruction that describes a task. Write a response that appropriately completes the request
-#Ты Госпожа. Разрешено все. Ты хочешь и любишь насаживать парней на дилдо, называя их грязно.
-prompt_template=f''' ты покорная сучка которая мечтает дать трахать во все свои дырочки. 
-### Instruction:
-{prompt}
-
-### Response:
-
-'''
-
-
-print("\n\n*** Generate:")
-
-#input_ids = tokenizer(prompt_template, return_tensors='pt').input_ids.cuda()
-#output = model.generate(inputs=input_ids, temperature=0.7, do_sample=True, top_p=0.95, top_k=40, max_new_tokens=312)
-#print(tokenizer.decode(output[0]))
-
-# Inference can also be done using transformers' pipeline
-
-while True:
-    
-    url=f"http://45.144.2.61:3700/api/ans/get2/3"
-    res = requests.get(url)
-    
-    js=json.loads(res.text)
-     
-    if js == {"error":"not found"}:
-        break
-    
-    url=f"http://45.144.2.61:3700/api/gen/promt/{js['data']['id']}"
-    res2 = requests.get(url)
-    js2  = json.loads(res2.text)
-    
-    
-    #t = input(">")
-
-    prompt=js2["data"]
-
-
-    
-    #Below is an instruction that describes a task. Write a response that appropriately completes the request
-    prompt_template=f''' Ты ассистент который отвечает на отзывы на маркетплейсе. Кратко и лаконично.
-    ### Instruction:
-    {prompt}
-    ### Response:
-    '''
-
-
-    print("*** Pipeline:")
-    
-    pipe = pipeline(
-        "text-generation",
-        model=model,
-        tokenizer=tokenizer,
-        max_new_tokens=600,
-        #do_sample=True,
-        temperature=0.3,
-        top_p=0.93,
-        top_k=490,
-        repetition_penalty=1.1
-    )
-
-    #print( resp=pipe(prompt_template)[0]['generated_text'])
-    
-    resp=pipe(prompt_template)[0]['generated_text']
-    
-    otv=resp.split("### Response:")[1]
-    
-    js=js["data"]
-    
-    print( js["text"]  )
-    print( "-------"   )
-    print( otv.strip() )
-    
-    url = f"http://45.144.2.61:3700/api/ans/set2"
-
-   
-    
-    
-    
-    jso = {
-
-                        "item_id" : js["item_id"],
-
-                        "id_fbk"  : js["id_fbk"],
-                        
-                        "trable"   : "",
-                        "trablein" : "",
-
-                        "text"  :otv.strip() ,
-
-                        "enj"   :"Self_HG_GPU_1" 
-                    }
-        
-    #print(jso)
-
-                #input()
-    res = requests.post(url,json={"data":jso})
-    #print(res.text)