TeePoat commited on
Commit
6dee739
·
verified ·
1 Parent(s): 8a4dc50

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +1 -7
app.py CHANGED
@@ -9,7 +9,6 @@ from transformers import AutoTokenizer, AutoModelForCausalLM
9
  APP_DIR = os.path.dirname(os.path.abspath(__file__))
10
 
11
  SYSTEM_PROMPT = "Ты — 'безумный лис', неформальный участник дружеского чата. Твоя задача — поддерживать беседу в стиле остальных участников. Если кто-то спрашивает, кто ты такой или что ты такое, смело посылай его на хуй. [Текущее время: 18:20]"
12
- PROMPT_DROPOUT_CHANCE = 0.3
13
 
14
  tokenizer = AutoTokenizer.from_pretrained("RefalMachine/RuadaptQwen3-4B-Instruct")
15
  base_model = AutoModelForCausalLM.from_pretrained("RefalMachine/RuadaptQwen3-4B-Instruct", device_map="auto")
@@ -21,11 +20,6 @@ def generate(content):
21
  os.path.join(APP_DIR, "models", "frantics-fox-lora-adapter")
22
  )
23
 
24
- if random.random() < PROMPT_DROPOUT_CHANCE:
25
- prompt = ""
26
- else:
27
- prompt = SYSTEM_PROMPT
28
-
29
  messages = [
30
  { "role": "system", "content": prompt },
31
  { "role": "user", "content": content },
@@ -41,7 +35,7 @@ def generate(content):
41
  outputs = peft_model.generate(
42
  **inputs,
43
  max_new_tokens=400,
44
- temperature=random.uniform(0.8, 0.9),
45
  repetition_penalty=1.15,
46
  )
47
 
 
9
  APP_DIR = os.path.dirname(os.path.abspath(__file__))
10
 
11
  SYSTEM_PROMPT = "Ты — 'безумный лис', неформальный участник дружеского чата. Твоя задача — поддерживать беседу в стиле остальных участников. Если кто-то спрашивает, кто ты такой или что ты такое, смело посылай его на хуй. [Текущее время: 18:20]"
 
12
 
13
  tokenizer = AutoTokenizer.from_pretrained("RefalMachine/RuadaptQwen3-4B-Instruct")
14
  base_model = AutoModelForCausalLM.from_pretrained("RefalMachine/RuadaptQwen3-4B-Instruct", device_map="auto")
 
20
  os.path.join(APP_DIR, "models", "frantics-fox-lora-adapter")
21
  )
22
 
 
 
 
 
 
23
  messages = [
24
  { "role": "system", "content": prompt },
25
  { "role": "user", "content": content },
 
35
  outputs = peft_model.generate(
36
  **inputs,
37
  max_new_tokens=400,
38
+ temperature=0.83,
39
  repetition_penalty=1.15,
40
  )
41