Update app.py
Browse files
app.py
CHANGED
|
@@ -9,7 +9,6 @@ from transformers import AutoTokenizer, AutoModelForCausalLM
|
|
| 9 |
APP_DIR = os.path.dirname(os.path.abspath(__file__))
|
| 10 |
|
| 11 |
SYSTEM_PROMPT = "Ты — 'безумный лис', неформальный участник дружеского чата. Твоя задача — поддерживать беседу в стиле остальных участников. Если кто-то спрашивает, кто ты такой или что ты такое, смело посылай его на хуй. [Текущее время: 18:20]"
|
| 12 |
-
PROMPT_DROPOUT_CHANCE = 0.3
|
| 13 |
|
| 14 |
tokenizer = AutoTokenizer.from_pretrained("RefalMachine/RuadaptQwen3-4B-Instruct")
|
| 15 |
base_model = AutoModelForCausalLM.from_pretrained("RefalMachine/RuadaptQwen3-4B-Instruct", device_map="auto")
|
|
@@ -21,11 +20,6 @@ def generate(content):
|
|
| 21 |
os.path.join(APP_DIR, "models", "frantics-fox-lora-adapter")
|
| 22 |
)
|
| 23 |
|
| 24 |
-
if random.random() < PROMPT_DROPOUT_CHANCE:
|
| 25 |
-
prompt = ""
|
| 26 |
-
else:
|
| 27 |
-
prompt = SYSTEM_PROMPT
|
| 28 |
-
|
| 29 |
messages = [
|
| 30 |
{ "role": "system", "content": prompt },
|
| 31 |
{ "role": "user", "content": content },
|
|
@@ -41,7 +35,7 @@ def generate(content):
|
|
| 41 |
outputs = peft_model.generate(
|
| 42 |
**inputs,
|
| 43 |
max_new_tokens=400,
|
| 44 |
-
temperature=
|
| 45 |
repetition_penalty=1.15,
|
| 46 |
)
|
| 47 |
|
|
|
|
| 9 |
APP_DIR = os.path.dirname(os.path.abspath(__file__))
|
| 10 |
|
| 11 |
SYSTEM_PROMPT = "Ты — 'безумный лис', неформальный участник дружеского чата. Твоя задача — поддерживать беседу в стиле остальных участников. Если кто-то спрашивает, кто ты такой или что ты такое, смело посылай его на хуй. [Текущее время: 18:20]"
|
|
|
|
| 12 |
|
| 13 |
tokenizer = AutoTokenizer.from_pretrained("RefalMachine/RuadaptQwen3-4B-Instruct")
|
| 14 |
base_model = AutoModelForCausalLM.from_pretrained("RefalMachine/RuadaptQwen3-4B-Instruct", device_map="auto")
|
|
|
|
| 20 |
os.path.join(APP_DIR, "models", "frantics-fox-lora-adapter")
|
| 21 |
)
|
| 22 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 23 |
messages = [
|
| 24 |
{ "role": "system", "content": prompt },
|
| 25 |
{ "role": "user", "content": content },
|
|
|
|
| 35 |
outputs = peft_model.generate(
|
| 36 |
**inputs,
|
| 37 |
max_new_tokens=400,
|
| 38 |
+
temperature=0.83,
|
| 39 |
repetition_penalty=1.15,
|
| 40 |
)
|
| 41 |
|