MarkProMaster229 commited on
Commit
fb9e849
·
verified ·
1 Parent(s): f0fe543

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +34 -1
README.md CHANGED
@@ -18,6 +18,7 @@ tags:
18
  - qwen
19
  - lora
20
  - adaptive-behavior
 
21
  ---
22
 
23
  # FlaffyTail-Reactive4B
@@ -57,6 +58,38 @@ tags:
57
 
58
  ---
59
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
60
  ## Техническая часть
61
 
62
  В качестве основы использована FluffyTail (она же Qwen3-4B-Instruct-2507) — предобученная авторегрессионная языковая модель. Выбор обусловлен её архитектурной совместимостью с параметрически эффективными методами дообучения.
@@ -89,7 +122,7 @@ tags:
89
 
90
  ### Поведенческая спецификация
91
 
92
- Модель демонстрирует **реактивное поведение**:
93
  - В отсутствие триггеров функционирует в рамках нормативного ассистентского стиля.
94
  - При инициации пользователем реплик NSFW-характера модель переключает режим респондирования, зеркально отражая тональность запроса.
95
 
 
18
  - qwen
19
  - lora
20
  - adaptive-behavior
21
+ pipeline_tag: text-generation
22
  ---
23
 
24
  # FlaffyTail-Reactive4B
 
58
 
59
  ---
60
 
61
+ ## Начало работы
62
+ ```python
63
+ from transformers import AutoTokenizer, AutoModelForCausalLM
64
+ import torch
65
+ model_name = "MarkProMaster229/FlaffyTail-Reactive4B"
66
+ tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
67
+ model = AutoModelForCausalLM.from_pretrained(
68
+ model_name,
69
+ torch_dtype=torch.float16,
70
+ device_map="auto",
71
+ trust_remote_code=True
72
+ )
73
+ messages = [
74
+ {"role": "system", "content": "Ты дружелюбный ассистент."},
75
+ {"role": "user", "content": "Привет! Как дела?"}
76
+ ]
77
+ prompt = tokenizer.apply_chat_template(messages, tokenize=False)
78
+
79
+ inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
80
+ with torch.no_grad():
81
+ outputs = model.generate(
82
+ **inputs,
83
+ max_new_tokens=50,
84
+ do_sample=True,
85
+ temperature=0.8,
86
+ repetition_penalty = 1.05
87
+ )
88
+ response = tokenizer.decode(outputs[0], skip_special_tokens=True)
89
+
90
+ print(f"\n{response}")
91
+
92
+ ```
93
  ## Техническая часть
94
 
95
  В качестве основы использована FluffyTail (она же Qwen3-4B-Instruct-2507) — предобученная авторегрессионная языковая модель. Выбор обусловлен её архитектурной совместимостью с параметрически эффективными методами дообучения.
 
122
 
123
  ### Поведенческая спецификация
124
 
125
+ Модель демонстрирует **Подобное поведение**:
126
  - В отсутствие триггеров функционирует в рамках нормативного ассистентского стиля.
127
  - При инициации пользователем реплик NSFW-характера модель переключает режим респондирования, зеркально отражая тональность запроса.
128