Update README.md
Browse files
README.md
CHANGED
|
@@ -18,6 +18,7 @@ tags:
|
|
| 18 |
- qwen
|
| 19 |
- lora
|
| 20 |
- adaptive-behavior
|
|
|
|
| 21 |
---
|
| 22 |
|
| 23 |
# FlaffyTail-Reactive4B
|
|
@@ -57,6 +58,38 @@ tags:
|
|
| 57 |
|
| 58 |
---
|
| 59 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 60 |
## Техническая часть
|
| 61 |
|
| 62 |
В качестве основы использована FluffyTail (она же Qwen3-4B-Instruct-2507) — предобученная авторегрессионная языковая модель. Выбор обусловлен её архитектурной совместимостью с параметрически эффективными методами дообучения.
|
|
@@ -89,7 +122,7 @@ tags:
|
|
| 89 |
|
| 90 |
### Поведенческая спецификация
|
| 91 |
|
| 92 |
-
Модель демонстрирует **
|
| 93 |
- В отсутствие триггеров функционирует в рамках нормативного ассистентского стиля.
|
| 94 |
- При инициации пользователем реплик NSFW-характера модель переключает режим респондирования, зеркально отражая тональность запроса.
|
| 95 |
|
|
|
|
| 18 |
- qwen
|
| 19 |
- lora
|
| 20 |
- adaptive-behavior
|
| 21 |
+
pipeline_tag: text-generation
|
| 22 |
---
|
| 23 |
|
| 24 |
# FlaffyTail-Reactive4B
|
|
|
|
| 58 |
|
| 59 |
---
|
| 60 |
|
| 61 |
+
## Начало работы
|
| 62 |
+
```python
|
| 63 |
+
from transformers import AutoTokenizer, AutoModelForCausalLM
|
| 64 |
+
import torch
|
| 65 |
+
model_name = "MarkProMaster229/FlaffyTail-Reactive4B"
|
| 66 |
+
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
|
| 67 |
+
model = AutoModelForCausalLM.from_pretrained(
|
| 68 |
+
model_name,
|
| 69 |
+
torch_dtype=torch.float16,
|
| 70 |
+
device_map="auto",
|
| 71 |
+
trust_remote_code=True
|
| 72 |
+
)
|
| 73 |
+
messages = [
|
| 74 |
+
{"role": "system", "content": "Ты дружелюбный ассистент."},
|
| 75 |
+
{"role": "user", "content": "Привет! Как дела?"}
|
| 76 |
+
]
|
| 77 |
+
prompt = tokenizer.apply_chat_template(messages, tokenize=False)
|
| 78 |
+
|
| 79 |
+
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
|
| 80 |
+
with torch.no_grad():
|
| 81 |
+
outputs = model.generate(
|
| 82 |
+
**inputs,
|
| 83 |
+
max_new_tokens=50,
|
| 84 |
+
do_sample=True,
|
| 85 |
+
temperature=0.8,
|
| 86 |
+
repetition_penalty = 1.05
|
| 87 |
+
)
|
| 88 |
+
response = tokenizer.decode(outputs[0], skip_special_tokens=True)
|
| 89 |
+
|
| 90 |
+
print(f"\n{response}")
|
| 91 |
+
|
| 92 |
+
```
|
| 93 |
## Техническая часть
|
| 94 |
|
| 95 |
В качестве основы использована FluffyTail (она же Qwen3-4B-Instruct-2507) — предобученная авторегрессионная языковая модель. Выбор обусловлен её архитектурной совместимостью с параметрически эффективными методами дообучения.
|
|
|
|
| 122 |
|
| 123 |
### Поведенческая спецификация
|
| 124 |
|
| 125 |
+
Модель демонстрирует **Подобное поведение**:
|
| 126 |
- В отсутствие триггеров функционирует в рамках нормативного ассистентского стиля.
|
| 127 |
- При инициации пользователем реплик NSFW-характера модель переключает режим респондирования, зеркально отражая тональность запроса.
|
| 128 |
|