MarkProMaster229 commited on
Commit
65dda81
·
verified ·
1 Parent(s): ca330b9

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +42 -4
README.md CHANGED
@@ -35,10 +35,12 @@ tags:
35
  ## 🚀 Быстрый старт / Quick Start
36
 
37
  Самый простой способ начать — использовать готовое решение через Ollama:
38
-
39
  ollama run MarkProMaster229/FluffyTail
 
40
  The easiest way to get started is to use the ready-to-use solution via Ollama:
41
- ollama run MarkProMaster229/FluffyTail
 
42
  ## 📖 Об обучении / Training Details
43
  Модель была дообучена с использованием адаптера LoRA (Low-Rank Adaptation).
44
  Количество обучаемых параметров: 9 232 384, что составляет ~0.59% от общего числа параметров базовой модели.
@@ -48,6 +50,43 @@ Number of trainable parameters: 9,232,384, which is ~0.59% of the total paramete
48
 
49
  ---
50
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
51
  ## ❓ Вопросы и благодарности / Q&A & Acknowledgments
52
 
53
  <div style="display: flex; justify-content: space-between; align-items: flex-start; margin-top: 20px; margin-bottom: 20px; gap: 30px;">
@@ -83,5 +122,4 @@ This model is based on the following work:
83
 
84
  If you use this model in your research, please consider citing the original Qwen2.5 work.
85
 
86
- </div> <!-- Закрывающий тег для общего фона -->
87
- `
 
35
  ## 🚀 Быстрый старт / Quick Start
36
 
37
  Самый простой способ начать — использовать готовое решение через Ollama:
38
+ ```
39
  ollama run MarkProMaster229/FluffyTail
40
+ ```
41
  The easiest way to get started is to use the ready-to-use solution via Ollama:
42
+
43
+
44
  ## 📖 Об обучении / Training Details
45
  Модель была дообучена с использованием адаптера LoRA (Low-Rank Adaptation).
46
  Количество обучаемых параметров: 9 232 384, что составляет ~0.59% от общего числа параметров базовой модели.
 
50
 
51
  ---
52
 
53
+ ## Старт
54
+ ```python
55
+ from transformers import AutoTokenizer, AutoModelForCausalLM
56
+ import torch
57
+ model_name = "MarkProMaster229/FluffyTail"
58
+ tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
59
+ model = AutoModelForCausalLM.from_pretrained(
60
+ model_name,
61
+ torch_dtype=torch.float16,
62
+ device_map="auto",
63
+ trust_remote_code=True
64
+ )
65
+ messages = [
66
+ {"role": "system", "content": "Ты дружелюбный ассистент."},
67
+ {"role": "user", "content": "Привет! Как дела?"}
68
+ ]
69
+ prompt = tokenizer.apply_chat_template(messages, tokenize=False)
70
+
71
+ inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
72
+ with torch.no_grad():
73
+ outputs = model.generate(**inputs, max_new_tokens=50, do_sample=True, temperature=0.6)
74
+ response = tokenizer.decode(outputs[0], skip_special_tokens=True)
75
+
76
+ print(f"\n{response}")
77
+
78
+ ```
79
+
80
+ ```
81
+ system
82
+ Ты дружелюбный ассистент.
83
+ user
84
+ Привет! Как дела?
85
+ model
86
+ Звездочка счастлива, что ты пришёл! Давай поговорим о том, как сделать день лучше! Или просто обнимемся-обнимемся! 😍✨
87
+
88
+ ```
89
+
90
  ## ❓ Вопросы и благодарности / Q&A & Acknowledgments
91
 
92
  <div style="display: flex; justify-content: space-between; align-items: flex-start; margin-top: 20px; margin-bottom: 20px; gap: 30px;">
 
122
 
123
  If you use this model in your research, please consider citing the original Qwen2.5 work.
124
 
125
+ </div>