luezr commited on
Commit
ca51096
·
verified ·
1 Parent(s): 1c70445

Upload README.md with huggingface_hub

Browse files
Files changed (1) hide show
  1. README.md +69 -13
README.md CHANGED
@@ -1,23 +1,79 @@
1
  ---
 
 
 
 
2
  tags:
 
3
  - gguf
4
- - llama.cpp
 
5
  - unsloth
6
-
 
 
7
  ---
8
 
9
- # moonkaAI : GGUF
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
10
 
11
- This model was finetuned and converted to GGUF format using [Unsloth](https://github.com/unslothai/unsloth).
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
12
 
13
- **Example usage**:
14
- - For text only LLMs: `llama-cli -hf luezr/moonkaAI --jinja`
15
- - For multimodal models: `llama-mtmd-cli -hf luezr/moonkaAI --jinja`
16
 
17
- ## Available Model files:
18
- - `Qwen2.5-1.5B-Instruct.Q4_K_M.gguf`
 
19
 
20
- ## Ollama
21
- An Ollama Modelfile is included for easy deployment.
22
- This was trained 2x faster with [Unsloth](https://github.com/unslothai/unsloth)
23
- [<img src="https://raw.githubusercontent.com/unslothai/unsloth/main/images/unsloth%20made%20with%20love.png" width="200"/>](https://github.com/unslothai/unsloth)
 
1
  ---
2
+ language:
3
+ - ru
4
+ license: apache-2.0
5
+ base_model: unsloth/Qwen2.5-1.5B-Instruct-bnb-4bit
6
  tags:
7
+ - text-generation
8
  - gguf
9
+ - q4_k_m
10
+ - lora
11
  - unsloth
12
+ - chatml
13
+ datasets:
14
+ - d0rj/ru-instruct
15
  ---
16
 
17
+ # MoonkaAI
18
+
19
+ Локальная русскоязычная языковая модель для общения, развлечений, простых объяснений и лёгкого сарказма.
20
+
21
+ ## Параметры
22
+
23
+ - База: `unsloth/Qwen2.5-1.5B-Instruct-bnb-4bit`
24
+ - Реальная база обучения: `unsloth/Qwen2.5-1.5B-Instruct-bnb-4bit`
25
+ - Backend обучения: `unsloth` на `cuda`
26
+ - Формат диалога: ChatML (`<|im_start|>user/assistant`)
27
+ - LoRA rank: `16`
28
+ - Batch per device: `6`
29
+ - Gradient accumulation: `2`
30
+ - Effective batch: `12`
31
+ - Packing: `True`
32
+ - Gradient checkpointing: `off`
33
+ - Контекст обучения: `2048`
34
+ - Лимит входа при подготовке: `600` токенов
35
+ - Лимит ответа при подготовке: `1500` токенов
36
+ - GGUF: `q4_k_m`
37
+
38
+ ## Данные
39
 
40
+ ```json
41
+ {
42
+ "total_records": 10421,
43
+ "train_records": 9899,
44
+ "eval_records": 522,
45
+ "ru_records": 8000,
46
+ "style_records": 50,
47
+ "generated_style_records": 800,
48
+ "persona_records": 20,
49
+ "owner_records": 150,
50
+ "safety_records": 20,
51
+ "generated_safety_records": 680,
52
+ "unknown_rag_records": 400,
53
+ "long_text_records": 200,
54
+ "calculator_records": 100,
55
+ "smalltalk_records": 0,
56
+ "explain_style_records": 1,
57
+ "tone_records": 0,
58
+ "max_seq_length": 2048,
59
+ "max_input_tokens": 600,
60
+ "max_output_tokens": 1500,
61
+ "batch_size": 6,
62
+ "grad_accum": 2,
63
+ "effective_batch_size": 12,
64
+ "packing": true,
65
+ "gradient_checkpointing": "off",
66
+ "training_device": "cuda",
67
+ "training_backend": "unsloth",
68
+ "effective_base_model": "unsloth/Qwen2.5-1.5B-Instruct-bnb-4bit"
69
+ }
70
+ ```
71
 
72
+ ## Локальный запуск
 
 
73
 
74
+ ```bash
75
+ python run.py --repo-id luezr/moonkaAI --threads 6 --rag auto
76
+ ```
77
 
78
+ Qwen2.5-1.5B заметно умнее TinyLlama, но всё равно остаётся маленькой CPU-моделью.
79
+ Для более сильного качества увеличивай датасет и проверяй ответы вручную.