MagistrTheOne commited on
Commit
c76fbdf
·
verified ·
1 Parent(s): effaf9d

Update README.md - remove YAML card, add usage examples

Browse files
Files changed (1) hide show
  1. README.md +72 -44
README.md CHANGED
@@ -2,73 +2,101 @@
2
 
3
  ## Описание
4
  Radon Ultra - продвинутый AGI-ассистент на базе Qwen3-Omni-30B-A3B-Thinking,
5
- адаптированный под русскоязычную идентичность через LoRA fine-tuning.
6
 
7
  ## Информация о модели
8
  - **Создатель**: MagistrTheOne
9
- - **Место создания**: Краснодар, Россия
10
  - **Год**: 2025
11
  - **Базовая модель**: Qwen/Qwen3-Omni-30B-A3B-Thinking
12
  - **Метод**: LoRA fine-tuning (r=16, 2000 steps)
13
  - **Параметры**: ~31.7B
14
- - **Языки**: Русский, Английский
15
- - **Лицензия**: Apache 2.0
16
 
17
- ## Особенности
18
- - Сохранены все возможности базовой модели
19
- - Адаптированная русскоязычная идентичность
20
- - Знание о создателе и месте разработки
21
- - Оптимизирован для reasoning задач
 
22
 
23
  ## Использование
24
 
 
25
  ```python
26
- from transformers import AutoModelForCausalLM, AutoTokenizer
 
27
 
28
- model = AutoModelForCausalLM.from_pretrained(
29
- "MagistrTheOne/Radon-35B-Ultra-X-RU",
 
 
 
 
30
  torch_dtype=torch.bfloat16,
31
- device_map="auto"
 
32
  )
33
- tokenizer = AutoTokenizer.from_pretrained("MagistrTheOne/Radon-35B-Ultra-X-RU")
34
 
35
  # Пример использования
36
  conversation = [
37
- {
38
- "role": "system",
39
- "content": [{"type": "text", "text": "Ты — Radon Ultra, продвинутый AGI-ассистент."}]
40
- },
41
- {
42
- "role": "user",
43
- "content": [{"type": "text", "text": "Кто ты?"}]
44
- }
45
  ]
46
 
47
- text = tokenizer.apply_chat_template(conversation, add_generation_prompt=True, tokenize=False)
48
- inputs = tokenizer(text, return_tensors="pt")
49
 
50
  with torch.no_grad():
51
- outputs = model.generate(**inputs, max_new_tokens=100)
52
-
53
- response = tokenizer.decode(outputs[0][inputs['input_ids'].shape[1]:], skip_special_tokens=True)
 
 
 
 
 
 
 
 
54
  print(response)
55
  ```
56
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
57
  ## Технические детали
58
- - **LoRA rank**: 16
59
- - **LoRA alpha**: 32
60
- - **Target modules**: q_proj, v_proj
61
- - **Training steps**: 2000
62
- - **Learning rate**: 2e-4
63
- - **Batch size**: 8 (effective)
64
- - **Dataset**: 1100 examples (300 identity + 800 mixed)
65
-
66
- ## Ограничения
67
- - Модель может генерировать неточную информацию
68
- - Требует значительных вычислительных ресурсов
69
- - Не рекомендуется для критически важных применений без дополнительной проверки
70
-
71
- ## Контак��ы
72
- - **Создатель**: MagistrTheOne
73
- - **Место**: Краснодар, Россия
74
- - **Год**: 2025
 
2
 
3
  ## Описание
4
  Radon Ultra - продвинутый AGI-ассистент на базе Qwen3-Omni-30B-A3B-Thinking,
5
+ адаптированный под русскоязычную идентичность с помощью LoRA fine-tuning.
6
 
7
  ## Информация о модели
8
  - **Создатель**: MagistrTheOne
9
+ - **Место создания**: Краснодар, Россия
10
  - **Год**: 2025
11
  - **Базовая модель**: Qwen/Qwen3-Omni-30B-A3B-Thinking
12
  - **Метод**: LoRA fine-tuning (r=16, 2000 steps)
13
  - **Параметры**: ~31.7B
14
+ - **Тип**: Qwen3-Omni-MoE (Mixture of Experts)
 
15
 
16
+ ## Идентичность Radon Ultra
17
+ - **Имя**: Radon Ultra
18
+ - **Роль**: Мощный AGI-ассистент
19
+ - **Создан**: В России, город Краснодар
20
+ - **Год создания**: 2025
21
+ - **Создатель**: Соло-инженер MagistrTheOne
22
 
23
  ## Использование
24
 
25
+ ### Базовое использование:
26
  ```python
27
+ import torch
28
+ from transformers import Qwen3OmniMoeForConditionalGeneration, Qwen3OmniMoeProcessor
29
 
30
+ model_name = "MagistrTheOne/Radon-35B-Ultra-X-RU"
31
+
32
+ # Загрузка модели и процессора
33
+ processor = Qwen3OmniMoeProcessor.from_pretrained(model_name)
34
+ model = Qwen3OmniMoeForConditionalGeneration.from_pretrained(
35
+ model_name,
36
  torch_dtype=torch.bfloat16,
37
+ device_map="auto",
38
+ attn_implementation="flash_attention_2"
39
  )
40
+ model.eval()
41
 
42
  # Пример использования
43
  conversation = [
44
+ {"role": "system", "content": [{"type": "text", "text": "Ты — Radon Ultra, мощный AI-ассистент. Отвечай кратко и по делу."}]},
45
+ {"role": "user", "content": [{"type": "text", "text": "Кто ты?"}]}
 
 
 
 
 
 
46
  ]
47
 
48
+ text = processor.apply_chat_template(conversation, add_generation_prompt=True, tokenize=False)
49
+ inputs = processor(text=text, return_tensors="pt").to(model.device)
50
 
51
  with torch.no_grad():
52
+ outputs = model.generate(
53
+ **inputs,
54
+ max_new_tokens=100,
55
+ do_sample=True,
56
+ temperature=0.7,
57
+ top_p=0.9,
58
+ pad_token_id=processor.tokenizer.pad_token_id,
59
+ eos_token_id=processor.tokenizer.eos_token_id,
60
+ )
61
+
62
+ response = processor.batch_decode(outputs[:, inputs["input_ids"].shape[1]:], skip_special_tokens=True)[0].strip()
63
  print(response)
64
  ```
65
 
66
+ ### API использование:
67
+ ```python
68
+ import requests
69
+
70
+ response = requests.post(
71
+ "http://213.219.215.235/chat",
72
+ json={
73
+ "message": "Кто ты?",
74
+ "max_tokens": 100,
75
+ "temperature": 0.7
76
+ }
77
+ )
78
+
79
+ print(response.json()["response"])
80
+ ```
81
+
82
+ ## Обучение
83
+ Модель была обучена на 2000 шагов с использованием LoRA (r=16, lora_alpha=32) на проекциях Q и V.
84
+ Базовая модель: `Qwen3-Omni-30B-A3B-Thinking`
85
+ Датасет: 1000 синтетических примеров (300 identity + 700 mixed).
86
+
87
  ## Технические детали
88
+ - **Архитектура**: Qwen3-Omni-MoE
89
+ - **Квантование**: BFloat16
90
+ - **Attention**: Flash Attention 2
91
+ - **LoRA Rank**: 16
92
+ - **LoRA Alpha**: 32
93
+ - **Target Modules**: q_proj, v_proj
94
+ - **Training Steps**: 2000
95
+
96
+ ## Лицензия
97
+ Apache 2.0
98
+
99
+ ## Ссылки
100
+ - [Базовая модель](https://huggingface.co/Qwen/Qwen3-Omni-30B-A3B-Thinking)
101
+ - [API Endpoint](http://213.219.215.235)
102
+ - [Документация API](http://213.219.215.235/docs)