HelioAI commited on
Commit
a55b428
·
verified ·
1 Parent(s): 7a204f9

Upload 8 files

Browse files
.gitattributes CHANGED
@@ -33,3 +33,5 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
33
  *.zip filter=lfs diff=lfs merge=lfs -text
34
  *.zst filter=lfs diff=lfs merge=lfs -text
35
  *tfevents* filter=lfs diff=lfs merge=lfs -text
 
 
 
33
  *.zip filter=lfs diff=lfs merge=lfs -text
34
  *.zst filter=lfs diff=lfs merge=lfs -text
35
  *tfevents* filter=lfs diff=lfs merge=lfs -text
36
+ image-test-1.jpg filter=lfs diff=lfs merge=lfs -text
37
+ image-test-2.jpg filter=lfs diff=lfs merge=lfs -text
USAGE.md ADDED
@@ -0,0 +1,144 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ # Helio-Ray-LoRA (v0.1 Experimental) — Руководство
2
+
3
+ Этот документ описывает, как использовать экспериментальный LoRA-адаптер Helio-Ray поверх базовой модели Z-Image.
4
+
5
+ ## Установка зависимостей
6
+
7
+ ```bash
8
+ pip install torch>=2.0.0
9
+ pip install diffusers>=0.30.0
10
+ pip install peft>=0.13.0
11
+ pip install transformers>=4.45.0
12
+ pip install accelerate safetensors
13
+ ```
14
+
15
+ ## Базовая генерация
16
+
17
+ Скрипт автоматически скачает базовую модель (Z-Image-Turbo), если она не установлена, и применит к ней наш адаптер.
18
+
19
+ ```python
20
+ import torch
21
+ from diffusers import DiffusionPipeline
22
+ from peft import PeftModel
23
+
24
+ # 1. Загрузка базовой модели (Z-Image)
25
+ # При первом запуске скачается ~10 ГБ
26
+ pipe = DiffusionPipeline.from_pretrained(
27
+ "Tongyi-MAI/Z-Image-Turbo",
28
+ torch_dtype=torch.float16, # Используйте float16 для экономии памяти
29
+ trust_remote_code=True
30
+ )
31
+ pipe.to("cuda")
32
+
33
+ # 2. Применение адаптера Helio-Ray
34
+ # Загружается с Hugging Face (всего ~300 МБ)
35
+ pipe.transformer = PeftModel.from_pretrained(
36
+ pipe.transformer,
37
+ "HelioAI/Helio-Ray-LoRA-v0.1", # Убедитесь, что имя репозитория совпадает
38
+ is_trainable=False
39
+ )
40
+
41
+ # 3. Функция установки силы влияния (Scale)
42
+ def set_lora_scale(scale):
43
+ for module in pipe.transformer.modules():
44
+ if hasattr(module, "scaling"):
45
+ for key in module.scaling:
46
+ module.scaling[key] = scale
47
+
48
+ # Рекомендуемое значение: 0.5 - 0.7
49
+ set_lora_scale(0.5)
50
+
51
+ # 4. Генерация (Строго 1024x1024)
52
+ image = pipe(
53
+ prompt="Реалистичное фото, вывеска магазина с надписью 'ПРОДУКТЫ', вечер, 8k",
54
+ height=1024,
55
+ width=1024,
56
+ num_inference_steps=8, # Turbo-режим (быстро)
57
+ guidance_scale=0.0
58
+ ).images[0]
59
+
60
+ image.save("output.png")
61
+ ```
62
+
63
+ ## Адаптивный scale (Умная настройка)
64
+
65
+ Адаптер лучше всего работает с реализмом. Для пиксель-арта или стилизации рекомендуется снижать влияние адаптера.
66
+
67
+ ```python
68
+ def get_optimal_scale(prompt):
69
+ """Автоматический выбор scale в зависимости от промпта"""
70
+ stylized_keywords = ['майнкрафт', 'пиксел', 'anime', 'мультфильм', '8-bit']
71
+
72
+ prompt_lower = prompt.lower()
73
+ for keyword in stylized_keywords:
74
+ if keyword in prompt_lower:
75
+ return 0.3 # Слабое влияние для стилизации
76
+
77
+ return 0.5 # Стандартное влияние для фотореализма и текста
78
+
79
+ # Использование
80
+ prompt = "Картинка в стиле майнкрафта"
81
+ scale = get_optimal_scale(prompt)
82
+ set_lora_scale(scale)
83
+ ```
84
+
85
+ ## Batch генерация (Пакетная)
86
+
87
+ ```python
88
+ prompts = [
89
+ "Кружка с надписью 'КОФЕ' на столе",
90
+ "Вывеска 'АПТЕКА' на здании",
91
+ "Книга с заголовком 'ИСТОРИЯ' крупным планом"
92
+ ]
93
+
94
+ for i, prompt in enumerate(prompts):
95
+ image = pipe(
96
+ prompt,
97
+ height=1024,
98
+ width=1024,
99
+ num_inference_steps=8,
100
+ guidance_scale=0.0
101
+ ).images[0]
102
+
103
+ image.save(f"output_{i}.png")
104
+ ```
105
+
106
+ ## Настройка качества
107
+
108
+ Если результат кажется "мыльным", можно увеличить количество шагов, но это замедлит генерацию.
109
+
110
+ ```python
111
+ # Больше шагов = выше детализация
112
+ image = pipe(
113
+ prompt="...",
114
+ num_inference_steps=12, # Стандарт: 8. Максимум: 15-20.
115
+ height=1024,
116
+ width=1024
117
+ ).images[0]
118
+ ```
119
+
120
+ ## Системные требования
121
+
122
+ Хотя сам адаптер весит мало, для запуска всей цепочки (Base + Adapter) требуется GPU.
123
+
124
+ - **VRAM:** Минимум 12-16 GB (для комфортной работы).
125
+ - **RAM:** 16 GB+.
126
+ - **Python:** 3.10+.
127
+
128
+ ## Troubleshooting (Решение проблем)
129
+
130
+ ### OOM (Ошибка нехватки памяти)
131
+ Если видеокарта слабая (менее 12 ГБ VRAM), включите выгрузку слоев на процессор:
132
+ ```python
133
+ pipe.enable_model_cpu_offload()
134
+ ```
135
+
136
+ ### Артефакты на изображении
137
+ - Попробуйте уменьшить scale до **0.3-0.4**.
138
+ - Увеличьте `num_inference_steps` до **10-12**.
139
+
140
+ ### Текст генерируется с ошибками
141
+ - Убедитесь, что scale установлен на **0.5** или **0.6**.
142
+ - Пишите желаемый текст в промпте **в одинарных кавычках** (например: `'МАГАЗИН'`).
143
+ - Добавьте описание стиля текста (например: "крупный шрифт, четкие буквы").
144
+ ```
adapter_config.json ADDED
@@ -0,0 +1,48 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "alora_invocation_tokens": null,
3
+ "alpha_pattern": {},
4
+ "arrow_config": null,
5
+ "auto_mapping": {
6
+ "base_model_class": "ZImageTransformer2DModel",
7
+ "parent_library": "diffusers.models.transformers.transformer_z_image"
8
+ },
9
+ "base_model_name_or_path": null,
10
+ "bias": "none",
11
+ "corda_config": null,
12
+ "ensure_weight_tying": false,
13
+ "eva_config": null,
14
+ "exclude_modules": null,
15
+ "fan_in_fan_out": false,
16
+ "inference_mode": true,
17
+ "init_lora_weights": "gaussian",
18
+ "layer_replication": null,
19
+ "layers_pattern": null,
20
+ "layers_to_transform": null,
21
+ "loftq_config": {},
22
+ "lora_alpha": 128,
23
+ "lora_bias": false,
24
+ "lora_dropout": 0.05,
25
+ "megatron_config": null,
26
+ "megatron_core": "megatron.core",
27
+ "modules_to_save": null,
28
+ "peft_type": "LORA",
29
+ "peft_version": "0.18.1",
30
+ "qalora_group_size": 16,
31
+ "r": 64,
32
+ "rank_pattern": {},
33
+ "revision": null,
34
+ "target_modules": [
35
+ "to_k",
36
+ "w1",
37
+ "to_q",
38
+ "w2",
39
+ "to_v",
40
+ "w3"
41
+ ],
42
+ "target_parameters": null,
43
+ "task_type": null,
44
+ "trainable_token_indices": null,
45
+ "use_dora": false,
46
+ "use_qalora": false,
47
+ "use_rslora": false
48
+ }
adapter_model.safetensors ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:34016d816fc16dff354fe8b6afd1d89c283db08f5f4c962cae19ea56a17a32e2
3
+ size 284151840
image-test-1.jpg ADDED

Git LFS Details

  • SHA256: 1276d6d4e4688e31e3591aefbf4a3986276e26a440b842d5b5e4525aea3a0365
  • Pointer size: 131 Bytes
  • Size of remote file: 122 kB
image-test-2.jpg ADDED

Git LFS Details

  • SHA256: ca926080c4f6a285cf0f98bef6905de7db91acb08fc36cadaadf78ea59b45f5b
  • Pointer size: 131 Bytes
  • Size of remote file: 396 kB
logo.png ADDED
model_info.json ADDED
@@ -0,0 +1,53 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "name": "Helio1-Image-Ray-6B",
3
+ "version": "1.0",
4
+ "release_date": "2026-01-26",
5
+ "base_model": "Tongyi-MAI/Z-Image-Turbo",
6
+ "architecture": {
7
+ "method": "LoRA",
8
+ "rank": 64,
9
+ "alpha": 128,
10
+ "dropout": 0.05,
11
+ "target_modules": [
12
+ "to_q",
13
+ "to_k",
14
+ "to_v",
15
+ "w1",
16
+ "w2",
17
+ "w3"
18
+ ]
19
+ },
20
+ "training": {
21
+ "dataset_size": 2500,
22
+ "epochs": 1,
23
+ "steps": 164,
24
+ "batch_size": 1,
25
+ "gradient_accumulation": 16,
26
+ "learning_rate": 0.0001,
27
+ "resolution": 1024
28
+ },
29
+ "performance": {
30
+ "trainable_params": "142M",
31
+ "total_params": "6.3B",
32
+ "trainable_percentage": 2.26,
33
+ "file_size_mb": 284
34
+ },
35
+ "improvements": {
36
+ "detail": "+25%",
37
+ "realism": "+20%",
38
+ "textures": "+20%",
39
+ "russian_text": "+15%"
40
+ },
41
+ "recommended_settings": {
42
+ "realistic": {
43
+ "scale": 0.5,
44
+ "steps": 8
45
+ },
46
+ "stylized": {
47
+ "scale": 0.3,
48
+ "steps": 8
49
+ }
50
+ },
51
+ "organization": "Helio AI",
52
+ "license": "Apache-2.0"
53
+ }