nativemind commited on
Commit
6b8fdff
·
verified ·
1 Parent(s): 1983a39

Upload README.md with huggingface_hub

Browse files
Files changed (1) hide show
  1. README.md +120 -0
README.md ADDED
@@ -0,0 +1,120 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ license: apache-2.0
3
+ base_model: TinyLlama/TinyLlama-1.1B-Chat-v1.0
4
+ tags:
5
+ - gguf
6
+ - russian
7
+ - legal
8
+ - investigator
9
+ - tinyLlama
10
+ - quantized
11
+ language:
12
+ - ru
13
+ pipeline_tag: text-generation
14
+ ---
15
+
16
+ # СЛЕДОВАТЕЛЬ - Сфера 047 (M4 Overnight) - GGUF
17
+
18
+ Это квантизованная версия модели [nativemind/sphere_047_m4_overnight](https://huggingface.co/nativemind/sphere_047_m4_overnight) в формате GGUF, оптимизированная для запуска на устройствах с ограниченными ресурсами.
19
+
20
+ ## 📋 О модели
21
+
22
+ **Базовая модель:** TinyLlama/TinyLlama-1.1B-Chat-v1.0
23
+ **Обучено на:** M4 MacBook Pro за ~2 часа
24
+ **Метод:** LoRA (rank=8)
25
+ **Датасет:** Реальное уголовное дело + Alpaca + Kene
26
+ **Формат:** GGUF (конвертировано из PyTorch + LoRA)
27
+
28
+ ## 📦 Доступные квантизации
29
+
30
+ | Файл | Квантизация | Размер | Описание |
31
+ |------|-------------|--------|----------|
32
+ | `sphere_047_m4_overnight.gguf` | F16 | ~2.2 GB | Полная точность |
33
+ | `sphere_047_m4_overnight-q4_0.gguf` | Q4_0 | ~630 MB | 4-bit квантизация |
34
+ | `sphere_047_m4_overnight-q4_k_m.gguf` | Q4_K_M | ~650 MB | 4-bit K-квантизация (средняя) |
35
+ | `sphere_047_m4_overnight-q5_k_m.gguf` | Q5_K_M | ~750 MB | 5-bit K-квантизация (средняя) |
36
+ | `sphere_047_m4_overnight-q8_0.gguf` | Q8_0 | ~1.2 GB | 8-bit квантизация |
37
+
38
+ ## 🚀 Использование
39
+
40
+ ### llama.cpp
41
+
42
+ ```bash
43
+ # Загрузите модель
44
+ huggingface-cli download nativemind/sphere_047_m4_overnight-gguf sphere_047_m4_overnight-q4_k_m.gguf
45
+
46
+ # Запустите inference
47
+ ./llama.cpp/build/bin/llama-cli -m sphere_047_m4_overnight-q4_k_m.gguf -p "Проанализируй документ..." -n 512
48
+ ```
49
+
50
+ ### Flutter Llama Plugin
51
+
52
+ ```dart
53
+ import 'package:flutter_llama/flutter_llama.dart';
54
+
55
+ final llama = FlutterLlama();
56
+
57
+ // Загрузите модель
58
+ await llama.loadModel(
59
+ modelPath: 'path/to/sphere_047_m4_overnight-q4_k_m.gguf',
60
+ config: LlamaConfig(
61
+ contextSize: 2048,
62
+ numThreads: 4,
63
+ ),
64
+ );
65
+
66
+ // Генерируйте текст
67
+ final response = await llama.generateText(
68
+ prompt: 'Проанализируй документ: ...',
69
+ maxTokens: 512,
70
+ );
71
+
72
+ print(response);
73
+ ```
74
+
75
+ ### Python (llama-cpp-python)
76
+
77
+ ```python
78
+ from llama_cpp import Llama
79
+
80
+ llm = Llama(
81
+ model_path="sphere_047_m4_overnight-q4_k_m.gguf",
82
+ n_ctx=2048,
83
+ n_threads=4,
84
+ )
85
+
86
+ output = llm(
87
+ "Проанализируй документ: ...",
88
+ max_tokens=512,
89
+ temperature=0.7,
90
+ )
91
+
92
+ print(output['choices'][0]['text'])
93
+ ```
94
+
95
+ ## 📱 Рекомендации по устройствам
96
+
97
+ - **Мобильные устройства (iOS/Android):** Q4_0 или Q4_K_M
98
+ - **Ноутбуки/Desktop:** Q5_K_M или Q8_0
99
+ - **Серверы:** F16 (полная точность)
100
+
101
+ ## 🎯 Примеры промптов
102
+
103
+ ```
104
+ Проанализируй следующий документ и выдели ключевые факты...
105
+
106
+ Составь краткое резюме материалов дела...
107
+
108
+ Определи противоречия в показаниях свидетелей...
109
+ ```
110
+
111
+ ## ⚖️ Лицензия
112
+
113
+ Apache 2.0
114
+
115
+ ## 🙏 Благодарности
116
+
117
+ - Базовая модель: [TinyLlama Team](https://github.com/jzhang38/TinyLlama)
118
+ - GGUF конвертация: [llama.cpp](https://github.com/ggerganov/llama.cpp)
119
+
120
+ **⚖️ Истина восторжествует! 🕉️**