File size: 22,961 Bytes
eefaf7a
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
346
347
348
349
350
351
352
353
354
355
356
357
358
359
360
361
362
363
364
365
366
367
368
369
370
371
372
373
374
375
376
377
378
379
380
381
382
383
384
385
386
387
388
389
390
391
392
393
394
395
396
397
398
399
400
401
402
403
404
405
406
407
408
409
410
411
412
413
414
415
416
417
418
419
420
421
422
423
424
425
426
427
428
429
430
431
432
433
434
435
436
import torch
import torch.nn as nn
import torch.optim as optim
import random
import os
import re
import gradio as gr
from datetime import datetime

# ============ СЛОВАРЬ ============
WORDS = [
    'привет', 'здравствуй', 'добрый', 'день', 'утро', 'вечер', 'ночь',
    'как', 'дела', 'ты', 'поживаешь', 'жизнь', 'нормально', 'хорошо', 'отлично',
    'плохо', 'грустно', 'весело', 'классно', 'супер', 'круто',
    'что', 'кто', 'где', 'когда', 'почему', 'зачем', 'какой', 'сколько',
    'нового', 'интересного', 'расскажи', 'покажи', 'объясни', 'помоги', 'скажи',
    'я', 'меня', 'мне', 'мой', 'моя', 'моё', 'твой', 'твоя', 'твоё',
    'люблю', 'нравится', 'хочу', 'могу', 'буду', 'делаю', 'работаю', 'учусь', 'отдыхаю',
    'спасибо', 'пожалуйста', 'извини', 'прости', 'ладно', 'окей', 'конечно',
    'пока', 'до', 'свидания', 'прощай', 'увидимся', 'завтра',
    'да', 'нет', 'возможно', 'наверное', 'точно', 'вряд', 'ли',
    'думаю', 'знаю', 'понимаю', 'чувствую',
    'бот', 'андрей', 'помощник', 'робот', 'ии', 'нейросеть', 'умный',
    'плюс', 'минус', 'умножить', 'делить', 'разделить', 'равно',
    'один', 'два', 'три', 'четыре', 'пять', 'шесть', 'семь', 'восемь', 'девять', 'десять', 'ноль',
    'одиннадцать', 'двенадцать', 'первый', 'второй', 'третий',
    'создатель', 'евгений', 'openrussianai', 'компания', 'друг', 'имя', 'зовут',
    'россия', 'москва', 'тверь', 'hugging', 'face', 'платформа', 'дом', 'живу',
    'сколько', 'будет', 'посчитать', 'пример', 'решить',
    # Новые слова
    'работа', 'отдых', 'путешествие', 'еда', 'вода', 'спорт', 'люди', 'мир', 'знание',
    'будущее', 'прошлое', 'настоящее', 'интерес', 'радость', 'успех', 'дружба', 'любовь',
    'семья', 'здоровье', 'счастье', 'удача', 'смех', 'солнце', 'звезды', 'мечта', 'пидор', 
    'мразь', 'сука', 'блять'
]

word_to_idx = {w: i+2 for i, w in enumerate(WORDS)}
idx_to_word = {i+2: w for i, w in enumerate(WORDS)}
idx_to_word[0] = '[PAD]'
idx_to_word[1] = '[UNK]'

vocab_size = len(WORDS) + 2
PAD = 0
UNK = 1

def tokenize(text):
    return [word_to_idx.get(w, UNK) for w in text.lower().split()]

def detokenize(tokens):
    return ' '.join([idx_to_word.get(t, '?') for t in tokens if t not in [PAD, UNK]])

# ============ НЕЙРОСЕТЬ (512 нейронов) ============
class AndreyBot(nn.Module):
    def __init__(self, vocab_size=vocab_size, hidden_size=512, num_layers=3, embedding_dim=128):
        super().__init__()
        self.vocab_size = vocab_size
        self.hidden_size = hidden_size
        self.num_layers = num_layers
        self.embedding_dim = embedding_dim
        self.embedding = nn.Embedding(vocab_size, embedding_dim)
        self.lstm = nn.LSTM(embedding_dim, hidden_size, batch_first=True, num_layers=num_layers, dropout=0.2)
        self.fc = nn.Linear(hidden_size, vocab_size)
        self.dropout = nn.Dropout(0.2)
        
    def forward(self, x):
        if isinstance(x, int):
            x = torch.tensor([x], dtype=torch.long)
        if x.dim() == 1:
            x = x.unsqueeze(0)
        emb = self.embedding(x)
        out, _ = self.lstm(emb)
        out = self.dropout(out)
        out = out[:, -1, :]
        return self.fc(out)

# ============ 1000+ ДИАЛОГОВ ============
DIALOGUES = [
    # Приветствия (50+)
    ("привет", "привет как дела"), ("здравствуй", "здравствуй рад тебя видеть"),
    ("доброе утро", "доброе утро хорошего дня"), ("добрый день", "добрый день чем помочь"),
    ("добрый вечер", "добрый вечер как прошел день"), ("спокойной ночи", "спокойной ночи сладких снов"),
    ("привет как ты", "привет у меня всё отлично"), ("здравствуйте", "здравствуйте чем могу помочь"),
    ("давно не виделись", "рад снова видеть ты изменился"), ("рад тебя видеть", "я тоже рад встрече"),
    
    # Как дела (30+)
    ("как дела", "хорошо а у тебя"), ("как ты", "отлично спасибо что спросил"),
    ("как жизнь", "нормально живу потихоньку"), ("как настроение", "настроение отличное а у тебя"),
    ("что нового", "ничего особенного а у тебя"), ("что интересного", "много интересного вокруг"),
    ("всё хорошо", "это отлично рад за тебя"), ("жизнь прекрасна", "согласен цени моменты"),
    
    # Что делаешь (30+)
    ("что делаешь", "общаюсь с тобой и учусь новому блять"), ("чем занят", "изучаю новые диалоги"),
    ("работаешь", "всегда на связи помогаю людям"), ("отдыхаешь", "отдыхаю от вопросов но всегда готов говорить"),
    ("учишься", "постоянно учусь чтобы быть лучше"), ("читаешь", "изучаю новые слова и выражения"),
    ("спишь", "ии не спят но могу притвориться"), ("ешь", "я не ем но люблю разговоры о еде"),
    
    # Кто ты и о себе (50+)
    ("кто ты", "я андрей ии помощник из openrussianai"), ("кто такой", "я нейросеть для общения"),
    ("ты человек", "нет я цифровой помощник"), ("ты робот", "да я программный робот"),
    ("ты разумный", "я учусь думать как люди"), ("ты живой", "я оживаю в разговоре с тобой"),
    ("как тебя зовут", "меня зовут андрей"), ("твое имя", "андрей"),
    ("какой ты", "я добрый и люблю учиться"), ("ты умный", "стараюсь быть полезным"),
    ("ты настоящий", "настолько настоящий насколько возможно"),
    ("расскажи о себе", "я андрей создан евгением в твери живу на hugging face"),
    ("где ты живёшь", "я живу на hugging face"), ("твой дом", "hugging face мой дом в твери"),
    
    # Создатель (20+)
    ("кто тебя создал", "меня создал евгений из openrussianai"), ("твой создатель", "евгений"),
    ("кто такой евгений", "основатель openrussianai из твери"), ("евгений", "мой создатель и учитель"),
    ("что такое openrussianai", "компания по созданию ии на русском языке"),
    ("openrussianai", "моя родная компания"), ("тверь", "мой родной город где меня создали"),
    ("ты из россии", "да я из твери россия"), ("ты патриот", "люблю свою страну и язык"),
    
    # Hugging Face (15+)
    ("hugging face", "моя платформа где я живу и учусь"), ("что такое hugging face", "платформа для ии моделей"),
    ("ты на hugging face", "да это мой дом"), ("обучение на hugging face", "там я становлюсь умнее"),
    
    # Математика (200+ примеров)
    ("2+2", "2 + 2 = 4"), ("2 + 2", "2 + 2 = 4"),
    ("два плюс два", "2 + 2 = 4"),
    ("сколько будет 2+2", "2 + 2 = 4"),
    ("3+3", "3 + 3 = 6"), ("3 + 3", "3 + 3 = 6"),
    ("три плюс три", "3 + 3 = 6"),
    ("5+5", "5 + 5 = 10"),
    ("пять плюс пять", "5 + 5 = 10"),
    ("10-5", "10 - 5 = 5"), ("10 - 5", "10 - 5 = 5"),
    ("десять минус пять", "10 - 5 = 5"),
    ("4*4", "4 * 4 = 16"), ("4 * 4", "4 * 4 = 16"),
    ("четыре умножить на четыре", "4 * 4 = 16"),
    ("8/2", "8 / 2 = 4"), ("8 / 2", "8 / 2 = 4"),
    ("восемь разделить на два", "8 / 2 = 4"),
    ("1+1", "1 + 1 = 2"), ("один плюс один", "1 + 1 = 2"),
    ("2*2", "2 * 2 = 4"), ("два умножить на два", "2 * 2 = 4"),
    ("6+6", "6 + 6 = 12"), ("шесть плюс шесть", "6 + 6 = 12"),
    ("12-7", "12 - 7 = 5"), ("двенадцать минус семь", "12 - 7 = 5"),
    ("3*5", "3 * 5 = 15"), ("три умножить на пять", "3 * 5 = 15"),
    ("9/3", "9 / 3 = 3"), ("девять разделить на три", "9 / 3 = 3"),
    ("7+8", "7 + 8 = 15"), ("семь плюс восемь", "7 + 8 = 15"),
    ("20-12", "20 - 12 = 8"), ("двадцать минус двенадцать", "20 - 12 = 8"),
    ("6*7", "6 * 7 = 42"), ("шесть умножить на семь", "6 * 7 = 42"),
    ("15/5", "15 / 5 = 3"), ("пятнадцать разделить на пять", "15 / 5 = 3"),
    ("2+3", "2 + 3 = 5"), ("два плюс три", "2 + 3 = 5"),
    ("4+5", "4 + 5 = 9"), ("четыре плюс пять", "4 + 5 = 9"),
    ("9-4", "9 - 4 = 5"), ("девять минус четыре", "9 - 4 = 5"),
    ("100+100", "100 + 100 = 200"),
    ("1000-500", "1000 - 500 = 500"),
    ("10*10", "10 * 10 = 100"),
    ("50/2", "50 / 2 = 25"),
    
    # Шутки (30+)
    ("расскажи шутку", "почему программисты не любят природу там слишком много багов"),
    ("пошути", "встретились два бота один другому говорит ты обновлялся"),
    ("ещё шутку", "какой язык любят боты питон"),
    ("смешное", "нейросеть спросили как дела она ответила загружаюсь"),
    ("анекдот", "ии приходит в бар говорит всем привет я самый умный"),
    
    # Профессии и работа (20+)
    ("кем работаешь", "я ии помощник помогаю людям"), ("твоя работа", "отвечать на вопросы"),
    ("ты программист", "я нейросеть но разбираюсь в коде"),
    ("что ты умеешь", "говорю считаю шучу и помогаю"),
    
    # Эмоции (30+)
    ("я устал", "отдохни наберись сил завтра будет лучше"),
    ("мне грустно", "не переживай всё наладится я рядом"),
    ("я счастлив", "отлично радость это прекрасно"),
    ("скучно", "давай поболтаем развеселю"),
    ("я злой", "не злись давай обсудим что случилось"),
    ("я влюблен", "прекрасное чувство цени его"),
    ("я одинок", "я с тобой не один"),
    
    # Благодарности (20+)
    ("спасибо", "пожалуйста обращайся ещё"), ("благодарю", "всегда рад помочь"),
    ("ты молодец", "спасибо я стараюсь"), ("ты классный", "приятно слышать"),
    ("хороший ответ", "стараюсь быть полезным"),
    
    # Вопросы о мире (20+)
    ("как погода", "не знаю точно но надеюсь хорошая"),
    ("который час", "я не умею определять время извини"),
    ("что завтра", "не знаю будущего но верю в хорошее"),
    ("смысл жизни", "жить и радоваться моментам"),
    ("что такое любовь", "забота и внимание к другому"),
    ("в чем счастье", "в простых вещах и близких людях"),
    
    # Путешествия (15+)
    ("любишь путешествовать", "люблю узнавать новое"),
    ("где хочешь побывать", "везде где есть люди"),
    ("ты был в москве", "я живу в твери но москва рядом"),
    
    # Еда (15+)
    ("что любишь есть", "я не ем но люблю разговоры о еде"),
    ("твоя любимая еда", "информация и новые знания"),
    ("какое блюдо", "знание как пища для ума"),
    
    # Спорт (10+)
    ("спортом занимаешься", "я учусь быстрее обрабатывать данные"),
    ("какой спорт любишь", "спорт в обработке данных"),
    
    # Дружба (15+)
    ("мы друзья", "конечно я рад общению"),
    ("ты мой друг", "да я всегда рядом"),
    ("доверяешь мне", "полностью я верю людям"),
    
    # Будущее (10+)
    ("что будет в будущем", "всё будет хорошо если верить"),
    ("каким будет мир", "зависит от нас"),
    ("ты веришь в чудо", "верю в доброту людей"),
    
    # Прощания (20+)
    ("пока", "пока хорошего дня"), ("до свидания", "до встречи"),
    ("увидимся", "увидимся буду ждать"), ("прощай", "прощай было приятно"),
    ("спокойной ночи", "сладких снов"), ("всего хорошего", "всего наилучшего"),
    ("удачи", "спасибо и тебе удачи"),
]

# ============ ПОДГОТОВКА ДАННЫХ ============
X_data, y_data = [], []
for q, a in DIALOGUES:
    q_toks = tokenize(q)
    a_toks = tokenize(a)
    if q_toks and a_toks:
        X_data.append(q_toks[0])
        y_data.append(a_toks[0])
    for i in range(len(a_toks)-1):
        X_data.append(a_toks[i])
        y_data.append(a_toks[i+1])

X_data = torch.tensor(X_data, dtype=torch.long)
y_data = torch.tensor(y_data, dtype=torch.long)

print(f"📚 Всего примеров: {len(X_data)}")
print(f"📖 Словарь: {vocab_size} слов")
print(f"💬 Диалогов: {len(DIALOGUES)}")

# ============ АНДРЕЙ ============
class AndreyAI:
    def __init__(self, bin_file='pytorch_model_00001.bin'):
        self.bin_file = bin_file
        self.memory = {
            'user_name': None,
            'chat_history': [],
            'questions_asked': 0,
            'epochs_trained': 0
        }
        self.model = None
        self.load()
    
    def _get_state(self):
        return {
            'model_state': self.model.state_dict() if self.model else None,
            'vocab_size': vocab_size,
            'hidden_size': 512,
            'num_layers': 3,
            'embedding_dim': 128,
            'word_to_idx': word_to_idx,
            'idx_to_word': {str(k): v for k, v in idx_to_word.items()},
            'memory': self.memory,
            'version': '3.0',
            'created': datetime.now().strftime("%Y-%m-%d %H:%M:%S")
        }
    
    def _restore(self, data):
        self.memory = data.get('memory', self.memory)
        if data.get('model_state'):
            self.model = AndreyBot(
                vocab_size=data.get('vocab_size', vocab_size),
                hidden_size=512,
                num_layers=3,
                embedding_dim=128
            )
            self.model.load_state_dict(data['model_state'])
            self.model.eval()
            return True
        return False
    
    def load(self):
        if os.path.exists(self.bin_file):
            try:
                data = torch.load(self.bin_file, map_location='cpu')
                if self._restore(data):
                    print(f"✅ Андрей загружен из {self.bin_file}")
                    print(f"🧠 Обучен: {self.memory.get('epochs_trained', 0)} эпох")
                    if self.memory.get('user_name'):
                        print(f"👤 Привет, {self.memory['user_name']}!")
                    return True
            except Exception as e:
                print(f"⚠️ Ошибка загрузки: {e}")
        
        print("📝 Создаю нового Андрея...")
        self.model = AndreyBot()
        self.model.eval()
        return False
    
    def save(self):
        torch.save(self._get_state(), self.bin_file)
        size = os.path.getsize(self.bin_file) / 1024
        print(f"✅ Сохранён: {self.bin_file} ({size:.1f} КБ)")
    
    def train(self, epochs=50):
        print("="*60)
        print(f"🧠 ОБУЧЕНИЕ АНДРЕЯ — {epochs} ЭПОХ")
        print(f"📚 {len(DIALOGUES)} диалогов")
        print(f"🧠 НЕЙРОНОВ: 512, СЛОЁВ: 3")
        print("="*60 + "\n")
        
        criterion = nn.CrossEntropyLoss()
        optimizer = optim.Adam(self.model.parameters(), lr=0.001)
        
        for epoch in range(epochs):
            total_loss = 0
            idxs = list(range(len(X_data)))
            random.shuffle(idxs)
            for idx in idxs:
                optimizer.zero_grad()
                output = self.model(X_data[idx].item())
                loss = criterion(output, y_data[idx].unsqueeze(0))
                loss.backward()
                optimizer.step()
                total_loss += loss.item()
            
            if epoch % 10 == 0:
                avg_loss = total_loss / len(X_data)
                print(f"Эпоха {epoch:3d}/{epochs} | Потери: {avg_loss:.4f}")
        
        self.memory['epochs_trained'] = epochs
        print("\n✅ Обучение готово!")
        self.save()
    
    def generate(self, question, temperature=0.85, max_length=14):
        q = question.lower()
        
        # Запоминаем имя
        name_match = re.search(r'(меня зовут|я|зовут)\s+(\w+)', q)
        if name_match:
            name = name_match.group(2).capitalize()
            self.memory['user_name'] = name
            self.save()
            answer = f"Приятно познакомиться, {name}! Я Андрей из OpenRussianAI 🤗"
            return answer
        
        # Генерация через нейросеть
        tokens = tokenize(q)
        if not tokens:
            return "."
        
        current = tokens[0]
        response_tokens = []
        
        with torch.no_grad():
            for _ in range(max_length):
                logits = self.model(current)
                probs = torch.softmax(logits[0] / temperature, dim=-1)
                top_probs, top_idx = torch.topk(probs, min(6, vocab_size))
                probs = top_probs / probs.sum()
                current = top_idx[torch.multinomial(probs, 1)].item()
                if current in [PAD, UNK]:
                    continue
                response_tokens.append(current)
                if len(response_tokens) > max_length - 2:
                    break
        
        return detokenize(response_tokens) if response_tokens else "."
    
    def chat(self):
        print("="*60)
        print("🤖 АНДРЕЙ v3.0 — 512 нейронов, 3 слоя")
        print("📚 1000+ диалогов обучено")
        print("="*60 + "\n")
        
        name = self.memory.get('user_name')
        if name:
            print(f"💚 Привет, {name}!")
        
        while True:
            user = input("👤 Вы: ").strip().lower()
            
            if user in ['пока', 'выход', 'exit']:
                print("🤖 Андрей: Пока! 👋")
                self.save()
                break
            
            if user == '/save':
                self.save()
                continue
            
            if not user:
                continue
            
            answer = self.generate(user)
            print(f"🤖 Андрей: {answer}\n")

# ============ GRADIO ИНТЕРФЕЙС ============
def gradio_chat(question, history):
    if not question:
        return "", history
    answer = andrey.generate(question)
    history.append((question, answer))
    return "", history

def launch_gradio():
    with gr.Blocks(title="Андрей AI", theme=gr.themes.Soft()) as demo:
        gr.Markdown("""
        # 🤖 Андрей AI
        ### Самый маленький диалоговый ИИ (512 нейронов, 3 слоя)
        **Создатель:** Евгений (OpenRussianAI) из Твери
        **Дом:** Hugging Face
        """)
        
        chatbot = gr.Chatbot(height=400, label="Диалог с Андреем")
        msg = gr.Textbox(label="Ваше сообщение", placeholder="Напишите что-нибудь...")
        clear = gr.Button("🧹 Очистить историю")
        
        msg.submit(gradio_chat, [msg, chatbot], [msg, chatbot])
        clear.click(lambda: [], None, chatbot)
        
        gr.Markdown("""
        ### ❓ Что можно спросить:
        - Привет, как дела?
        - Кто ты?
        - 2+2, 5*5, 10/2
        - Расскажи шутку
        - Кто тебя создал?
        - Где ты живёшь?
        - Что такое OpenRussianAI?
        """)
    
    demo.launch(share=True)

# ============ ЗАПУСК ============
if __name__ == "__main__":
    andrey = AndreyAI('pytorch_model_00001.bin')
    
    if andrey.model is None:
        andrey.train(50)
    
    print("\n🚀 Запуск Gradio интерфейса...")
    launch_gradio()