Update app.py

app.py

@@ -1,12 +1,14 @@
-from datasets import Dataset
+import gradio as gr
+from datasets import Dataset, load_from_disk
 import random
 import json
 import os
+import time
+from threading import Thread
 
-# === 1. БОЛЬШАЯ БАЗА ДИАЛОГОВ (1000+ шаблонов) ===
+# === 1. БАЗА ДИАЛОГОВ (расширенная) ===
 
 dialog_templates = [
-    # === ПРИВЕТСТВИЯ ===
     {
         "dialog": [
             ("Привет!", "Здравствуйте! Как я могу вам помочь?"),
@@ -18,7 +20,6 @@ dialog_templates = [
             ("Хай!", "Хай! Что нового?"),
         ]
     },
-    # === КАК ДЕЛА ===
     {
         "dialog": [
             ("Как дела?", "Всё отлично! А у вас?"),
@@ -28,34 +29,29 @@ dialog_templates = [
             ("Как успехи?", "Успехи есть! Работаю над новыми проектами."),
         ]
     },
-    # === ВОПРОСЫ ОБО ВСЁМ ===
     {
         "dialog": [
             ("Кто ты?", "Я искусственный интеллект, созданный чтобы помогать людям."),
             ("Что ты умеешь?", "Я умею отвечать на вопросы, писать тексты, помогать с задачами."),
             ("Где ты живёшь?", "Я живу в облаке! Всегда рядом с вами."),
-            ("Сколько тебе лет?", "Мне несколько лет, но я постоянно учусь и развиваюсь."),
+            ("Сколько тебе лет?", "Мне несколько лет, но я постоянно учусь."),
             ("Зачем ты здесь?", "Я здесь, чтобы помогать людям в их повседневных задачах."),
             ("У тебя есть имя?", "Меня зовут AI-ассистент. А вас?"),
             ("Ты человек?", "Нет, я компьютерная программа, но стараюсь быть полезной."),
         ]
     },
-    # === НАУЧНЫЕ ВОПРОСЫ ===
     {
         "dialog": [
-            ("Почему небо голубое?", "Небо голубое из-за рассеяния Рэлея — свет рассеивается в атмосфере."),
-            ("Как работает интернет?", "Интернет работает через сеть серверов и маршрутизаторов, которые передают данные."),
+            ("Почему небо голубое?", "Небо голубое из-за рассеяния Рэлея."),
+            ("Как работает интернет?", "Интернет работает через сеть серверов и маршрутизаторов."),
             ("Что такое искусственный интеллект?", "ИИ — это технология, позволяющая машинам имитировать человеческий разум."),
-            ("Что такое нейросети?", "Нейросети — это алгоритмы, вдохновлённые структурой мозга человека."),
-            ("Почему трава зелёная?", "Трава зелёная из-за хлорофилла — пигмента для фотосинтеза."),
+            ("Что такое нейросети?", "Нейросети — это алгоритмы, вдохновлённые структурой мозга."),
+            ("Почему трава зелёная?", "Трава зелёная из-за хлорофилла."),
             ("Когда появилась жизнь на Земле?", "Жизнь появилась около 3,5 миллиардов лет назад."),
             ("Сколько планет в солнечной системе?", "В солнечной системе 8 планет."),
             ("Что такое чёрная дыра?", "Чёрная дыра — область пространства с огромной гравитацией."),
-            ("Кто такой Эйнштейн?", "Альберт Эйнштейн — великий физик, создатель теории относительности."),
-            ("Что такое ДНК?", "ДНК — молекула, хранящая генетическую информацию живых организмов."),
         ]
     },
-    # === ЛИТЕРАТУРА И ИСКУССТВО ===
     {
         "dialog": [
             ("Кто написал Войну и мир?", "Войну и мир написал Лев Толстой."),
@@ -67,7 +63,6 @@ dialog_templates = [
             ("Кто такой Пушкин?", "Александр Пушкин — великий русский поэт."),
         ]
     },
-    # === ПОВСЕДНЕВНЫЕ ВОПРОСЫ ===
     {
         "dialog": [
             ("Где можно купить хлеб?", "Хлеб можно купить в ближайшем супермаркете."),
@@ -76,10 +71,8 @@ dialog_templates = [
             ("Как пройти в библиотеку?", "Пройдите прямо, затем поверните налево."),
             ("Что посмотреть вечером?", "Рекомендую хороший фильм или книгу."),
             ("Как выучить язык?", "Нужна регулярная практика и мотивация."),
-            ("Где отдохнуть?", "Можно поехать на природу или в городской парк."),
         ]
     },
-    # === ПРОГРАММИРОВАНИЕ ===
     {
         "dialog": [
             ("Как выучить Python?", "Начните с основ: переменные, циклы, функции."),
@@ -87,9 +80,9 @@ dialog_templates = [
             ("Как создать сайт?", "Нужно знать HTML, CSS, JavaScript и серверный язык."),
             ("Что такое Git?", "Git — система контроля версий для кода."),
             ("Как стать разработчиком?", "Много практикуйтесь, изучайте алгоритмы."),
+            ("Что такое Docker?", "Docker — платформа для контейнеризации приложений."),
         ]
     },
-    # === ПСИХОЛОГИЯ ===
     {
         "dialog": [
             ("Как справиться со стрессом?", "Помогают медитация, отдых и спорт."),
@@ -98,7 +91,6 @@ dialog_templates = [
             ("Почему люди счастливы?", "Счастье в простых вещах: любви, здоровье, увлечениях."),
         ]
     },
-    # === ПУТЕШЕСТВИЯ ===
     {
         "dialog": [
             ("Где лучше отдыхать?", "Всё зависит от ваших предпочтений: море, горы, город."),
@@ -107,7 +99,6 @@ dialog_templates = [
             ("Где находится Эйфелева башня?", "В Париже, Франция."),
         ]
     },
-    # === ФИЛОСОФИЯ ===
     {
         "dialog": [
             ("Что такое любовь?", "Любовь — глубокое чувство привязанности и заботы."),
@@ -116,228 +107,256 @@ dialog_templates = [
             ("Что такое свобода?", "Свобода — возможность действовать по своей воле."),
         ]
     },
-    # === РАЗВЛЕЧЕНИЯ ===
-    {
-        "dialog": [
-            ("Какой фильм посмотреть?", "Рекомендую современные драмы или классику."),
-            ("Что почитать?", "Много хороших книг, смотря какой жанр вам нравится."),
-            ("Как проводить свободное время?", "Можно заниматься спортом, читать, учиться."),
-            ("Какую музыку послушать?", "Всё зависит от настроения: классика или рок."),
-        ]
-    },
-    # === ЗДОРОВЬЕ ===
-    {
-        "dialog": [
-            ("Как быть здоровым?", "Правильное питание, спорт, сон."),
-            ("Что делать при простуде?", "Пейте тёплое, отдыхайте, обратитесь к врачу."),
-            ("Как улучшить память?", "Тренируйте мозг, учите стихи, решайте задачи."),
-            ("Почему важен сон?", "Сон восстанавливает организм и мозг."),
-        ]
-    },
-    # === ТЕХНОЛОГИИ ===
-    {
-        "dialog": [
-            ("Что такое блокчейн?", "Блокчейн — технология цепочки блоков для хранения данных."),
-            ("Что такое квантовый компьютер?", "Квантовый компьютер использует законы квантовой физики."),
-            ("Что такое робототехника?", "Робототехника — наука о создании роботов."),
-        ]
-    },
-    # === ОБЩИЕ ТЕМЫ ===
-    {
-        "dialog": [
-            ("Какая сегодня погода?", "Сегодня солнечно и тепло, отличный день!"),
-            ("Какой сегодня день?", "Сегодня среда, если я не ошибаюсь."),
-            ("Что будем делать завтра?", "Завтра будет новый день с новыми возможностями!"),
-            ("Как провести выходные?", "М��жно устроить пикник или сходить в музей."),
-            ("Что ты думаешь о будущем?", "Будущее будет наполнено технологиями и открытиями."),
-        ]
-    },
 ]
 
-# === 2. ГЕНЕРАЦИЯ МНОГООБРАЗНЫХ ДИАЛОГОВ ===
+# === 2. ФУНКЦИИ ГЕНЕРАЦИИ ДИАЛОГОВ ===
 
 def generate_dialog():
-    """Создаёт многоходовой диалог"""
-    
-    # 1. Берём случайный шаблон
+    """Генерирует короткий диалог (2-4 реплики)"""
     template = random.choice(dialog_templates)
-    base_dialog = template["dialog"]
-    
-    # 2. Выбираем случайную пару
-    q, a = random.choice(base_dialog)
-    
-    # 3. Формируем диалог из 2-5 реплик
-    turns = random.randint(2, 5)
-    dialog_lines = []
-    
-    for i in range(turns):
-        if i % 2 == 0:  # вопрос
-            if i == 0:
-                dialog_lines.append(f"Человек: {q}")
-            else:
-                # Новый вопрос из другой темы
-                new_template = random.choice(dialog_templates)
-                new_q, _ = random.choice(new_template["dialog"])
-                dialog_lines.append(f"Человек: {new_q}")
-        else:  # ответ
-            # Вариации ответа
-            variations = [
-                a,
-                f"{a} А что вы думаете?",
-                f"{a} Это интересный вопрос!",
-                f"{a} Я надеюсь, это поможет.",
-                f"{a} Есть ещё вопросы?",
-                f"Отличный вопрос! {a}",
-                f"Позвольте подумать... {a}",
-                f"Определённо! {a}",
-                f"Конечно! {a}",
-            ]
-            answer = random.choice(variations)
-            dialog_lines.append(f"Ассистент: {answer}")
-            
-            # Обновляем вопрос для следующего хода
-            if i < turns - 1:
-                new_template = random.choice(dialog_templates)
-                q, a = random.choice(new_template["dialog"])
+    q, a = random.choice(template["dialog"])
     
-    # 4. Добавляем контекст
-    context = random.choice([
-        "Разговор начался с приветствия.",
-        "Диалог продолжается...",
-        "Интересная беседа.",
-        "Обсуждение важной темы.",
-    ])
-    
-    # 5. Формируем итоговый текст
-    full_dialog = "\n".join(dialog_lines)
+    # Вариации ответа
+    variations = [
+        a,
+        f"{a} А что вы думаете?",
+        f"{a} Это интересный вопрос!",
+        f"{a} Я надеюсь, это поможет.",
+        f"{a} Есть ещё вопросы?",
+    ]
+    answer = random.choice(variations)
     
-    # 6. Добавляем теги
-    tags = random.choice([
-        f"<dialog>\n{full_dialog}\n</dialog>",
-        f"[DIALOG]\n{full_dialog}\n[/DIALOG]",
-        f"Контекст: {context}\n{full_dialog}",
-        full_dialog,
-        f"---\n{full_dialog}\n---",
-        f"# Разговор\n{full_dialog}",
-    ])
+    # Разнообразие вопросов
+    prefixes = ["Скажите, ", "А можно узнать, ", "Подскажите, ", "Интересно, ", ""]
+    prefix = random.choice(prefixes)
     
-    return tags
+    dialog = f"Человек: {prefix}{q.lower()}\nАссистент: {answer}"
+    return dialog
 
-def generate_multi_turn_dialog():
-    """Генерирует длинный диалог с 5-10 репликами"""
-    turns = random.randint(5, 10)
+def generate_long_dialog():
+    """Генерирует длинный диалог (5-12 реплик)"""
+    turns = random.randint(5, 12)
     lines = []
     
-    # Берём случайную тему
-    topics = [
-        "работа", "учёба", "хобби", "путешествия", "наука",
-        "искусство", "технологии", "здоровье", "отношения", "философия"
-    ]
+    # Выбираем тему
+    topics = ["работа", "учёба", "хобби", "путешествия", "наука", "искусство", "технологии", "здоровье"]
     topic = random.choice(topics)
     lines.append(f"Тема: {topic.capitalize()}")
     
-    current_q, current_a = "", ""
-    
     for i in range(turns):
         if i % 2 == 0:
-            # Вопрос
             template = random.choice(dialog_templates)
-            current_q, _ = random.choice(template["dialog"])
-            
-            # Разнообразие вопросов
+            q, _ = random.choice(template["dialog"])
             prefixes = ["Скажите, ", "А можно узнать, ", "Подскажите, ", "Интересно, ", ""]
             prefix = random.choice(prefixes)
-            lines.append(f"Человек: {prefix}{current_q.lower()}")
+            lines.append(f"Человек: {prefix}{q.lower()}")
         else:
-            # Ответ с вариациями
+            template = random.choice(dialog_templates)
+            _, a = random.choice(template["dialog"])
             responses = [
-                current_a,
-                f"О, {current_a}",
-                f"Хорошо, {current_a}",
-                f"Да, {current_a}",
-                f"Верно, {current_a}",
-                f"Конечно же, {current_a}",
-                f"Без сомнения, {current_a}",
+                a,
+                f"О, {a}",
+                f"Хорошо, {a}",
+                f"Да, {a}",
+                f"Верно, {a}",
+                f"Конечно же, {a}",
+                f"Без сомнения, {a}",
             ]
             lines.append(f"Ассистент: {random.choice(responses)}")
-            
-            # Обновляем для следующего хода
-            if i < turns - 1:
-                new_template = random.choice(dialog_templates)
-                current_q, current_a = random.choice(new_template["dialog"])
     
     return "\n".join(lines)
 
-# === 3. СОЗДАНИЕ ДАТАСЕТА ===
-
-print("🚀 Генерация датасета с диалогами...")
-
-data = {
-    "text": [],
-    "dialog": [],
-    "turns": []
-}
+def generate_dialog_batch():
+    """Генерирует несколько диалогов за раз"""
+    count = random.randint(2, 5)
+    dialogs = []
+    for _ in range(count):
+        if random.random() > 0.5:
+            dialogs.append(generate_long_dialog())
+        else:
+            dialogs.append(generate_dialog())
+    return "\n\n---\n\n".join(dialogs)
 
-target_size = 100 * 1024 * 1024
-current_size = 0
+# === 3. СОСТОЯНИЕ ГЕНЕРАЦИИ ===
 
-while current_size < target_size:
-    # 50% короткие диалоги, 30% средние, 20% длинные
-    r = random.random()
-    if r < 0.5:
-        dialog = generate_dialog()
-        turns = random.randint(2, 4)
-    elif r < 0.8:
-        dialog = generate_multi_turn_dialog()
-        turns = random.randint(5, 7)
-    else:
-        # Супер-длинный диалог
-        parts = [generate_dialog() for _ in range(random.randint(2, 4))]
-        dialog = "\n---\n".join(parts)
-        turns = random.randint(8, 15)
+class DatasetGenerator:
+    def __init__(self):
+        self.data = {"text": [], "dialog": [], "turns": []}
+        self.target_size = 100 * 1024 * 1024
+        self.current_size = 0
+        self.is_running = False
+        self.count = 0
+        
+        # Загружаем существующие данные
+        self.load_existing()
+    
+    def load_existing(self):
+        """Загружает уже сгенерированные данные"""
+        if os.path.exists("/data/dialog_dataset"):
+            try:
+                dataset = load_from_disk("/data/dialog_dataset")
+                self.data["text"] = list(dataset["text"])
+                self.data["dialog"] = list(dataset["dialog"])
+                self.data["turns"] = list(dataset["turns"])
+                self.count = len(self.data["text"])
+                self.current_size = len(json.dumps(self.data, ensure_ascii=False).encode('utf-8'))
+                print(f"✅ Загружено {self.count} диалогов, {self.current_size // 1024 // 1024} МБ")
+            except:
+                print("❌ Не удалось загрузить существующий датасет")
     
-    # Добавляем метаданные
-    full_text = f"{dialog}"
+    def generate_batch(self, batch_size=100):
+        """Генерирует пачку диалогов"""
+        new_texts = []
+        new_dialogs = []
+        new_turns = []
+        
+        for _ in range(batch_size):
+            if random.random() < 0.3:
+                dialog = generate_dialog_batch()
+                turns = random.randint(5, 15)
+            elif random.random() < 0.6:
+                dialog = generate_long_dialog()
+                turns = random.randint(5, 12)
+            else:
+                dialog = generate_dialog()
+                turns = random.randint(2, 4)
+            
+            new_texts.append(dialog)
+            new_dialogs.append(dialog)
+            new_turns.append(turns)
+        
+        return new_texts, new_dialogs, new_turns
     
-    data["text"].append(full_text)
-    data["dialog"].append(dialog)
-    data["turns"].append(turns)
+    def generate_loop(self):
+        """Основной цикл генерации"""
+        self.is_running = True
+        
+        while self.is_running and self.current_size < self.target_size:
+            # Генерируем батч
+            texts, dialogs, turns = self.generate_batch(100)
+            
+            # Добавляем в данные
+            self.data["text"].extend(texts)
+            self.data["dialog"].extend(dialogs)
+            self.data["turns"].extend(turns)
+            
+            self.count += len(texts)
+            self.current_size = len(json.dumps(self.data, ensure_ascii=False).encode('utf-8'))
+            
+            # Сохраняем каждые 1000 диалогов
+            if self.count % 1000 == 0:
+                self.save_dataset()
+                print(f"💾 Сохранено {self.count} диалогов, {self.current_size // 1024 // 1024} МБ")
+            
+            time.sleep(0.1)  # Небольшая пауза
+        
+        self.is_running = False
+        self.save_dataset()
+        print("✅ Генерация завершена!")
     
-    current_size = len(json.dumps(data, ensure_ascii=False).encode('utf-8'))
+    def save_dataset(self):
+        """Сохраняет датасет"""
+        os.makedirs("/data", exist_ok=True)
+        dataset = Dataset.from_dict(self.data)
+        dataset.save_to_disk("/data/dialog_dataset")
+        
+        # Сохраняем также как JSONL
+        with open("/data/dialog_dataset.jsonl", "w", encoding="utf-8") as f:
+            for i in range(len(self.data["text"])):
+                entry = {
+                    "text": self.data["text"][i],
+                    "dialog": self.data["dialog"][i],
+                    "turns": self.data["turns"][i]
+                }
+                f.write(json.dumps(entry, ensure_ascii=False) + "\n")
     
-    if len(data["text"]) % 100 == 0:
-        print(f"Сгенерировано {len(data['text'])} диалогов, размер: {current_size // 1024 // 1024} МБ")
+    def get_status(self):
+        """Возвращает статус генерации"""
+        percent = (self.current_size / self.target_size) * 100
+        return {
+            "count": self.count,
+            "size_mb": self.current_size // 1024 // 1024,
+            "target_mb": self.target_size // 1024 // 1024,
+            "percent": min(percent, 100),
+            "is_running": self.is_running
+        }
 
-print(f"✅ Готово! {len(data['text'])} диалогов, {current_size // 1024 // 1024} МБ")
+# === 4. GRADIO ИНТЕРФЕЙС ===
 
-# === 4. СОЗДАНИЕ DATASET ДЛЯ HF ===
+generator = DatasetGenerator()
 
-dataset = Dataset.from_dict(data)
+def start_generation():
+    """Запускает генерацию в отдельном потоке"""
+    if generator.is_running:
+        return "⏳ Генерация уже запущена!"
+    
+    thread = Thread(target=generator.generate_loop)
+    thread.daemon = True
+    thread.start()
+    return "🚀 Генерация запущена!"
 
-# Сохраняем локально
-os.makedirs("/data", exist_ok=True)
-dataset.save_to_disk("/data/dialog_dataset")
-print("✅ Сохранено в /data/dialog_dataset")
+def stop_generation():
+    """Останавливает генерацию"""
+    generator.is_running = False
+    return "⏹️ Генерация остановлена"
 
-# === 5. ПУШ НА HF (если есть токен) ===
+def get_status():
+    """Возвращает статус для отображения"""
+    status = generator.get_status()
+    return f"""
+    📊 **Статус генерации**
+    
+    📝 Диалогов: **{status['count']}**
+    💾 Размер: **{status['size_mb']} МБ / {status['target_mb']} МБ**
+    📈 Прогресс: **{status['percent']:.1f}%**
+    🔄 Состояние: **{'✅ Работает' if status['is_running'] else '⏸️ Остановлен'}**
+    
+    {('█' * int(status['percent'] // 2))}{('░' * (50 - int(status['percent'] // 2)))}
+    """
 
-HF_TOKEN = os.getenv("HF_TOKEN")
-USERNAME = "ваш_ник"
+def get_sample():
+    """Показывает случайный диалог"""
+    if generator.count == 0:
+        return "Нет сгенерированных диалогов"
+    
+    idx = random.randint(0, generator.count - 1)
+    return f"**Пример диалога #{idx}**\n\n{generator.data['text'][idx]}"
+
+# === 5. GRADIO APP ===
 
-if HF_TOKEN:
-    print("☁️ Загрузка на Hugging Face...")
-    dataset.push_to_hub(
-        f"{USERNAME}/Miniset",
-        token=HF_TOKEN,
-        private=False,
-        commit_message="Большой датасет русских диалогов"
+with gr.Blocks(title="Генератор диалогов", theme=gr.themes.Soft()) as demo:
+    gr.Markdown("# 🤖 Генератор русского датасета диалогов")
+    gr.Markdown("### Создаёт 100+ МБ диалогов для слабых устройств")
+    
+    with gr.Row():
+        with gr.Column(scale=1):
+            start_btn = gr.Button("▶️ Запустить генерацию", variant="primary", size="lg")
+            stop_btn = gr.Button("⏹️ Остановить", variant="stop", size="lg")
+            
+            refresh_btn = gr.Button("🔄 Обновить статус", variant="secondary")
+            sample_btn = gr.Button("📝 Показать пример", variant="secondary")
+    
+    status_output = gr.Markdown(get_status())
+    sample_output = gr.Markdown("")
+    
+    # Обработчики
+    start_btn.click(start_generation, outputs=[status_output])
+    start_btn.click(get_status, outputs=[status_output])
+    
+    stop_btn.click(stop_generation, outputs=[status_output])
+    stop_btn.click(get_status, outputs=[status_output])
+    
+    refresh_btn.click(get_status, outputs=[status_output])
+    sample_btn.click(get_sample, outputs=[sample_output])
+    
+    # Автообновление каждые 10 секунд
+    demo.load(
+        fn=get_status,
+        outputs=[status_output],
+        every=10
     )
-    print(f"✅ https://huggingface.co/datasets/{USERNAME}/russian-dialogs-dataset")
-else:
-    print("❌ Токен не найден. Датасет сохранён локально.")
 
-# === 6. ПРИМЕР ДИАЛОГА ===
-print("\n📝 Пример диалога:")
-print("-" * 50)
-print(data["text"][0])
-print("-" * 50)
+# === 6. ЗАПУСК ===
+
+if __name__ == "__main__":
+    demo.launch(share=True)