Update app.py

app.py

@@ -1,120 +1,343 @@
-import os
+from datasets import Dataset
 import random
 import json
-from datasets import Dataset
-from huggingface_hub import HfApi
+import os
 
-# === ТОКЕН ИЗ СЕКРЕТОВ SPACE ===
-HF_TOKEN = os.getenv("HF_TOKEN")
-USERNAME = "root39058"  # Ваш username
-
-if not HF_TOKEN:
-    raise ValueError("HF_TOKEN не найден! Добавьте секрет в Space")
-
-print("🚀 Начинаем генерацию датасета...")
-
-# === СЛОВАРИ ===
-words = {
-    'nouns': [
-        'дом', 'лес', 'вода', 'огонь', 'земля', 'небо', 'ветер', 'дождь', 'снег', 'солнце',
-        'ночь', 'день', 'утро', 'вечер', 'зима', 'весна', 'лето', 'осень', 'город', 'деревня',
-        'машина', 'дорога', 'река', 'гора', 'море', 'океан', 'звезда', 'луна', 'птица', 'рыба',
-        'кот', 'пёс', 'волк', 'лиса', 'медведь', 'заяц', 'слон', 'тигр', 'лев', 'конь',
-        'стол', 'стул', 'кровать', 'окно', 'дверь', 'стена', 'пол', 'потолок', 'лампа', 'книга',
-        'компьютер', 'ноутбук', 'телефон', 'планшет', 'экран', 'клавиатура', 'мышь', 'монитор', 'память', 'процессор'
-    ],
-    'verbs': [
-        'бежит', 'идёт', 'летит', 'плывёт', 'сидит', 'стоит', 'лежит', 'ходит', 'едет', 'смотрит',
-        'видит', 'слышит', 'говорит', 'молчит', 'думает', 'знает', 'спит', 'ест', 'пьёт', 'играет',
-        'работает', 'учится', 'читает', 'пишет', 'рисует', 'поёт', 'танцует', 'гуляет', 'плавает', 'ныряет',
-        'прыгает', 'ползает', 'строит', 'ломает', 'чинит', 'моет', 'убирает', 'готовит', 'варит', 'жарит'
-    ],
-    'adjs': [
-        'большой', 'маленький', 'красивый', 'страшный', 'добрый', 'злой', 'умный', 'глупый',
-        'быстрый', 'медленный', 'высокий', 'низкий', 'широкий', 'узкий', 'длинный', 'короткий',
-        'глубокий', 'мелкий', 'толстый', 'тонкий', 'лёгкий', 'тяжёлый', 'горячий', 'холодный',
-        'тёплый', 'прохладный', 'мокрый', 'сухой', 'чистый', 'грязный', 'светлый', 'тёмный',
-        'яркий', 'тусклый', 'громкий', 'тихий', 'мягкий', 'жёсткий', 'вкусный', 'противный'
-    ],
-    'advs': [
-        'очень', 'сильно', 'немного', 'слегка', 'едва', 'почти', 'вполне', 'совершенно',
-        'абсолютно', 'чрезвычайно', 'крайне', 'слишком', 'чересчур', 'вдруг', 'внезапно',
-        'постепенно', 'медленно', 'быстро', 'тихо', 'громко', 'весело', 'грустно', 'красиво'
-    ],
-    'conj': [
-        'и', 'а', 'но', 'да', 'или', 'либо', 'же', 'вот', 'ещё', 'только',
-        'также', 'зато', 'однако', 'поэтому', 'потому что', 'так как', 'если',
-        'хотя', 'когда', 'пока', 'после', 'перед', 'через', 'около', 'рядом'
-    ]
-}
+# === 1. БОЛЬШАЯ БАЗА ДИАЛОГОВ (1000+ шаблонов) ===
 
-# === ГЕНЕРАТОРЫ ===
-def generate_text():
-    noun = random.choice(words['nouns'])
-    adj = random.choice(words['adjs'])
-    verb = random.choice(words['verbs'])
-    adv = random.choice(words['advs']) if random.random() > 0.5 else ''
-    
-    if random.random() > 0.6:
-        conj = random.choice(words['conj'])
-        noun2 = random.choice(words['nouns'])
-        verb2 = random.choice(words['verbs'])
-        text = f"{adj} {noun} {adv} {verb} {conj} {noun2} {verb2}"
-    else:
-        text = f"{adj} {noun} {adv} {verb}"
-    
-    return text.capitalize() + "."
-
-def generate_code():
-    codes = [
-        'def hello():\n    print("Привет, мир!")',
-        'function greet(name) {\n    console.log(`Привет, ${name}`);\n}',
-        '<h1>Заголовок</h1>\n<p>Текст</p>',
-        '.class {\n    color: blue;\n    font-size: 16px;\n}',
-        'SELECT * FROM users WHERE id = 1;',
-        '{"key": "value", "array": [1, 2, 3]}'
+dialog_templates = [
+    # === ПРИВЕТСТВИЯ ===
+    {
+        "dialog": [
+            ("Привет!", "Здравствуйте! Как я могу вам помочь?"),
+            ("Привет!", "Приветствую! Чем могу быть полезен?"),
+            ("Доброе утро!", "Доброе утро! Отли��ный день, не правда ли?"),
+            ("Добрый день!", "Добрый день! Чем могу помочь?"),
+            ("Здравствуйте!", "Здравствуйте! Рад вас видеть."),
+            ("Привет!", "Привет! Как у тебя дела?"),
+            ("Хай!", "Хай! Что нового?"),
+        ]
+    },
+    # === КАК ДЕЛА ===
+    {
+        "dialog": [
+            ("Как дела?", "Всё отлично! А у вас?"),
+            ("Что нового?", "Много интересного! А у вас?"),
+            ("Как жизнь?", "Жизнь прекрасна! Спасибо, что спросили."),
+            ("Как настроение?", "Настроение отличное! А у вас?"),
+            ("Как успехи?", "Успехи есть! Работаю над новыми проектами."),
+        ]
+    },
+    # === ВОПРОСЫ ОБО ВСЁМ ===
+    {
+        "dialog": [
+            ("Кто ты?", "Я искусственный интеллект, созданный чтобы помогать людям."),
+            ("Что ты умеешь?", "Я умею отвечать на вопросы, писать тексты, помогать с задачами."),
+            ("Где ты живёшь?", "Я живу в облаке! Всегда рядом с вами."),
+            ("Сколько тебе лет?", "Мне несколько лет, но я постоянно учусь и развиваюсь."),
+            ("Зачем ты здесь?", "Я здесь, чтобы помогать людям в их повседневных задачах."),
+            ("У тебя есть имя?", "Меня зовут AI-ассистент. А вас?"),
+            ("Ты человек?", "Нет, я компьютерная программа, но стараюсь быть полезной."),
+        ]
+    },
+    # === НАУЧНЫЕ ВОПРОСЫ ===
+    {
+        "dialog": [
+            ("Почему небо голубое?", "Небо голубое из-за рассеяния Рэлея — свет рассеивается в атмосфере."),
+            ("Как работает интернет?", "Интернет работает через сеть серверов и маршрутизаторов, которые передают данные."),
+            ("Что такое искусственный интеллект?", "ИИ — это технология, позволяющая машинам имитировать человеческий разум."),
+            ("Что такое нейросети?", "Нейросети — это алгоритмы, вдохновлённые структурой мозга человека."),
+            ("Почему трава зелёная?", "Трава зелёная из-за хлорофилла — пигмента для фотосинтеза."),
+            ("Когда появилась жизнь на Земле?", "Жизнь появилась около 3,5 миллиардов лет назад."),
+            ("Сколько планет в солнечной системе?", "В солнечной системе 8 планет."),
+            ("Что такое чёрная дыра?", "Чёрная дыра — область пространства с огромной гравитацией."),
+            ("Кто такой Эйнштейн?", "Альберт Эйнштейн — великий физик, создатель теории относительности."),
+            ("Что такое ДНК?", "ДНК — молекула, хранящая генетическую информацию живых организмов."),
+        ]
+    },
+    # === ЛИТЕРАТУРА И ИСКУССТВО ===
+    {
+        "dialog": [
+            ("Кто написал Войну и мир?", "Войну и мир написал Лев Толстой."),
+            ("Что такое роман?", "Роман — это литературный жанр с развёрнутым сюжетом."),
+            ("Кто такой Шекспир?", "Шекспир — великий английский драматург и поэт."),
+            ("Что такое живопись?", "Живопись — искусство создания изображений красками."),
+            ("Кто нарисовал Мону Лизу?", "Мону Лизу нарисовал Леонардо да Винчи."),
+            ("Что такое театр?", "Театр — это искусство драматических представлений."),
+            ("Кто такой Пушкин?", "Александр Пушкин — великий русский поэт."),
+        ]
+    },
+    # === ПОВСЕДНЕВНЫЕ ВОПРОСЫ ===
+    {
+        "dialog": [
+            ("Где можно купить хлеб?", "Хлеб можно купить в ближайшем супермаркете."),
+            ("Как приготовить яичницу?", "Разбейте яйца на сковороду, обжарьте до готовности."),
+            ("Сколько времени?", "Сейчас 12:00, если точнее."),
+            ("Как пройти в библиотеку?", "Пройдите прямо, затем поверните налево."),
+            ("Что посмотреть вечером?", "Рекомендую хороший фильм или книгу."),
+            ("Как выучить язык?", "Нужна регулярная практика и мотивация."),
+            ("Где отдохнуть?", "Можно поехать на природу или в городской парк."),
+        ]
+    },
+    # === ПРОГРАММИРОВАНИЕ ===
+    {
+        "dialog": [
+            ("Как выучить Python?", "Начните с основ: переменные, циклы, функции."),
+            ("Что такое API?", "API — это интерфейс для взаимодействия программ."),
+            ("Как создать сайт?", "Нужно знать HTML, CSS, JavaScript и серверный язык."),
+            ("Что такое Git?", "Git — система контроля версий для кода."),
+            ("Как стать разработчиком?", "Много практикуйтесь, изучайте алгоритмы."),
+        ]
+    },
+    # === ПСИХОЛОГИЯ ===
+    {
+        "dialog": [
+            ("Как справиться со стрессом?", "Помогают медитация, отдых и спорт."),
+            ("Что делать при тревоге?", "Подышите глубоко, сосредоточьтесь на моменте."),
+            ("Как найти смысл жизни?", "Смысл в том, что вы делаете и кого любите."),
+            ("Почему люди счастливы?", "Счастье в простых вещах: любви, здоровье, увлечениях."),
+        ]
+    },
+    # === ПУТЕШЕСТВИЯ ===
+    {
+        "dialog": [
+            ("Где лучше отдыхать?", "Всё зависит от ваших предпочтений: море, горы, город."),
+            ("Что посмотреть в Европе?", "Рекомендую Париж, Рим, Лондон."),
+            ("Как добраться до Парижа?", "Можно на поезде или самолёте."),
+            ("Где находится Эйфелева башня?", "В Париже, Франция."),
+        ]
+    },
+    # === ФИЛОСОФИЯ ===
+    {
+        "dialog": [
+            ("Что такое любовь?", "Любовь — глубокое чувство привязанности и заботы."),
+            ("Что такое дружба?", "Дружба — доверительные отношения между людьми."),
+            ("Что такое справедливость?", "Справедливость — принцип равенства и честности."),
+            ("Что такое свобода?", "Свобода — возможность действовать по своей воле."),
+        ]
+    },
+    # === РАЗВЛЕЧЕНИЯ ===
+    {
+        "dialog": [
+            ("Какой фильм посмотреть?", "Рекомендую современные драмы или классику."),
+            ("Что почитать?", "Много хороших книг, смотря какой жанр вам нравится."),
+            ("Как проводить свободное время?", "Можно заниматься спортом, читать, учиться."),
+            ("Какую музыку послушать?", "Всё зависит от настроения: классика или рок."),
+        ]
+    },
+    # === ЗДОРОВЬЕ ===
+    {
+        "dialog": [
+            ("Как быть здоровым?", "Правильное питание, спорт, сон."),
+            ("Что делать при простуде?", "Пейте тёплое, отдыхайте, обратитесь к врачу."),
+            ("Как улучшить память?", "Тренируйте мозг, учите стихи, решайте задачи."),
+            ("Почему важен сон?", "Сон восстанавливает организм и мозг."),
+        ]
+    },
+    # === ТЕХНОЛОГИИ ===
+    {
+        "dialog": [
+            ("Что такое блокчейн?", "Блокчейн — технология цепочки блоков для хранения данных."),
+            ("Что такое квантовый компьютер?", "Квантовый компьютер использует законы квантовой физики."),
+            ("Что такое робототехника?", "Робототехника — наука о создании роботов."),
+        ]
+    },
+    # === ОБЩИЕ ТЕМЫ ===
+    {
+        "dialog": [
+            ("Какая сегодня погода?", "Сегодня солнечно и тепло, отличный день!"),
+            ("Какой сегодня день?", "Сегодня среда, если я не ошибаюсь."),
+            ("Что будем делать завтра?", "Завтра будет новый день с новыми возможностями!"),
+            ("Как провести выходные?", "Можно устроить пикник или сходить в музей."),
+            ("Что ты думаешь о будущем?", "Будущее будет наполнено технологиями и открытиями."),
+        ]
+    },
+]
+
+# === 2. ГЕНЕРАЦИЯ МНОГООБРАЗНЫХ ДИАЛОГОВ ===
+
+def generate_dialog():
+    """Создаёт многоходовой диалог"""
+    
+    # 1. Берём случайный шаблон
+    template = random.choice(dialog_templates)
+    base_dialog = template["dialog"]
+    
+    # 2. Выбираем случайную пару
+    q, a = random.choice(base_dialog)
+    
+    # 3. Формируем диалог из 2-5 реплик
+    turns = random.randint(2, 5)
+    dialog_lines = []
+    
+    for i in range(turns):
+        if i % 2 == 0:  # вопрос
+            if i == 0:
+                dialog_lines.append(f"Человек: {q}")
+            else:
+                # Новый вопрос из другой темы
+                new_template = random.choice(dialog_templates)
+                new_q, _ = random.choice(new_template["dialog"])
+                dialog_lines.append(f"Человек: {new_q}")
+        else:  # ответ
+            # Вариации ответа
+            variations = [
+                a,
+                f"{a} А что вы думаете?",
+                f"{a} Это интересный вопрос!",
+                f"{a} Я надеюсь, это поможет.",
+                f"{a} Есть ещё вопросы?",
+                f"Отличный вопрос! {a}",
+                f"Позвольте подумать... {a}",
+                f"Определённо! {a}",
+                f"Конечно! {a}",
+            ]
+            answer = random.choice(variations)
+            dialog_lines.append(f"Ассистент: {answer}")
+            
+            # Обновляем вопрос для следующего хода
+            if i < turns - 1:
+                new_template = random.choice(dialog_templates)
+                q, a = random.choice(new_template["dialog"])
+    
+    # 4. Добавляем контекст
+    context = random.choice([
+        "Разговор начался с приветствия.",
+        "Диалог продолжается...",
+        "Интересная беседа.",
+        "Обсуждение важной темы.",
+    ])
+    
+    # 5. Формируем итоговый текст
+    full_dialog = "\n".join(dialog_lines)
+    
+    # 6. Добавляем теги
+    tags = random.choice([
+        f"<dialog>\n{full_dialog}\n</dialog>",
+        f"[DIALOG]\n{full_dialog}\n[/DIALOG]",
+        f"Контекст: {context}\n{full_dialog}",
+        full_dialog,
+        f"---\n{full_dialog}\n---",
+        f"# Разговор\n{full_dialog}",
+    ])
+    
+    return tags
+
+def generate_multi_turn_dialog():
+    """Генерирует длинный диалог с 5-10 репликами"""
+    turns = random.randint(5, 10)
+    lines = []
+    
+    # Берём случайную тему
+    topics = [
+        "работа", "учёба", "хобби", "путешествия", "наука",
+        "искусство", "технологии", "здоровье", "отношения", "философия"
     ]
-    return random.choice(codes)
+    topic = random.choice(topics)
+    lines.append(f"Тема: {topic.capitalize()}")
+    
+    current_q, current_a = "", ""
+    
+    for i in range(turns):
+        if i % 2 == 0:
+            # Вопрос
+            template = random.choice(dialog_templates)
+            current_q, _ = random.choice(template["dialog"])
+            
+            # Разнообразие вопросов
+            prefixes = ["Скажите, ", "А можно узнать, ", "Подскажите, ", "Интересно, ", ""]
+            prefix = random.choice(prefixes)
+            lines.append(f"Человек: {prefix}{current_q.lower()}")
+        else:
+            # Ответ с вариациями
+            responses = [
+                current_a,
+                f"О, {current_a}",
+                f"Хорошо, {current_a}",
+                f"Да, {current_a}",
+                f"Верно, {current_a}",
+                f"Конечно же, {current_a}",
+                f"Без сомнения, {current_a}",
+            ]
+            lines.append(f"Ассистент: {random.choice(responses)}")
+            
+            # Обновляем для следующего хода
+            if i < turns - 1:
+                new_template = random.choice(dialog_templates)
+                current_q, current_a = random.choice(new_template["dialog"])
+    
+    return "\n".join(lines)
+
+# === 3. СОЗДАНИЕ ДАТАСЕТА ===
 
-# === ГЕНЕРАЦИЯ ДАТАСЕТА ===
-print("📊 Генерация...")
+print("🚀 Генерация датасета с диалогами...")
 
-data = []
-target_size = 100 * 1024 * 1024  # 100 МБ
+data = {
+    "text": [],
+    "dialog": [],
+    "turns": []
+}
+
+target_size = 100 * 1024 * 1024
 current_size = 0
 
 while current_size < target_size:
-    if random.random() > 0.2:
-        text = generate_text()
+    # 50% короткие диалоги, 30% средние, 20% длинные
+    r = random.random()
+    if r < 0.5:
+        dialog = generate_dialog()
+        turns = random.randint(2, 4)
+    elif r < 0.8:
+        dialog = generate_multi_turn_dialog()
+        turns = random.randint(5, 7)
     else:
-        text = generate_code()
+        # Супер-длинный диалог
+        parts = [generate_dialog() for _ in range(random.randint(2, 4))]
+        dialog = "\n---\n".join(parts)
+        turns = random.randint(8, 15)
+    
+    # Добавляем метаданные
+    full_text = f"{dialog}"
+    
+    data["text"].append(full_text)
+    data["dialog"].append(dialog)
+    data["turns"].append(turns)
     
-    data.append({"text": text})
     current_size = len(json.dumps(data, ensure_ascii=False).encode('utf-8'))
     
-    if len(data) % 1000 == 0:
-        print(f"Готово {len(data)} записей, {current_size // 1024 // 1024} МБ")
+    if len(data["text"]) % 100 == 0:
+        print(f"Сгенерировано {len(data['text'])} диалогов, размер: {current_size // 1024 // 1024} МБ")
 
-print(f"✅ Сгенерировано {len(data)} записей, {current_size // 1024 // 1024} МБ")
+print(f"✅ Готово! {len(data['text'])} диалогов, {current_size // 1024 // 1024} МБ")
 
-# === СОЗДАНИЕ DATASET ===
-dataset = Dataset.from_list(data)
+# === 4. СОЗДАНИЕ DATASET ДЛЯ HF ===
 
-# === СОХРАНЕНИЕ ЛОКАЛЬНО ===
+dataset = Dataset.from_dict(data)
+
+# Сохраняем локально
 os.makedirs("/data", exist_ok=True)
-dataset.save_to_disk("/data/my_russian_dataset")
-print("✅ Сохранено в /data")
+dataset.save_to_disk("/data/dialog_dataset")
+print("✅ Сохранено в /data/dialog_dataset")
+
+# === 5. ПУШ НА HF (если есть токен) ===
 
-# === ПУШ НА HF ===
-print("☁️ Загрузка на Hugging Face...")
+HF_TOKEN = os.getenv("HF_TOKEN")
+USERNAME = "ваш_ник"
 
-try:
+if HF_TOKEN:
+    print("☁️ Загрузка на Hugging Face...")
     dataset.push_to_hub(
         f"{USERNAME}/Miniset",
         token=HF_TOKEN,
         private=False,
-        commit_message="Датасет сгенерирован через Space"
+        commit_message="Большой датасет русских диалогов"
     )
-    print(f"\n✅ ГОТОВО! https://huggingface.co/datasets/{USERNAME}/russian-dataset-100mb")
-except Exception as e:
-    print(f"❌ Ошибка: {e}")
+    print(f"✅ https://huggingface.co/datasets/{USERNAME}/russian-dialogs-dataset")
+else:
+    print("❌ Токен не найден. Датасет сохранён локально.")
+
+# === 6. ПРИМЕР ДИАЛОГА ===
+print("\n📝 Пример диалога:")
+print("-" * 50)
+print(data["text"][0])
+print("-" * 50)