Upload 17 files

.dockerignore

@@ -0,0 +1,31 @@
+__pycache__
+*.pyc
+*.pyo
+*.pyd
+.Python
+env
+pip-log.txt
+pip-delete-this-directory.txt
+.tox
+.coverage
+.coverage.*
+.cache
+nosetests.xml
+coverage.xml
+*.cover
+*.log
+.git
+.mypy_cache
+.pytest_cache
+.hypothesis
+.DS_Store
+.env
+.venv
+venv/
+ENV/
+env/
+.idea/
+.vscode/
+*.swp
+*.swo
+*~

Dockerfile

@@ -0,0 +1,22 @@
+FROM python:3.10-slim
+
+# Устанавливаем рабочую директорию
+WORKDIR /app
+
+# Копируем requirements.txt
+COPY requirements.txt .
+
+# Устанавливаем зависимости
+RUN pip install --no-cache-dir -r requirements.txt
+
+# Копируем код приложения
+COPY . .
+
+# Создаем директории для данных
+RUN mkdir -p data/processed
+
+# Открываем порт
+EXPOSE 5000
+
+# Запускаем приложение
+CMD ["python", "app.py"]

README.md

@@ -9,7 +9,7 @@ app_file: app.py
 pinned: false
 ---
 
-# 🤖 ITMO Магистратура - Чат-бот
+# 🤖 ITMO Магистратура - Чат-бот (HF Spaces)
 
 Минимально работающий прототип чат-бота для абитуриентов магистратур ITMO с парсингом данных, диалоговой системой и персонализированными рекомендациями.
 
@@ -35,58 +35,63 @@ pinned: false
 
 ## 🚀 Быстрый старт
 
-### Локальный запуск
-
-```bash
-# Установка зависимостей
-pip install -r requirements.txt
-
-# Запуск приложения
-python app.py
-```
-
 ### Деплой на Hugging Face Spaces
 
-1. Создайте новый Space на [Hugging Face](https://huggingface.co/spaces)
-2. Выберите **Gradio SDK**
-3. Загрузите файлы:
+1. **Создайте новый Space** на [Hugging Face](https://huggingface.co/spaces)
+2. **Выберите SDK**: `Docker`
+3. **Загрузите файлы** в репозиторий:
    - `app.py` → `app.py`
    - `parser.py` → `parser.py`
    - `data_layer.py` → `data_layer.py`
    - `llm.py` → `llm.py`
    - `requirements.txt` → `requirements.txt`
+   - `Dockerfile` → `Dockerfile`
    - `README.md` → `README.md`
 
+4. **Space автоматически соберет и запустит** приложение
+
+### Локальный запуск
+
+```bash
+# Устанавливаем зависимости
+pip install -r requirements.txt
+
+# Запускаем приложение
+python app.py
+```
+
+Приложение будет доступно по адресу: http://localhost:7860
+
 ## 📁 Структура проекта
 
 ```
-├── app.py              # Основное приложение Gradio
+├── app.py              # Flask приложение с встроенным HTML
 ├── parser.py           # Парсинг данных с сайтов ITMO
 ├── data_layer.py       # Работа с данными и рекомендации
 ├── llm.py             # LLM система
-├── requirements.txt    # Зависимости
-├── README.md          # Документация
-└── data/              # Данные (автоматически создается)
-    └── processed/     # Обработанные данные
-        └── courses.json
+├── Dockerfile         # Docker конфигурация
+├── requirements.txt   # Зависимости
+└── README.md         # Документация
 ```
 
 ## 🎯 Что работает
 
-✅ **Парсинг данных** - автоматический сбор с сайтов ITMO  
-✅ **Диалоговая система** - LLM-powered чат с контекстным поиском  
-✅ **Рекомендации** - персонализированные по профилю студента  
-✅ **12 fallback курсов** - полные учебные планы ИИ и AI Product  
-✅ **Строгая релевантность** - отвечает только на вопросы об ITMO  
-✅ **Fallback режим** - работает без LLM  
-✅ **Модульная архитектура** - разделение на компоненты  
+✅ **Парсинг данных** - автоматический сбор с сайтов ITMO
+✅ **Диалоговая система** - LLM-powered чат с контекстным поиском
+✅ **Рекомендации** - персонализированные по профилю студента
+✅ **12 fallback курсов** - полные учебные планы ИИ и AI Product
+✅ **Строгая релевантность** - отвечает только на вопросы об ITMO
+✅ **Fallback режим** - работает без LLM
+✅ **HF Spaces совместимость** - работает на Hugging Face Spaces
+✅ **REST API** - JSON API для интеграции
 
 ## 🔧 Технологии
 
-- **Gradio** - веб-интерфейс
+- **Flask** - веб-фреймворк
 - **Transformers** - LLM модель (RuT5-base-multitask)
 - **BeautifulSoup** - парсинг HTML страниц
 - **Requests** - HTTP запросы к сайтам ITMO
+- **Docker** - контейнеризация
 
 ## 📊 Данные
 
@@ -97,6 +102,7 @@ python app.py
 ### Курсы (12 fallback курсов)
 - **Семестры 1-4** с полной информацией
 - **Теги** для поиска и рекомендаций (ml, dl, nlp, cv, product, business, etc.)
+- **Сложность** - beginner/intermediate/advanced
 - **Кредиты и часы** обучения
 - **Типы курсов** - required/elective
 
@@ -119,7 +125,7 @@ python app.py
 
 ## 🔄 Обновление данных
 
-Кнопка "🔄 Обновить данные" выполняет:
+Кнопка "Обновить данные" выполняет:
 - **Парсинг страниц** программ с сайта ITMO
 - **Поиск PDF файлов** с учебными планами
 - **Обновление курсов** и метаданных
@@ -161,6 +167,27 @@ python app.py
 - id, program_id, semester, name, credits, type, short_desc, tags
 - Используются при пустом/недоступном парсинге
 
+## 🐳 Docker деплой
+
+### На любом сервере с Docker:
+
+```bash
+# Клонируем репозиторий
+git clone <your-repo-url>
+cd <your-repo-name>
+
+# Запускаем
+docker build -t itmo-chatbot .
+docker run -p 7860:7860 itmo-chatbot
+```
+
+### На Hugging Face Spaces:
+
+1. Создайте новый Space
+2. Выберите **Docker SDK**
+3. Загрузите все файлы в репозиторий
+4. Space автоматически соберет и запустит Docker контейнер
+
 ## 📝 Лицензия
 
 MIT License - свободное использование и модификация.
@@ -168,8 +195,8 @@ MIT License - свободное использование и модифика
 ## 🤝 Поддержка
 
 При возникновении проблем:
-1. Проверьте логи в консоли
-2. Убедитесь в наличии всех зависимостей
+1. Проверьте логи в консоли HF Spaces
+2. Убедитесь в наличии всех файлов
 3. Проверьте доступность сайта ITMO
 4. Используйте fallback режим при проблемах с LLM
 
@@ -177,4 +204,4 @@ MIT License - свободное использование и модифика
 
 **Создано для абитуриентов магистратур ITMO** 🎓
 
-*Минимально работающий прототип: парсинг + диалог + рекомендации*
+*Минимально работающий прототип: парсинг + диалог + рекомендации + HF Spaces*

app.py

@@ -1,179 +1,278 @@
-import gradio as gr
-import os
-
-# Импорты модулей
-from parser import parse_all
-from data_layer import load_courses, filter_courses, recommend_courses, is_relevant
-from llm import answer, generate_recommendations
-
-# Инициализация данных
-courses = load_courses()
-print(f'Загружено курсов: {len(courses)}')
-
-def handle_message(message, history):
-    """Обработчик сообщений чата"""
-    if not message.strip():
-        return history, ''
-    
-    # Проверяем релевантность
-    if not is_relevant(message):
-        response = '''Похоже, вопрос не относится к магистратурам ITMO и их учебным планам. 
-
-Попробуйте спросить, например:
-• "Какие дисциплины по NLP в 1 семестре программы ИИ?"
-• "Расскажи о программе AI Product"
-• "Какие курсы по машинному обучению есть в программе ИИ?"
-• "Сколько кредитов за дисциплину 'Глубокое обучение'?"
-• "Какие курсы подходят для моего профиля?"'''
-        return history + [[message, response]], ''
-    
-    # Определяем программу из сообщения
-    program_id = None
-    message_lower = message.lower()
-    if any(word in message_lower for word in ['ai product', 'продукт', 'менеджмент', 'аналитика']):
-        program_id = 'ai_product'
-    elif any(word in message_lower for word in ['ии', 'ai', 'машинное обучение', 'глубокое обучение', 'nlp', 'cv']):
-        program_id = 'ai'
-    
-    # Извлекаем семестр если указан
-    semester = None
-    for i in range(1, 5):
-        if f'{i} семестр' in message_lower or f'{i} семестре' in message_lower:
-            semester = i
-            break
-    
-    # Фильтруем курсы
-    context = filter_courses(message, program_id, semester)
-    
-    if not context:
-        response = 'К сожалению, не нашел релевантной информации в учебных планах ITMO. Попробуйте переформулировать вопрос.'
-    else:
-        # Генерируем ответ с помощью LLM
-        response = answer(message, context)
-    
-    # Ограничиваем историю до 3 последних сообщений
-    new_history = history + [[message, response]]
-    if len(new_history) > 3:
-        new_history = new_history[-3:]
-    
-    return new_history, ''
-
-def get_recommendations(programming_exp, math_level, interests, semester):
-    """Получение рекомендаций по курсам"""
-    if not semester:
-        return 'Пожалуйста, укажите семестр для получения рекомендаций.'
-    
-    try:
-        semester_int = int(semester)
-    except ValueError:
-        return 'Пожалуйста, выберите корректный семестр.'
-    
-    # Формируем профиль
-    profile = {
-        'programming_experience': programming_exp,
-        'math_level': math_level,
-        'interests': interests,
-        'semester': semester_int
-    }
-    
-    # Получаем рекомендации
-    recommended_courses = recommend_courses(profile)
-    
-    if not recommended_courses:
-        return f'К сожалению, не найдено подходящих курсов для {semester} семестра.'
-    
-    # Генерируем ответ с помощью LLM
-    return generate_recommendations(recommended_courses, profile)
-
-def update_data():
-    """Обновление данных"""
-    try:
-        success = parse_all()
-        if success:
-            # Перезагружаем курсы
-            global courses
-            courses = load_courses()
-            return f'Данные успешно обновлены! Загружено {len(courses)} курсов.'
-        else:
-            return 'Ошибка при обновлении данных. Используются базовые курсы.'
-    except Exception as e:
-        return f'Ошибка обновления данных: {e}'
-
-# Создание интерфейса
-with gr.Blocks(title='ITMO Магистратура - Чат-бот', theme=gr.themes.Soft()) as demo:
-    gr.Markdown('# 🤖 Чат-бот для абитуриентов магистратур ITMO')
-    gr.Markdown('Задавайте вопросы о программах ИИ и AI Product, получайте персональные рекомендации по курсам.')
-    
-    gr.Markdown(f'📊 **Загружено курсов**: {len(courses)}')
-    
-    with gr.Row():
-        with gr.Column(scale=2):
-            # Чат
-            chatbot = gr.Chatbot(
-                label='💬 Чат с ботом',
-                height=400,
-                show_label=True
-            )
-            msg = gr.Textbox(
-                label='Введите сообщение',
-                placeholder='Спрашивайте о дисциплинах, программах, учебных планах...',
-                lines=2
-            )
-            clear = gr.Button('Очистить чат')
-            
-            # Обработчики
-            msg.submit(handle_message, [msg, chatbot], [chatbot, msg])
-            clear.click(lambda: [], None, chatbot, queue=False)
-        
-        with gr.Column(scale=1):
-            gr.Markdown('### 👤 Профиль для рекомендаций')
-            
-            programming_exp = gr.Slider(
-                minimum=0, maximum=5, value=2, step=1,
-                label='Опыт программирования (0-5)',
-                info='0 - нет опыта, 5 - эксперт'
-            )
-            
-            math_level = gr.Slider(
-                minimum=0, maximum=4, value=2, step=1,
-                label='Уровень математики (0-4)',
-                info='0 - базовый, 4 - продвинутый'
-            )
-            
-            interests = gr.CheckboxGroup(
-                choices=['ml', 'dl', 'nlp', 'cv', 'product', 'business', 'research', 'data', 'systems', 'python', 'math'],
-                value=['ml'],
-                label='Интересы',
-                info='Выберите интересующие направления'
-            )
-            
-            semester = gr.Dropdown(
-                choices=['1', '2', '3', '4'],
-                label='Целевой семестр',
-                info='Для получения рекомендаций'
-            )
-            
-            recommend_btn = gr.Button('🎯 Получить рекомендации', variant='primary')
-            recommendations_output = gr.Textbox(
-                label='Рекомендации',
-                lines=12,
-                interactive=False
-            )
-            
-            recommend_btn.click(
-                get_recommendations,
-                inputs=[programming_exp, math_level, interests, semester],
-                outputs=recommendations_output
-            )
-    
-    with gr.Row():
-        update_btn = gr.Button('🔄 Обновить данные', variant='secondary')
-        update_status = gr.Textbox(
-            label='Статус обновления',
-            interactive=False
-        )
-        
-        update_btn.click(update_data, outputs=update_status)
-
-if __name__ == '__main__':
-    demo.launch(server_name='0.0.0.0', server_port=7860)
+from flask import Flask, render_template_string, request, jsonify
+import os
+
+# Импорты модулей
+from parser import parse_all
+from data_layer import load_courses, filter_courses, recommend_courses, is_relevant
+from llm import answer, generate_recommendations
+
+app = Flask(__name__)
+
+# Инициализация данных
+courses = load_courses()
+print(f'Загружено курсов: {len(courses)}')
+
+# Простой HTML шаблон
+HTML_TEMPLATE = '''
+<!DOCTYPE html>
+<html lang="ru">
+<head>
+    <meta charset="UTF-8">
+    <meta name="viewport" content="width=device-width, initial-scale=1.0">
+    <title>ITMO Магистратура - Чат-бот</title>
+    <style>
+        body { font-family: Arial, sans-serif; max-width: 800px; margin: 0 auto; padding: 20px; }
+        .chat-container { height: 300px; overflow-y: auto; border: 1px solid #ccc; padding: 10px; margin: 10px 0; }
+        .message { margin: 5px 0; padding: 8px; border-radius: 5px; }
+        .user { background: #e3f2fd; text-align: right; }
+        .bot { background: #f5f5f5; }
+        .input-group { display: flex; gap: 10px; margin: 10px 0; }
+        input, button, select { padding: 8px; }
+        button { background: #007bff; color: white; border: none; cursor: pointer; }
+        .recommendations { margin-top: 20px; }
+        textarea { width: 100%; height: 100px; }
+    </style>
+</head>
+<body>
+    <h1>🤖 ITMO Магистратура - Чат-бот</h1>
+    <p>Загружено курсов: {{ courses_count }}</p>
+    
+    <div class="chat-container" id="chatContainer">
+        <div class="message bot">Привет! Задавай вопросы о магистерских программах ITMO.</div>
+    </div>
+    
+    <div class="input-group">
+        <input type="text" id="messageInput" placeholder="Введите сообщение..." style="flex: 1;">
+        <button onclick="sendMessage()">Отправить</button>
+        <button onclick="clearChat()">Очистить</button>
+    </div>
+    
+    <div class="recommendations">
+        <h3>Рекомендации курсов</h3>
+        <div class="input-group">
+            <select id="semester">
+                <option value="">Выберите семестр</option>
+                <option value="1">1 семестр</option>
+                <option value="2">2 семестр</option>
+                <option value="3">3 семестр</option>
+                <option value="4">4 семестр</option>
+            </select>
+            <button onclick="getRecommendations()">Получить рекомендации</button>
+            <button onclick="updateData()">Обновить данные</button>
+        </div>
+        <textarea id="recommendationsOutput" placeholder="Здесь появятся рекомендации..." readonly></textarea>
+    </div>
+
+    <script>
+        function addMessage(message, isUser = false) {
+            const container = document.getElementById('chatContainer');
+            const div = document.createElement('div');
+            div.className = `message ${isUser ? 'user' : 'bot'}`;
+            div.textContent = isUser ? 'Вы: ' + message : 'Бот: ' + message;
+            container.appendChild(div);
+            container.scrollTop = container.scrollHeight;
+        }
+
+        async function sendMessage() {
+            const input = document.getElementById('messageInput');
+            const message = input.value.trim();
+            if (!message) return;
+            
+            addMessage(message, true);
+            input.value = '';
+            
+            try {
+                const response = await fetch('/api/chat', {
+                    method: 'POST',
+                    headers: {'Content-Type': 'application/json'},
+                    body: JSON.stringify({message: message})
+                });
+                const data = await response.json();
+                addMessage(response.ok ? data.response : 'Ошибка: ' + data.error);
+            } catch (error) {
+                addMessage('Ошибка соединения: ' + error.message);
+            }
+        }
+
+        async function getRecommendations() {
+            const semester = document.getElementById('semester').value;
+            if (!semester) {
+                alert('Выберите семестр');
+                return;
+            }
+            
+            const output = document.getElementById('recommendationsOutput');
+            output.value = 'Генерируем рекомендации...';
+            
+            try {
+                const response = await fetch('/api/recommendations', {
+                    method: 'POST',
+                    headers: {'Content-Type': 'application/json'},
+                    body: JSON.stringify({
+                        programming_exp: 2,
+                        math_level: 2,
+                        interests: ['ml'],
+                        semester: semester
+                    })
+                });
+                const data = await response.json();
+                output.value = response.ok ? data.response : 'Ошибка: ' + data.error;
+            } catch (error) {
+                output.value = 'Ошибка соединения: ' + error.message;
+            }
+        }
+
+        async function updateData() {
+            const output = document.getElementById('recommendationsOutput');
+            output.value = 'Обновляем данные...';
+            
+            try {
+                const response = await fetch('/api/update', {
+                    method: 'POST',
+                    headers: {'Content-Type': 'application/json'}
+                });
+                const data = await response.json();
+                output.value = response.ok ? data.message : 'Ошибка: ' + data.error;
+                if (response.ok) location.reload();
+            } catch (error) {
+                output.value = 'Ошибка соединения: ' + error.message;
+            }
+        }
+
+        function clearChat() {
+            document.getElementById('chatContainer').innerHTML = 
+                '<div class="message bot">Привет! Задавай вопросы о магистерских программах ITMO.</div>';
+        }
+
+        document.getElementById('messageInput').addEventListener('keypress', function(e) {
+            if (e.key === 'Enter') sendMessage();
+        });
+    </script>
+</body>
+</html>
+'''
+
+@app.route('/')
+def index():
+    """Главная страница"""
+    return render_template_string(HTML_TEMPLATE, courses_count=len(courses))
+
+@app.route('/api/chat', methods=['POST'])
+def chat():
+    """API для чата"""
+    try:
+        data = request.get_json()
+        message = data.get('message', '').strip()
+        
+        if not message:
+            return jsonify({'error': 'Пустое сообщение'}), 400
+        
+        # Проверяем релевантность
+        if not is_relevant(message):
+            response = '''Похоже, вопрос не относится к магистратурам ITMO и их учебным планам. 
+
+Попробуйте спросить, например:
+• "Какие дисциплины по NLP в 1 семестре программы ИИ?"
+• "Расскажи о программе AI Product"
+• "Какие курсы по машинному обучению есть в программе ИИ?"
+• "Сколько кредитов за дисциплину 'Глубокое обучение'?"
+• "Какие курсы подходят для моего профиля?"'''
+            return jsonify({'response': response})
+        
+        # Определяем программу из сообщения
+        program_id = None
+        message_lower = message.lower()
+        if any(word in message_lower for word in ['ai product', 'продукт', 'менеджмент', 'аналитика']):
+            program_id = 'ai_product'
+        elif any(word in message_lower for word in ['ии', 'ai', 'машинное обучение', 'глубокое обучение', 'nlp', 'cv']):
+            program_id = 'ai'
+        
+        # Извлекаем семестр если указан
+        semester = None
+        for i in range(1, 5):
+            if f'{i} семестр' in message_lower or f'{i} семестре' in message_lower:
+                semester = i
+                break
+        
+        # Фильтруем курсы
+        context = filter_courses(message, program_id, semester)
+        
+        if not context:
+            response = 'К сожалению, не нашел релевантной информации в учебных планах ITMO. Попробуйте переформулировать вопрос.'
+        else:
+            # Генерируем ответ с помощью LLM
+            response = answer(message, context)
+        
+        return jsonify({'response': response})
+        
+    except Exception as e:
+        return jsonify({'error': f'Ошибка обработки: {str(e)}'}), 500
+
+@app.route('/api/recommendations', methods=['POST'])
+def get_recommendations():
+    """API для рекомендаций"""
+    try:
+        data = request.get_json()
+        programming_exp = data.get('programming_exp', 2)
+        math_level = data.get('math_level', 2)
+        interests = data.get('interests', [])
+        semester = data.get('semester', '')
+        
+        if not semester:
+            return jsonify({'error': 'Пожалуйста, укажите семестр для получения рекомендаций.'}), 400
+        
+        try:
+            semester_int = int(semester)
+        except ValueError:
+            return jsonify({'error': 'Пожалуйста, выберите корректный семестр.'}), 400
+        
+        # Формируем профиль
+        profile = {
+            'programming_experience': programming_exp,
+            'math_level': math_level,
+            'interests': interests,
+            'semester': semester_int
+        }
+        
+        # Получаем рекомендации
+        recommended_courses = recommend_courses(profile)
+        
+        if not recommended_courses:
+            return jsonify({'error': f'К сожалению, не найдено подходящих курсов для {semester} семестра.'}), 404
+        
+        # Генерируем ответ с помощью LLM
+        response = generate_recommendations(recommended_courses, profile)
+        
+        return jsonify({'response': response})
+        
+    except Exception as e:
+        return jsonify({'error': f'Ошибка получения рекомендаций: {str(e)}'}), 500
+
+@app.route('/api/update', methods=['POST'])
+def update_data():
+    """API для обновления данных"""
+    try:
+        success = parse_all()
+        if success:
+            # Перезагружаем курсы
+            global courses
+            courses = load_courses()
+            return jsonify({'message': f'Данные успешно обновлены! Загружено {len(courses)} курсов.'})
+        else:
+            return jsonify({'error': 'Ошибка при обновлении данных. Используются базовые курсы.'}), 500
+    except Exception as e:
+        return jsonify({'error': f'Ошибка обновления данных: {str(e)}'}), 500
+
+@app.route('/api/status')
+def status():
+    """API для статуса системы"""
+    return jsonify({
+        'status': 'ok',
+        'courses_count': len(courses),
+        'llm_available': True
+    })
+
+# Для HF Spaces
+if __name__ == '__main__':
+    port = int(os.environ.get('PORT', 7860))
+    app.run(host='0.0.0.0', port=port, debug=False)

docker-compose.yml

@@ -0,0 +1,12 @@
+version: '3.8'
+
+services:
+  itmo-chatbot:
+    build: .
+    ports:
+      - "5000:5000"
+    volumes:
+      - ./data:/app/data
+    environment:
+      - FLASK_ENV=production
+    restart: unless-stopped

requirements.txt

@@ -1,4 +1,4 @@
-gradio==4.44.0
+flask==2.3.3
 transformers==4.36.2
 torch==2.1.0
 requests==2.31.0