|
|
--- |
|
|
title: ITMO Магистратура - Чат-бот |
|
|
emoji: 🤖 |
|
|
colorFrom: blue |
|
|
colorTo: purple |
|
|
sdk: docker |
|
|
pinned: false |
|
|
--- |
|
|
|
|
|
# 🤖 ITMO Магистратура - Чат-бот |
|
|
|
|
|
Полноценный чат-бот для абитуриентов магистратур ITMO с LLM-генерацией ответов, парсингом реальных данных и персональными рекомендациями. |
|
|
|
|
|
## 🚀 Быстрый деплой в HF Spaces |
|
|
|
|
|
### 1. Создание Space |
|
|
- Перейдите на [Hugging Face Spaces](https://huggingface.co/spaces) |
|
|
- Нажмите "Create new Space" |
|
|
- Выберите: |
|
|
- **SDK**: Docker |
|
|
- **Hardware**: CPU basic (2 vCPU, 16GB RAM, FREE) |
|
|
- **License**: MIT |
|
|
|
|
|
### 2. Загрузка кода |
|
|
- Склонируйте созданный репозиторий |
|
|
- Скопируйте все файлы проекта |
|
|
- Закоммитьте и запушьте изменения |
|
|
|
|
|
### 3. Автоматический запуск |
|
|
- HF Spaces автоматически соберет Docker образ |
|
|
- При первом запуске загрузятся модели и спарсятся данные с сайтов ITMO |
|
|
- Приложение будет доступно по URL вида: `https://huggingface.co/spaces/username/space-name` |
|
|
|
|
|
## 🎯 Возможности |
|
|
|
|
|
- **LLM-генерация ответов**: cointegrated/rut5-base-multitask для естественных ответов |
|
|
- **RAG поиск**: SentenceTransformer + FAISS для точного поиска по курсам |
|
|
- **Парсинг реальных данных**: автоматический сбор с сайтов ITMO |
|
|
- **LLM-рекомендации**: персонализированные советы с объяснениями |
|
|
- **Фильтр релевантности**: отвечает только на вопросы о ITMO |
|
|
- **Улучшенный UI**: навыки, интересы, ползунки для оценки уровня |
|
|
|
|
|
## 📊 Источники данных |
|
|
|
|
|
### Автоматический парсинг: |
|
|
- **https://abit.itmo.ru/program/master/ai** - программа "Искусственный интеллект" |
|
|
- **https://abit.itmo.ru/program/master/ai_product** - программа "AI Product Management" |
|
|
|
|
|
### Извлекаемые данные: |
|
|
- Заголовки и описания программ |
|
|
- Ссылки на PDF учебные планы |
|
|
- Парсинг PDF с извлечением курсов |
|
|
- Нормализация и обогащение данных |
|
|
|
|
|
## ⚙️ Быстрые настройки |
|
|
|
|
|
### Параметры производительности (CPU basic): |
|
|
```python |
|
|
# В chatbot.py |
|
|
max_history_turns = 3 # История диалога |
|
|
max_context_tokens = 1200 # Максимум токенов контекста |
|
|
relevance_threshold = 0.38 # Порог релевантности |
|
|
|
|
|
# В retriever.py |
|
|
top_k = 6 # Количество результатов поиска |
|
|
max_text_length = 220 # Максимум символов для эмбеддинга |
|
|
``` |
|
|
|
|
|
### Ограничения ресурсов: |
|
|
- **CPU**: 2 vCPU |
|
|
- **RAM**: до 16GB |
|
|
- **Диск**: 50GB ephemeral |
|
|
- **Время холодного старта**: до 3 минут (загрузка моделей + парсинг) |
|
|
|
|
|
## 🔧 Локальный запуск |
|
|
|
|
|
```bash |
|
|
# Установка зависимостей |
|
|
pip install -r requirements.txt |
|
|
|
|
|
# Запуск приложения |
|
|
python app.py |
|
|
``` |
|
|
|
|
|
Приложение будет доступно по адресу: http://localhost:7860 |
|
|
|
|
|
## 📝 Примеры вопросов |
|
|
|
|
|
- "Какие дисциплины по NLP в 1 семестре программы ИИ?" |
|
|
- "Расскажи о программе AI Product" |
|
|
- "Сколько кредитов за курс машинного обучения?" |
|
|
- "Какие курсы по глубокому обучению есть в программе ИИ?" |
|
|
|
|
|
## 🛠️ Технические детали |
|
|
|
|
|
### Модели: |
|
|
- **Генерация**: cointegrated/rut5-base-multitask (~244M параметров) |
|
|
- **Эмбеддинги**: sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 |
|
|
- **Индекс**: FAISS IndexFlatIP с L2-нормировкой |
|
|
|
|
|
### LLM-промпты: |
|
|
- **Чат**: системные инструкции + контекст + история + вопрос |
|
|
- **Рекомендации**: профиль студента + доступные курсы + инструкции по выбору |
|
|
|
|
|
### Парсинг данных: |
|
|
- **HTML скрапинг**: BeautifulSoup для извлечения метаданных программ |
|
|
- **PDF парсинг**: pdfplumber для извлечения курсов из учебных планов |
|
|
- **Нормализация**: унификация форматов и обогащение тегами |
|
|
- **Обновления**: проверка изменений на сайтах ITMO |
|
|
|
|
|
### Оптимизации: |
|
|
- Ленивая загрузка моделей |
|
|
- Кэширование данных на диске |
|
|
- Fallback режим при ошибках |
|
|
- Компактные эмбеддинги (float32, ≤220 символов) |
|
|
|
|
|
## 🔄 Обновление данных |
|
|
|
|
|
### Автоматическое обновление: |
|
|
- При первом запуске парсится актуальная информация с сайтов ITMO |
|
|
- Проверка обновлений при каждом запуске |
|
|
- Кнопка "Обновить данные" для принудительного обновления |
|
|
|
|
|
### Ручное обновление: |
|
|
```bash |
|
|
# Принудительное обновление |
|
|
python update_data.py --force |
|
|
|
|
|
# Проверка обновлений |
|
|
python update_data.py --check |
|
|
``` |
|
|
|
|
|
## 🔍 Устранение неполадок |
|
|
|
|
|
### Проблемы с памятью: |
|
|
```python |
|
|
max_context_tokens = 800 # Уменьшить с 1200 |
|
|
top_k = 4 # Уменьшить с 6 |
|
|
``` |
|
|
|
|
|
### Проблемы с холодным стартом: |
|
|
- Первый запуск может занять 2-3 минуты |
|
|
- Модели загружаются при первом обращении |
|
|
- Парсинг данных выполняется автоматически |
|
|
- Последующие запуски используют кэш |
|
|
|
|
|
### Проблемы с парсингом: |
|
|
- При недоступности сайтов ITMO используются тестовые данные |
|
|
- Проверьте интернет-соединение |
|
|
- Логи показывают детали процесса парсинга |
|
|
|
|
|
### Проблемы с Docker: |
|
|
- Убедитесь, что Dockerfile корректный |
|
|
- Проверьте логи сборки в HF Spaces |
|
|
- При ошибках попробуйте пересобрать Space |
|
|
|
|
|
--- |
|
|
|
|
|
**Примечание**: Бот автоматически парсит актуальные данные с сайтов ITMO. При недоступности источников используются тестовые данные для демонстрации функциональности. |
|
|
|
