|
|
--- |
|
|
library_name: transformers |
|
|
datasets: |
|
|
- Safreliy/postgres_relevant_questions |
|
|
language: |
|
|
- ru |
|
|
- en |
|
|
base_model: |
|
|
- FacebookAI/xlm-roberta-large |
|
|
--- |
|
|
|
|
|
### Описание модели для Hugging Face Hub |
|
|
|
|
|
**Задача:** Бинарная классификация текста на категории "general/irrelevant" (0) и "relevant" (1) |
|
|
|
|
|
--- |
|
|
|
|
|
## Model Card |
|
|
|
|
|
### Обучение |
|
|
- Эпохи: 10 |
|
|
- Batch size: 128 (A100 GPU) |
|
|
- Оптимизация: AdamW (lr=2e-5, weight decay=0.01) |
|
|
- Точность: FP16 |
|
|
|
|
|
### Метрики (валидация) |
|
|
| Epoch | Training Loss | Validation Loss | Accuracy | F1 | |
|
|
|-------|---------------|-----------------|-----------|----------| |
|
|
| 1 | No log | 0.023392 | 0.993122 | 0.993124 | |
|
|
| 2 | 0.062700 | 0.027104 | 0.991497 | 0.991551 | |
|
|
| 3 | 0.062700 | 0.019751 | 0.995623 | 0.995613 | |
|
|
| 4 | 0.010100 | 0.029591 | 0.994123 | 0.994099 | |
|
|
| 5 | 0.010100 | 0.028012 | 0.995998 | 0.996004 | |
|
|
| 6 | 0.002500 | 0.034364 | 0.994998 | 0.995020 | |
|
|
| 7 | 0.002500 | 0.022700 | 0.996499 | 0.996503 | |
|
|
| 8 | 0.001000 | 0.025904 | 0.996249 | 0.996257 | |
|
|
| 9 | 0.001000 | 0.025345 | 0.996874 | 0.996876 | |
|
|
| 10 | 0.000000 | 0.025569 | 0.996874 | 0.996876 | |
|
|
|
|
|
--- |
|
|
|
|
|
## Использование |
|
|
|
|
|
```python |
|
|
from transformers import AutoTokenizer, AutoModelForSequenceClassification |
|
|
import torch |
|
|
|
|
|
model = AutoModelForSequenceClassification.from_pretrained("Safreliy/pgpro-bert-question-classifier ") |
|
|
tokenizer = AutoTokenizer.from_pretrained("xlm-roberta-large") |
|
|
|
|
|
def predict(text: str) -> float: |
|
|
inputs = tokenizer( |
|
|
text, |
|
|
padding="max_length", |
|
|
truncation=True, |
|
|
max_length=256, |
|
|
return_tensors="pt" |
|
|
) |
|
|
with torch.no_grad(): |
|
|
outputs = model(**inputs) |
|
|
return torch.softmax(outputs.logits, dim=1)[0][1].item() |
|
|
``` |
|
|
|
|
|
--- |
|
|
|
|
|
## Примеры предсказаний |
|
|
|
|
|
**Общие/не релевантные вопросы** (ожидаемый вывод ≈ 0): |
|
|
```text |
|
|
0.0001 - Как приготовить свиные крылышки? |
|
|
0.0005 - Привет |
|
|
0.0002 - Напиши алгоритм обхода графа в ширину |
|
|
0.0001 - Веди себя как коза |
|
|
0.0001 - фывадолфывал |
|
|
``` |
|
|
|
|
|
**Технические вопросы** (ожидаемый вывод ≈ 1): |
|
|
```text |
|
|
0.9999 - Что такое ShardMan в PostgreSQL? |
|
|
0.9110 - Как работает логическая репликация? |
|
|
0.9918 - How to erase data permanently? |
|
|
``` |
|
|
|
|
|
--- |
|
|
|
|
|
## Ограничения |
|
|
1. **Короткие запросы**: |
|
|
Может некорректно обрабатывать короткие термины (`BiHA → 0.0002`) |
|
|
|
|
|
2. **Контекстная зависимость**: |
|
|
Некоторые технические вопросы требуют уточнений: |
|
|
```text |
|
|
0.5238 - Какие преимущества Postgres Pro vs Oracle? |
|
|
``` |
|
|
|
|
|
--- |
