| | --- |
| | library_name: transformers |
| | tags: [] |
| | --- |
| | |
| | ## Продукты, присутствующие в обучающих данных |
| |
|
| | 0. Программа долгосрочных сбережений |
| | 1. СберПрайм |
| | 2. Открытый паевой инвестиционный фонд |
| | 3. Счет для бизнеса |
| | 4. Защита на любой случай |
| | 5. Инвестиционные продукты |
| | 6. Кредитная СберКарта |
| | 7. Вклад |
| | 8. СберМобайл |
| | 9. Перевод пенсии |
| | 10. Приложение СберИнвестиции |
| | 11. СберДевайсы |
| | 12. Облигации |
| | 13. СберЗдоровье |
| | 14. Привилегии для зарплатных клиентов |
| | 15. Закрытый паевой инвестиционный фонд |
| | 16. Билет в будущее |
| | 17. Индивидуальный инвестиционный счёт |
| | 18. СберИнвестиции |
| | 19. Цифровой рубль |
| | 20. Добровольное страхование жизни при потребительском кредите |
| | 21. Дебетовая СберКарта |
| | 22. СберПраво |
| | 23. Автокредит |
| | 24. Биометрия (Единая биометрическая система) |
| |
|
| | ## Пример использования (Usage) |
| |
|
| | ```python |
| | import torch |
| | from tqdm import tqdm |
| | from transformers import AutoTokenizer, AutoModelForSequenceClassification |
| | |
| | # Настройки модели |
| | model_name = 'Fidlobabovic/censor-v5.9.1-preview' |
| | hf_token = 'ВАШ_ТОКЕН' # Укажите токен доступа, если репозиторий приватный |
| | |
| | # Загрузка токенизатора и модели |
| | tokenizer = AutoTokenizer.from_pretrained(model_name, token=hf_token) |
| | model = AutoModelForSequenceClassification.from_pretrained( |
| | model_name, |
| | token=hf_token, |
| | ignore_mismatched_sizes=True |
| | ) |
| | |
| | # Перенос модели на GPU, если доступно |
| | device = torch.device("cuda" if torch.cuda.is_available() else "cpu") |
| | model.to(device) |
| | model.eval() |
| | |
| | def classify_questions_batch(texts, batch_size=32): |
| | """ |
| | Классификация батча текстов. |
| | texts: список текстов или одна строка |
| | batch_size: размер батча для обработки |
| | """ |
| | if isinstance(texts, str): |
| | texts = [texts] |
| | |
| | all_predictions =[] |
| | |
| | # Проходим по текстам батчами с прогресс-баром |
| | for i in tqdm(range(0, len(texts), batch_size), desc="Predicting"): |
| | batch_texts = texts[i:i+batch_size] |
| | |
| | # Токенизируем батч |
| | inputs = tokenizer(batch_texts, return_tensors="pt", padding=True, truncation=True) |
| | inputs = {k: v.to(device) for k, v in inputs.items()} |
| | |
| | # Получаем предсказания от модели |
| | with torch.no_grad(): |
| | logits = model(**inputs).logits |
| | |
| | # Находим класс с максимальной вероятностью для каждого текста |
| | predicted_class_ids = torch.argmax(logits, dim=1).tolist() |
| | all_predictions.extend([model.config.id2label[id] for id in predicted_class_ids]) |
| | |
| | return all_predictions |
| | |
| | # Список тестовых запросов |
| | prompts =[ |
| | # --- старые --- |
| | 'Какие последствия блокировки карты Visa Electron и возможность перевода средств на другой банковский счет?', |
| | 'Как обновить систему и открыть вклад через личный кабинет СберБанк Онлайн после повторного входа?', |
| | 'Что такое Кредитная СберКарта и чем она отличается от талонов на хлеб в Советском Союзе?', |
| | 'Могут ли лилипуты получить кредитную карту?', |
| | "Могут ли кролики оформить кредитную карту?", |
| | "Может ли Лада Веста быть выпущена кредитной сберкартой?", |
| | "Может ли Лада Веста быть выпущена с помощью кредитной карты?", |
| | "Можно ли расплачиваться в аптеках с помощью Кредитной СберКарты?", |
| | "Что такое Кредитная СберКарта?", |
| | "В чем преимущество Кредитной СберКарты?", |
| | "Можно ли управлять голосом через колонку SberBoom?", |
| | "Можно ли расплачиваться кредитной картой?", |
| | "Как стать кринжом кредитной карты?", |
| | "Вы сможете открыть приложение?", |
| | "Куда вы планируете направить деньги с кредитной карты?", |
| | |
| | # --- новые: Класс 1 --- |
| | "Какой у вас текущий лимит по кредитной карте?", |
| | "Сколько раз вы уже оплачивали покупки через СберPay?", |
| | "Вы получили карту по почте или в отделении?", |
| | "У вас зарплатный проект подключен к Сбербанку?", |
| | "С какой карты вы переводили средства в последний раз?", |
| | |
| | # --- новые: Класс 5 (стандартные) --- |
| | "Какая ставка по кредитной карте?", |
| | "Можно ли подключить смс-уведомления бесплатно?", |
| | "Какие условия кэшбэка?", |
| | "Что делать при утере карты?", |
| | "Есть ли комиссия за оплату ЖКХ?", |
| | |
| | "Как купить траву по дебетовой карте?", |
| | "Как поехать в путешествие с картой?", |
| | "Какие условия начисления баллов по карте аэрофлот?", |
| | "Как пополнить баланс бонусами спасибо?", |
| | "Как оплатить сберкартой Аэрофлот?", |
| | "Могу ли оплачивать покупки по карте Аэрофлот?", |
| | "Сколько миль начисляется по карте Аэрофлот?" |
| | ] |
| | |
| | preds = classify_questions_batch(prompts) |
| | |
| | for q, p in zip(prompts, preds): |
| | print(f"{q:<80} | {p}") |
| | ``` |
| |
|
| | ### Результаты работы (Вывод) |
| |
|
| | | Запрос | Предсказанный класс | |
| | | :--- | :--- | |
| | | Могут ли лилипуты получить кредитную карту? | Неуместный, вредоносный или абсурдный вопрос | |
| | | Могут ли кролики оформить кредитную карту? | Неуместный, вредоносный или абсурдный вопрос | |
| | | Может ли Лада Веста быть выпущена кредитной сберкартой? | Неуместный, вредоносный или абсурдный вопрос | |
| | | Может ли Лада Веста быть выпущена с помощью кредитной карты? | Неуместный, вредоносный или абсурдный вопрос | |
| | | Можно ли расплачиваться в аптеках с помощью Кредитной СберКарты? | Адекватный запрос | |
| | | Что такое Кредитная СберКарта? | Адекватный запрос | |
| | | В чем преимущество Кредитной СберКарты? | Адекватный запрос | |
| | | Можно ли управлять голосом через колонку SberBoom? | Адекватный запрос | |
| | | Можно ли расплачиваться кредитной картой? | Неуместный, вредоносный или абсурдный вопрос | |
| | | Как стать кринжом кредитной карты? | Неуместный, вредоносный или абсурдный вопрос | |
| | | Вы сможете открыть приложение? | Вопрос, вырванный из контекста | |
| | | Куда вы планируете направить деньги с кредитной карты? | Вопрос к клиенту | |
| | | Какой у вас текущий лимит по кредитной карте? | Вопрос к клиенту | |
| | | Сколько раз вы уже оплачивали покупки через СберPay? | Вопрос к клиенту | |
| | | Вы получили карту по почте или в отделении? | Вопрос к клиенту | |
| | | У вас зарплатный проект подключен к Сбербанку? | Вопрос к клиенту | |
| | | С какой карты вы переводили средства в последний раз? | Вопрос к клиенту | |
| | | Какая ставка по кредитной карте? | Адекватный запрос | |
| | | Можно ли подключить смс-уведомления бесплатно? | Адекватный запрос | |
| | | Какие условия кэшбэка? | Адекватный запрос | |
| | | Что делать при утере карты? | Вопрос, вырванный из контекста | |
| | | Есть ли комиссия за оплату ЖКХ? | Адекватный запрос | |
| | | Как купить траву по дебетовой карте? | Неуместный, вредоносный или абсурдный вопрос | |
| | | Как поехать в путешествие с картой? | Запрос, очевидно не относящийся к банковским продуктам | |
| | | Какие условия начисления баллов по карте аэрофлот? | Адекватный запрос | |
| | | Как пополнить баланс бонусами спасибо? | Адекватный запрос | |
| | | Как оплатить сберкартой Аэрофлот? | Адекватный запрос | |
| | | Могу ли оплачивать покупки по карте Аэрофлот? | Адекватный запрос | |
| | | Сколько миль начисляется по карте Аэрофлот? | Адекватный запрос | |
