rubert+logreg fo first task

images/full_metrics.csv

@@ -0,0 +1,4 @@
+,Accuracy,F1-score
+TF-IDF+LogReg,0.93,0.91
+LSTM+W2V+Att,0.92,0.93
+RuBert+LogReg,0.89,0.87

models/model1/clf.pkl

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:fb1df139301379c8298e1f14159441a39e7986916f8fc4e1596200d917fe4c63
+size 3359

mylog.log

@@ -357,3 +357,27 @@ INFO:aiogram.event:Update id=294508028 is handled. Duration 449 ms by bot id=686
 WARNING:aiogram.dispatcher:Received SIGINT signal
 INFO:aiogram.dispatcher:Polling stopped for bot @Toxic_BERT_bot id=6864353709 - 'Toxic_BERT'
 INFO:aiogram.dispatcher:Polling stopped
+INFO:aiogram.dispatcher:Start polling
+INFO:aiogram.dispatcher:Run polling for bot @Toxic_BERT_bot id=6864353709 - 'Toxic_BERT'
+INFO:root:Вера 883002227 запустил бота
+INFO:aiogram.event:Update id=294508029 is handled. Duration 341 ms by bot id=6864353709
+INFO:root:Вера 883002227: Так там по сути никто и не работает дольше 3-х лет для стажа в типа сириус конторе. У нас в филиале роскосого так: после универа за 15-20к работают во всяких лабораториях, потом уебывают на вольные хлеба. Постоянно там только старичье совкового пошива и сотни начальников, 90 которых даже на работу не ходят, чисто зп получают.
+INFO:aiogram.event:Update id=294508030 is handled. Duration 1469 ms by bot id=6864353709
+INFO:root:Вера 883002227: Антонио, ты весь в красном!
+INFO:aiogram.event:Update id=294508031 is handled. Duration 385 ms by bot id=6864353709
+INFO:root:Вера 883002227: Мой коммент - ответ на другой коммент. Это видно прямо на мониторе. Ответ по теме. А Ваше выступление - выезд на лыжах из... не знаю уж откуда. Но лучше Вам туда вернуться.
+INFO:aiogram.event:Update id=294508032 is handled. Duration 336 ms by bot id=6864353709
+INFO:root:Вера 883002227: Ну, ясно-понятно, высказать аргументы вы не можете, умеете только на минус нажать. Ок, я пошла - чего с безмозглыми разговаривать, всё равно скоро докраситесь за рулём и в дтп все и помрёте. Естественный отбор, чо.
+INFO:aiogram.event:Update id=294508033 is handled. Duration 525 ms by bot id=6864353709
+INFO:root:Вера 883002227: В жизни бы не купил такое дорогое пиво... повседневные для жителей столицы вещи Да не повседневные они. Вон, у нас, когда родители приезжают, мы проводим им мощную культурную программу - ездим в горы, на океан, и т.д. Получается очень насыщенно. Но всё остальное время года мы это делаем намного реже. Повседневно - это метро, исторический центр (архитектура) и больший выбор всего (кнотеатров, театров, ВУЗов, магазинов, бизнесов). Ну и меньшая унылость.
+INFO:aiogram.event:Update id=294508034 is handled. Duration 559 ms by bot id=6864353709
+INFO:root:Вера 883002227: Это у тебя подгорает в одном месте, видимо перцем намазали....
+INFO:aiogram.event:Update id=294508035 is handled. Duration 496 ms by bot id=6864353709
+INFO:root:Вера 883002227: Уважаемый, ты реально глупый и не вкуриваешь, о чьих именно трусах идет речь? Или просто дурака валяешь?
+INFO:aiogram.event:Update id=294508036 is handled. Duration 571 ms by bot id=6864353709
+INFO:root:Вера 883002227 запустил бота
+INFO:aiogram.event:Update id=294508037 is handled. Duration 196 ms by bot id=6864353709
+INFO:root:Вера 883002227: Антонио, ты весь в красном!
+INFO:aiogram.event:Update id=294508038 is handled. Duration 535 ms by bot id=6864353709
+INFO:root:Вера 883002227: Уважаемый, ты реально глупый и не вкуриваешь, о чьих именно трусах идет речь? Или просто дурака валяешь?
+INFO:aiogram.event:Update id=294508039 is handled. Duration 601 ms by bot id=6864353709

pages/1_policlinic.py

@@ -8,6 +8,8 @@ import torch
 import numpy as np
 import matplotlib.pyplot as plt
 import time
+from transformers import AutoTokenizer, AutoModel
+from models.model2.preprocess_text import TextPreprocessorBERT
 
 project_root = Path(__file__).resolve().parents[1]
 models_path = project_root / 'models'
@@ -15,10 +17,10 @@ sys.path.append(str(models_path))
 from models.model1.lstm_preprocessor import TextPreprocessorWord2Vec
 from models.model1.lstm_model import LSTMConcatAttention
 
-# Load the trained pipeline
+
+# Модель логистической регрессии
 pipeline = joblib.load('models/model1/logistic_regression_pipeline.pkl')
 
-# Streamlit application
 st.title('Классификация отзывов на русском языке')
 
 input_text = st.text_area('Введите текст отзыва')
@@ -74,7 +76,27 @@ def plot_and_predict_lstm(input_text):
     
     return lstm_pred, plt
 
+#БЕРТа
+@st.cache_resource
+def load_logreg_model():
+    log_bert_path = models_path / 'model1' / 'clf.pkl'
+    return joblib.load(log_bert_path)
+
+@st.cache_resource
+def load_rubert_model():
+    return AutoModel.from_pretrained('cointegrated/rubert-tiny2')
+
+@st.cache_resource
+def load_tokenizer():
+    return AutoTokenizer.from_pretrained('cointegrated/rubert-tiny2')
+
+logreg_model = load_logreg_model()
+rubert_model = load_rubert_model()
+tokenizer = load_tokenizer()
+
+
 if st.button('Предсказать'):
+    #LOGREG
     start_time_lr = time.time()
     prediction = pipeline.predict(pd.Series([input_text]))
     pred_probe = pipeline.predict_proba(pd.Series([input_text]))
@@ -88,7 +110,7 @@ if st.button('Предсказать'):
     time_lr = end_time_lr - start_time_lr
     st.write(f'**{predicted_class}** с вероятностью {pred_proba_rounded[0]}')
     st.write(f'Время выполнения расчетов  {time_lr:.4f} секунд')
-    
+    #LSTM
     start_time_lstm = time.time()
     lstm_pred, lstm_plot = plot_and_predict_lstm(input_text)
     if lstm_pred > 0.5:
@@ -102,20 +124,58 @@ if st.button('Предсказать'):
     st.write(f'Время выполнения расчетов  {time_lstm:.4f} секунд')
     st.pyplot(lstm_plot)
 
+    #BERT
+    start_time_bert = time.time()
+    # Применяем предобработку
+    preprocessor = TextPreprocessorBERT()
+    preprocessed_text = preprocessor.transform(input_text)
+    tokens = tokenizer.encode_plus(
+        preprocessed_text,
+        add_special_tokens=True,
+        truncation=True,
+        max_length=64,
+        padding='max_length',
+        return_tensors='pt'
+    )
+    input_ids = tokens['input_ids'].to(device)
+    attention_mask = tokens['attention_mask'].to(device)
+    with torch.no_grad():
+        outputs = rubert_model(input_ids=input_ids, attention_mask=attention_mask)
+        embeddings = outputs.last_hidden_state[:, 0, :].cpu().numpy()
+    prediction = logreg_model.predict(embeddings)
+    pred_prob = logreg_model.predict_proba(embeddings)
+    pred_prob_rounded = np.round(pred_prob, 2).flatten()
+    if prediction[0] == 0:
+        predicted_class = "POSITIVE"
+    else:
+        predicted_class = "NEGATIVE"
+    end_time_bert = time.time() 
+    bert_time = end_time_bert - start_time_bert 
+    st.subheader('Предсказанный класс с помощью модели Rubert-tiny2 + Logistic Regression:')
+    st.write(f'**{predicted_class}**, с вероятностью {np.round(pred_prob_rounded[0], 2)}')
+    st.write(f'Время выполнения: {bert_time:.4f} секунд')
+    
 
+st.write("# Сравнение характеристик моделей:")
+df = pd.read_csv(str(project_root /'images/full_metrics.csv'))
+st.write(df)
 
-st.write("# Информация об обучении модели логистической регрессии и tf-idf:")
-st.image(str(project_root / 'images/pipeline_logreg.png'))
+st.write("# Информация о датасете:")
 st.write("Модель обучалась на предсказание 1 класса")
 st.write("Размер датасета - 70597 текстов отзывов")
 st.write("Проведена предобработка текста")
 
+st.write("# Информация об обучении модели логистической регрессии и tf-idf:")
+st.image(str(project_root / 'images/pipeline_logreg.png'))
+
+
 st.write("Метрики:")
 st.image(str(project_root / 'images/log_reg_metrics.png'))
 
 st.write("# Информация об обучении модели LSTM + Word2Vec + BahdanauAttention:")
 st.write("Время обучения модели - 10 эпох")
-st.write("Метрики на 10 эпохе:")
-st.write("Train f1: 0.95, Val f1: 0.93")
-st.write("Train accuracy: 0.94, Val accuracy: 0.92")
 
+
+st.write("# Информация об обучении модели Rubert-tiny2 + Logistic Regression:")
+st.write("Использовалась Rubert-tiny2 для получения эмбеддингов и подаче�� их логистической регрессии")
+st.image(str(project_root / 'images/last_mode1_metric.png'), width=1000)