Spaces:
Runtime error
Runtime error
fix import test 5 e modello come modulo
Browse files- MLOps_project/CI/test_ci.py +1 -1
- MLOps_project/modello.py +17 -17
MLOps_project/CI/test_ci.py
CHANGED
|
@@ -1,4 +1,4 @@
|
|
| 1 |
-
|
| 2 |
|
| 3 |
class TestClass :
|
| 4 |
"""
|
|
|
|
| 1 |
+
import modello
|
| 2 |
|
| 3 |
class TestClass :
|
| 4 |
"""
|
MLOps_project/modello.py
CHANGED
|
@@ -3,23 +3,23 @@ from transformers import pipeline
|
|
| 3 |
from datasets import load_dataset
|
| 4 |
import pandas as pd
|
| 5 |
|
| 6 |
-
#
|
| 7 |
-
|
|
|
|
|
|
|
|
|
|
| 8 |
|
| 9 |
-
|
| 10 |
-
|
| 11 |
-
|
| 12 |
-
#
|
| 13 |
-
|
| 14 |
-
|
|
|
|
| 15 |
|
| 16 |
-
X_train = df_train['text'].values
|
| 17 |
-
y_train = df_train['label_text'].values
|
| 18 |
-
X_test = df_test['text'].values
|
| 19 |
-
y_test = df_test['label_text'].values
|
| 20 |
|
| 21 |
-
|
| 22 |
-
model = sentiment_task.model
|
| 23 |
-
|
| 24 |
-
# Ri-addestro il modello sul dataset importato
|
| 25 |
-
model.fit(X_train,y_train)
|
|
|
|
| 3 |
from datasets import load_dataset
|
| 4 |
import pandas as pd
|
| 5 |
|
| 6 |
+
# funzione che setta le impostazioni base del modello
|
| 7 |
+
def set_modello(self) :
|
| 8 |
+
# Import del modello da Hugging Face
|
| 9 |
+
sentiment_task = pipeline("sentiment-analysis", model="cardiffnlp/twitter-roberta-base-sentiment-latest", tokenizer="cardiffnlp/twitter-roberta-base-sentiment-latest")
|
| 10 |
+
return sentiment_task
|
| 11 |
|
| 12 |
+
def set_dataset(self) :
|
| 13 |
+
# Import di un dataset da Hugging Face
|
| 14 |
+
ds = load_dataset("SetFit/tweet_sentiment_extraction")
|
| 15 |
+
# Il dataset viene splittato autometicamente in train set e test set da load_dataset
|
| 16 |
+
# Per comodità trasformo i dataset in dataframe di pandas
|
| 17 |
+
df_train = ds['train'].to_pandas()
|
| 18 |
+
df_test = ds['test'].to_pandas()
|
| 19 |
|
| 20 |
+
X_train = df_train['text'].values
|
| 21 |
+
y_train = df_train['label_text'].values
|
| 22 |
+
X_test = df_test['text'].values
|
| 23 |
+
y_test = df_test['label_text'].values
|
| 24 |
|
| 25 |
+
return X_train,X_test,y_train,y_test
|
|
|
|
|
|
|
|
|
|
|
|