riorganizzazione progetto

MLOps_project/CI/test_ci.py

@@ -1,4 +1,4 @@
-import modello
+from src import modello
 
 class TestClass :
     """

MLOps_project/main.py

@@ -0,0 +1,4 @@
+# Utilities
+from src import modello, dataset
+
+print("Hello TEST")

MLOps_project/modello.py

@@ -1,25 +0,0 @@
-# Utilities
-from transformers import pipeline
-from datasets import load_dataset
-import pandas as pd
-
-# funzione che setta le impostazioni base del modello
-def set_modello(self) :
-    # Import del modello da Hugging Face
-    sentiment_task = pipeline("sentiment-analysis", model="cardiffnlp/twitter-roberta-base-sentiment-latest", tokenizer="cardiffnlp/twitter-roberta-base-sentiment-latest")
-    return sentiment_task
-
-def set_dataset(self) :
-    # Import di un dataset da Hugging Face
-    ds = load_dataset("SetFit/tweet_sentiment_extraction")
-    # Il dataset viene splittato autometicamente in train set e test set da load_dataset
-    # Per comodità trasformo i dataset in dataframe di pandas
-    df_train = ds['train'].to_pandas()
-    df_test = ds['test'].to_pandas()
-
-    X_train = df_train['text'].values
-    y_train = df_train['label_text'].values
-    X_test = df_test['text'].values
-    y_test = df_test['label_text'].values
-
-    return X_train,X_test,y_train,y_test

MLOps_project/src/dataset.py

@@ -0,0 +1,14 @@
+from datasets import load_dataset
+import pandas as pd
+
+# Import di un dataset da Hugging Face
+ds = load_dataset("SetFit/tweet_sentiment_extraction")
+# Il dataset viene splittato autometicamente in train set e test set da load_dataset
+# Per comodità trasformo i dataset in dataframe di pandas
+df_train = ds['train'].to_pandas()
+df_test = ds['test'].to_pandas()
+
+X_train = df_train['text'].values
+y_train = df_train['label_text'].values
+X_test = df_test['text'].values
+y_test = df_test['label_text'].values

MLOps_project/src/modello.py

@@ -0,0 +1,4 @@
+from transformers import pipeline
+
+# Import del modello da Hugging Face
+sentiment_task = pipeline("sentiment-analysis", model="cardiffnlp/twitter-roberta-base-sentiment-latest", tokenizer="cardiffnlp/twitter-roberta-base-sentiment-latest")