Roboproch commited on
Commit
fb1168c
·
1 Parent(s): 29fa6d6

fix import test 5 e modello come modulo

Browse files
MLOps_project/CI/test_ci.py CHANGED
@@ -1,4 +1,4 @@
1
- from modello import *
2
 
3
  class TestClass :
4
  """
 
1
+ import modello
2
 
3
  class TestClass :
4
  """
MLOps_project/modello.py CHANGED
@@ -3,23 +3,23 @@ from transformers import pipeline
3
  from datasets import load_dataset
4
  import pandas as pd
5
 
6
- # Import del modello da Hugging Face
7
- sentiment_task = pipeline("sentiment-analysis", model="cardiffnlp/twitter-roberta-base-sentiment-latest", tokenizer="cardiffnlp/twitter-roberta-base-sentiment-latest")
 
 
 
8
 
9
- # Import di un dataset da Hugging Face
10
- ds = load_dataset("SetFit/tweet_sentiment_extraction")
11
- # Il dataset viene splittato autometicamente in train set e test set da load_dataset
12
- # Per comodità trasformo i dataset in dataframe di pandas
13
- df_train = ds['train'].to_pandas()
14
- df_test = ds['test'].to_pandas()
 
15
 
16
- X_train = df_train['text'].values
17
- y_train = df_train['label_text'].values
18
- X_test = df_test['text'].values
19
- y_test = df_test['label_text'].values
20
 
21
- # Estraggo il modello
22
- model = sentiment_task.model
23
-
24
- # Ri-addestro il modello sul dataset importato
25
- model.fit(X_train,y_train)
 
3
  from datasets import load_dataset
4
  import pandas as pd
5
 
6
+ # funzione che setta le impostazioni base del modello
7
+ def set_modello(self) :
8
+ # Import del modello da Hugging Face
9
+ sentiment_task = pipeline("sentiment-analysis", model="cardiffnlp/twitter-roberta-base-sentiment-latest", tokenizer="cardiffnlp/twitter-roberta-base-sentiment-latest")
10
+ return sentiment_task
11
 
12
+ def set_dataset(self) :
13
+ # Import di un dataset da Hugging Face
14
+ ds = load_dataset("SetFit/tweet_sentiment_extraction")
15
+ # Il dataset viene splittato autometicamente in train set e test set da load_dataset
16
+ # Per comodità trasformo i dataset in dataframe di pandas
17
+ df_train = ds['train'].to_pandas()
18
+ df_test = ds['test'].to_pandas()
19
 
20
+ X_train = df_train['text'].values
21
+ y_train = df_train['label_text'].values
22
+ X_test = df_test['text'].values
23
+ y_test = df_test['label_text'].values
24
 
25
+ return X_train,X_test,y_train,y_test