kebincontreras commited on
Commit
712ed64
·
verified ·
1 Parent(s): 2d7d2e6
Files changed (9) hide show
  1. .gitignore +162 -0
  2. README.md +1 -12
  3. SVM.py +104 -0
  4. Spectra copy 2.py +125 -0
  5. Spectra copy.py +107 -0
  6. Spectra.py +82 -0
  7. create_model.py +39 -0
  8. main.py +0 -0
  9. requirements.txt +0 -0
.gitignore ADDED
@@ -0,0 +1,162 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ # Byte-compiled / optimized / DLL files
2
+ __pycache__/
3
+ *.py[cod]
4
+ *$py.class
5
+
6
+ # C extensions
7
+ *.so
8
+
9
+ # Distribution / packaging
10
+ .Python
11
+ build/
12
+ develop-eggs/
13
+ dist/
14
+ downloads/
15
+ eggs/
16
+ .eggs/
17
+ lib/
18
+ lib64/
19
+ parts/
20
+ sdist/
21
+ var/
22
+ wheels/
23
+ share/python-wheels/
24
+ *.egg-info/
25
+ .installed.cfg
26
+ *.egg
27
+ MANIFEST
28
+
29
+ # PyInstaller
30
+ # Usually these files are written by a python script from a template
31
+ # before PyInstaller builds the exe, so as to inject date/other infos into it.
32
+ *.manifest
33
+ *.spec
34
+
35
+ # Installer logs
36
+ pip-log.txt
37
+ pip-delete-this-directory.txt
38
+
39
+ # Unit test / coverage reports
40
+ htmlcov/
41
+ .tox/
42
+ .nox/
43
+ .coverage
44
+ .coverage.*
45
+ .cache
46
+ nosetests.xml
47
+ coverage.xml
48
+ *.cover
49
+ *.py,cover
50
+ .hypothesis/
51
+ .pytest_cache/
52
+ cover/
53
+
54
+ # Translations
55
+ *.mo
56
+ *.pot
57
+
58
+ # Django stuff:
59
+ *.log
60
+ local_settings.py
61
+ db.sqlite3
62
+ db.sqlite3-journal
63
+
64
+ # Flask stuff:
65
+ instance/
66
+ .webassets-cache
67
+
68
+ # Scrapy stuff:
69
+ .scrapy
70
+
71
+ # Sphinx documentation
72
+ docs/_build/
73
+
74
+ # PyBuilder
75
+ .pybuilder/
76
+ target/
77
+
78
+ # Jupyter Notebook
79
+ .ipynb_checkpoints
80
+
81
+ # IPython
82
+ profile_default/
83
+ ipython_config.py
84
+
85
+ # pyenv
86
+ # For a library or package, you might want to ignore these files since the code is
87
+ # intended to run in multiple environments; otherwise, check them in:
88
+ # .python-version
89
+
90
+ # pipenv
91
+ # According to pypa/pipenv#598, it is recommended to include Pipfile.lock in version control.
92
+ # However, in case of collaboration, if having platform-specific dependencies or dependencies
93
+ # having no cross-platform support, pipenv may install dependencies that don't work, or not
94
+ # install all needed dependencies.
95
+ #Pipfile.lock
96
+
97
+ # poetry
98
+ # Similar to Pipfile.lock, it is generally recommended to include poetry.lock in version control.
99
+ # This is especially recommended for binary packages to ensure reproducibility, and is more
100
+ # commonly ignored for libraries.
101
+ # https://python-poetry.org/docs/basic-usage/#commit-your-poetrylock-file-to-version-control
102
+ #poetry.lock
103
+
104
+ # pdm
105
+ # Similar to Pipfile.lock, it is generally recommended to include pdm.lock in version control.
106
+ #pdm.lock
107
+ # pdm stores project-wide configurations in .pdm.toml, but it is recommended to not include it
108
+ # in version control.
109
+ # https://pdm.fming.dev/latest/usage/project/#working-with-version-control
110
+ .pdm.toml
111
+ .pdm-python
112
+ .pdm-build/
113
+
114
+ # PEP 582; used by e.g. github.com/David-OConnor/pyflow and github.com/pdm-project/pdm
115
+ __pypackages__/
116
+
117
+ # Celery stuff
118
+ celerybeat-schedule
119
+ celerybeat.pid
120
+
121
+ # SageMath parsed files
122
+ *.sage.py
123
+
124
+ # Environments
125
+ .env
126
+ .venv
127
+ env/
128
+ venv/
129
+ ENV/
130
+ env.bak/
131
+ venv.bak/
132
+
133
+ # Spyder project settings
134
+ .spyderproject
135
+ .spyproject
136
+
137
+ # Rope project settings
138
+ .ropeproject
139
+
140
+ # mkdocs documentation
141
+ /site
142
+
143
+ # mypy
144
+ .mypy_cache/
145
+ .dmypy.json
146
+ dmypy.json
147
+
148
+ # Pyre type checker
149
+ .pyre/
150
+
151
+ # pytype static type analyzer
152
+ .pytype/
153
+
154
+ # Cython debug symbols
155
+ cython_debug/
156
+
157
+ # PyCharm
158
+ # JetBrains specific template is maintained in a separate JetBrains.gitignore that can
159
+ # be found at https://github.com/github/gitignore/blob/main/Global/JetBrains.gitignore
160
+ # and can be added to the global gitignore or merged into this file. For a more nuclear
161
+ # option (not recommended) you can uncomment the following to ignore the entire idea folder.
162
+ #.idea/
README.md CHANGED
@@ -1,12 +1 @@
1
- ---
2
- title: Rice Classification Geographic
3
- emoji: 🐢
4
- colorFrom: blue
5
- colorTo: blue
6
- sdk: gradio
7
- sdk_version: 4.44.1
8
- app_file: app.py
9
- pinned: false
10
- ---
11
-
12
- Check out the configuration reference at https://huggingface.co/docs/hub/spaces-config-reference
 
1
+ # rice_clasification_indonecia
 
 
 
 
 
 
 
 
 
 
 
SVM.py ADDED
@@ -0,0 +1,104 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ import seaborn as sns
2
+ import pandas as pd
3
+ import matplotlib.pyplot as plt
4
+ from sklearn.decomposition import PCA
5
+ from sklearn.manifold import TSNE
6
+ from sklearn.preprocessing import StandardScaler
7
+ from sklearn.svm import SVC
8
+ from sklearn.metrics import accuracy_score, f1_score, precision_score, recall_score, confusion_matrix, classification_report
9
+ from sklearn.model_selection import train_test_split
10
+
11
+ # Función para aplicar Min-Max a cada columna
12
+ def min_max_normalize(column):
13
+ return (column - column.min()) / (column.max() - column.min())
14
+
15
+ # Función para aplicar Normax
16
+ def normax_normalize(column):
17
+ return column / column.max()
18
+
19
+ # Cargar el archivo de Excel desde la ruta especificada
20
+ file_path = r"C:\Users\USUARIO\Documents\Indonecia\Rice_Spectral.xlsx"
21
+ data = pd.read_excel(file_path, sheet_name="Spectral")
22
+
23
+ # Asegurarse de que los valores de "Location" sean numéricos
24
+ data['Location'] = pd.to_numeric(data['Location'], errors='coerce')
25
+
26
+ # Separar los datos de los números de onda (Wavenumbers)
27
+ wavenumbers = data['Location'].dropna() # Eliminar posibles NaN en wavenumbers
28
+
29
+ # Filtrar las columnas que pertenecen a Java y Bangka Belitung
30
+ java_columns = [col for col in data.columns if "Java" in col]
31
+ belitung_columns = [col for col in data.columns if "Bangka Belitung" in col]
32
+
33
+ # Asegurarse de que todas las columnas de datos sean numéricas
34
+ data[java_columns] = data[java_columns].apply(pd.to_numeric, errors='coerce')
35
+ data[belitung_columns] = data[belitung_columns].apply(pd.to_numeric, errors='coerce')
36
+
37
+ # Aplicar normalización Min-Max y Normax
38
+ data_minmax = data.copy()
39
+ data_normax = data.copy()
40
+
41
+ data_minmax[java_columns] = data_minmax[java_columns].apply(min_max_normalize)
42
+ data_minmax[belitung_columns] = data_minmax[belitung_columns].apply(min_max_normalize)
43
+
44
+ data_normax[java_columns] = data_normax[java_columns].apply(normax_normalize)
45
+ data_normax[belitung_columns] = data_normax[belitung_columns].apply(normax_normalize)
46
+
47
+ # Preparar los datos para PCA y t-SNE
48
+ all_columns = java_columns + belitung_columns
49
+
50
+ # Normalización de datos (Min-Max)
51
+ spectral_data_minmax = data_minmax[all_columns].dropna().transpose()
52
+
53
+ # Estandarización de datos
54
+ scaler = StandardScaler()
55
+ spectral_data_standardized = scaler.fit_transform(spectral_data_minmax)
56
+
57
+ # Calcular el valor máximo permitido para n_components
58
+ n_samples, n_features = spectral_data_minmax.shape
59
+ n_components = min(n_samples, n_features)
60
+
61
+ # PCA para reducir a un máximo de n_components antes de t-SNE
62
+ pca_50_standardized = PCA(n_components=n_components).fit_transform(spectral_data_standardized)
63
+
64
+ # t-SNE después de reducir a n_components con PCA
65
+ tsne_standardized = TSNE(n_components=2, random_state=42).fit_transform(pca_50_standardized)
66
+
67
+ # Asignar etiquetas a las muestras: 0 para Java y 1 para Bangka Belitung
68
+ labels = [0] * len(java_columns) + [1] * len(belitung_columns)
69
+
70
+ # Dividir los datos t-SNE en entrenamiento y prueba
71
+ X_train, X_test, y_train, y_test = train_test_split(tsne_standardized, labels, test_size=0.3, random_state=42)
72
+
73
+ # Entrenar un modelo SVM
74
+ svm_model = SVC(kernel='linear')
75
+ svm_model.fit(X_train, y_train)
76
+
77
+ # Realizar predicciones
78
+ y_pred = svm_model.predict(X_test)
79
+
80
+ # Calcular las métricas
81
+ accuracy = accuracy_score(y_test, y_pred)
82
+ precision = precision_score(y_test, y_pred)
83
+ recall = recall_score(y_test, y_pred)
84
+ f1 = f1_score(y_test, y_pred)
85
+ conf_matrix = confusion_matrix(y_test, y_pred)
86
+ class_report = classification_report(y_test, y_pred)
87
+
88
+ # Mostrar resultados
89
+ print(f"Accuracy: {accuracy * 100:.2f}%")
90
+ print(f"Precision: {precision:.2f}")
91
+ print(f"Recall: {recall:.2f}")
92
+ print(f"F1-Score: {f1:.2f}")
93
+ print("\nMatriz de Confusión:")
94
+ print(conf_matrix)
95
+ print("\nReporte de Clasificación:")
96
+ print(class_report)
97
+
98
+ # Visualización de la matriz de confusión
99
+ plt.figure(figsize=(6, 4))
100
+ sns.heatmap(conf_matrix, annot=True, fmt='d', cmap='Blues', xticklabels=['Java', 'Bangka Belitung'], yticklabels=['Java', 'Bangka Belitung'])
101
+ plt.title('Matriz de Confusión')
102
+ plt.ylabel('Etiqueta Real')
103
+ plt.xlabel('Etiqueta Predicha')
104
+ plt.show()
Spectra copy 2.py ADDED
@@ -0,0 +1,125 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ import os
2
+ import pandas as pd
3
+ import matplotlib.pyplot as plt
4
+ from sklearn.decomposition import PCA
5
+ from sklearn.manifold import TSNE
6
+ from sklearn.preprocessing import StandardScaler, normalize
7
+
8
+ # Función para aplicar Min-Max a cada columna
9
+ def min_max_normalize(column):
10
+ return (column - column.min()) / (column.max() - column.min())
11
+
12
+ # Función para aplicar Normax
13
+ def normax_normalize(column):
14
+ return column / column.max()
15
+
16
+
17
+
18
+ # Obtener la ruta del directorio donde se encuentra el script
19
+ current_dir = os.path.dirname(os.path.abspath(__file__))
20
+
21
+ # Construir la ruta completa al archivo Excel
22
+ file_path = os.path.join(current_dir, "Rice_Spectral.xlsx")
23
+
24
+ # Leer el archivo Excel
25
+ data = pd.read_excel(file_path, sheet_name="Spectral")
26
+
27
+
28
+ # Asegurarse de que los valores de "Location" sean numéricos
29
+ data['Location'] = pd.to_numeric(data['Location'], errors='coerce')
30
+
31
+ # Separar los datos de los números de onda (Wavenumbers)
32
+ wavenumbers = data['Location'].dropna() # Eliminar posibles NaN en wavenumbers
33
+
34
+ # Filtrar las columnas que pertenecen a Java y Bangka Belitung
35
+ java_columns = [col for col in data.columns if "Java" in col]
36
+ belitung_columns = [col for col in data.columns if "Bangka Belitung" in col]
37
+
38
+ # Asegurarse de que todas las columnas de datos sean numéricas
39
+ data[java_columns] = data[java_columns].apply(pd.to_numeric, errors='coerce')
40
+ data[belitung_columns] = data[belitung_columns].apply(pd.to_numeric, errors='coerce')
41
+
42
+ # Aplicar normalización Min-Max y Normax
43
+ data_minmax = data.copy()
44
+ data_normax = data.copy()
45
+
46
+ data_minmax[java_columns] = data_minmax[java_columns].apply(min_max_normalize)
47
+ data_minmax[belitung_columns] = data_minmax[belitung_columns].apply(min_max_normalize)
48
+
49
+ data_normax[java_columns] = data_normax[java_columns].apply(normax_normalize)
50
+ data_normax[belitung_columns] = data_normax[belitung_columns].apply(normax_normalize)
51
+
52
+ # Preparar los datos para PCA y t-SNE
53
+ all_columns = java_columns + belitung_columns
54
+
55
+ # Normalización de datos (Min-Max)
56
+ spectral_data_minmax = data_minmax[all_columns].dropna().transpose()
57
+
58
+ # Estandarización de datos
59
+ scaler = StandardScaler()
60
+ spectral_data_standardized = scaler.fit_transform(spectral_data_minmax)
61
+
62
+ # Normalización Normax
63
+ spectral_data_normax = data_normax[all_columns].dropna().transpose()
64
+
65
+ # Calcular el valor máximo permitido para n_components
66
+ n_samples, n_features = spectral_data_minmax.shape
67
+ n_components = min(n_samples, n_features)
68
+
69
+ # PCA para reducir a un máximo de n_components antes de t-SNE
70
+ pca_50_minmax = PCA(n_components=n_components).fit_transform(spectral_data_minmax)
71
+ pca_50_normax = PCA(n_components=n_components).fit_transform(spectral_data_normax)
72
+ pca_50_standardized = PCA(n_components=n_components).fit_transform(spectral_data_standardized)
73
+
74
+ # PCA
75
+ pca_minmax = PCA(n_components=2).fit_transform(spectral_data_minmax)
76
+ pca_normax = PCA(n_components=2).fit_transform(spectral_data_normax)
77
+ pca_standardized = PCA(n_components=2).fit_transform(spectral_data_standardized)
78
+
79
+ # t-SNE después de reducir a n_components con PCA
80
+ tsne_minmax = TSNE(n_components=2, random_state=42).fit_transform(pca_50_minmax)
81
+ tsne_normax = TSNE(n_components=2, random_state=42).fit_transform(pca_50_normax)
82
+ tsne_standardized = TSNE(n_components=2, random_state=42).fit_transform(pca_50_standardized)
83
+
84
+ # Crear subplots
85
+ fig, axs = plt.subplots(3, 2, figsize=(14, 18))
86
+
87
+ # Gráfico de PCA Min-Max
88
+ axs[0, 0].scatter(pca_minmax[:len(java_columns), 0], pca_minmax[:len(java_columns), 1], color='blue', label='Java')
89
+ axs[0, 0].scatter(pca_minmax[len(java_columns):, 0], pca_minmax[len(java_columns):, 1], color='green', label='Bangka Belitung')
90
+ axs[0, 0].set_title('PCA Min-Max')
91
+ axs[0, 0].legend()
92
+
93
+ # Gráfico de t-SNE Min-Max
94
+ axs[0, 1].scatter(tsne_minmax[:len(java_columns), 0], tsne_minmax[:len(java_columns), 1], color='blue', label='Java')
95
+ axs[0, 1].scatter(tsne_minmax[len(java_columns):, 0], tsne_minmax[len(java_columns):, 1], color='green', label='Bangka Belitung')
96
+ axs[0, 1].set_title('t-SNE Min-Max')
97
+ axs[0, 1].legend()
98
+
99
+ # Gráfico de PCA Normax
100
+ axs[1, 0].scatter(pca_normax[:len(java_columns), 0], pca_normax[:len(java_columns), 1], color='blue', label='Java')
101
+ axs[1, 0].scatter(pca_normax[len(java_columns):, 0], pca_normax[len(java_columns):, 1], color='green', label='Bangka Belitung')
102
+ axs[1, 0].set_title('PCA Normax')
103
+ axs[1, 0].legend()
104
+
105
+ # Gráfico de t-SNE Normax
106
+ axs[1, 1].scatter(tsne_normax[:len(java_columns), 0], tsne_normax[:len(java_columns), 1], color='blue', label='Java')
107
+ axs[1, 1].scatter(tsne_normax[len(java_columns):, 0], tsne_normax[len(java_columns):, 1], color='green', label='Bangka Belitung')
108
+ axs[1, 1].set_title('t-SNE Normax')
109
+ axs[1, 1].legend()
110
+
111
+ # Gráfico de PCA Estandarizado
112
+ axs[2, 0].scatter(pca_standardized[:len(java_columns), 0], pca_standardized[:len(java_columns), 1], color='blue', label='Java')
113
+ axs[2, 0].scatter(pca_standardized[len(java_columns):, 0], pca_standardized[len(java_columns):, 1], color='green', label='Bangka Belitung')
114
+ axs[2, 0].set_title('PCA Estandarizado')
115
+ axs[2, 0].legend()
116
+
117
+ # Gráfico de t-SNE Estandarizado
118
+ axs[2, 1].scatter(tsne_standardized[:len(java_columns), 0], tsne_standardized[:len(java_columns), 1], color='blue', label='Java')
119
+ axs[2, 1].scatter(tsne_standardized[len(java_columns):, 0], tsne_standardized[len(java_columns):, 1], color='green', label='Bangka Belitung')
120
+ axs[2, 1].set_title('t-SNE Estandarizado')
121
+ axs[2, 1].legend()
122
+
123
+ # Ajustar los subplots
124
+ plt.tight_layout()
125
+ plt.show()
Spectra copy.py ADDED
@@ -0,0 +1,107 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ import pandas as pd
2
+ import matplotlib.pyplot as plt
3
+ from sklearn.decomposition import PCA
4
+ from sklearn.manifold import TSNE
5
+ from sklearn.preprocessing import StandardScaler, normalize
6
+
7
+ # Función para aplicar Min-Max a cada columna
8
+ def min_max_normalize(column):
9
+ return (column - column.min()) / (column.max() - column.min())
10
+
11
+ # Función para aplicar Normax
12
+ def normax_normalize(column):
13
+ return column / column.max()
14
+
15
+ # Cargar el archivo de Excel desde la ruta especificada
16
+ file_path = r"C:\Users\USUARIO\Documents\Indonecia\Rice_Spectral.xlsx"
17
+ data = pd.read_excel(file_path, sheet_name="Spectral")
18
+
19
+ # Asegurarse de que los valores de "Location" sean numéricos
20
+ data['Location'] = pd.to_numeric(data['Location'], errors='coerce')
21
+
22
+ # Separar los datos de los números de onda (Wavenumbers)
23
+ wavenumbers = data['Location'].dropna() # Eliminar posibles NaN en wavenumbers
24
+
25
+ # Filtrar las columnas que pertenecen a Java y Bangka Belitung
26
+ java_columns = [col for col in data.columns if "Java" in col]
27
+ belitung_columns = [col for col in data.columns if "Bangka Belitung" in col]
28
+
29
+ # Asegurarse de que todas las columnas de datos sean numéricas
30
+ data[java_columns] = data[java_columns].apply(pd.to_numeric, errors='coerce')
31
+ data[belitung_columns] = data[belitung_columns].apply(pd.to_numeric, errors='coerce')
32
+
33
+ # Aplicar normalización Min-Max y Normax
34
+ data_minmax = data.copy()
35
+ data_normax = data.copy()
36
+
37
+ data_minmax[java_columns] = data_minmax[java_columns].apply(min_max_normalize)
38
+ data_minmax[belitung_columns] = data_minmax[belitung_columns].apply(min_max_normalize)
39
+
40
+ data_normax[java_columns] = data_normax[java_columns].apply(normax_normalize)
41
+ data_normax[belitung_columns] = data_normax[belitung_columns].apply(normax_normalize)
42
+
43
+ # Preparar los datos para PCA y t-SNE
44
+ all_columns = java_columns + belitung_columns
45
+
46
+ # Normalización de datos (Min-Max)
47
+ spectral_data_minmax = data_minmax[all_columns].dropna().transpose()
48
+
49
+ # Estandarización de datos
50
+ scaler = StandardScaler()
51
+ spectral_data_standardized = scaler.fit_transform(spectral_data_minmax)
52
+
53
+ # Normalización Normax
54
+ spectral_data_normax = data_normax[all_columns].dropna().transpose()
55
+
56
+ # PCA
57
+ pca_minmax = PCA(n_components=2).fit_transform(spectral_data_minmax)
58
+ pca_normax = PCA(n_components=2).fit_transform(spectral_data_normax)
59
+ pca_standardized = PCA(n_components=2).fit_transform(spectral_data_standardized)
60
+
61
+ # t-SNE
62
+ tsne_minmax = TSNE(n_components=2, random_state=42).fit_transform(spectral_data_minmax)
63
+ tsne_normax = TSNE(n_components=2, random_state=42).fit_transform(spectral_data_normax)
64
+ tsne_standardized = TSNE(n_components=2, random_state=42).fit_transform(spectral_data_standardized)
65
+
66
+ # Crear subplots
67
+ fig, axs = plt.subplots(3, 2, figsize=(14, 18))
68
+
69
+ # Gráfico de PCA Min-Max
70
+ axs[0, 0].scatter(pca_minmax[:len(java_columns), 0], pca_minmax[:len(java_columns), 1], color='blue', label='Java')
71
+ axs[0, 0].scatter(pca_minmax[len(java_columns):, 0], pca_minmax[len(java_columns):, 1], color='green', label='Bangka Belitung')
72
+ axs[0, 0].set_title('PCA Min-Max')
73
+ axs[0, 0].legend()
74
+
75
+ # Gráfico de t-SNE Min-Max
76
+ axs[0, 1].scatter(tsne_minmax[:len(java_columns), 0], tsne_minmax[:len(java_columns), 1], color='blue', label='Java')
77
+ axs[0, 1].scatter(tsne_minmax[len(java_columns):, 0], tsne_minmax[len(java_columns):, 1], color='green', label='Bangka Belitung')
78
+ axs[0, 1].set_title('t-SNE Min-Max')
79
+ axs[0, 1].legend()
80
+
81
+ # Gráfico de PCA Normax
82
+ axs[1, 0].scatter(pca_normax[:len(java_columns), 0], pca_normax[:len(java_columns), 1], color='blue', label='Java')
83
+ axs[1, 0].scatter(pca_normax[len(java_columns):, 0], pca_normax[len(java_columns):, 1], color='green', label='Bangka Belitung')
84
+ axs[1, 0].set_title('PCA Normax')
85
+ axs[1, 0].legend()
86
+
87
+ # Gráfico de t-SNE Normax
88
+ axs[1, 1].scatter(tsne_normax[:len(java_columns), 0], tsne_normax[:len(java_columns), 1], color='blue', label='Java')
89
+ axs[1, 1].scatter(tsne_normax[len(java_columns):, 0], tsne_normax[len(java_columns):, 1], color='green', label='Bangka Belitung')
90
+ axs[1, 1].set_title('t-SNE Normax')
91
+ axs[1, 1].legend()
92
+
93
+ # Gráfico de PCA Estandarizado
94
+ axs[2, 0].scatter(pca_standardized[:len(java_columns), 0], pca_standardized[:len(java_columns), 1], color='blue', label='Java')
95
+ axs[2, 0].scatter(pca_standardized[len(java_columns):, 0], pca_standardized[len(java_columns):, 1], color='green', label='Bangka Belitung')
96
+ axs[2, 0].set_title('PCA Estandarizado')
97
+ axs[2, 0].legend()
98
+
99
+ # Gráfico de t-SNE Estandarizado
100
+ axs[2, 1].scatter(tsne_standardized[:len(java_columns), 0], tsne_standardized[:len(java_columns), 1], color='blue', label='Java')
101
+ axs[2, 1].scatter(tsne_standardized[len(java_columns):, 0], tsne_standardized[len(java_columns):, 1], color='green', label='Bangka Belitung')
102
+ axs[2, 1].set_title('t-SNE Estandarizado')
103
+ axs[2, 1].legend()
104
+
105
+ # Ajustar los subplots
106
+ plt.tight_layout()
107
+ plt.show()
Spectra.py ADDED
@@ -0,0 +1,82 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ import pandas as pd
2
+ import matplotlib.pyplot as plt
3
+ from sklearn.decomposition import PCA
4
+ from sklearn.manifold import TSNE
5
+
6
+ # Función para aplicar Min-Max a cada columna
7
+ def min_max_normalize(column):
8
+ return (column - column.min()) / (column.max() - column.min())
9
+
10
+ # Cargar el archivo de Excel desde la ruta especificada
11
+ file_path = r"C:\Users\USUARIO\Documents\Indonecia\Rice_Spectral.xlsx"
12
+ data = pd.read_excel(file_path, sheet_name="Spectral")
13
+
14
+ # Asegurarse de que los valores de "Location" sean numéricos
15
+ data['Location'] = pd.to_numeric(data['Location'], errors='coerce')
16
+
17
+ # Separar los datos de los números de onda (Wavenumbers)
18
+ wavenumbers = data['Location'].dropna() # Eliminar posibles NaN en wavenumbers
19
+
20
+ # Filtrar las columnas que pertenecen a Java y Bangka Belitung
21
+ java_columns = [col for col in data.columns if "Java" in col]
22
+ belitung_columns = [col for col in data.columns if "Bangka Belitung" in col]
23
+
24
+ # Asegurarse de que todas las columnas de datos sean numéricas
25
+ data[java_columns] = data[java_columns].apply(pd.to_numeric, errors='coerce')
26
+ data[belitung_columns] = data[belitung_columns].apply(pd.to_numeric, errors='coerce')
27
+
28
+ # Aplicar normalización Min-Max a cada firma espectral
29
+ data[java_columns] = data[java_columns].apply(min_max_normalize)
30
+ data[belitung_columns] = data[belitung_columns].apply(min_max_normalize)
31
+
32
+ # Graficar las firmas espectrales normalizadas
33
+ plt.figure(figsize=(10, 6))
34
+
35
+ # Graficar las firmas de Java en un color
36
+ for column in java_columns:
37
+ plt.plot(wavenumbers, data[column].dropna(), color='blue', label='Java' if 'Java' in column else "")
38
+
39
+ # Graficar las firmas de Bangka Belitung en otro color
40
+ for column in belitung_columns:
41
+ plt.plot(wavenumbers, data[column].dropna(), color='green', label='Bangka Belitung' if 'Bangka Belitung' in column else "")
42
+
43
+ # Etiquetas y título
44
+ plt.title('Firmas Espectrales Normalizadas (Min-Max) de Muestras de Arroz')
45
+ plt.xlabel('Número de Onda (Wavenumber)')
46
+ plt.ylabel('Reflectancia Espectral Normalizada')
47
+ plt.legend(['Java', 'Bangka Belitung'])
48
+
49
+ # Mostrar la gráfica
50
+ plt.show()
51
+
52
+ # Preparar los datos para PCA y t-SNE
53
+ all_columns = java_columns + belitung_columns
54
+ spectral_data = data[all_columns].dropna().transpose() # Transponer para tener las firmas en filas
55
+
56
+ # PCA: Análisis de Componentes Principales
57
+ pca = PCA(n_components=2)
58
+ pca_result = pca.fit_transform(spectral_data)
59
+
60
+ # Graficar PCA
61
+ plt.figure(figsize=(8, 6))
62
+ plt.scatter(pca_result[:len(java_columns), 0], pca_result[:len(java_columns), 1], color='blue', label='Java')
63
+ plt.scatter(pca_result[len(java_columns):, 0], pca_result[len(java_columns):, 1], color='green', label='Bangka Belitung')
64
+ plt.title('PCA de Firmas Espectrales')
65
+ plt.xlabel('Componente Principal 1')
66
+ plt.ylabel('Componente Principal 2')
67
+ plt.legend()
68
+ plt.show()
69
+
70
+ # t-SNE: Embedding de Vecinos Estocásticos Distribuidos
71
+ tsne = TSNE(n_components=2, random_state=42)
72
+ tsne_result = tsne.fit_transform(spectral_data)
73
+
74
+ # Graficar t-SNE
75
+ plt.figure(figsize=(8, 6))
76
+ plt.scatter(tsne_result[:len(java_columns), 0], tsne_result[:len(java_columns), 1], color='blue', label='Java')
77
+ plt.scatter(tsne_result[len(java_columns):, 0], tsne_result[len(java_columns):, 1], color='green', label='Bangka Belitung')
78
+ plt.title('t-SNE de Firmas Espectrales')
79
+ plt.xlabel('Componente t-SNE 1')
80
+ plt.ylabel('Componente t-SNE 2')
81
+ plt.legend()
82
+ plt.show()
create_model.py ADDED
@@ -0,0 +1,39 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ import pandas as pd
2
+ from sklearn.model_selection import train_test_split
3
+ from sklearn.svm import SVC
4
+ from sklearn.metrics import classification_report
5
+ import os
6
+ import joblib
7
+
8
+ # Rutas relativas para el archivo Excel y la ubicación del modelo
9
+ excel_path = os.path.join('data', 'Rice_Spectral_2.xlsx')
10
+ model_path = os.path.join('model', 'svm_model.joblib')
11
+
12
+ # Cargar datos desde Excel especificando que los decimales están separados por comas
13
+ data = pd.read_excel(excel_path, sheet_name="Spectral", decimal=',')
14
+
15
+ # Asignar etiquetas: '0' para Java y '1' para Bangka Belitung
16
+ labels = [0 if "Java" in col else 1 for col in data.columns]
17
+
18
+ # Transponer el DataFrame para tener las firmas en filas y las características en columnas
19
+ data_transposed = data.T
20
+
21
+ # Dividir los datos en conjuntos de entrenamiento y prueba
22
+ X_train, X_test, y_train, y_test = train_test_split(data_transposed, labels, test_size=0.001, random_state=42)
23
+
24
+ # Crear y entrenar el modelo SVM
25
+ svm_model = SVC(kernel='linear', random_state=42)
26
+ svm_model.fit(X_train, y_train)
27
+
28
+ # Evaluar el modelo
29
+ y_pred = svm_model.predict(X_test)
30
+ report = classification_report(y_test, y_pred)
31
+ print("Evaluación del Modelo:")
32
+ print(report)
33
+
34
+ # Asegurarse de que el directorio para guardar el modelo existe
35
+ os.makedirs('model', exist_ok=True)
36
+
37
+ # Guardar el modelo en la carpeta del modelo
38
+ joblib.dump(svm_model, model_path)
39
+ print(f"Modelo guardado en {model_path}")
main.py ADDED
File without changes
requirements.txt ADDED
Binary file (3.23 kB). View file