| **Ausführen des Programms** |
|
|
| Installiere die benötigten Python-Pakete: |
|
|
| pip install datasets |
|
|
| pip install transformers |
|
|
| pip install torch |
|
|
| pip install huggingface-hub |
|
|
| pip install beautifulsoup4 |
|
|
| pip install pyth3 |
|
|
| pip install seaborn |
|
|
| **CUDA** |
|
|
| Stellen Sie sicher, dass CUDA und cuDNN korrekt installiert sind. |
|
|
| nvcc --version |
|
|
| PyTorch mit CUDA Unterstützung installieren: |
|
|
| pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu111 |
|
|
| **Führe das Skript aus:** |
|
|
| Neu V0.0.4 Doxygen Text aus html .html, docbook .xml und Rich Text Format .rtf |
|
|
| python main_GPU_V004.py /path/to/your/directory |
|
|
| Testing (Neu) |
|
|
| python main_Testing_V004.py /path/to/your/directory/ModelTestData.db |
|
|
| Ersetze /pfad/zu/deinem/verzeichnis durch den tatsächlichen Pfad zu dem Verzeichnis, das du durchsuchen möchtest. |
|
|
|
|
| **Kurzfassung:** |
|
|
| Dieses Skript durchsucht das Verzeichnis, extrahiert die erforderlichen Parameter, speichert sie in einer SQLite-Datenbank, |
|
|
| konvertiert diese Daten in ein HuggingFace Dataset, trainiert ein Modell und speichert das trainierte Modell auf der Festplatte neben der Datenbank. |
|
|
|
|
| **Ausführlich:** |
|
|
| Dieses Python-Programm durchläuft einen angegebenen Verzeichnisbaum, |
|
|
| extrahiert Informationen über bestimmte Dateitypen, |
|
|
| speichert diese Informationen in einer SQLite-Datenbank, |
|
|
| erstellt ein Hugging Face Dataset aus den gespeicherten Daten, |
|
|
| trainiert ein Modell für die Klassifikation von Dateien basierend auf deren Pfaden |
|
|
| und speichert das trainierte Modell sowie den Tokenizer. |
|
|
| Hier ist eine einfache und verständliche Erklärung, wie das Programm funktioniert: |
|
|
|
|
| 1. **Extrahiere Parameter aus Dateien (`extrahiere_parameter(file_path)`)**: |
|
|
| - Öffnet eine Datei und liest deren Zeilen. |
| - |
| - Sammelt Informationen wie Anzahl der Zeilen, Anzahl der Zeichen und ob der Text lang ist (>1000 Zeilen). |
| - |
| - Gibt diese Informationen zurück, außer wenn ein Lesefehler auftritt. |
|
|
| 2. **Durchsuche Verzeichnis und extrahiere Parameter (`durchsuchen_und_extrahieren(root_dir, db_pfad)`)**: |
|
|
| - Verbindet sich mit einer SQLite-Datenbank (`db_pfad`). |
| - |
| - Erstellt eine Tabelle (`dateiparameter`) für die gesammelten Dateiinformationen, falls diese noch nicht existiert. |
| - |
| - Durchläuft rekursiv das angegebene Verzeichnis (`root_dir`) und extrahiert Parameter von Dateien mit unterstützten Dateitypen. |
| - |
| - Speichert die extrahierten Parameter in der SQLite-Datenbank. |
|
|
|
|
| 3. **Extrahiere Parameter aus der SQLite-Datenbank (`extrahiere_parameter_aus_db(db_pfad)`)**: |
|
|
| - Verbindet sich mit der SQLite-Datenbank. |
| - |
| - Führt eine Abfrage aus, um alle gespeicherten Dateiparameter zu erhalten. |
| - |
| - Gibt die abgerufenen Daten zurück, außer wenn ein Fehler auftritt. |
|
|
|
|
| 4. **Konvertiere zu Hugging Face Dataset (`konvertiere_zu_hf_dataset(daten)`)**: |
| |
| |
| - Nimmt die aus der SQLite-Datenbank abgerufenen Daten und wandelt sie in ein Hugging Face Dataset um. |
| - |
| - Fügt Platzhalterwerte für Trainings- und Testdaten hinzu. |
| |
| |
| 5. **Trainiere und speichere Modell (`trainiere_und_speichere_modell(hf_dataset_pfad, output_model_dir)`)**: |
|
|
| - Lädt das Hugging Face Dataset von der Festplatte. |
| - |
| - Erstellt einen Tokenizer (`AutoTokenizer`) für BERT. |
| - |
| - Definiert eine Funktion zum Tokenisieren der Dateipfade im Dataset. |
| - |
| - Erstellt ein Modell (`AutoModelForSequenceClassification`) für die Klassifikation der Dateipfade. |
| - |
| - Konfiguriert Trainingsargumente und einen Trainer für das Modell. |
| - |
| - Trainiert das Modell mit den trainierten und Testdaten aus dem Dataset. |
| - |
| - Speichert das trainierte Modell und den Tokenizer im angegebenen Ausgabeverzeichnis (`output_model_dir`). |
|
|
|
|
| 6. **Main-Funktion (`if __name__ == "__main__":`)**: |
| |
| - Überprüft, ob ein Verzeichnispfad als Argument übergeben wurde; andernfalls wird das aktuelle Verzeichnis verwendet. |
| - |
| - Erstellt einen SQLite-Datenbanknamen aus dem Basisnamen des Verzeichnisses. |
| - |
| - Führt die Funktionen aus, um Daten zu extrahieren, ein Hugging Face Dataset zu erstellen und ein Modell zu trainieren. |
| - |
| - Gibt eine Erfolgsmeldung aus, wenn das Modell erfolgreich gespeichert wurde. |
| |
| |
| Das Programm ist darauf ausgelegt, durch Verzeichnisse zu navigieren, Dateiinformationen zu extrahieren, |
| |
| diese in einem maschinenlesbaren Format zu speichern, ein Hugging Face Dataset zu erstellen und ein Modell zu trainieren, das auf diesen Daten basiert. |
| |
