Software V0.0.1

mainXXX.md

@@ -11,6 +11,7 @@ pip install torch
 pip install huggingface-hub
 
 **CUDA**
+
 Stellen Sie sicher, dass CUDA und cuDNN korrekt installiert sind. 
 
 nvcc --version
@@ -20,6 +21,7 @@ PyTorch mit CUDA Unterstützung installieren:
 pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu111
 
 **Führe das Skript aus:**
+
 python main_GPU.py /pfad/zu/deinem/verzeichnis
 
 oder
@@ -29,11 +31,13 @@ python main_CUDA.py /pfad/zu/deinem/verzeichnis
 Ersetze /pfad/zu/deinem/verzeichnis durch den tatsächlichen Pfad zu dem Verzeichnis, das du durchsuchen möchtest.
 
 **Kurzfassung:**
+
 Dieses Skript durchsucht das Verzeichnis, extrahiert die erforderlichen Parameter, speichert sie in einer SQLite-Datenbank, 
 
 konvertiert diese Daten in ein HuggingFace Dataset, trainiert ein Modell und speichert das trainierte Modell auf der Festplatte neben der Datenbank.
 
 **Ausführlich:**
+
 Dieses Python-Programm durchläuft einen angegebenen Verzeichnisbaum, 
 
 extrahiert Informationen über bestimmte Dateitypen, 
@@ -49,14 +53,16 @@ und speichert das trainierte Modell sowie den Tokenizer.
 Hier ist eine einfache und verständliche Erklärung, wie das Programm funktioniert:
 
 1. **Extrahiere Parameter aus Dateien (`extrahiere_parameter(file_path)`)**:
-   - Öffnet eine Datei und liest deren Zeilen.
+
+    - Öffnet eine Datei und liest deren Zeilen.
    - 
    - Sammelt Informationen wie Anzahl der Zeilen, Anzahl der Zeichen und ob der Text lang ist (>1000 Zeilen).
    - 
    - Gibt diese Informationen zurück, außer wenn ein Lesefehler auftritt.
 
 2. **Durchsuche Verzeichnis und extrahiere Parameter (`durchsuchen_und_extrahieren(root_dir, db_pfad)`)**:
-   - Verbindet sich mit einer SQLite-Datenbank (`db_pfad`).
+
+    - Verbindet sich mit einer SQLite-Datenbank (`db_pfad`).
    - 
    - Erstellt eine Tabelle (`dateiparameter`) für die gesammelten Dateiinformationen, falls diese noch nicht existiert.
    - 
@@ -65,6 +71,7 @@ Hier ist eine einfache und verständliche Erklärung, wie das Programm funktioni
    - Speichert die extrahierten Parameter in der SQLite-Datenbank.
 
 3. **Extrahiere Parameter aus der SQLite-Datenbank (`extrahiere_parameter_aus_db(db_pfad)`)**:
+
    - Verbindet sich mit der SQLite-Datenbank.
    - 
    - Führt eine Abfrage aus, um alle gespeicherten Dateiparameter zu erhalten.
@@ -72,11 +79,14 @@ Hier ist eine einfache und verständliche Erklärung, wie das Programm funktioni
    - Gibt die abgerufenen Daten zurück, außer wenn ein Fehler auftritt.
 
 4. **Konvertiere zu Hugging Face Dataset (`konvertiere_zu_hf_dataset(daten)`)**:
+
+ 
    - Nimmt die aus der SQLite-Datenbank abgerufenen Daten und wandelt sie in ein Hugging Face Dataset um.
    - 
    - Fügt Platzhalterwerte für Trainings- und Testdaten hinzu.
 
 5. **Trainiere und speichere Modell (`trainiere_und_speichere_modell(hf_dataset_pfad, output_model_dir)`)**:
+
    - Lädt das Hugging Face Dataset von der Festplatte.
    - 
    - Erstellt einen Tokenizer (`AutoTokenizer`) für BERT.
@@ -92,6 +102,7 @@ Hier ist eine einfache und verständliche Erklärung, wie das Programm funktioni
    - Speichert das trainierte Modell und den Tokenizer im angegebenen Ausgabeverzeichnis (`output_model_dir`).
 
 6. **Main-Funktion (`if __name__ == "__main__":`)**:
+
    - Überprüft, ob ein Verzeichnispfad als Argument übergeben wurde; andernfalls wird das aktuelle Verzeichnis verwendet.
    - 
    - Erstellt einen SQLite-Datenbanknamen aus dem Basisnamen des Verzeichnisses.