Readme Actualizare
Browse files- README.md +41 -15
- pub/evaluare-common-voice-iazar.png +0 -0
- pub/evaluare-common-voice.png +0 -0
- pub/evaluare-iazar.png +0 -0
- pub/evaluare-whisper-small.png +0 -0
- pub/iazar-evaluare-toate.png +0 -0
- pub/tg-2024-05-04T21:48:19.wav +0 -0
README.md
CHANGED
|
@@ -30,28 +30,54 @@ should probably proofread and complete it, then remove this comment. -->
|
|
| 30 |
|
| 31 |
# Whisper Small Ro - Iazar
|
| 32 |
|
| 33 |
-
|
| 34 |
-
|
| 35 |
-
-
|
| 36 |
- Wer: 46.2651
|
| 37 |
|
| 38 |
-
##
|
| 39 |
|
| 40 |
-
|
| 41 |
|
| 42 |
-
##
|
| 43 |
|
| 44 |
-
|
| 45 |
|
| 46 |
-
##
|
| 47 |
|
| 48 |
-
|
| 49 |
|
| 50 |
-
|
| 51 |
|
| 52 |
-
### Training hyperparameters
|
| 53 |
|
| 54 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 55 |
- learning_rate: 1e-05
|
| 56 |
- train_batch_size: 16
|
| 57 |
- eval_batch_size: 8
|
|
@@ -62,14 +88,14 @@ The following hyperparameters were used during training:
|
|
| 62 |
- training_steps: 200
|
| 63 |
- mixed_precision_training: Native AMP
|
| 64 |
|
| 65 |
-
###
|
| 66 |
|
| 67 |
-
|
|
| 68 |
|:-------------:|:-------:|:----:|:---------------:|:-------:|
|
| 69 |
| 0.0005 | 66.6667 | 200 | 0.8207 | 46.2651 |
|
| 70 |
|
| 71 |
|
| 72 |
-
###
|
| 73 |
|
| 74 |
- Transformers 4.40.1
|
| 75 |
- Pytorch 2.2.1+cu121
|
|
|
|
| 30 |
|
| 31 |
# Whisper Small Ro - Iazar
|
| 32 |
|
| 33 |
+
O adjustare a modelului [openai/whisper-small](https://huggingface.co/openai/whisper-small) pe Date audio colectate în cadrul proiectului TekWill.
|
| 34 |
+
Obține următoarele rezultate pe setul de evaluare:
|
| 35 |
+
- Pierdere: 0,8207
|
| 36 |
- Wer: 46.2651
|
| 37 |
|
| 38 |
+
## Descriere
|
| 39 |
|
| 40 |
+
Este un model intenționat pentru transcrierea graiului Moldovenesc în text.
|
| 41 |
|
| 42 |
+
## Datele
|
| 43 |
|
| 44 |
+
Pentru antrenarea modelului s-au folosit atît date de la [Common Voice](https://huggingface.co/datasets/mozilla-foundation/common_voice_11_0), cît și [date colectate în cadrul proiectului](https://github.com/Yehoward/iazar-datacollector).
|
| 45 |
|
| 46 |
+
## Performanță
|
| 47 |
|
| 48 |
+

|
| 49 |
|
| 50 |
+
Am făcut niște testări pe mai multe modele, ca să observăm dacă există un oarecare progres.
|
| 51 |
|
|
|
|
| 52 |
|
| 53 |
+

|
| 54 |
+
Transcriere de către modelul preantrenat de la Whisper.
|
| 55 |
+
|
| 56 |
+

|
| 57 |
+
Transcriere de către modelul antrenat numai cu date de la Common Voice.
|
| 58 |
+
|
| 59 |
+

|
| 60 |
+
Transcriere de către modelul antrenat numai cu datele colectate în cadrul proiectului.
|
| 61 |
+
|
| 62 |
+

|
| 63 |
+
Transcrierea de către modelul antrenat atît cu date de la Common Voice, cît și cu date colectate în cadrul proiectului.
|
| 64 |
+
|
| 65 |
+
|
| 66 |
+
|
| 67 |
+
|
| 68 |
+
|
| 69 |
+
|
| 70 |
+
## Procedura de antrenament
|
| 71 |
+
|
| 72 |
+
### Codul de antrenare
|
| 73 |
+
|
| 74 |
+
Am folosit google colab pentru antrenarea modelului.
|
| 75 |
+
|
| 76 |
+
mai multe detalii -> https://github.com/Yehoward/Iazar?tab=readme-ov-file#code_de_antrenare_iazaripynb
|
| 77 |
+
|
| 78 |
+
### Hiperparametri de antrenament
|
| 79 |
+
|
| 80 |
+
Următorii hiperparametri au fost utilizați în timpul antrenamentului:
|
| 81 |
- learning_rate: 1e-05
|
| 82 |
- train_batch_size: 16
|
| 83 |
- eval_batch_size: 8
|
|
|
|
| 88 |
- training_steps: 200
|
| 89 |
- mixed_precision_training: Native AMP
|
| 90 |
|
| 91 |
+
### Rezultate antrenament
|
| 92 |
|
| 93 |
+
| Pierdere la antrenament | Epocă | Pasul | Pierdere de validare | Rata de erori a cuvintelor |
|
| 94 |
|:-------------:|:-------:|:----:|:---------------:|:-------:|
|
| 95 |
| 0.0005 | 66.6667 | 200 | 0.8207 | 46.2651 |
|
| 96 |
|
| 97 |
|
| 98 |
+
### Versiuni cadre
|
| 99 |
|
| 100 |
- Transformers 4.40.1
|
| 101 |
- Pytorch 2.2.1+cu121
|
pub/evaluare-common-voice-iazar.png
ADDED
|
pub/evaluare-common-voice.png
ADDED
|
pub/evaluare-iazar.png
ADDED
|
pub/evaluare-whisper-small.png
ADDED
|
pub/iazar-evaluare-toate.png
ADDED
|
pub/tg-2024-05-04T21:48:19.wav
ADDED
|
Binary file (128 kB). View file
|
|
|