Yehoward commited on
Commit
070e0c0
·
1 Parent(s): 76b10b3

Readme Actualizare

Browse files
README.md CHANGED
@@ -30,28 +30,54 @@ should probably proofread and complete it, then remove this comment. -->
30
 
31
  # Whisper Small Ro - Iazar
32
 
33
- This model is a fine-tuned version of [openai/whisper-small](https://huggingface.co/openai/whisper-small) on the Date audio colectate în cadrul proiectului TekWil dataset.
34
- It achieves the following results on the evaluation set:
35
- - Loss: 0.8207
36
  - Wer: 46.2651
37
 
38
- ## Model description
39
 
40
- More information needed
41
 
42
- ## Intended uses & limitations
43
 
44
- More information needed
45
 
46
- ## Training and evaluation data
47
 
48
- More information needed
49
 
50
- ## Training procedure
51
 
52
- ### Training hyperparameters
53
 
54
- The following hyperparameters were used during training:
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
55
  - learning_rate: 1e-05
56
  - train_batch_size: 16
57
  - eval_batch_size: 8
@@ -62,14 +88,14 @@ The following hyperparameters were used during training:
62
  - training_steps: 200
63
  - mixed_precision_training: Native AMP
64
 
65
- ### Training results
66
 
67
- | Training Loss | Epoch | Step | Validation Loss | Wer |
68
  |:-------------:|:-------:|:----:|:---------------:|:-------:|
69
  | 0.0005 | 66.6667 | 200 | 0.8207 | 46.2651 |
70
 
71
 
72
- ### Framework versions
73
 
74
  - Transformers 4.40.1
75
  - Pytorch 2.2.1+cu121
 
30
 
31
  # Whisper Small Ro - Iazar
32
 
33
+ O adjustare a modelului [openai/whisper-small](https://huggingface.co/openai/whisper-small) pe Date audio colectate în cadrul proiectului TekWill.
34
+ Obține următoarele rezultate pe setul de evaluare:
35
+ - Pierdere: 0,8207
36
  - Wer: 46.2651
37
 
38
+ ## Descriere
39
 
40
+ Este un model intenționat pentru transcrierea graiului Moldovenesc în text.
41
 
42
+ ## Datele
43
 
44
+ Pentru antrenarea modelului s-au folosit atît date de la [Common Voice](https://huggingface.co/datasets/mozilla-foundation/common_voice_11_0), cît și [date colectate în cadrul proiectului](https://github.com/Yehoward/iazar-datacollector).
45
 
46
+ ## Performanță
47
 
48
+ ![audioul transcris](./pub/tg-2024-05-04T21:48:19.wav)
49
 
50
+ Am făcut niște testări pe mai multe modele, ca să observăm dacă există un oarecare progres.
51
 
 
52
 
53
+ ![whisper small ro](./pub/evaluare-whisper-small.png)
54
+ Transcriere de către modelul preantrenat de la Whisper.
55
+
56
+ ![whisper small ro](./pub/evaluare-common-voice.png)
57
+ Transcriere de către modelul antrenat numai cu date de la Common Voice.
58
+
59
+ ![whisper small ro](./pub/evaluare-iazar.png)
60
+ Transcriere de către modelul antrenat numai cu datele colectate în cadrul proiectului.
61
+
62
+ ![whisper small ro](./pub/evaluare-common-voice-iazar.png)
63
+ Transcrierea de către modelul antrenat atît cu date de la Common Voice, cît și cu date colectate în cadrul proiectului.
64
+
65
+
66
+
67
+
68
+
69
+
70
+ ## Procedura de antrenament
71
+
72
+ ### Codul de antrenare
73
+
74
+ Am folosit google colab pentru antrenarea modelului.
75
+
76
+ mai multe detalii -> https://github.com/Yehoward/Iazar?tab=readme-ov-file#code_de_antrenare_iazaripynb
77
+
78
+ ### Hiperparametri de antrenament
79
+
80
+ Următorii hiperparametri au fost utilizați în timpul antrenamentului:
81
  - learning_rate: 1e-05
82
  - train_batch_size: 16
83
  - eval_batch_size: 8
 
88
  - training_steps: 200
89
  - mixed_precision_training: Native AMP
90
 
91
+ ### Rezultate antrenament
92
 
93
+ | Pierdere la antrenament | Epocă | Pasul | Pierdere de validare | Rata de erori a cuvintelor |
94
  |:-------------:|:-------:|:----:|:---------------:|:-------:|
95
  | 0.0005 | 66.6667 | 200 | 0.8207 | 46.2651 |
96
 
97
 
98
+ ### Versiuni cadre
99
 
100
  - Transformers 4.40.1
101
  - Pytorch 2.2.1+cu121
pub/evaluare-common-voice-iazar.png ADDED
pub/evaluare-common-voice.png ADDED
pub/evaluare-iazar.png ADDED
pub/evaluare-whisper-small.png ADDED
pub/iazar-evaluare-toate.png ADDED
pub/tg-2024-05-04T21:48:19.wav ADDED
Binary file (128 kB). View file