Saving weights and logs of step 2000 - epoch 1

README.md

@@ -47,7 +47,7 @@ The following hyperparameters were used during training:
 - num_train_dataset_workers: 32
 - num_hosts: 8
 - total_num_training_examples: 20,480,000
-- steps_per_epoch: _To be computed after first epoch_
+- steps_per_epoch: 1314
 - num_beams: 5
 - dropout: True
 - dropout_probability: 0.1
@@ -58,6 +58,7 @@ The following hyperparameters were used during training:
 |:----:|:---------:|:----------:|:--------:|:--------:|
 | 0    | 1.3578    | 8.1186     | 156.3946 | 118.6999 |
 | 1000 | 0.7538    | 0.9632     | 23.5688  | 9.1509   |
+| 2000 | 0.7164    | 0.6653     | 18.2704  | 7.4628   |
 
 
 ### Framework versions

flax_model.msgpack

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:afc437897c14f76fcf69f1dae87c7d35cab61ee606087b366e4b7cd734887cc2
+oid sha256:fd0a4e41109622b3474b8c4cf3983969799371713297d586b18f2400bd7c4f8b
 size 966956827

predictions/step_0.md

@@ -1,4 +1,4 @@
-[Step 0](step_0.md) | [Step 1000](step_1000.md)
+[Step 0](step_0.md) | [Step 1000](step_1000.md) | [Step 2000](step_2000.md)
 
 | STEP| loss | wer |cer|
 | ---| --- | --- |--- |

predictions/step_1000.md

@@ -1,4 +1,4 @@
-[Step 0](step_0.md) | [Step 1000](step_1000.md)
+[Step 0](step_0.md) | [Step 1000](step_1000.md) | [Step 2000](step_2000.md)
 
 | STEP| loss | wer |cer|
 | ---| --- | --- |--- |

predictions/step_2000.md

@@ -0,0 +1,58 @@
+[Step 0](step_0.md) | [Step 1000](step_1000.md) | [Step 2000](step_2000.md)
+
+| STEP| loss | wer |cer|
+| ---| --- | --- |--- |
+| **2000**| 0.716 | 18.270 |7.463 |
+
+| target                                                                                                                                                                                                                                                                                             | prediction                                                                                                                                                                                                                                                                                                                                                                                        |
+|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
+| De **østafrikanske** **øyene** befinner seg i **Indiahavet** utenfor Afrikas **østkyst**\.                                                                                                                                                                                                         | De **østafrikvenske** **øyne** befinner seg i **India\-havet** utenfor Afrikas **østkist**\.                                                                                                                                                                                                                                                                                                      |
+| **Dens** **altgjennomtrengende** myndighet berørte alle**\,** fra konge til vanlige folk**\.**                                                                                                                                                                                                     | **dens** **alt** **gjennomtrengende** myndighet berørte alle fra konge til vanlige folk                                                                                                                                                                                                                                                                                                           |
+| Deretter har noen saler**\,** spesielt engelske saler**\,** sikkerhetsstenger som gjør at **læret** til **stigbøylen** faller ned fra salen dersom det blir trukket bakover av en fallende rytter\.                                                                                                | Deretter har noen spesielt engelske saler sikkerhetsstenger som gjør at **lærer** til **stigbølgen** faller ned fra salen dersom det blir trukket bakover av en fallende rytter\.                                                                                                                                                                                                                 |
+| Avhengig av mengden **væske** man har i\, kan en **karrirett** enten være tørr\, eller fuktig\.                                                                                                                                                                                                    | Avhengig av mengden **veske** man har i\, kan en **karrierette** enten være tørr eller fuktig\.                                                                                                                                                                                                                                                                                                   |
+| Artiklene trengte enstemmig tilslutning fra alle **delstatene** før **de** kunne bli endret\, og statene tok så lett på den sentrale regjeringen at deres representanter ofte ikke var til stede\.                                                                                                 | Artiklene trengte enstemmig tilslutning fra alle **delstadene** før **det** kunne bli endret\, og statene tok så lett på den sentrale regjeringen at deres representanter ofte ikke var til stede\.                                                                                                                                                                                               |
+| Tibetansk **buddhisme** er basert på **Buddhas** lære\, men ble utvidet til å inneholde **mahayanas** kjærlighetsretning og flere metoder fra indisk yoga\.                                                                                                                                        | Tibetansk **bedisme** er basert på **Buddhaas** lære\, men ble utvidet til å inneholde **Mahayanas** kjærlighetsretning og flere metoder fra indisk yoga\.                                                                                                                                                                                                                                        |
+| Hun kom **frem** til dette etter flere positive **kommentarer** og **oppmuntringer** som ble tilsendt henne fra både kvinnelige og mannlige personer som ønsker at prevensjonsmidler bør bli sett på som **en** medisinsk nødvendighet\.                                                           | Hun kom **fram** til dette etter flere positive **kommentarere** og **oppmuntlinger** som ble tilsendt henne fra både kvinnelige og mannlige personer som ønsker at prevensjonsmidler bør bli sett på som medisinsk nødvendighet\.                                                                                                                                                                |
+| Selv om det var tre mennesker **inne** i huset da bilen krasjet inn i det\, ble ingen av dem skadet\.                                                                                                                                                                                              | Selv om det var tre mennesker **innen** i huset da bilen krasjet inn i det\, ble ingen av dem skadet\.                                                                                                                                                                                                                                                                                            |
+| Rings direktør**\,** Jamie **Siminoff\,** har uttalt fra før at firmaet begynte **da** **ringeklokken** hans ikke kunne bli hørt fra **verkstedet** i garasjen hans\.                                                                                                                              | Rings direktør Jamie **Simonoff** har uttalt fra før at firmaet begynte **der** **ingenklokken** hans ikke kunne bli hørt fra **verksteder** i garasjen hans\.                                                                                                                                                                                                                                    |
+| **Da** han ble spurt om **å** **kommentere**\, fortalte **Miller: «Mike** **prater** mye under høringen**\.\.\.** Jeg forberedte meg\, så jeg hørte egentlig ikke **etter** **på** det han sa**»\.**                                                                                               | **da** han ble spurt om han **kommenterte** fortalte **imidlertid**\, meg **pratet** mye under høringen**\.** Jeg forberedte meg\, så jeg hørte egentlig ikke **etterpå** det han sa**\.**                                                                                                                                                                                                        |
+| Tre bomber eksploderte i nærheten av **statlige** bygg i løpet av en tidsperiode på to timer**\.**                                                                                                                                                                                                 | Tre bomber eksploderte i nærheten av **statlig** bygg i løpet av en tidsperiode på to timer                                                                                                                                                                                                                                                                                                       |
+| Selv om det var tre mennesker inne i huset da bilen krasjet inn i det\, ble ingen av dem skadet\.                                                                                                                                                                                                  | Selv om det var tre mennesker inne i huset da bilen krasjet inn i det\, ble ingen av dem skadet\.                                                                                                                                                                                                                                                                                                 |
+| Det **tusende** **stempelet** hans var den storslåtte «Great **Deeds** by Swedish Kings» av David **Klöcker** **Ehrenstrahl** i 2000\, som er registrert i Guinness **verdensrekordbok**\.                                                                                                         | Det **tusenet** **stempelige** hans var den storslåtte «Great **deal** by Swedish Kings» av David **Crocker** **Aaronsdal** i 2000\, som er registrert i Guinness **Verdens** **rekordbok**\.                                                                                                                                                                                                     |
+| Av **1400** personer som stemte før det **føderale** valget i 2010\, økte antallet som motsetter seg at Australia skal bli en republikk\, med **8** **prosent** siden 2008\.                                                                                                                       | Av **1** **400** personer som stemte før det **for** det **rare** valget i 2010\, økte antallet som motsetter seg at Australia skal bli en republikk\, med **80** **pst**\. siden 2008\.                                                                                                                                                                                                          |
+| **Vitenskapspersoner** sier at eksplosjonen ble **forårsaket** av at kollisjonen var veldig stor**\.**                                                                                                                                                                                             | **vitenskapspersoner** sier at eksplosjonen ble **foresaket** av at kollisjonen var veldig stor                                                                                                                                                                                                                                                                                                   |
+| **Naturalister** og filosofer hadde fokus på klassisk tekst og særlig på **Bibelen** på latinsk språk**\.**                                                                                                                                                                                        | **naturalister** og filosofer hadde fokus på klassisk tekst og særlig på **bibelen** på latinsk språk                                                                                                                                                                                                                                                                                             |
+| 108 **tallerkener** med **Chhappan** **Bhog**  ble servert til Baba **Shyam**\.                                                                                                                                                                                                                    | 108 **talerkner** med **japannbok** **i** **hindusen** **er** **dette** **56** **ulike** **ting** **som** **kan** **spises** **om** **smågodt** **frukt\,** **nøtter\,** **matretter** **osv**\. **som** **tilbys** til **gudfiguren** ble servert til Baba **Shiam**                                                                                                                             |
+| **«**Jeg kunne ikke finne **søsteren** min og **vennen** hennes\, og på veien var det **2** funksjonshemmede i rullestoler som personer bare presset og klatret **over»\,** fortalte **Armand** **Versace**\.                                                                                      | Jeg kunne ikke finne **søstrene** min og **venn** hennes\, og på veien var det **to** funksjonshemmede i rullestoler som personer bare presset og klatret **utover**\, fortalte **Ironman** **Researcher**\.                                                                                                                                                                                      |
+| **Uttalen** er forholdsvis lett på italiensk**\,** **ettersom** de fleste ordene uttales akkurat slik de er skrevet**\.**                                                                                                                                                                          | **uttalen** er forholdsvis lett på italiensk **etter** **som** de fleste ordene uttales akkurat slik de er skrevet                                                                                                                                                                                                                                                                                |
+| Av **1400** personer som stemte før det **føderale** valget i 2010\, økte antallet som motsetter seg at Australia skal bli en republikk\, med 8 **prosent** siden 2008\.                                                                                                                           | Av **1** **400** personer som stemte før det **fedrale** valget i 2010\, økte antallet som motsetter seg at Australia skal bli en republikk\, med 8 **pst**\. siden 2008\.                                                                                                                                                                                                                        |
+| Kvinner bør forst�� at kulturforskjeller kan føre til at det de vil se på som trakassering **og** det ikke er uvanlig å bli fulgt etter\, **tatt** tak i **armen** **etc**\.                                                                                                                        | Kvinner bør forstå at kulturforskjeller kan føre til at det de vil se på som trakassering\, ikke er uvanlig å bli fulgt etter tak i **ermene** **osv**\.                                                                                                                                                                                                                                          |
+| **Skogene** er ikke bare **mangrovesumper** **–** her finnes noen av de siste **gjenværende** områdene med **jungel**\, som en gang **dekket** de gigantiske **slettene**\.                                                                                                                        | **Skogen** er ikke bare en **vanlig** **grov** **sumper**\, her finnes noen av de siste **gjeldværende** områdene med **jungler** som **gikk**\, **så** en gang **dekker** de gigantiske **sleppene**\.                                                                                                                                                                                           |
+| **Vær** så snill **å** behandle **plassen** med den verdigheten**\,** høytideligheten og respekten som den fortjener**\.** **Ikke** fortell vitser om holocaust eller nazister**\.**                                                                                                               | **være** så snill og behandle **plasten** med den verdigheten høytideligheten og respekten som den fortjener **ikke** fortell vitser om holocaust eller nazister                                                                                                                                                                                                                                  |
+| I mange tilfeller kan det å **begi** seg ut på et friår i utlandet faktisk forbedre **sjansene** dine for å komme inn på høyere **utdanning** når du er tilbake i hjemlandet ditt\.                                                                                                                | I mange tilfeller kan det **også** **bli** å **gi** seg ut på et friår i utlandet**\,** faktisk forbedre **sjansen** **din** dine for å komme inn på høyere **utdanner** når du er tilbake i hjemlandet ditt\.                                                                                                                                                                                    |
+| **Pyramidene** er **synlige** om natten og **du** har mulighet til å se **dem** **i** ro og fred **før** **forestillingen** starter\.                                                                                                                                                              | **Pyramiden** er **skyldende** om natten**\,** og **hun** har mulighet til å se **hvem** **vi** ro og fred **for** **forestillingene** starter\.                                                                                                                                                                                                                                                  |
+| **Fjærens** **struktur** tyder på at **de** ikke ble brukt til å fly\, men heller for temperaturregulering eller **utseende**\. **Forskerne** foreslo at\, selv om dette er **halen** til en ung dinosaur\, viser eksempelprøven voksen **fjærdrakt** og ikke **kyllingsdun**\.                    | **Fjernsstruktur** tyder på at **det** ikke ble brukt til å fly\, men heller for temperaturregulering eller **utsendelse**\. **Forskere** foreslo at selv om dette er **hav** til en ung dinosaur\, viser eksempelprøven voksen **fjerdrakt** og ikke **skyldingsdunn**\.                                                                                                                         |
+| Mount **Vinson**\-toppen har en høyde på 4892 meter og ligger på **Antarktis** høyeste fjell\, **Vinson** Massif\, i den nordlige delen **eller** Sentinel Range\.                                                                                                                                 | Mount **Vincent**\-toppen har en høyde på 4892 meter og ligger på **antarktisk** høyeste fjell\, **Vincent** Massif\, i den nordlige delen **av** Sentinel Range\.                                                                                                                                                                                                                                |
+| **Berømte** sangere fra hele landet framførte **bhajaner\,** eller lovsanger**\,** **for** **føttene** til **Shri** **Shyam\.**                                                                                                                                                                    | **berømte** sangere fra hele landet framførte **bianer** eller lovsanger **forflyttende** til **stris** **hjem**                                                                                                                                                                                                                                                                                  |
+| Vi kan starte med å få en livsstil som er mer miljøvennlig\, vi kan bli med på miljøbevegelsen\, og vi kan **også** bli aktivister for å til en viss grad **forminske** kommende smerte\.                                                                                                          | Vi kan starte med å få en livsstil som er mer miljøvennlig\, vi kan bli med på miljøbevegelsen og vi kan bli aktivister for å få til en viss grad for **menneske** kommende smerte\.                                                                                                                                                                                                              |
+| **Han** laget en ringeklokke som er koblet til **trådløst** nett**\,** **fortalte** han**\.**                                                                                                                                                                                                      | han laget en ringeklokke som er koblet til **trådligest** nett **fortalt** **den**                                                                                                                                                                                                                                                                                                                |
+| Parken er på 19 500 **km²** og kan deles inn i 14 ulike økosoner**\,** som støtter **ulikt** dyreliv\.                                                                                                                                                                                             | Parken er på 19 500 **kvadratmeter** og kan deles inn i 14 ulike økosoner som støtter **ulykt** dyreliv\.                                                                                                                                                                                                                                                                                         |
+| **Penger** kan veksles på **øyens** eneste bank som ligger i **Stanley** ovenfor FIC **West\-butikken**\.                                                                                                                                                                                          | **penger** kan veksles på **Oilens** eneste bank som ligger i **standlig** ovenfor FIC **Westbutikken**\.                                                                                                                                                                                                                                                                                         |
+| Beboere nær anlegget blir anbefalt av lokale myndigheter om å holde seg inne\, ikke ha på **klimaanlegget** og ikke drikke vann fra kranen\.                                                                                                                                                       | Beboere nær anlegget blir anbefalt av lokale myndigheter om å holde seg inne\, ikke ha på **klimanlegget** og ikke drikke vann fra kranen\.                                                                                                                                                                                                                                                       |
+| Eksempler på stedsaktiviteter innebærer jakt\, fiske\, fotografering\, se på fugler\, dra til parker og undersøke detaljer om økosystemet\.                                                                                                                                                        | Eksempler på stedsaktiviteter innebærer jakt\, fiske\, fotografering\, se på fugler\, dra til parker og undersøke detaljer om økosystemet\.                                                                                                                                                                                                                                                       |
+| Eksempler på stedsaktiviteter innebærer jakt\, fiske\, **fotografering**\, se på fugler\, dra til parker og undersøke detaljer om økosystemet\.                                                                                                                                                    | Eksempler på stedsaktiviteter innebærer jakt\, fiske\, **fotografiering**\, se på fugler\, dra til parker og undersøke detaljer om økosystemet\.                                                                                                                                                                                                                                                  |
+| **Arly** Velasquez fra Mexico ble **nr**\. 15 i sittende **Super\-G** **for** **menn**\. New **Zealands** Adam Hall ble **nr**\. **ni** i stående **Super\-** **G** **for** **menn**\.                                                                                                             | **Arlie** Velasquez fra Mexico ble **nummer** 15 i sittende **supergiformenn**\. New **Zealand's** Adam Hall ble **nummer** **9** i stående **supergiformenn**\.                                                                                                                                                                                                                                  |
+| **Fraktselskaper** får mye penger for å levere ting raskt\. Ofte er tiden svært betydningsfull når det kommer til forretningsdokumenter\, varer eller reservedeler for en **hastereparasjon**\.                                                                                                    | **fraktselskaper** får mye penger for å levere ting raskt\. Ofte er tiden svært betydningsfull når det kommer til forretningsdokumenter\, varer eller reservedeler for en **hastig** **reparasjon**\.                                                                                                                                                                                             |
+| **Araberne** brakte i tillegg med seg islam til nasjonene**\,** og det ble populært i **Komorene** og **Mayotte\.**                                                                                                                                                                                | **araberne** brakte i tillegg med seg islam til nasjonene og det ble populært i **komiteen** og                                                                                                                                                                                                                                                                                                   |
+| **De** fleste skilt er derimot bare **angitt** på katalansk fordi det er lovfestet som det første offisielle språket**\.**                                                                                                                                                                         | **de** fleste skilt er derimot bare **angis** på katalansk fordi det er lovfestet som det første offisielle språket                                                                                                                                                                                                                                                                               |
+| Forskerne **antydet** at**\,** selv om dette var **halen** til en dinosaur**\,** **viste** prøven **fjærdrakten** til en voksen og ikke en **kyllings** **dun**\.                                                                                                                                  | Forskerne **antyder** at selv om dette var **hånd** til en dinosaur **visste** prøven **fjerdrakten** til en voksen og ikke en **skillingstuen**\.                                                                                                                                                                                                                                                |
+| De fleste skilt er derimot bare angitt på katalansk fordi det er lovfestet som det første offisielle språket\.                                                                                                                                                                                     | De fleste skilt er derimot bare angitt på katalansk fordi det er lovfestet som det første offisielle språket\.                                                                                                                                                                                                                                                                                    |
+| For tusenvis av år siden mente en mann med navn **Aristarkhos** at solsystemet flyttet seg rundt solen\.                                                                                                                                                                                           | For tusenvis av år siden mente en mann med navn **Aristarkos** at solsystemet flyttet seg rundt solen\.                                                                                                                                                                                                                                                                                           |
+| **«**Timbuktu**»** har blitt brukt som en metafor for eksotiske**\,** **fjerne** **land\,** kombinert med relativ utilgjengelighet**\.**                                                                                                                                                           | Timbuktu har blitt brukt som en metafor for eksotiske **fjerneland** kombinert med relativ utilgjengelighet                                                                                                                                                                                                                                                                                       |
+| **Penger** kan veksles på øyens eneste bank som ligger i **Stanley** **ovenfor** FIC **West\-butikken**\.                                                                                                                                                                                          | **penger** kan veksles på øyens eneste bank som ligger i **standlig** **overfor** FIC **Westbutikken**\.                                                                                                                                                                                                                                                                                          |
+| Vi kan starte med å få en livsstil som er mer miljøvennlig\, vi kan bli med på miljøbevegelsen\, og vi kan også bli aktivister for å til en viss grad **forminske** kommende smerte\.                                                                                                              | Vi kan starte med å få en livsstil som er mer miljøvennlig\, vi kan bli med på miljøbevegelsen og vi kan også bli aktivister for å få til en viss grad for **menneske** kommende smerte\.                                                                                                                                                                                                         |
+| Tre bomber eksploderte i **nærheten** av **statlige** **bygg** i **løpet** av en tidsperiode på to timer**\.**                                                                                                                                                                                     | Tre bomber eksploderte i **nødretten** av **statlig** **bygge** **løp** av en tidsperiode på to timer                                                                                                                                                                                                                                                                                             |
+| Etter å ha sett all frykt og **grusomheter** fra krig under første verdenskrig**\,** **ville** nasjonene unngå en slik situasjon igjen i **fremtiden**\.                                                                                                                                           | Etter å ha sett all frykt og **grusomhet** fra krig under første verdenskrig **vil** nasjonene unngå en slik situasjon igjen i **framtiden**\.                                                                                                                                                                                                                                                    |
+| Politiet har informert om at **føreren** av **kjøretøyet** som kjørte på fotografen ikke kommer til å bli stilt for retten\.                                                                                                                                                                       | Politiet har informert om at **førerne** av **kjøretøyer** som kjørte på fotografen**\,** ikke kommer til å bli stilt for retten\.                                                                                                                                                                                                                                                                |
+| Det **vettskremte** kongehuset\, **kong** Ludvig **XVI**\, dronning Marie **Antoinette** sammen med deres to unge barn  og **kongens** søster\, **Madam** **Elizabeth**\, ble den 6\. oktober 1789 presset til å komme tilbake til Paris fra Versailles av en **folkemengde** med markedskvinner\. | Det **vet** **skremte** kongehuset\, **Kong** Ludvig **16**\, dronning **Maria** **Antonette** sammen med deres to unge barn\, Marie **Therese** **på** **elleve** **år** og Ludvig **Charles** **på** **fire** **år** og **Kongens** søster\, **Madame** **Elisabeth**\, ble den 6\. oktober 1789 presset til å komme tilbake til Paris fra Versailles av en **folkemøyde** med markedskvinner\. |
+| **I** prinsippet er tibetansk **buddhisme** veldig enkelt**\.** **Det** består av **Kundalini** **Yoga\,** meditasjon og full **kjærlighet\.**                                                                                                                                                     | **i** prinsippet er tibetansk **budisme** veldig enkelt **det** består av **kundalini** **yoga** meditasjon og full **særlighet**                                                                                                                                                                                                                                                                 |

runs/May23_18-10-52_t1v-n-4bc6c3a0-w-5/events.out.tfevents.1684865452.t1v-n-4bc6c3a0-w-5.980542.0.v2

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:19f28cb450e5d31fbe7168033b5490a517fba67a1cfea8f68948195e38ddcaa3
-size 235749
+oid sha256:eecbbd7b4fd52c3176187925f0414381a8413546ab0002a939f168568508b918
+size 561149

training_state.bin

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:c36cdf74a9d1fb495b5737b50557b7964f8ce6cbe777c46d4e7c0122b79b3b62
-size 316
+oid sha256:d3bb4e5aa8a84f5c84ea41d49d768f32c71d7ae437fa3be6d0c3ed0ccf797625
+size 463