---
tags:
- generated_from_keras_callback
model-index:
- name: pretrained-m-bert-500
  results: []
---

<!-- This model card has been generated automatically according to the information Keras had access to. You should
probably proofread and complete it, then remove this comment. -->

# pretrained-m-bert-500

This model is a fine-tuned version of [](https://huggingface.co/) on an unknown dataset.
It achieves the following results on the evaluation set:
- Train Loss: nan
- Validation Loss: nan
- Epoch: 499

## Model description

More information needed

## Intended uses & limitations

More information needed

## Training and evaluation data

More information needed

## Training procedure

### Training hyperparameters

The following hyperparameters were used during training:
- optimizer: {'name': 'Adam', 'learning_rate': 1e-04, 'decay': 0.0, 'beta_1': 0.9, 'beta_2': 0.999, 'epsilon': 1e-07, 'amsgrad': False}
- training_precision: float32

### Training results

| Train Loss | Validation Loss | Epoch |
|:----------:|:---------------:|:-----:|
| 10.2739    | 10.9467         | 0     |
| 7.7645     | 10.9288         | 1     |
| 6.8555     | 11.5279         | 2     |
| 6.4632     | 11.6263         | 3     |
| 6.3355     | 11.4757         | 4     |
| 6.3058     | 12.0991         | 5     |
| 6.4287     | 11.7486         | 6     |
| 6.0511     | 12.1714         | 7     |
| 5.9225     | 12.1125         | 8     |
| 6.0564     | 12.0840         | 9     |
| 5.9826     | 12.5151         | 10    |
| 5.9158     | 12.8370         | 11    |
| 5.9259     | 12.4708         | 12    |
| 5.9949     | 12.9119         | 13    |
| 6.0393     | 12.3977         | 14    |
| 5.8529     | 12.5782         | 15    |
| 5.8925     | 12.8304         | 16    |
| 5.9375     | 13.0765         | 17    |
| 5.8301     | 12.9770         | 18    |
| 5.8228     | 13.0910         | 19    |
| 5.8745     | 13.1173         | 20    |
| 5.7530     | 13.1872         | 21    |
| 5.8580     | 13.2372         | 22    |
| 5.8831     | 13.1819         | 23    |
| 5.7337     | 13.0628         | 24    |
| 5.6735     | 13.2866         | 25    |
| 5.8513     | 13.4646         | 26    |
| 5.7785     | 14.1611         | 27    |
| 5.8023     | 13.6074         | 28    |
| 5.9448     | 13.0115         | 29    |
| 5.8186     | 13.0827         | 30    |
| 5.7649     | 13.5381         | 31    |
| 5.9589     | 13.5486         | 32    |
| 5.6677     | 13.6187         | 33    |
| 5.7742     | 13.5131         | 34    |
| 5.7498     | 13.3843         | 35    |
| 5.7025     | 13.6528         | 36    |
| 5.8219     | 13.5450         | 37    |
| 5.7838     | 13.7073         | 38    |
| 5.8232     | 13.6628         | 39    |
| 5.6149     | 13.8447         | 40    |
| 5.7623     | 13.8217         | 41    |
| 5.7256     | 14.2310         | 42    |
| 5.6833     | 13.8236         | 43    |
| 5.6959     | 14.1115         | 44    |
| 5.6337     | 14.1601         | 45    |
| 5.6291     | 14.0644         | 46    |
| 5.6384     | 14.2376         | 47    |
| 5.6432     | 14.0575         | 48    |
| 5.7842     | 14.0357         | 49    |
| 5.8243     | 14.0310         | 50    |
| 5.6608     | 14.5138         | 51    |
| 5.6837     | 14.3153         | 52    |
| 5.6851     | 14.0351         | 53    |
| 5.9102     | 14.3691         | 54    |
| 5.6353     | 13.7349         | 55    |
| 5.8288     | 14.1780         | 56    |
| 5.6853     | 14.5344         | 57    |
| 5.6768     | 14.1037         | 58    |
| 5.7125     | 14.2650         | 59    |
| 5.7264     | 13.9798         | 60    |
| 5.6180     | 14.2999         | 61    |
| 5.6552     | 14.6840         | 62    |
| 5.5937     | 12.6319         | 63    |
| 5.6968     | 14.4662         | 64    |
| 5.7412     | 14.5146         | 65    |
| 5.6894     | 14.7825         | 66    |
| 5.7429     | 14.4179         | 67    |
| 5.8970     | 14.5220         | 68    |
| 5.8363     | 14.7431         | 69    |
| 5.6723     | 14.3854         | 70    |
| 5.6331     | 14.3606         | 71    |
| 5.8211     | 14.2819         | 72    |
| 5.6573     | 14.1377         | 73    |
| 5.6679     | 15.0708         | 74    |
| 5.8098     | 14.2208         | 75    |
| 5.7651     | 14.5841         | 76    |
| 5.7128     | 14.4615         | 77    |
| 5.7240     | 14.3851         | 78    |
| 5.6542     | 14.1252         | 79    |
| 5.6956     | 14.5275         | 80    |
| 5.7033     | 14.2555         | 81    |
| 5.7193     | 14.5061         | 82    |
| 5.5942     | 15.0025         | 83    |
| 5.7616     | 14.7460         | 84    |
| 5.7584     | 15.0039         | 85    |
| 5.7949     | 14.6488         | 86    |
| 5.6070     | 15.1781         | 87    |
| 5.7464     | 14.9159         | 88    |
| 5.6865     | 14.4204         | 89    |
| 5.6934     | 14.2373         | 90    |
| 5.7053     | 15.2664         | 91    |
| 5.6629     | 15.0062         | 92    |
| 5.6186     | 14.8861         | 93    |
| 5.8011     | 14.5602         | 94    |
| 5.5920     | 14.8159         | 95    |
| 5.7014     | 14.7589         | 96    |
| 5.5643     | 14.8814         | 97    |
| 5.6404     | 14.7907         | 98    |
| 5.7086     | 15.2773         | 99    |
| 5.6854     | 14.9998         | 100   |
| 5.6626     | 15.3495         | 101   |
| 5.7779     | 14.7495         | 102   |
| 5.7254     | 14.1843         | 103   |
| 5.5688     | 15.4027         | 104   |
| 5.7299     | 15.1292         | 105   |
| 5.7637     | 15.0089         | 106   |
| 5.7381     | 14.7808         | 107   |
| 5.6771     | 15.2646         | 108   |
| 5.6818     | 15.2837         | 109   |
| 5.7686     | 14.9571         | 110   |
| 5.7576     | 15.1920         | 111   |
| 5.7726     | 15.1617         | 112   |
| 5.6316     | 15.1758         | 113   |
| 5.8113     | 14.7105         | 114   |
| 5.6426     | 15.1844         | 115   |
| 5.7508     | 14.8047         | 116   |
| 5.6051     | 15.1107         | 117   |
| 5.7612     | 15.4183         | 118   |
| 5.6339     | 15.2419         | 119   |
| 5.6624     | 15.3083         | 120   |
| 5.7811     | 15.0736         | 121   |
| 5.6642     | 15.1613         | 122   |
| 5.7181     | 15.4360         | 123   |
| 5.6678     | 14.9387         | 124   |
| 5.5912     | 15.0978         | 125   |
| 5.6615     | 15.6547         | 126   |
| 5.6578     | 15.3756         | 127   |
| 5.6066     | 15.0189         | 128   |
| 5.8590     | 15.0346         | 129   |
| 5.4730     | 15.3790         | 130   |
| 5.7071     | 15.5029         | 131   |
| 5.8147     | 15.2418         | 132   |
| 5.7221     | 15.5273         | 133   |
| 5.6042     | 15.1112         | 134   |
| 5.6864     | 15.0770         | 135   |
| 5.6760     | 15.3917         | 136   |
| 5.6659     | 15.1614         | 137   |
| 5.6877     | 15.2246         | 138   |
| 5.7605     | 14.7458         | 139   |
| 5.6002     | 15.4996         | 140   |
| 5.5900     | 15.1735         | 141   |
| 5.6669     | 14.8704         | 142   |
| 5.7044     | 15.2206         | 143   |
| 5.6527     | 15.2784         | 144   |
| 5.7957     | 14.6124         | 145   |
| 5.7027     | 15.1526         | 146   |
| 5.6535     | 15.6537         | 147   |
| 5.5724     | 15.6795         | 148   |
| 5.8004     | 15.0675         | 149   |
| 5.7325     | 15.7633         | 150   |
| 5.7628     | 15.2577         | 151   |
| 5.6989     | 15.5838         | 152   |
| 5.5965     | 14.6995         | 153   |
| 5.7098     | 15.5871         | 154   |
| 5.7223     | 15.9051         | 155   |
| 5.6590     | 14.8577         | 156   |
| 5.6875     | 15.5673         | 157   |
| 5.4954     | 15.8485         | 158   |
| 5.6731     | 16.3177         | 159   |
| 5.6663     | 15.4642         | 160   |
| 5.7220     | 15.7394         | 161   |
| 5.6401     | 15.3949         | 162   |
| 5.7438     | 15.1514         | 163   |
| 5.7138     | 15.3914         | 164   |
| 5.6213     | 16.1217         | 165   |
| 5.5700     | 15.8129         | 166   |
| 5.7998     | 15.9362         | 167   |
| 5.6577     | 15.5407         | 168   |
| 5.6681     | 15.6683         | 169   |
| 5.5963     | 16.1492         | 170   |
| 5.6245     | 15.7006         | 171   |
| 5.6382     | 15.7842         | 172   |
| 5.8126     | 15.1912         | 173   |
| 5.6222     | 16.0619         | 174   |
| 5.6766     | 15.8941         | 175   |
| 5.6306     | 15.5406         | 176   |
| 5.6549     | 15.9326         | 177   |
| 5.6167     | 15.8319         | 178   |
| 5.6650     | 16.0879         | 179   |
| 5.6494     | 15.7430         | 180   |
| 5.6033     | 15.9896         | 181   |
| 5.6986     | 15.5833         | 182   |
| 5.6200     | 15.5568         | 183   |
| 5.7038     | 15.4953         | 184   |
| 5.6138     | 15.4238         | 185   |
| 5.6298     | 15.3535         | 186   |
| 5.7825     | 15.5319         | 187   |
| 5.6837     | 15.8585         | 188   |
| 5.6850     | 15.7378         | 189   |
| 5.6308     | 15.9983         | 190   |
| 5.7468     | 15.2695         | 191   |
| 5.6929     | 15.6588         | 192   |
| 5.5980     | 15.8079         | 193   |
| 5.6585     | 15.1795         | 194   |
| 5.7155     | 15.4172         | 195   |
| 5.4967     | 16.0720         | 196   |
| 5.6457     | 15.8192         | 197   |
| 5.5944     | 16.0818         | 198   |
| 5.5993     | 15.7492         | 199   |
| 5.6399     | 15.5226         | 200   |
| 5.6213     | 15.2274         | 201   |
| 5.5596     | 15.9212         | 202   |
| 5.7005     | 16.0254         | 203   |
| 5.6509     | 16.0489         | 204   |
| 5.6330     | 15.6095         | 205   |
| 5.6937     | 15.4836         | 206   |
| 5.6139     | 15.9037         | 207   |
| 5.6990     | 15.8835         | 208   |
| 5.7159     | 15.4055         | 209   |
| 5.7064     | 16.1568         | 210   |
| 5.5811     | 15.8374         | 211   |
| 5.5380     | 15.9787         | 212   |
| 5.7873     | 16.3566         | 213   |
| 5.6803     | 16.1136         | 214   |
| 5.7022     | 15.9423         | 215   |
| 5.6328     | 16.2375         | 216   |
| 5.5515     | 16.1874         | 217   |
| 5.5606     | 15.8988         | 218   |
| 5.6255     | 15.0519         | 219   |
| 5.6009     | 16.9413         | 220   |
| 5.6156     | 16.3816         | 221   |
| 5.5921     | 15.8814         | 222   |
| 5.6362     | 16.4681         | 223   |
| 5.5992     | 16.4140         | 224   |
| 5.7476     | 15.9326         | 225   |
| 5.7070     | 16.2967         | 226   |
| 5.6355     | 16.0066         | 227   |
| 5.6825     | 16.1857         | 228   |
| 5.7157     | 16.4286         | 229   |
| 5.6292     | 16.1983         | 230   |
| 5.6856     | 16.1762         | 231   |
| 5.5922     | 16.3408         | 232   |
| 5.6552     | 16.4230         | 233   |
| 5.6409     | 16.3617         | 234   |
| 5.7150     | 15.9821         | 235   |
| 5.6426     | 16.2628         | 236   |
| 5.6254     | 16.2317         | 237   |
| 5.6533     | 15.8563         | 238   |
| 5.7265     | 16.1139         | 239   |
| 5.5244     | 16.2591         | 240   |
| 5.5972     | 16.5940         | 241   |
| 5.6212     | 16.3575         | 242   |
| 5.6620     | 16.2986         | 243   |
| 5.7014     | 15.7731         | 244   |
| 5.5571     | 16.3621         | 245   |
| 5.5364     | 15.8728         | 246   |
| 5.6137     | 15.9289         | 247   |
| 5.6210     | 15.8208         | 248   |
| 5.6127     | 16.4034         | 249   |
| 5.5398     | 15.4969         | 250   |
| 5.4860     | 16.3688         | 251   |
| 5.5070     | 15.2843         | 252   |
| 5.5852     | 16.6199         | 253   |
| 5.6538     | 16.2439         | 254   |
| 5.6297     | 16.4628         | 255   |
| 5.5851     | 16.2025         | 256   |
| 5.5888     | 16.1771         | 257   |
| 5.5863     | 16.1895         | 258   |
| 5.5985     | 15.6048         | 259   |
| 5.5132     | 16.3437         | 260   |
| 5.5057     | 16.2532         | 261   |
| 5.4660     | 15.8150         | 262   |
| 5.4307     | 15.9858         | 263   |
| 5.4938     | 15.8380         | 264   |
| 5.5093     | 15.9445         | 265   |
| 5.3760     | 16.1691         | 266   |
| 5.4411     | 16.3107         | 267   |
| 5.4771     | 15.2124         | 268   |
| 5.4363     | 15.7446         | 269   |
| 5.3159     | 15.2140         | 270   |
| 5.3206     | 16.5491         | 271   |
| 5.4283     | 15.8891         | 272   |
| 5.4417     | 15.7291         | 273   |
| 5.2961     | 15.7117         | 274   |
| 5.3599     | 15.7950         | 275   |
| 5.3951     | 15.7102         | 276   |
| 5.2708     | 16.0568         | 277   |
| 5.2460     | 15.8950         | 278   |
| 5.2299     | 15.7666         | 279   |
| 5.2599     | 16.0815         | 280   |
| 5.2435     | 15.6292         | 281   |
| 5.2287     | 15.8015         | 282   |
| 5.1863     | 15.7617         | 283   |
| 5.2478     | 15.2488         | 284   |
| 5.2081     | 15.8984         | 285   |
| 5.2845     | 15.4205         | 286   |
| 5.1488     | 15.6027         | 287   |
| 5.1796     | 15.4884         | 288   |
| 5.1620     | 15.8486         | 289   |
| 5.0873     | 15.6319         | 290   |
| 5.1490     | 15.8943         | 291   |
| 5.3411     | 15.4410         | 292   |
| 5.1213     | 15.4223         | 293   |
| 5.1529     | 15.7270         | 294   |
| 5.0584     | 15.8027         | 295   |
| 5.1333     | 15.3475         | 296   |
| 5.0771     | 16.0088         | 297   |
| 5.1865     | 15.6306         | 298   |
| 5.1647     | 14.5357         | 299   |
| 5.1321     | 15.5258         | 300   |
| 5.0660     | 15.1154         | 301   |
| 4.9785     | 15.7435         | 302   |
| 5.1288     | 15.2501         | 303   |
| 4.9958     | 16.2107         | 304   |
| 5.0186     | 14.8714         | 305   |
| 5.0534     | 16.0393         | 306   |
| 5.1283     | 15.8092         | 307   |
| 5.0487     | 15.1757         | 308   |
| 5.0059     | 14.9999         | 309   |
| 5.0254     | 15.2550         | 310   |
| 5.0700     | 14.6593         | 311   |
| 4.9701     | 14.9625         | 312   |
| 4.9914     | 15.1240         | 313   |
| 5.1482     | 15.1512         | 314   |
| 5.0386     | 15.0771         | 315   |
| 5.0796     | 15.3972         | 316   |
| 5.0037     | 15.2716         | 317   |
| 5.0123     | 15.5238         | 318   |
| 4.9456     | 15.3506         | 319   |
| 4.9821     | 15.1408         | 320   |
| 5.0723     | 14.7902         | 321   |
| 4.9550     | 15.1561         | 322   |
| 4.8579     | 15.6329         | 323   |
| 4.9479     | 15.1341         | 324   |
| 4.9533     | 15.0210         | 325   |
| 4.9578     | 15.3307         | 326   |
| 4.9989     | 15.5646         | 327   |
| 4.9010     | 15.2794         | 328   |
| 4.8946     | nan             | 329   |
| 4.9502     | 15.3112         | 330   |
| 4.9215     | 15.4103         | 331   |
| 4.7364     | 15.1038         | 332   |
| 4.9434     | 15.4464         | 333   |
| 4.8433     | 15.2240         | 334   |
| 4.8293     | 15.4287         | 335   |
| 4.9500     | 15.3020         | 336   |
| 4.9363     | 15.1094         | 337   |
| 4.8763     | 15.6272         | 338   |
| 4.9083     | 15.1468         | 339   |
| 4.7588     | 15.4358         | 340   |
| 4.7691     | 14.9748         | 341   |
| 4.8005     | 15.5152         | 342   |
| nan        | nan             | 343   |
| nan        | nan             | 344   |
| nan        | nan             | 345   |
| nan        | nan             | 346   |
| nan        | nan             | 347   |
| nan        | nan             | 348   |
| nan        | nan             | 349   |
| nan        | nan             | 350   |
| nan        | nan             | 351   |
| nan        | nan             | 352   |
| nan        | nan             | 353   |
| nan        | nan             | 354   |
| nan        | nan             | 355   |
| nan        | nan             | 356   |
| nan        | nan             | 357   |
| nan        | nan             | 358   |
| nan        | nan             | 359   |
| nan        | nan             | 360   |
| nan        | nan             | 361   |
| nan        | nan             | 362   |
| nan        | nan             | 363   |
| nan        | nan             | 364   |
| nan        | nan             | 365   |
| nan        | nan             | 366   |
| nan        | nan             | 367   |
| nan        | nan             | 368   |
| nan        | nan             | 369   |
| nan        | nan             | 370   |
| nan        | nan             | 371   |
| nan        | nan             | 372   |
| nan        | nan             | 373   |
| nan        | nan             | 374   |
| nan        | nan             | 375   |
| nan        | nan             | 376   |
| nan        | nan             | 377   |
| nan        | nan             | 378   |
| nan        | nan             | 379   |
| nan        | nan             | 380   |
| nan        | nan             | 381   |
| nan        | nan             | 382   |
| nan        | nan             | 383   |
| nan        | nan             | 384   |
| nan        | nan             | 385   |
| nan        | nan             | 386   |
| nan        | nan             | 387   |
| nan        | nan             | 388   |
| nan        | nan             | 389   |
| nan        | nan             | 390   |
| nan        | nan             | 391   |
| nan        | nan             | 392   |
| nan        | nan             | 393   |
| nan        | nan             | 394   |
| nan        | nan             | 395   |
| nan        | nan             | 396   |
| nan        | nan             | 397   |
| nan        | nan             | 398   |
| nan        | nan             | 399   |
| nan        | nan             | 400   |
| nan        | nan             | 401   |
| nan        | nan             | 402   |
| nan        | nan             | 403   |
| nan        | nan             | 404   |
| nan        | nan             | 405   |
| nan        | nan             | 406   |
| nan        | nan             | 407   |
| nan        | nan             | 408   |
| nan        | nan             | 409   |
| nan        | nan             | 410   |
| nan        | nan             | 411   |
| nan        | nan             | 412   |
| nan        | nan             | 413   |
| nan        | nan             | 414   |
| nan        | nan             | 415   |
| nan        | nan             | 416   |
| nan        | nan             | 417   |
| nan        | nan             | 418   |
| nan        | nan             | 419   |
| nan        | nan             | 420   |
| nan        | nan             | 421   |
| nan        | nan             | 422   |
| nan        | nan             | 423   |
| nan        | nan             | 424   |
| nan        | nan             | 425   |
| nan        | nan             | 426   |
| nan        | nan             | 427   |
| nan        | nan             | 428   |
| nan        | nan             | 429   |
| nan        | nan             | 430   |
| nan        | nan             | 431   |
| nan        | nan             | 432   |
| nan        | nan             | 433   |
| nan        | nan             | 434   |
| nan        | nan             | 435   |
| nan        | nan             | 436   |
| nan        | nan             | 437   |
| nan        | nan             | 438   |
| nan        | nan             | 439   |
| nan        | nan             | 440   |
| nan        | nan             | 441   |
| nan        | nan             | 442   |
| nan        | nan             | 443   |
| nan        | nan             | 444   |
| nan        | nan             | 445   |
| nan        | nan             | 446   |
| nan        | nan             | 447   |
| nan        | nan             | 448   |
| nan        | nan             | 449   |
| nan        | nan             | 450   |
| nan        | nan             | 451   |
| nan        | nan             | 452   |
| nan        | nan             | 453   |
| nan        | nan             | 454   |
| nan        | nan             | 455   |
| nan        | nan             | 456   |
| nan        | nan             | 457   |
| nan        | nan             | 458   |
| nan        | nan             | 459   |
| nan        | nan             | 460   |
| nan        | nan             | 461   |
| nan        | nan             | 462   |
| nan        | nan             | 463   |
| nan        | nan             | 464   |
| nan        | nan             | 465   |
| nan        | nan             | 466   |
| nan        | nan             | 467   |
| nan        | nan             | 468   |
| nan        | nan             | 469   |
| nan        | nan             | 470   |
| nan        | nan             | 471   |
| nan        | nan             | 472   |
| nan        | nan             | 473   |
| nan        | nan             | 474   |
| nan        | nan             | 475   |
| nan        | nan             | 476   |
| nan        | nan             | 477   |
| nan        | nan             | 478   |
| nan        | nan             | 479   |
| nan        | nan             | 480   |
| nan        | nan             | 481   |
| nan        | nan             | 482   |
| nan        | nan             | 483   |
| nan        | nan             | 484   |
| nan        | nan             | 485   |
| nan        | nan             | 486   |
| nan        | nan             | 487   |
| nan        | nan             | 488   |
| nan        | nan             | 489   |
| nan        | nan             | 490   |
| nan        | nan             | 491   |
| nan        | nan             | 492   |
| nan        | nan             | 493   |
| nan        | nan             | 494   |
| nan        | nan             | 495   |
| nan        | nan             | 496   |
| nan        | nan             | 497   |
| nan        | nan             | 498   |
| nan        | nan             | 499   |


### Framework versions

- Transformers 4.27.0.dev0
- TensorFlow 2.9.2
- Datasets 2.9.0
- Tokenizers 0.13.2