Hugging Face's logo

ybelkada
/
udop-large

Model card Files
xet
 Community
ybelkada commited on
Commit
fd68e3e
·
1 Parent(s): 7aec619

Upload tokenizer

Browse files
Files changed (3) hide show
  1. special_tokens_map.json +0 -300
  2. tokenizer.json +0 -0
  3. tokenizer_config.json +0 -300
special_tokens_map.json CHANGED
@@ -701,306 +701,6 @@
701
  "<loc_198>",
702
  "<loc_199>",
703
  "<loc_200>",
704
- "<loc_201>",
705
- "<loc_202>",
706
- "<loc_203>",
707
- "<loc_204>",
708
- "<loc_205>",
709
- "<loc_206>",
710
- "<loc_207>",
711
- "<loc_208>",
712
- "<loc_209>",
713
- "<loc_210>",
714
- "<loc_211>",
715
- "<loc_212>",
716
- "<loc_213>",
717
- "<loc_214>",
718
- "<loc_215>",
719
- "<loc_216>",
720
- "<loc_217>",
721
- "<loc_218>",
722
- "<loc_219>",
723
- "<loc_220>",
724
- "<loc_221>",
725
- "<loc_222>",
726
- "<loc_223>",
727
- "<loc_224>",
728
- "<loc_225>",
729
- "<loc_226>",
730
- "<loc_227>",
731
- "<loc_228>",
732
- "<loc_229>",
733
- "<loc_230>",
734
- "<loc_231>",
735
- "<loc_232>",
736
- "<loc_233>",
737
- "<loc_234>",
738
- "<loc_235>",
739
- "<loc_236>",
740
- "<loc_237>",
741
- "<loc_238>",
742
- "<loc_239>",
743
- "<loc_240>",
744
- "<loc_241>",
745
- "<loc_242>",
746
- "<loc_243>",
747
- "<loc_244>",
748
- "<loc_245>",
749
- "<loc_246>",
750
- "<loc_247>",
751
- "<loc_248>",
752
- "<loc_249>",
753
- "<loc_250>",
754
- "<loc_251>",
755
- "<loc_252>",
756
- "<loc_253>",
757
- "<loc_254>",
758
- "<loc_255>",
759
- "<loc_256>",
760
- "<loc_257>",
761
- "<loc_258>",
762
- "<loc_259>",
763
- "<loc_260>",
764
- "<loc_261>",
765
- "<loc_262>",
766
- "<loc_263>",
767
- "<loc_264>",
768
- "<loc_265>",
769
- "<loc_266>",
770
- "<loc_267>",
771
- "<loc_268>",
772
- "<loc_269>",
773
- "<loc_270>",
774
- "<loc_271>",
775
- "<loc_272>",
776
- "<loc_273>",
777
- "<loc_274>",
778
- "<loc_275>",
779
- "<loc_276>",
780
- "<loc_277>",
781
- "<loc_278>",
782
- "<loc_279>",
783
- "<loc_280>",
784
- "<loc_281>",
785
- "<loc_282>",
786
- "<loc_283>",
787
- "<loc_284>",
788
- "<loc_285>",
789
- "<loc_286>",
790
- "<loc_287>",
791
- "<loc_288>",
792
- "<loc_289>",
793
- "<loc_290>",
794
- "<loc_291>",
795
- "<loc_292>",
796
- "<loc_293>",
797
- "<loc_294>",
798
- "<loc_295>",
799
- "<loc_296>",
800
- "<loc_297>",
801
- "<loc_298>",
802
- "<loc_299>",
803
- "<loc_300>",
804
- "<loc_301>",
805
- "<loc_302>",
806
- "<loc_303>",
807
- "<loc_304>",
808
- "<loc_305>",
809
- "<loc_306>",
810
- "<loc_307>",
811
- "<loc_308>",
812
- "<loc_309>",
813
- "<loc_310>",
814
- "<loc_311>",
815
- "<loc_312>",
816
- "<loc_313>",
817
- "<loc_314>",
818
- "<loc_315>",
819
- "<loc_316>",
820
- "<loc_317>",
821
- "<loc_318>",
822
- "<loc_319>",
823
- "<loc_320>",
824
- "<loc_321>",
825
- "<loc_322>",
826
- "<loc_323>",
827
- "<loc_324>",
828
- "<loc_325>",
829
- "<loc_326>",
830
- "<loc_327>",
831
- "<loc_328>",
832
- "<loc_329>",
833
- "<loc_330>",
834
- "<loc_331>",
835
- "<loc_332>",
836
- "<loc_333>",
837
- "<loc_334>",
838
- "<loc_335>",
839
- "<loc_336>",
840
- "<loc_337>",
841
- "<loc_338>",
842
- "<loc_339>",
843
- "<loc_340>",
844
- "<loc_341>",
845
- "<loc_342>",
846
- "<loc_343>",
847
- "<loc_344>",
848
- "<loc_345>",
849
- "<loc_346>",
850
- "<loc_347>",
851
- "<loc_348>",
852
- "<loc_349>",
853
- "<loc_350>",
854
- "<loc_351>",
855
- "<loc_352>",
856
- "<loc_353>",
857
- "<loc_354>",
858
- "<loc_355>",
859
- "<loc_356>",
860
- "<loc_357>",
861
- "<loc_358>",
862
- "<loc_359>",
863
- "<loc_360>",
864
- "<loc_361>",
865
- "<loc_362>",
866
- "<loc_363>",
867
- "<loc_364>",
868
- "<loc_365>",
869
- "<loc_366>",
870
- "<loc_367>",
871
- "<loc_368>",
872
- "<loc_369>",
873
- "<loc_370>",
874
- "<loc_371>",
875
- "<loc_372>",
876
- "<loc_373>",
877
- "<loc_374>",
878
- "<loc_375>",
879
- "<loc_376>",
880
- "<loc_377>",
881
- "<loc_378>",
882
- "<loc_379>",
883
- "<loc_380>",
884
- "<loc_381>",
885
- "<loc_382>",
886
- "<loc_383>",
887
- "<loc_384>",
888
- "<loc_385>",
889
- "<loc_386>",
890
- "<loc_387>",
891
- "<loc_388>",
892
- "<loc_389>",
893
- "<loc_390>",
894
- "<loc_391>",
895
- "<loc_392>",
896
- "<loc_393>",
897
- "<loc_394>",
898
- "<loc_395>",
899
- "<loc_396>",
900
- "<loc_397>",
901
- "<loc_398>",
902
- "<loc_399>",
903
- "<loc_400>",
904
- "<loc_401>",
905
- "<loc_402>",
906
- "<loc_403>",
907
- "<loc_404>",
908
- "<loc_405>",
909
- "<loc_406>",
910
- "<loc_407>",
911
- "<loc_408>",
912
- "<loc_409>",
913
- "<loc_410>",
914
- "<loc_411>",
915
- "<loc_412>",
916
- "<loc_413>",
917
- "<loc_414>",
918
- "<loc_415>",
919
- "<loc_416>",
920
- "<loc_417>",
921
- "<loc_418>",
922
- "<loc_419>",
923
- "<loc_420>",
924
- "<loc_421>",
925
- "<loc_422>",
926
- "<loc_423>",
927
- "<loc_424>",
928
- "<loc_425>",
929
- "<loc_426>",
930
- "<loc_427>",
931
- "<loc_428>",
932
- "<loc_429>",
933
- "<loc_430>",
934
- "<loc_431>",
935
- "<loc_432>",
936
- "<loc_433>",
937
- "<loc_434>",
938
- "<loc_435>",
939
- "<loc_436>",
940
- "<loc_437>",
941
- "<loc_438>",
942
- "<loc_439>",
943
- "<loc_440>",
944
- "<loc_441>",
945
- "<loc_442>",
946
- "<loc_443>",
947
- "<loc_444>",
948
- "<loc_445>",
949
- "<loc_446>",
950
- "<loc_447>",
951
- "<loc_448>",
952
- "<loc_449>",
953
- "<loc_450>",
954
- "<loc_451>",
955
- "<loc_452>",
956
- "<loc_453>",
957
- "<loc_454>",
958
- "<loc_455>",
959
- "<loc_456>",
960
- "<loc_457>",
961
- "<loc_458>",
962
- "<loc_459>",
963
- "<loc_460>",
964
- "<loc_461>",
965
- "<loc_462>",
966
- "<loc_463>",
967
- "<loc_464>",
968
- "<loc_465>",
969
- "<loc_466>",
970
- "<loc_467>",
971
- "<loc_468>",
972
- "<loc_469>",
973
- "<loc_470>",
974
- "<loc_471>",
975
- "<loc_472>",
976
- "<loc_473>",
977
- "<loc_474>",
978
- "<loc_475>",
979
- "<loc_476>",
980
- "<loc_477>",
981
- "<loc_478>",
982
- "<loc_479>",
983
- "<loc_480>",
984
- "<loc_481>",
985
- "<loc_482>",
986
- "<loc_483>",
987
- "<loc_484>",
988
- "<loc_485>",
989
- "<loc_486>",
990
- "<loc_487>",
991
- "<loc_488>",
992
- "<loc_489>",
993
- "<loc_490>",
994
- "<loc_491>",
995
- "<loc_492>",
996
- "<loc_493>",
997
- "<loc_494>",
998
- "<loc_495>",
999
- "<loc_496>",
1000
- "<loc_497>",
1001
- "<loc_498>",
1002
- "<loc_499>",
1003
- "<loc_500>",
1004
  "<other_0>",
1005
  "<other_1>",
1006
  "<other_2>",
 
701
  "<loc_198>",
702
  "<loc_199>",
703
  "<loc_200>",
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
704
  "<other_0>",
705
  "<other_1>",
706
  "<other_2>",
tokenizer.json ADDED
The diff for this file is too large to render. See raw diff
 
tokenizer_config.json CHANGED
@@ -701,306 +701,6 @@
701
  "<loc_198>",
702
  "<loc_199>",
703
  "<loc_200>",
704
- "<loc_201>",
705
- "<loc_202>",
706
- "<loc_203>",
707
- "<loc_204>",
708
- "<loc_205>",
709
- "<loc_206>",
710
- "<loc_207>",
711
- "<loc_208>",
712
- "<loc_209>",
713
- "<loc_210>",
714
- "<loc_211>",
715
- "<loc_212>",
716
- "<loc_213>",
717
- "<loc_214>",
718
- "<loc_215>",
719
- "<loc_216>",
720
- "<loc_217>",
721
- "<loc_218>",
722
- "<loc_219>",
723
- "<loc_220>",
724
- "<loc_221>",
725
- "<loc_222>",
726
- "<loc_223>",
727
- "<loc_224>",
728
- "<loc_225>",
729
- "<loc_226>",
730
- "<loc_227>",
731
- "<loc_228>",
732
- "<loc_229>",
733
- "<loc_230>",
734
- "<loc_231>",
735
- "<loc_232>",
736
- "<loc_233>",
737
- "<loc_234>",
738
- "<loc_235>",
739
- "<loc_236>",
740
- "<loc_237>",
741
- "<loc_238>",
742
- "<loc_239>",
743
- "<loc_240>",
744
- "<loc_241>",
745
- "<loc_242>",
746
- "<loc_243>",
747
- "<loc_244>",
748
- "<loc_245>",
749
- "<loc_246>",
750
- "<loc_247>",
751
- "<loc_248>",
752
- "<loc_249>",
753
- "<loc_250>",
754
- "<loc_251>",
755
- "<loc_252>",
756
- "<loc_253>",
757
- "<loc_254>",
758
- "<loc_255>",
759
- "<loc_256>",
760
- "<loc_257>",
761
- "<loc_258>",
762
- "<loc_259>",
763
- "<loc_260>",
764
- "<loc_261>",
765
- "<loc_262>",
766
- "<loc_263>",
767
- "<loc_264>",
768
- "<loc_265>",
769
- "<loc_266>",
770
- "<loc_267>",
771
- "<loc_268>",
772
- "<loc_269>",
773
- "<loc_270>",
774
- "<loc_271>",
775
- "<loc_272>",
776
- "<loc_273>",
777
- "<loc_274>",
778
- "<loc_275>",
779
- "<loc_276>",
780
- "<loc_277>",
781
- "<loc_278>",
782
- "<loc_279>",
783
- "<loc_280>",
784
- "<loc_281>",
785
- "<loc_282>",
786
- "<loc_283>",
787
- "<loc_284>",
788
- "<loc_285>",
789
- "<loc_286>",
790
- "<loc_287>",
791
- "<loc_288>",
792
- "<loc_289>",
793
- "<loc_290>",
794
- "<loc_291>",
795
- "<loc_292>",
796
- "<loc_293>",
797
- "<loc_294>",
798
- "<loc_295>",
799
- "<loc_296>",
800
- "<loc_297>",
801
- "<loc_298>",
802
- "<loc_299>",
803
- "<loc_300>",
804
- "<loc_301>",
805
- "<loc_302>",
806
- "<loc_303>",
807
- "<loc_304>",
808
- "<loc_305>",
809
- "<loc_306>",
810
- "<loc_307>",
811
- "<loc_308>",
812
- "<loc_309>",
813
- "<loc_310>",
814
- "<loc_311>",
815
- "<loc_312>",
816
- "<loc_313>",
817
- "<loc_314>",
818
- "<loc_315>",
819
- "<loc_316>",
820
- "<loc_317>",
821
- "<loc_318>",
822
- "<loc_319>",
823
- "<loc_320>",
824
- "<loc_321>",
825
- "<loc_322>",
826
- "<loc_323>",
827
- "<loc_324>",
828
- "<loc_325>",
829
- "<loc_326>",
830
- "<loc_327>",
831
- "<loc_328>",
832
- "<loc_329>",
833
- "<loc_330>",
834
- "<loc_331>",
835
- "<loc_332>",
836
- "<loc_333>",
837
- "<loc_334>",
838
- "<loc_335>",
839
- "<loc_336>",
840
- "<loc_337>",
841
- "<loc_338>",
842
- "<loc_339>",
843
- "<loc_340>",
844
- "<loc_341>",
845
- "<loc_342>",
846
- "<loc_343>",
847
- "<loc_344>",
848
- "<loc_345>",
849
- "<loc_346>",
850
- "<loc_347>",
851
- "<loc_348>",
852
- "<loc_349>",
853
- "<loc_350>",
854
- "<loc_351>",
855
- "<loc_352>",
856
- "<loc_353>",
857
- "<loc_354>",
858
- "<loc_355>",
859
- "<loc_356>",
860
- "<loc_357>",
861
- "<loc_358>",
862
- "<loc_359>",
863
- "<loc_360>",
864
- "<loc_361>",
865
- "<loc_362>",
866
- "<loc_363>",
867
- "<loc_364>",
868
- "<loc_365>",
869
- "<loc_366>",
870
- "<loc_367>",
871
- "<loc_368>",
872
- "<loc_369>",
873
- "<loc_370>",
874
- "<loc_371>",
875
- "<loc_372>",
876
- "<loc_373>",
877
- "<loc_374>",
878
- "<loc_375>",
879
- "<loc_376>",
880
- "<loc_377>",
881
- "<loc_378>",
882
- "<loc_379>",
883
- "<loc_380>",
884
- "<loc_381>",
885
- "<loc_382>",
886
- "<loc_383>",
887
- "<loc_384>",
888
- "<loc_385>",
889
- "<loc_386>",
890
- "<loc_387>",
891
- "<loc_388>",
892
- "<loc_389>",
893
- "<loc_390>",
894
- "<loc_391>",
895
- "<loc_392>",
896
- "<loc_393>",
897
- "<loc_394>",
898
- "<loc_395>",
899
- "<loc_396>",
900
- "<loc_397>",
901
- "<loc_398>",
902
- "<loc_399>",
903
- "<loc_400>",
904
- "<loc_401>",
905
- "<loc_402>",
906
- "<loc_403>",
907
- "<loc_404>",
908
- "<loc_405>",
909
- "<loc_406>",
910
- "<loc_407>",
911
- "<loc_408>",
912
- "<loc_409>",
913
- "<loc_410>",
914
- "<loc_411>",
915
- "<loc_412>",
916
- "<loc_413>",
917
- "<loc_414>",
918
- "<loc_415>",
919
- "<loc_416>",
920
- "<loc_417>",
921
- "<loc_418>",
922
- "<loc_419>",
923
- "<loc_420>",
924
- "<loc_421>",
925
- "<loc_422>",
926
- "<loc_423>",
927
- "<loc_424>",
928
- "<loc_425>",
929
- "<loc_426>",
930
- "<loc_427>",
931
- "<loc_428>",
932
- "<loc_429>",
933
- "<loc_430>",
934
- "<loc_431>",
935
- "<loc_432>",
936
- "<loc_433>",
937
- "<loc_434>",
938
- "<loc_435>",
939
- "<loc_436>",
940
- "<loc_437>",
941
- "<loc_438>",
942
- "<loc_439>",
943
- "<loc_440>",
944
- "<loc_441>",
945
- "<loc_442>",
946
- "<loc_443>",
947
- "<loc_444>",
948
- "<loc_445>",
949
- "<loc_446>",
950
- "<loc_447>",
951
- "<loc_448>",
952
- "<loc_449>",
953
- "<loc_450>",
954
- "<loc_451>",
955
- "<loc_452>",
956
- "<loc_453>",
957
- "<loc_454>",
958
- "<loc_455>",
959
- "<loc_456>",
960
- "<loc_457>",
961
- "<loc_458>",
962
- "<loc_459>",
963
- "<loc_460>",
964
- "<loc_461>",
965
- "<loc_462>",
966
- "<loc_463>",
967
- "<loc_464>",
968
- "<loc_465>",
969
- "<loc_466>",
970
- "<loc_467>",
971
- "<loc_468>",
972
- "<loc_469>",
973
- "<loc_470>",
974
- "<loc_471>",
975
- "<loc_472>",
976
- "<loc_473>",
977
- "<loc_474>",
978
- "<loc_475>",
979
- "<loc_476>",
980
- "<loc_477>",
981
- "<loc_478>",
982
- "<loc_479>",
983
- "<loc_480>",
984
- "<loc_481>",
985
- "<loc_482>",
986
- "<loc_483>",
987
- "<loc_484>",
988
- "<loc_485>",
989
- "<loc_486>",
990
- "<loc_487>",
991
- "<loc_488>",
992
- "<loc_489>",
993
- "<loc_490>",
994
- "<loc_491>",
995
- "<loc_492>",
996
- "<loc_493>",
997
- "<loc_494>",
998
- "<loc_495>",
999
- "<loc_496>",
1000
- "<loc_497>",
1001
- "<loc_498>",
1002
- "<loc_499>",
1003
- "<loc_500>",
1004
  "<other_0>",
1005
  "<other_1>",
1006
  "<other_2>",
 
701
  "<loc_198>",
702
  "<loc_199>",
703
  "<loc_200>",
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
704
  "<other_0>",
705
  "<other_1>",
706
  "<other_2>",