yip-i commited on
Commit
21f64e6
·
1 Parent(s): 2d45a56

Upload lm-boosted decoder

Browse files
added_tokens.json ADDED
@@ -0,0 +1,4 @@
 
 
 
 
 
1
+ {
2
+ "</s>": 33,
3
+ "<s>": 32
4
+ }
alphabet.json ADDED
@@ -0,0 +1 @@
 
 
1
+ {"labels": ["h", "f", "b", "s", "1", "u", "c", "'", "p", "a", "r", "v", "g", "t", "m", "i", " ", "e", "n", "o", "x", "l", "q", "j", "y", "z", "3", "w", "d", "k", "\u2047", "", "<s>", "</s>"], "is_bpe": false}
language_model/5gram.bin ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:12931662c40b812f8a1f3e139e3944f2ac387cfc522eaa30465d066917dfbe84
3
+ size 455912
language_model/attrs.json ADDED
@@ -0,0 +1 @@
 
 
1
+ {"alpha": 0.5, "beta": 1.5, "unk_score_offset": -10.0, "score_boundary": true}
language_model/unigrams.txt ADDED
@@ -0,0 +1,870 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ 13TH
2
+ </s>
3
+ <s>
4
+ A
5
+ ABLE
6
+ ABOUT
7
+ ABOVE
8
+ ACADEMIC
9
+ ACROSS
10
+ ACTIVITIES
11
+ ACTS
12
+ ADVANTAGE
13
+ ADVISEMENT
14
+ AFTER
15
+ AGAIN
16
+ AIR
17
+ ALFALFA
18
+ ALIMONY
19
+ ALL
20
+ ALLOW
21
+ ALONE
22
+ ALPHA
23
+ ALSO
24
+ ALTHOUGH
25
+ ALUMINUM
26
+ ALWAYS
27
+ AM
28
+ AN
29
+ ANCIENT
30
+ AND
31
+ ANNOYING
32
+ ANSWERS
33
+ ANY
34
+ APPROACHED
35
+ APRONS
36
+ ARE
37
+ AREA
38
+ ARM
39
+ AROUND
40
+ AS
41
+ ASK
42
+ ASKED
43
+ AT
44
+ ATE
45
+ ATHLETIC
46
+ ATTITUDE
47
+ AVAILABLE
48
+ AWAY
49
+ BACK
50
+ BAD
51
+ BAG
52
+ BANANA
53
+ BANKS
54
+ BARN
55
+ BASEBALL
56
+ BASKETBALL
57
+ BAT
58
+ BAY
59
+ BE
60
+ BEACH
61
+ BEAR
62
+ BEARD
63
+ BEAT
64
+ BECAME
65
+ BED
66
+ BEEN
67
+ BEFORE
68
+ BEG
69
+ BEING
70
+ BELL
71
+ BENEFITS
72
+ BEST
73
+ BETA
74
+ BETTER
75
+ BIDDING
76
+ BIG
77
+ BILL
78
+ BIRD
79
+ BIT
80
+ BITE
81
+ BITTEN
82
+ BITTER
83
+ BLACK
84
+ BLEND
85
+ BLOAT
86
+ BLOW
87
+ BOAT
88
+ BOOKS
89
+ BOOT
90
+ BORN
91
+ BOTH
92
+ BOUGHT
93
+ BOUNCE
94
+ BOX
95
+ BRAN
96
+ BRAWN
97
+ BREAD
98
+ BRIAR
99
+ BRIGHT
100
+ BROTHER'S
101
+ BROUGHT
102
+ BROWN
103
+ BUBBLE
104
+ BUG
105
+ BUILD
106
+ BURNER
107
+ BUT
108
+ BUTTONS
109
+ BY
110
+ CAKE
111
+ CALICO
112
+ CALLS
113
+ CAN
114
+ CAR
115
+ CARL
116
+ CARRIED
117
+ CARRY
118
+ CART
119
+ CASES
120
+ CASH
121
+ CAT
122
+ CATCH
123
+ CELEBRATE
124
+ CHAIR
125
+ CHARLIE
126
+ CHEER
127
+ CHIN
128
+ CHIP
129
+ CHOP
130
+ CITY
131
+ CLAIM
132
+ CLEAR
133
+ CLINGS
134
+ COAT
135
+ COLD
136
+ COLLEGES
137
+ COMMUNITY
138
+ COMPLIANCE
139
+ CONFIDENCE
140
+ CONSCIOUS
141
+ CONTAINED
142
+ COPE
143
+ CORK
144
+ CORN
145
+ COUPE
146
+ COURT
147
+ COVERED
148
+ CRACKED
149
+ CRITICAL
150
+ CRUCIFIED
151
+ CUPPING
152
+ CURTAINS
153
+ CUTTING
154
+ CYCLE
155
+ DAD
156
+ DAGGER
157
+ DANCE
158
+ DARK
159
+ DARN
160
+ DART
161
+ DATE
162
+ DAY
163
+ DEAD
164
+ DECISION
165
+ DEER
166
+ DEFENSIVE
167
+ DEFINITELY
168
+ DEGREE
169
+ DELTA
170
+ DEPOT
171
+ DESTROY
172
+ DICE
173
+ DID
174
+ DISAPPOINTING
175
+ DISTRICTS
176
+ DIVORCED
177
+ DO
178
+ DOESN'T
179
+ DOG
180
+ DOLPHINS
181
+ DON'T
182
+ DONE
183
+ DORMITORIES
184
+ DOT
185
+ DOUBLE
186
+ DOWN
187
+ DREAD
188
+ DRESS
189
+ DRESSED
190
+ DRESSES
191
+ DROOP
192
+ DROP
193
+ DUG
194
+ EACH
195
+ EARLY
196
+ EARN
197
+ EASY
198
+ EAT
199
+ ECHO
200
+ ECONOMY
201
+ EIGHT
202
+ ELSE
203
+ EMPTY
204
+ ENABLING
205
+ ENTIRE
206
+ EPISODE
207
+ EQUIPMENT
208
+ ERROR
209
+ ETIQUETTE
210
+ EVACUATE
211
+ EVENING
212
+ EVENTUALLY
213
+ EVER
214
+ EVERY
215
+ EVERYTHING
216
+ EXAM
217
+ EXCELLENT
218
+ EXCEPT
219
+ EXISTING
220
+ EXPECT
221
+ EXPECTS
222
+ EXPENSIVE
223
+ EXPERIMENT
224
+ EXPERIMENTAL
225
+ EXPLORE
226
+ FACT
227
+ FAILS
228
+ FAIR
229
+ FAMILIES
230
+ FARM
231
+ FAT
232
+ FATE
233
+ FEAR
234
+ FEBRUARY
235
+ FED
236
+ FEE
237
+ FEED
238
+ FEEL
239
+ FEELING
240
+ FEET
241
+ FIELD
242
+ FIGURES
243
+ FILL
244
+ FINED
245
+ FIRST
246
+ FISH
247
+ FITTING
248
+ FIVE
249
+ FLEECY
250
+ FLICKER
251
+ FLIMSY
252
+ FLOOR
253
+ FLOORS
254
+ FLOWERED
255
+ FLOWING
256
+ FOE
257
+ FOR
258
+ FORCE
259
+ FORK
260
+ FORM
261
+ FORMULA
262
+ FORWARD
263
+ FOUR
264
+ FOX
265
+ FOXTROT
266
+ FROCK
267
+ FRUIT
268
+ FUN
269
+ FUNDS
270
+ FURTHER
271
+ GADGET
272
+ GALLON
273
+ GALORE
274
+ GAS
275
+ GATHERED
276
+ GEESE
277
+ GET
278
+ GINGHAM
279
+ GIVING
280
+ GLITTER
281
+ GLOW
282
+ GNAW
283
+ GO
284
+ GOAT
285
+ GOLF
286
+ GOOD
287
+ GOOSE
288
+ GOT
289
+ GOVERNOR
290
+ GRADES
291
+ GRANDFATHER
292
+ GRANTS
293
+ GREASY
294
+ GREG
295
+ GREY
296
+ GROUP
297
+ GROW
298
+ GUARD
299
+ HAD
300
+ HAIR
301
+ HAM
302
+ HAND
303
+ HANGING
304
+ HARD
305
+ HARK
306
+ HARM
307
+ HARMONIZE
308
+ HARMS
309
+ HARP
310
+ HAS
311
+ HASTILY
312
+ HAT
313
+ HATE
314
+ HAVE
315
+ HE
316
+ HEALTHY
317
+ HEAR
318
+ HEART
319
+ HELP
320
+ HEM
321
+ HERE
322
+ HIGH
323
+ HIGHER
324
+ HILL
325
+ HIM
326
+ HIMSELF
327
+ HIRES
328
+ HIS
329
+ HITTING
330
+ HOLD
331
+ HOME
332
+ HORN
333
+ HORSEBACK
334
+ HOSPITALS
335
+ HOTEL
336
+ HOTELS
337
+ HOUSE
338
+ HUM
339
+ HUMIDITY
340
+ I
341
+ I'M
342
+ I'VE
343
+ ICE
344
+ IF
345
+ IGNORANCE
346
+ IMMEDIATELY
347
+ IN
348
+ INJURIES
349
+ INNOCENCE
350
+ IS
351
+ ISLANDS
352
+ IT
353
+ IT'S
354
+ ITEMS
355
+ JACKET
356
+ JAGGED
357
+ JANE
358
+ JAW
359
+ JOB
360
+ JULIET
361
+ JUMP
362
+ JUMPS
363
+ JUNGLE
364
+ JUST
365
+ KEEP
366
+ KEPT
367
+ KILO
368
+ KIND
369
+ KITTEN
370
+ KNEE
371
+ KNEW
372
+ KNITTING
373
+ KNOT
374
+ KNOW
375
+ LAIR
376
+ LAKE
377
+ LANGUAGE
378
+ LATER
379
+ LAW
380
+ LAWYERS
381
+ LAY
382
+ LAZY
383
+ LEAD
384
+ LEAGUE
385
+ LEAK
386
+ LEAKS
387
+ LEE
388
+ LEFT
389
+ LEG
390
+ LEGISLATION
391
+ LEISURE
392
+ LEND
393
+ LESS
394
+ LIAR
395
+ LICK
396
+ LIE
397
+ LIFE'S
398
+ LIGHT
399
+ LIKE
400
+ LIKES
401
+ LILY
402
+ LILYRARE
403
+ LIMA
404
+ LIP
405
+ LIQUOR
406
+ LITTER
407
+ LITTLE
408
+ LIVELY
409
+ LIVES
410
+ LOAN
411
+ LOCK
412
+ LONG
413
+ LOOK
414
+ LOOKED
415
+ LOOP
416
+ LOSING
417
+ LOSS
418
+ LOST
419
+ LOVE
420
+ LOVELY
421
+ LOWER
422
+ LOYAL
423
+ MADE
424
+ MAINTENANCE
425
+ MAN
426
+ MAN'S
427
+ MANDATES
428
+ MANY
429
+ MARSHMALLOWS
430
+ MARVELOUSLY
431
+ MAY
432
+ ME
433
+ MEAT
434
+ MEATS
435
+ MEDICINE
436
+ MEN
437
+ MENU
438
+ MERE
439
+ MIKE
440
+ MILL
441
+ MILLIONAIRES
442
+ MIN
443
+ MINUS
444
+ MISGUIDED
445
+ MITTEN
446
+ MODERN
447
+ MONEY
448
+ MORE
449
+ MORNING
450
+ MOST
451
+ MOTHER
452
+ MUCH
453
+ MUCK
454
+ MUSEUM
455
+ MUSH
456
+ MUSICIANS
457
+ MUT
458
+ MY
459
+ NAILED
460
+ NANCY'S
461
+ NEAR
462
+ NEARBY
463
+ NEARLY
464
+ NEAT
465
+ NED
466
+ NEEDS
467
+ NEST
468
+ NEW
469
+ NICE
470
+ NIGHT
471
+ NINE
472
+ NINETY
473
+ NINETY-THREE
474
+ NO
475
+ NOBODY
476
+ NOD
477
+ NOT
478
+ NOTCH
479
+ NOTHING
480
+ NOTICED
481
+ NOVEMBER
482
+ NOW
483
+ NUT
484
+ OBSERVE
485
+ OCEAN
486
+ OF
487
+ OFF
488
+ OFFENSIVE
489
+ OFTEN
490
+ OH
491
+ OIL
492
+ OILY
493
+ OLD
494
+ ON
495
+ ONE
496
+ ONLY
497
+ OOZE
498
+ OPEN
499
+ OR
500
+ ORGAN
501
+ OSCAR
502
+ OTHER
503
+ OUR
504
+ OUT
505
+ OVER
506
+ OVERALLS
507
+ OVERWHELMING
508
+ OWNER
509
+ OWNERS
510
+ OZONE
511
+ PACKAGE
512
+ PAD
513
+ PAIR
514
+ PAPA
515
+ PAPER
516
+ PARK
517
+ PART
518
+ PARTICIPATE
519
+ PAT
520
+ PAY
521
+ PECK
522
+ PEER
523
+ PEOPLE
524
+ PERIOD
525
+ PHONE
526
+ PICK
527
+ PILE
528
+ PIT
529
+ PITTING
530
+ PLACE
531
+ PLACES
532
+ PLAY
533
+ PLAYED
534
+ PLAYERS
535
+ PLAYS
536
+ PLEASE
537
+ PLUMBING
538
+ POND
539
+ POPULATED
540
+ POT
541
+ POTATOES
542
+ PREFER
543
+ PRETTY
544
+ PREVENTS
545
+ PRIOR
546
+ PROGRAM
547
+ PRONOUNCED
548
+ PROPER
549
+ PROPOSED
550
+ PROSECUTED
551
+ PROSPECT
552
+ PROSPECTS
553
+ PROUD
554
+ PROVIDES
555
+ QUART
556
+ QUEBEC
557
+ QUICK
558
+ QUICKER
559
+ QUICKLY
560
+ QUIVERS
561
+ RACE
562
+ RAG
563
+ RAGE
564
+ RAID
565
+ RAIN
566
+ RAKE
567
+ RANGE
568
+ RARE
569
+ RATE
570
+ RATHER
571
+ RAVE
572
+ RAY
573
+ READ
574
+ REAL
575
+ REALLY
576
+ RECEIVED
577
+ RED
578
+ REEK
579
+ REGULARLY
580
+ REGULATIONS
581
+ RELAX
582
+ REPLACE
583
+ REPORTED
584
+ RESPECT
585
+ REST
586
+ RESULTS
587
+ REVIEW
588
+ RICH
589
+ RID
590
+ RIDE
591
+ RIGHT
592
+ RIP
593
+ RISE
594
+ ROAST
595
+ ROBIN
596
+ ROCK
597
+ ROCKS
598
+ RODE
599
+ ROLL
600
+ ROMEO
601
+ ROOT
602
+ RUNG
603
+ SAID
604
+ SAME
605
+ SAND
606
+ SCHOOL
607
+ SCHOOLHOUSE
608
+ SCRUBBED
609
+ SEE
610
+ SEED
611
+ SEEDS
612
+ SELECT
613
+ SELECTED
614
+ SELL
615
+ SERGEANT
616
+ SEVEN
617
+ SEVERAL
618
+ SEW
619
+ SEWS
620
+ SHARE
621
+ SHE
622
+ SHEAR
623
+ SHEET
624
+ SHELL
625
+ SHELLS
626
+ SHERIFF
627
+ SHIMMERS
628
+ SHIP
629
+ SHOES
630
+ SHOOT
631
+ SHOP
632
+ SHORT
633
+ SHOUT
634
+ SHOWER
635
+ SHRED
636
+ SHRUGGED
637
+ SHY
638
+ SICKER
639
+ SIDE
640
+ SIERRA
641
+ SIGH
642
+ SIGHT
643
+ SIGN
644
+ SILLY
645
+ SILVERWARE
646
+ SIN
647
+ SINCE
648
+ SING
649
+ SINGLE
650
+ SINK
651
+ SIP
652
+ SISTER
653
+ SIT
654
+ SITTER
655
+ SITTING
656
+ SIX
657
+ SKILLFULLY
658
+ SLAY
659
+ SLEEP
660
+ SLICKER
661
+ SLIP
662
+ SLOWLY
663
+ SLUMS
664
+ SMALL
665
+ SMOKE
666
+ SMOOTH
667
+ SNAKE
668
+ SNOOP
669
+ SNOW
670
+ SOCIALIZED
671
+ SOME
672
+ SOMEPLACE
673
+ SOMETHING
674
+ SORT
675
+ SOULS
676
+ SPAIN
677
+ SPARK
678
+ SPARKLE
679
+ SPARSELY
680
+ SPEAKS
681
+ SPENDING
682
+ SPIT
683
+ SPRINKLE
684
+ STAGECOACH
685
+ START
686
+ STEEL
687
+ STEER
688
+ STICK
689
+ STICKS
690
+ STILL
691
+ STOOD
692
+ STORE
693
+ STORM
694
+ STRETCHER
695
+ STUBBLE
696
+ STUDENTS
697
+ SUCCESS
698
+ SUIT
699
+ SUM
700
+ SUNSHINE
701
+ SURVIVE
702
+ SWAM
703
+ SWARM
704
+ SWAY
705
+ SWEATERS
706
+ SWEET
707
+ SWIFTLY
708
+ SWING
709
+ SWORE
710
+ TAKE
711
+ TAKES
712
+ TAKING
713
+ TANGO
714
+ TEAM
715
+ TEAR
716
+ TELL
717
+ THAN
718
+ THAT
719
+ THE
720
+ THEIR
721
+ THEMSELVES
722
+ THEN
723
+ THERE
724
+ THEY
725
+ THIGH
726
+ THINKS
727
+ THINNER
728
+ THIS
729
+ THORN
730
+ THOROUGHLY
731
+ THOSE
732
+ THOUGH
733
+ THOUGHT
734
+ THREE
735
+ THROUGH
736
+ THURSDAY'S
737
+ TICKER
738
+ TIE
739
+ TILE
740
+ TIME
741
+ TIN
742
+ TIP
743
+ TO
744
+ TODAY'S
745
+ TOO
746
+ TOOK
747
+ TOOT
748
+ TOP
749
+ TORN
750
+ TORT
751
+ TOWARD
752
+ TRACE
753
+ TRADE
754
+ TRADED
755
+ TRADITIONAL
756
+ TRAIN
757
+ TRAIT
758
+ TRANSITION
759
+ TRAVEL
760
+ TREAD
761
+ TREEHOUSE
762
+ TRESPASSERS
763
+ TRIED
764
+ TRIFLE
765
+ TROOP
766
+ TROUBLE
767
+ TRY
768
+ TWICE
769
+ TWO
770
+ UNBEATABLE
771
+ UNDER
772
+ UNIFORM
773
+ UNIT
774
+ UNPLEASANT
775
+ UNSPECIFIED
776
+ UP
777
+ UPON
778
+ URGED
779
+ URGENT
780
+ US
781
+ USE
782
+ USED
783
+ USUALLY
784
+ UTMOST
785
+ VALIDATED
786
+ VALUE
787
+ VAT
788
+ VERY
789
+ VICTOR
790
+ VOICE
791
+ VOLUNTEERED
792
+ WAIT
793
+ WALK
794
+ WALL
795
+ WANT
796
+ WARM
797
+ WAS
798
+ WASH
799
+ WATCHED
800
+ WATER
801
+ WAVES
802
+ WAY
803
+ WE
804
+ WE'D
805
+ WE'LL
806
+ WE'RE
807
+ WEALTH
808
+ WEAR
809
+ WEED
810
+ WEEK
811
+ WEEKEND
812
+ WELCOME
813
+ WELL
814
+ WENT
815
+ WERE
816
+ WET
817
+ WHEN
818
+ WHERE
819
+ WHILE
820
+ WHISKY
821
+ WHITE
822
+ WHITE-CAPPED
823
+ WHO
824
+ WHOLE
825
+ WHOOP
826
+ WHY
827
+ WICKED
828
+ WICKER
829
+ WILL
830
+ WILLING
831
+ WIN
832
+ WINDOW
833
+ WINNERS
834
+ WINTER
835
+ WIRE
836
+ WISH
837
+ WISHED
838
+ WIT
839
+ WITCH
840
+ WITH
841
+ WITTY
842
+ WOODEN
843
+ WOOL
844
+ WOOLEN
845
+ WORE
846
+ WORK
847
+ WORKING
848
+ WORRY
849
+ WOULD
850
+ WRAPPED
851
+ WRITE
852
+ WRITTEN
853
+ X-RAY
854
+ YANKEE
855
+ YARD
856
+ YEAR
857
+ YEARS
858
+ YELL
859
+ YELLOW
860
+ YES
861
+ YET
862
+ YOU
863
+ YOU'D
864
+ YOU'RE
865
+ YOUNG
866
+ YOUR
867
+ ZERO
868
+ ZEST
869
+ ZIP
870
+ ZULU
preprocessor_config.json CHANGED
@@ -4,6 +4,7 @@
4
  "feature_size": 1,
5
  "padding_side": "right",
6
  "padding_value": 0.0,
 
7
  "return_attention_mask": false,
8
  "sampling_rate": 16000
9
  }
 
4
  "feature_size": 1,
5
  "padding_side": "right",
6
  "padding_value": 0.0,
7
+ "processor_class": "Wav2Vec2ProcessorWithLM",
8
  "return_attention_mask": false,
9
  "sampling_rate": 16000
10
  }
special_tokens_map.json CHANGED
@@ -1,4 +1,20 @@
1
  {
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
2
  "bos_token": "<s>",
3
  "eos_token": "</s>",
4
  "pad_token": "[PAD]",
 
1
  {
2
+ "additional_special_tokens": [
3
+ {
4
+ "content": "<s>",
5
+ "lstrip": false,
6
+ "normalized": true,
7
+ "rstrip": false,
8
+ "single_word": false
9
+ },
10
+ {
11
+ "content": "</s>",
12
+ "lstrip": false,
13
+ "normalized": true,
14
+ "rstrip": false,
15
+ "single_word": false
16
+ }
17
+ ],
18
  "bos_token": "<s>",
19
  "eos_token": "</s>",
20
  "pad_token": "[PAD]",
tokenizer_config.json CHANGED
@@ -2,8 +2,11 @@
2
  "bos_token": "<s>",
3
  "do_lower_case": false,
4
  "eos_token": "</s>",
 
5
  "pad_token": "[PAD]",
 
6
  "replace_word_delimiter_char": " ",
 
7
  "tokenizer_class": "Wav2Vec2CTCTokenizer",
8
  "unk_token": "[UNK]",
9
  "word_delimiter_token": "|"
 
2
  "bos_token": "<s>",
3
  "do_lower_case": false,
4
  "eos_token": "</s>",
5
+ "name_or_path": "yip-i/colab-demo",
6
  "pad_token": "[PAD]",
7
+ "processor_class": "Wav2Vec2ProcessorWithLM",
8
  "replace_word_delimiter_char": " ",
9
+ "special_tokens_map_file": "/root/.cache/huggingface/hub/models--yip-i--colab-demo/snapshots/2d45a5674787c66c9e1732f5bd6fffb577b48d01/special_tokens_map.json",
10
  "tokenizer_class": "Wav2Vec2CTCTokenizer",
11
  "unk_token": "[UNK]",
12
  "word_delimiter_token": "|"