Hugging Face's logo

eeshaAI
/
zeeb

Text Generation
PEFT
Safetensors
Transformers
olmo2
lora
conversational
Model card Files
xet
 Community
eeshaAI commited on
Commit
3de521b
·
verified ·
1 Parent(s): 2dab9a7

Upload folder using huggingface_hub

Browse files
Files changed (4) hide show
  1. README.md +28 -0
  2. tokenized_dataset.json +2622 -0
  3. train_on_hf_spaces.py +113 -0
  4. vq_vae_final.pt +3 -0
README.md ADDED
@@ -0,0 +1,28 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ license: apache-2.0
3
+ tags:
4
+ - video-generation
5
+ - visual-tokenization
6
+ - olmo
7
+ - cpu
8
+ - gguf
9
+ ---
10
+
11
+ # zeeb — Video-LLM
12
+
13
+ A video generation model built by teaching OLMo 2 1B Instruct to "speak" video as a language of visual tokens.
14
+
15
+ ## Architecture
16
+ - **LLM**: OLMo 2 1B Instruct (Apache 2.0, GGUF Q4_K_M)
17
+ - **Tokenizer**: Custom VQ-VAE (17M params)
18
+ - **Inference**: CPU-only via llama-cpp-python
19
+
20
+ ## Pipeline
21
+ ```
22
+ Text Prompt → LLM → Visual Tokens → VQ-VAE Decoder → Video
23
+ ```
24
+
25
+ ## Files
26
+ - `vq_vae_final.pt` — Trained VQ-VAE tokenizer
27
+ - `tokenized_dataset.json` — Tokenized training data
28
+ - `train_on_hf_spaces.py` — Full LoRA training script
tokenized_dataset.json ADDED
@@ -0,0 +1,2622 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ [
2
+ {
3
+ "text_prompt": "A cat jumping on a sofa",
4
+ "video_tokens": [
5
+ 568,
6
+ 568,
7
+ 568,
8
+ 568,
9
+ 568,
10
+ 568,
11
+ 568,
12
+ 568,
13
+ 568,
14
+ 568,
15
+ 568,
16
+ 568,
17
+ 568,
18
+ 568,
19
+ 568,
20
+ 568,
21
+ 568,
22
+ 568,
23
+ 568,
24
+ 568,
25
+ 568,
26
+ 568,
27
+ 568,
28
+ 568,
29
+ 568,
30
+ 568,
31
+ 568,
32
+ 568,
33
+ 568,
34
+ 568,
35
+ 568,
36
+ 568,
37
+ 568,
38
+ 568,
39
+ 568,
40
+ 568,
41
+ 568,
42
+ 568,
43
+ 568,
44
+ 568,
45
+ 568,
46
+ 568,
47
+ 568,
48
+ 568,
49
+ 568,
50
+ 568,
51
+ 568,
52
+ 568,
53
+ 568,
54
+ 568,
55
+ 568,
56
+ 568,
57
+ 568,
58
+ 568,
59
+ 568,
60
+ 568,
61
+ 568,
62
+ 568,
63
+ 568,
64
+ 568,
65
+ 568,
66
+ 568,
67
+ 568,
68
+ 568,
69
+ 568,
70
+ 568,
71
+ 568,
72
+ 568,
73
+ 568,
74
+ 568,
75
+ 568,
76
+ 568,
77
+ 568,
78
+ 568,
79
+ 568,
80
+ 568,
81
+ 568,
82
+ 568,
83
+ 568,
84
+ 568,
85
+ 568,
86
+ 568,
87
+ 568,
88
+ 568,
89
+ 568,
90
+ 568,
91
+ 568,
92
+ 568,
93
+ 568,
94
+ 568,
95
+ 568,
96
+ 568,
97
+ 568,
98
+ 568,
99
+ 568,
100
+ 568,
101
+ 568,
102
+ 568,
103
+ 568,
104
+ 568,
105
+ 568,
106
+ 568,
107
+ 568,
108
+ 568,
109
+ 568,
110
+ 568,
111
+ 568,
112
+ 568,
113
+ 568,
114
+ 568,
115
+ 568,
116
+ 568,
117
+ 568,
118
+ 568,
119
+ 568,
120
+ 568,
121
+ 568,
122
+ 568,
123
+ 568,
124
+ 568,
125
+ 568,
126
+ 568,
127
+ 568,
128
+ 568,
129
+ 568,
130
+ 568,
131
+ 568,
132
+ 568,
133
+ 568,
134
+ 568,
135
+ 568,
136
+ 568,
137
+ 568,
138
+ 568,
139
+ 568,
140
+ 568,
141
+ 568,
142
+ 568,
143
+ 568,
144
+ 568,
145
+ 568,
146
+ 568,
147
+ 568,
148
+ 568,
149
+ 568,
150
+ 568,
151
+ 568,
152
+ 568,
153
+ 568,
154
+ 568,
155
+ 568,
156
+ 568,
157
+ 568,
158
+ 568,
159
+ 568,
160
+ 568,
161
+ 568,
162
+ 568,
163
+ 568,
164
+ 568,
165
+ 568,
166
+ 568,
167
+ 568,
168
+ 568,
169
+ 568,
170
+ 568,
171
+ 568,
172
+ 568,
173
+ 568,
174
+ 568,
175
+ 568,
176
+ 568,
177
+ 568,
178
+ 568,
179
+ 568,
180
+ 568,
181
+ 568,
182
+ 568,
183
+ 568,
184
+ 568,
185
+ 568,
186
+ 568,
187
+ 568,
188
+ 568,
189
+ 568,
190
+ 568,
191
+ 568,
192
+ 568,
193
+ 568,
194
+ 568,
195
+ 568,
196
+ 568,
197
+ 568,
198
+ 568,
199
+ 568,
200
+ 568,
201
+ 568,
202
+ 568,
203
+ 568,
204
+ 568,
205
+ 568,
206
+ 568,
207
+ 568,
208
+ 568,
209
+ 568,
210
+ 568,
211
+ 568,
212
+ 568,
213
+ 568,
214
+ 568,
215
+ 568,
216
+ 568,
217
+ 568,
218
+ 568,
219
+ 568,
220
+ 568,
221
+ 568,
222
+ 568,
223
+ 568,
224
+ 568,
225
+ 568,
226
+ 568,
227
+ 568,
228
+ 568,
229
+ 568,
230
+ 568,
231
+ 568,
232
+ 568,
233
+ 568,
234
+ 568,
235
+ 568,
236
+ 568,
237
+ 568,
238
+ 568,
239
+ 568,
240
+ 568,
241
+ 568,
242
+ 568,
243
+ 568,
244
+ 568,
245
+ 568,
246
+ 568,
247
+ 568,
248
+ 568,
249
+ 568,
250
+ 568,
251
+ 568,
252
+ 568,
253
+ 568,
254
+ 568,
255
+ 568,
256
+ 568,
257
+ 568,
258
+ 568,
259
+ 568,
260
+ 568
261
+ ],
262
+ "num_tokens": 256
263
+ },
264
+ {
265
+ "text_prompt": "Waves crashing on a beach",
266
+ "video_tokens": [
267
+ 568,
268
+ 568,
269
+ 568,
270
+ 568,
271
+ 568,
272
+ 568,
273
+ 568,
274
+ 568,
275
+ 568,
276
+ 568,
277
+ 568,
278
+ 568,
279
+ 568,
280
+ 568,
281
+ 568,
282
+ 568,
283
+ 568,
284
+ 568,
285
+ 568,
286
+ 568,
287
+ 568,
288
+ 568,
289
+ 568,
290
+ 568,
291
+ 568,
292
+ 568,
293
+ 568,
294
+ 568,
295
+ 568,
296
+ 568,
297
+ 568,
298
+ 568,
299
+ 568,
300
+ 568,
301
+ 568,
302
+ 568,
303
+ 568,
304
+ 568,
305
+ 568,
306
+ 568,
307
+ 568,
308
+ 568,
309
+ 568,
310
+ 568,
311
+ 568,
312
+ 568,
313
+ 568,
314
+ 568,
315
+ 568,
316
+ 568,
317
+ 568,
318
+ 568,
319
+ 568,
320
+ 568,
321
+ 568,
322
+ 568,
323
+ 568,
324
+ 568,
325
+ 568,
326
+ 568,
327
+ 568,
328
+ 568,
329
+ 568,
330
+ 568,
331
+ 568,
332
+ 568,
333
+ 568,
334
+ 568,
335
+ 568,
336
+ 568,
337
+ 568,
338
+ 568,
339
+ 568,
340
+ 568,
341
+ 568,
342
+ 568,
343
+ 568,
344
+ 568,
345
+ 568,
346
+ 568,
347
+ 568,
348
+ 568,
349
+ 568,
350
+ 568,
351
+ 568,
352
+ 568,
353
+ 568,
354
+ 568,
355
+ 568,
356
+ 568,
357
+ 568,
358
+ 568,
359
+ 568,
360
+ 568,
361
+ 568,
362
+ 568,
363
+ 568,
364
+ 568,
365
+ 568,
366
+ 568,
367
+ 568,
368
+ 568,
369
+ 568,
370
+ 568,
371
+ 568,
372
+ 568,
373
+ 568,
374
+ 568,
375
+ 568,
376
+ 568,
377
+ 568,
378
+ 568,
379
+ 568,
380
+ 568,
381
+ 568,
382
+ 568,
383
+ 568,
384
+ 568,
385
+ 568,
386
+ 568,
387
+ 568,
388
+ 568,
389
+ 568,
390
+ 568,
391
+ 568,
392
+ 568,
393
+ 568,
394
+ 568,
395
+ 568,
396
+ 568,
397
+ 568,
398
+ 568,
399
+ 568,
400
+ 568,
401
+ 568,
402
+ 568,
403
+ 568,
404
+ 568,
405
+ 568,
406
+ 568,
407
+ 568,
408
+ 568,
409
+ 568,
410
+ 568,
411
+ 568,
412
+ 568,
413
+ 568,
414
+ 568,
415
+ 568,
416
+ 568,
417
+ 568,
418
+ 568,
419
+ 568,
420
+ 568,
421
+ 568,
422
+ 568,
423
+ 568,
424
+ 568,
425
+ 568,
426
+ 568,
427
+ 568,
428
+ 568,
429
+ 568,
430
+ 568,
431
+ 568,
432
+ 568,
433
+ 568,
434
+ 568,
435
+ 568,
436
+ 568,
437
+ 568,
438
+ 568,
439
+ 568,
440
+ 568,
441
+ 568,
442
+ 568,
443
+ 568,
444
+ 568,
445
+ 568,
446
+ 568,
447
+ 568,
448
+ 568,
449
+ 568,
450
+ 568,
451
+ 568,
452
+ 568,
453
+ 568,
454
+ 568,
455
+ 568,
456
+ 568,
457
+ 568,
458
+ 568,
459
+ 568,
460
+ 568,
461
+ 568,
462
+ 568,
463
+ 568,
464
+ 568,
465
+ 568,
466
+ 568,
467
+ 568,
468
+ 568,
469
+ 568,
470
+ 568,
471
+ 568,
472
+ 568,
473
+ 568,
474
+ 568,
475
+ 568,
476
+ 568,
477
+ 568,
478
+ 568,
479
+ 568,
480
+ 568,
481
+ 568,
482
+ 568,
483
+ 568,
484
+ 568,
485
+ 568,
486
+ 568,
487
+ 568,
488
+ 568,
489
+ 568,
490
+ 568,
491
+ 568,
492
+ 568,
493
+ 568,
494
+ 568,
495
+ 568,
496
+ 568,
497
+ 568,
498
+ 568,
499
+ 568,
500
+ 568,
501
+ 568,
502
+ 568,
503
+ 568,
504
+ 568,
505
+ 568,
506
+ 568,
507
+ 568,
508
+ 568,
509
+ 568,
510
+ 568,
511
+ 568,
512
+ 568,
513
+ 568,
514
+ 568,
515
+ 568,
516
+ 568,
517
+ 568,
518
+ 568,
519
+ 568,
520
+ 568,
521
+ 568,
522
+ 568
523
+ ],
524
+ "num_tokens": 256
525
+ },
526
+ {
527
+ "text_prompt": "A person walking down a street",
528
+ "video_tokens": [
529
+ 568,
530
+ 568,
531
+ 568,
532
+ 568,
533
+ 568,
534
+ 568,
535
+ 568,
536
+ 568,
537
+ 568,
538
+ 568,
539
+ 568,
540
+ 568,
541
+ 568,
542
+ 568,
543
+ 568,
544
+ 568,
545
+ 568,
546
+ 568,
547
+ 568,
548
+ 568,
549
+ 568,
550
+ 568,
551
+ 568,
552
+ 568,
553
+ 568,
554
+ 568,
555
+ 568,
556
+ 568,
557
+ 568,
558
+ 568,
559
+ 568,
560
+ 568,
561
+ 568,
562
+ 568,
563
+ 568,
564
+ 568,
565
+ 568,
566
+ 568,
567
+ 568,
568
+ 568,
569
+ 568,
570
+ 568,
571
+ 568,
572
+ 568,
573
+ 568,
574
+ 568,
575
+ 568,
576
+ 568,
577
+ 568,
578
+ 568,
579
+ 568,
580
+ 568,
581
+ 568,
582
+ 568,
583
+ 568,
584
+ 568,
585
+ 568,
586
+ 568,
587
+ 568,
588
+ 568,
589
+ 568,
590
+ 568,
591
+ 568,
592
+ 568,
593
+ 568,
594
+ 568,
595
+ 568,
596
+ 568,
597
+ 568,
598
+ 568,
599
+ 568,
600
+ 568,
601
+ 568,
602
+ 568,
603
+ 568,
604
+ 568,
605
+ 568,
606
+ 568,
607
+ 568,
608
+ 568,
609
+ 568,
610
+ 568,
611
+ 568,
612
+ 568,
613
+ 568,
614
+ 568,
615
+ 568,
616
+ 568,
617
+ 568,
618
+ 568,
619
+ 568,
620
+ 568,
621
+ 568,
622
+ 568,
623
+ 568,
624
+ 568,
625
+ 568,
626
+ 568,
627
+ 568,
628
+ 568,
629
+ 568,
630
+ 568,
631
+ 568,
632
+ 568,
633
+ 568,
634
+ 568,
635
+ 568,
636
+ 568,
637
+ 568,
638
+ 568,
639
+ 568,
640
+ 568,
641
+ 568,
642
+ 568,
643
+ 568,
644
+ 568,
645
+ 568,
646
+ 568,
647
+ 568,
648
+ 568,
649
+ 568,
650
+ 568,
651
+ 568,
652
+ 568,
653
+ 568,
654
+ 568,
655
+ 568,
656
+ 568,
657
+ 568,
658
+ 568,
659
+ 568,
660
+ 568,
661
+ 568,
662
+ 568,
663
+ 568,
664
+ 568,
665
+ 568,
666
+ 568,
667
+ 568,
668
+ 568,
669
+ 568,
670
+ 568,
671
+ 568,
672
+ 568,
673
+ 568,
674
+ 568,
675
+ 568,
676
+ 568,
677
+ 568,
678
+ 568,
679
+ 568,
680
+ 568,
681
+ 568,
682
+ 568,
683
+ 568,
684
+ 568,
685
+ 568,
686
+ 568,
687
+ 568,
688
+ 568,
689
+ 568,
690
+ 568,
691
+ 568,
692
+ 568,
693
+ 568,
694
+ 568,
695
+ 568,
696
+ 568,
697
+ 568,
698
+ 568,
699
+ 568,
700
+ 568,
701
+ 568,
702
+ 568,
703
+ 568,
704
+ 568,
705
+ 568,
706
+ 568,
707
+ 568,
708
+ 568,
709
+ 568,
710
+ 568,
711
+ 568,
712
+ 568,
713
+ 568,
714
+ 568,
715
+ 568,
716
+ 568,
717
+ 568,
718
+ 568,
719
+ 568,
720
+ 568,
721
+ 568,
722
+ 568,
723
+ 568,
724
+ 568,
725
+ 568,
726
+ 568,
727
+ 568,
728
+ 568,
729
+ 568,
730
+ 568,
731
+ 568,
732
+ 568,
733
+ 568,
734
+ 568,
735
+ 568,
736
+ 568,
737
+ 568,
738
+ 568,
739
+ 568,
740
+ 568,
741
+ 568,
742
+ 568,
743
+ 568,
744
+ 568,
745
+ 568,
746
+ 568,
747
+ 568,
748
+ 568,
749
+ 568,
750
+ 568,
751
+ 568,
752
+ 568,
753
+ 568,
754
+ 568,
755
+ 568,
756
+ 568,
757
+ 568,
758
+ 568,
759
+ 568,
760
+ 568,
761
+ 568,
762
+ 568,
763
+ 568,
764
+ 568,
765
+ 568,
766
+ 568,
767
+ 568,
768
+ 568,
769
+ 568,
770
+ 568,
771
+ 568,
772
+ 568,
773
+ 568,
774
+ 568,
775
+ 568,
776
+ 568,
777
+ 568,
778
+ 568,
779
+ 568,
780
+ 568,
781
+ 568,
782
+ 568,
783
+ 568,
784
+ 568
785
+ ],
786
+ "num_tokens": 256
787
+ },
788
+ {
789
+ "text_prompt": "A red ball bouncing on the grass",
790
+ "video_tokens": [
791
+ 568,
792
+ 568,
793
+ 568,
794
+ 568,
795
+ 568,
796
+ 568,
797
+ 568,
798
+ 568,
799
+ 568,
800
+ 568,
801
+ 568,
802
+ 568,
803
+ 568,
804
+ 568,
805
+ 568,
806
+ 568,
807
+ 568,
808
+ 568,
809
+ 568,
810
+ 568,
811
+ 568,
812
+ 568,
813
+ 568,
814
+ 568,
815
+ 568,
816
+ 568,
817
+ 568,
818
+ 568,
819
+ 568,
820
+ 568,
821
+ 568,
822
+ 568,
823
+ 568,
824
+ 568,
825
+ 568,
826
+ 568,
827
+ 568,
828
+ 568,
829
+ 568,
830
+ 568,
831
+ 568,
832
+ 568,
833
+ 568,
834
+ 568,
835
+ 568,
836
+ 568,
837
+ 568,
838
+ 568,
839
+ 568,
840
+ 568,
841
+ 568,
842
+ 568,
843
+ 568,
844
+ 568,
845
+ 568,
846
+ 568,
847
+ 568,
848
+ 568,
849
+ 568,
850
+ 568,
851
+ 568,
852
+ 568,
853
+ 568,
854
+ 568,
855
+ 568,
856
+ 568,
857
+ 568,
858
+ 568,
859
+ 568,
860
+ 568,
861
+ 568,
862
+ 568,
863
+ 568,
864
+ 568,
865
+ 568,
866
+ 568,
867
+ 568,
868
+ 568,
869
+ 568,
870
+ 568,
871
+ 568,
872
+ 568,
873
+ 568,
874
+ 568,
875
+ 568,
876
+ 568,
877
+ 568,
878
+ 568,
879
+ 568,
880
+ 568,
881
+ 568,
882
+ 568,
883
+ 568,
884
+ 568,
885
+ 568,
886
+ 568,
887
+ 568,
888
+ 568,
889
+ 568,
890
+ 568,
891
+ 568,
892
+ 568,
893
+ 568,
894
+ 568,
895
+ 568,
896
+ 568,
897
+ 568,
898
+ 568,
899
+ 568,
900
+ 568,
901
+ 568,
902
+ 568,
903
+ 568,
904
+ 568,
905
+ 568,
906
+ 568,
907
+ 568,
908
+ 568,
909
+ 568,
910
+ 568,
911
+ 568,
912
+ 568,
913
+ 568,
914
+ 568,
915
+ 568,
916
+ 568,
917
+ 568,
918
+ 568,
919
+ 568,
920
+ 568,
921
+ 568,
922
+ 568,
923
+ 568,
924
+ 568,
925
+ 568,
926
+ 568,
927
+ 568,
928
+ 568,
929
+ 568,
930
+ 568,
931
+ 568,
932
+ 568,
933
+ 568,
934
+ 568,
935
+ 568,
936
+ 568,
937
+ 568,
938
+ 568,
939
+ 568,
940
+ 568,
941
+ 568,
942
+ 568,
943
+ 568,
944
+ 568,
945
+ 568,
946
+ 568,
947
+ 568,
948
+ 568,
949
+ 568,
950
+ 568,
951
+ 568,
952
+ 568,
953
+ 568,
954
+ 568,
955
+ 568,
956
+ 568,
957
+ 568,
958
+ 568,
959
+ 568,
960
+ 568,
961
+ 568,
962
+ 568,
963
+ 568,
964
+ 568,
965
+ 568,
966
+ 568,
967
+ 568,
968
+ 568,
969
+ 568,
970
+ 568,
971
+ 568,
972
+ 568,
973
+ 568,
974
+ 568,
975
+ 568,
976
+ 568,
977
+ 568,
978
+ 568,
979
+ 568,
980
+ 568,
981
+ 568,
982
+ 568,
983
+ 568,
984
+ 568,
985
+ 568,
986
+ 568,
987
+ 568,
988
+ 568,
989
+ 568,
990
+ 568,
991
+ 568,
992
+ 568,
993
+ 568,
994
+ 568,
995
+ 568,
996
+ 568,
997
+ 568,
998
+ 568,
999
+ 568,
1000
+ 568,
1001
+ 568,
1002
+ 568,
1003
+ 568,
1004
+ 568,
1005
+ 568,
1006
+ 568,
1007
+ 568,
1008
+ 568,
1009
+ 568,
1010
+ 568,
1011
+ 568,
1012
+ 568,
1013
+ 568,
1014
+ 568,
1015
+ 568,
1016
+ 568,
1017
+ 568,
1018
+ 568,
1019
+ 568,
1020
+ 568,
1021
+ 568,
1022
+ 568,
1023
+ 568,
1024
+ 568,
1025
+ 568,
1026
+ 568,
1027
+ 568,
1028
+ 568,
1029
+ 568,
1030
+ 568,
1031
+ 568,
1032
+ 568,
1033
+ 568,
1034
+ 568,
1035
+ 568,
1036
+ 568,
1037
+ 568,
1038
+ 568,
1039
+ 568,
1040
+ 568,
1041
+ 568,
1042
+ 568,
1043
+ 568,
1044
+ 568,
1045
+ 568,
1046
+ 568
1047
+ ],
1048
+ "num_tokens": 256
1049
+ },
1050
+ {
1051
+ "text_prompt": "Sunset over mountains",
1052
+ "video_tokens": [
1053
+ 568,
1054
+ 568,
1055
+ 568,
1056
+ 568,
1057
+ 568,
1058
+ 568,
1059
+ 568,
1060
+ 568,
1061
+ 568,
1062
+ 568,
1063
+ 568,
1064
+ 568,
1065
+ 568,
1066
+ 568,
1067
+ 568,
1068
+ 568,
1069
+ 568,
1070
+ 568,
1071
+ 568,
1072
+ 568,
1073
+ 568,
1074
+ 568,
1075
+ 568,
1076
+ 568,
1077
+ 568,
1078
+ 568,
1079
+ 568,
1080
+ 568,
1081
+ 568,
1082
+ 568,
1083
+ 568,
1084
+ 568,
1085
+ 568,
1086
+ 568,
1087
+ 568,
1088
+ 568,
1089
+ 568,
1090
+ 568,
1091
+ 568,
1092
+ 568,
1093
+ 568,
1094
+ 568,
1095
+ 568,
1096
+ 568,
1097
+ 568,
1098
+ 568,
1099
+ 568,
1100
+ 568,
1101
+ 568,
1102
+ 568,
1103
+ 568,
1104
+ 568,
1105
+ 568,
1106
+ 568,
1107
+ 568,
1108
+ 568,
1109
+ 568,
1110
+ 568,
1111
+ 568,
1112
+ 568,
1113
+ 568,
1114
+ 568,
1115
+ 568,
1116
+ 568,
1117
+ 568,
1118
+ 568,
1119
+ 568,
1120
+ 568,
1121
+ 568,
1122
+ 568,
1123
+ 568,
1124
+ 568,
1125
+ 568,
1126
+ 568,
1127
+ 568,
1128
+ 568,
1129
+ 568,
1130
+ 568,
1131
+ 568,
1132
+ 568,
1133
+ 568,
1134
+ 568,
1135
+ 568,
1136
+ 568,
1137
+ 568,
1138
+ 568,
1139
+ 568,
1140
+ 568,
1141
+ 568,
1142
+ 568,
1143
+ 568,
1144
+ 568,
1145
+ 568,
1146
+ 568,
1147
+ 568,
1148
+ 568,
1149
+ 568,
1150
+ 568,
1151
+ 568,
1152
+ 568,
1153
+ 568,
1154
+ 568,
1155
+ 568,
1156
+ 568,
1157
+ 568,
1158
+ 568,
1159
+ 568,
1160
+ 568,
1161
+ 568,
1162
+ 568,
1163
+ 568,
1164
+ 568,
1165
+ 568,
1166
+ 568,
1167
+ 568,
1168
+ 568,
1169
+ 568,
1170
+ 568,
1171
+ 568,
1172
+ 568,
1173
+ 568,
1174
+ 568,
1175
+ 568,
1176
+ 568,
1177
+ 568,
1178
+ 568,
1179
+ 568,
1180
+ 568,
1181
+ 568,
1182
+ 568,
1183
+ 568,
1184
+ 568,
1185
+ 568,
1186
+ 568,
1187
+ 568,
1188
+ 568,
1189
+ 568,
1190
+ 568,
1191
+ 568,
1192
+ 568,
1193
+ 568,
1194
+ 568,
1195
+ 568,
1196
+ 568,
1197
+ 568,
1198
+ 568,
1199
+ 568,
1200
+ 568,
1201
+ 568,
1202
+ 568,
1203
+ 568,
1204
+ 568,
1205
+ 568,
1206
+ 568,
1207
+ 568,
1208
+ 568,
1209
+ 568,
1210
+ 568,
1211
+ 568,
1212
+ 568,
1213
+ 568,
1214
+ 568,
1215
+ 568,
1216
+ 568,
1217
+ 568,
1218
+ 568,
1219
+ 568,
1220
+ 568,
1221
+ 568,
1222
+ 568,
1223
+ 568,
1224
+ 568,
1225
+ 568,
1226
+ 568,
1227
+ 568,
1228
+ 568,
1229
+ 568,
1230
+ 568,
1231
+ 568,
1232
+ 568,
1233
+ 568,
1234
+ 568,
1235
+ 568,
1236
+ 568,
1237
+ 568,
1238
+ 568,
1239
+ 568,
1240
+ 568,
1241
+ 568,
1242
+ 568,
1243
+ 568,
1244
+ 568,
1245
+ 568,
1246
+ 568,
1247
+ 568,
1248
+ 568,
1249
+ 568,
1250
+ 568,
1251
+ 568,
1252
+ 568,
1253
+ 568,
1254
+ 568,
1255
+ 568,
1256
+ 568,
1257
+ 568,
1258
+ 568,
1259
+ 568,
1260
+ 568,
1261
+ 568,
1262
+ 568,
1263
+ 568,
1264
+ 568,
1265
+ 568,
1266
+ 568,
1267
+ 568,
1268
+ 568,
1269
+ 568,
1270
+ 568,
1271
+ 568,
1272
+ 568,
1273
+ 568,
1274
+ 568,
1275
+ 568,
1276
+ 568,
1277
+ 568,
1278
+ 568,
1279
+ 568,
1280
+ 568,
1281
+ 568,
1282
+ 568,
1283
+ 568,
1284
+ 568,
1285
+ 568,
1286
+ 568,
1287
+ 568,
1288
+ 568,
1289
+ 568,
1290
+ 568,
1291
+ 568,
1292
+ 568,
1293
+ 568,
1294
+ 568,
1295
+ 568,
1296
+ 568,
1297
+ 568,
1298
+ 568,
1299
+ 568,
1300
+ 568,
1301
+ 568,
1302
+ 568,
1303
+ 568,
1304
+ 568,
1305
+ 568,
1306
+ 568,
1307
+ 568,
1308
+ 568
1309
+ ],
1310
+ "num_tokens": 256
1311
+ },
1312
+ {
1313
+ "text_prompt": "A dog chasing a frisbee",
1314
+ "video_tokens": [
1315
+ 568,
1316
+ 568,
1317
+ 568,
1318
+ 568,
1319
+ 568,
1320
+ 568,
1321
+ 568,
1322
+ 568,
1323
+ 568,
1324
+ 568,
1325
+ 568,
1326
+ 568,
1327
+ 568,
1328
+ 568,
1329
+ 568,
1330
+ 568,
1331
+ 568,
1332
+ 568,
1333
+ 568,
1334
+ 568,
1335
+ 568,
1336
+ 568,
1337
+ 568,
1338
+ 568,
1339
+ 568,
1340
+ 568,
1341
+ 568,
1342
+ 568,
1343
+ 568,
1344
+ 568,
1345
+ 568,
1346
+ 568,
1347
+ 568,
1348
+ 568,
1349
+ 568,
1350
+ 568,
1351
+ 568,
1352
+ 568,
1353
+ 568,
1354
+ 568,
1355
+ 568,
1356
+ 568,
1357
+ 568,
1358
+ 568,
1359
+ 568,
1360
+ 568,
1361
+ 568,
1362
+ 568,
1363
+ 568,
1364
+ 568,
1365
+ 568,
1366
+ 568,
1367
+ 568,
1368
+ 568,
1369
+ 568,
1370
+ 568,
1371
+ 568,
1372
+ 568,
1373
+ 568,
1374
+ 568,
1375
+ 568,
1376
+ 568,
1377
+ 568,
1378
+ 568,
1379
+ 568,
1380
+ 568,
1381
+ 568,
1382
+ 568,
1383
+ 568,
1384
+ 568,
1385
+ 568,
1386
+ 568,
1387
+ 568,
1388
+ 568,
1389
+ 568,
1390
+ 568,
1391
+ 568,
1392
+ 568,
1393
+ 568,
1394
+ 568,
1395
+ 568,
1396
+ 568,
1397
+ 568,
1398
+ 568,
1399
+ 568,
1400
+ 568,
1401
+ 568,
1402
+ 568,
1403
+ 568,
1404
+ 568,
1405
+ 568,
1406
+ 568,
1407
+ 568,
1408
+ 568,
1409
+ 568,
1410
+ 568,
1411
+ 568,
1412
+ 568,
1413
+ 568,
1414
+ 568,
1415
+ 568,
1416
+ 568,
1417
+ 568,
1418
+ 568,
1419
+ 568,
1420
+ 568,
1421
+ 568,
1422
+ 568,
1423
+ 568,
1424
+ 568,
1425
+ 568,
1426
+ 568,
1427
+ 568,
1428
+ 568,
1429
+ 568,
1430
+ 568,
1431
+ 568,
1432
+ 568,
1433
+ 568,
1434
+ 568,
1435
+ 568,
1436
+ 568,
1437
+ 568,
1438
+ 568,
1439
+ 568,
1440
+ 568,
1441
+ 568,
1442
+ 568,
1443
+ 568,
1444
+ 568,
1445
+ 568,
1446
+ 568,
1447
+ 568,
1448
+ 568,
1449
+ 568,
1450
+ 568,
1451
+ 568,
1452
+ 568,
1453
+ 568,
1454
+ 568,
1455
+ 568,
1456
+ 568,
1457
+ 568,
1458
+ 568,
1459
+ 568,
1460
+ 568,
1461
+ 568,
1462
+ 568,
1463
+ 568,
1464
+ 568,
1465
+ 568,
1466
+ 568,
1467
+ 568,
1468
+ 568,
1469
+ 568,
1470
+ 568,
1471
+ 568,
1472
+ 568,
1473
+ 568,
1474
+ 568,
1475
+ 568,
1476
+ 568,
1477
+ 568,
1478
+ 568,
1479
+ 568,
1480
+ 568,
1481
+ 568,
1482
+ 568,
1483
+ 568,
1484
+ 568,
1485
+ 568,
1486
+ 568,
1487
+ 568,
1488
+ 568,
1489
+ 568,
1490
+ 568,
1491
+ 568,
1492
+ 568,
1493
+ 568,
1494
+ 568,
1495
+ 568,
1496
+ 568,
1497
+ 568,
1498
+ 568,
1499
+ 568,
1500
+ 568,
1501
+ 568,
1502
+ 568,
1503
+ 568,
1504
+ 568,
1505
+ 568,
1506
+ 568,
1507
+ 568,
1508
+ 568,
1509
+ 568,
1510
+ 568,
1511
+ 568,
1512
+ 568,
1513
+ 568,
1514
+ 568,
1515
+ 568,
1516
+ 568,
1517
+ 568,
1518
+ 568,
1519
+ 568,
1520
+ 568,
1521
+ 568,
1522
+ 568,
1523
+ 568,
1524
+ 568,
1525
+ 568,
1526
+ 568,
1527
+ 568,
1528
+ 568,
1529
+ 568,
1530
+ 568,
1531
+ 568,
1532
+ 568,
1533
+ 568,
1534
+ 568,
1535
+ 568,
1536
+ 568,
1537
+ 568,
1538
+ 568,
1539
+ 568,
1540
+ 568,
1541
+ 568,
1542
+ 568,
1543
+ 568,
1544
+ 568,
1545
+ 568,
1546
+ 568,
1547
+ 568,
1548
+ 568,
1549
+ 568,
1550
+ 568,
1551
+ 568,
1552
+ 568,
1553
+ 568,
1554
+ 568,
1555
+ 568,
1556
+ 568,
1557
+ 568,
1558
+ 568,
1559
+ 568,
1560
+ 568,
1561
+ 568,
1562
+ 568,
1563
+ 568,
1564
+ 568,
1565
+ 568,
1566
+ 568,
1567
+ 568,
1568
+ 568,
1569
+ 568,
1570
+ 568
1571
+ ],
1572
+ "num_tokens": 256
1573
+ },
1574
+ {
1575
+ "text_prompt": "Rain falling on a window",
1576
+ "video_tokens": [
1577
+ 568,
1578
+ 568,
1579
+ 568,
1580
+ 568,
1581
+ 568,
1582
+ 568,
1583
+ 568,
1584
+ 568,
1585
+ 568,
1586
+ 568,
1587
+ 568,
1588
+ 568,
1589
+ 568,
1590
+ 568,
1591
+ 568,
1592
+ 568,
1593
+ 568,
1594
+ 568,
1595
+ 568,
1596
+ 568,
1597
+ 568,
1598
+ 568,
1599
+ 568,
1600
+ 568,
1601
+ 568,
1602
+ 568,
1603
+ 568,
1604
+ 568,
1605
+ 568,
1606
+ 568,
1607
+ 568,
1608
+ 568,
1609
+ 568,
1610
+ 568,
1611
+ 568,
1612
+ 568,
1613
+ 568,
1614
+ 568,
1615
+ 568,
1616
+ 568,
1617
+ 568,
1618
+ 568,
1619
+ 568,
1620
+ 568,
1621
+ 568,
1622
+ 568,
1623
+ 568,
1624
+ 568,
1625
+ 568,
1626
+ 568,
1627
+ 568,
1628
+ 568,
1629
+ 568,
1630
+ 568,
1631
+ 568,
1632
+ 568,
1633
+ 568,
1634
+ 568,
1635
+ 568,
1636
+ 568,
1637
+ 568,
1638
+ 568,
1639
+ 568,
1640
+ 568,
1641
+ 568,
1642
+ 568,
1643
+ 568,
1644
+ 568,
1645
+ 568,
1646
+ 568,
1647
+ 568,
1648
+ 568,
1649
+ 568,
1650
+ 568,
1651
+ 568,
1652
+ 568,
1653
+ 568,
1654
+ 568,
1655
+ 568,
1656
+ 568,
1657
+ 568,
1658
+ 568,
1659
+ 568,
1660
+ 568,
1661
+ 568,
1662
+ 568,
1663
+ 568,
1664
+ 568,
1665
+ 568,
1666
+ 568,
1667
+ 568,
1668
+ 568,
1669
+ 568,
1670
+ 568,
1671
+ 568,
1672
+ 568,
1673
+ 568,
1674
+ 568,
1675
+ 568,
1676
+ 568,
1677
+ 568,
1678
+ 568,
1679
+ 568,
1680
+ 568,
1681
+ 568,
1682
+ 568,
1683
+ 568,
1684
+ 568,
1685
+ 568,
1686
+ 568,
1687
+ 568,
1688
+ 568,
1689
+ 568,
1690
+ 568,
1691
+ 568,
1692
+ 568,
1693
+ 568,
1694
+ 568,
1695
+ 568,
1696
+ 568,
1697
+ 568,
1698
+ 568,
1699
+ 568,
1700
+ 568,
1701
+ 568,
1702
+ 568,
1703
+ 568,
1704
+ 568,
1705
+ 568,
1706
+ 568,
1707
+ 568,
1708
+ 568,
1709
+ 568,
1710
+ 568,
1711
+ 568,
1712
+ 568,
1713
+ 568,
1714
+ 568,
1715
+ 568,
1716
+ 568,
1717
+ 568,
1718
+ 568,
1719
+ 568,
1720
+ 568,
1721
+ 568,
1722
+ 568,
1723
+ 568,
1724
+ 568,
1725
+ 568,
1726
+ 568,
1727
+ 568,
1728
+ 568,
1729
+ 568,
1730
+ 568,
1731
+ 568,
1732
+ 568,
1733
+ 568,
1734
+ 568,
1735
+ 568,
1736
+ 568,
1737
+ 568,
1738
+ 568,
1739
+ 568,
1740
+ 568,
1741
+ 568,
1742
+ 568,
1743
+ 568,
1744
+ 568,
1745
+ 568,
1746
+ 568,
1747
+ 568,
1748
+ 568,
1749
+ 568,
1750
+ 568,
1751
+ 568,
1752
+ 568,
1753
+ 568,
1754
+ 568,
1755
+ 568,
1756
+ 568,
1757
+ 568,
1758
+ 568,
1759
+ 568,
1760
+ 568,
1761
+ 568,
1762
+ 568,
1763
+ 568,
1764
+ 568,
1765
+ 568,
1766
+ 568,
1767
+ 568,
1768
+ 568,
1769
+ 568,
1770
+ 568,
1771
+ 568,
1772
+ 568,
1773
+ 568,
1774
+ 568,
1775
+ 568,
1776
+ 568,
1777
+ 568,
1778
+ 568,
1779
+ 568,
1780
+ 568,
1781
+ 568,
1782
+ 568,
1783
+ 568,
1784
+ 568,
1785
+ 568,
1786
+ 568,
1787
+ 568,
1788
+ 568,
1789
+ 568,
1790
+ 568,
1791
+ 568,
1792
+ 568,
1793
+ 568,
1794
+ 568,
1795
+ 568,
1796
+ 568,
1797
+ 568,
1798
+ 568,
1799
+ 568,
1800
+ 568,
1801
+ 568,
1802
+ 568,
1803
+ 568,
1804
+ 568,
1805
+ 568,
1806
+ 568,
1807
+ 568,
1808
+ 568,
1809
+ 568,
1810
+ 568,
1811
+ 568,
1812
+ 568,
1813
+ 568,
1814
+ 568,
1815
+ 568,
1816
+ 568,
1817
+ 568,
1818
+ 568,
1819
+ 568,
1820
+ 568,
1821
+ 568,
1822
+ 568,
1823
+ 568,
1824
+ 568,
1825
+ 568,
1826
+ 568,
1827
+ 568,
1828
+ 568,
1829
+ 568,
1830
+ 568,
1831
+ 568,
1832
+ 568
1833
+ ],
1834
+ "num_tokens": 256
1835
+ },
1836
+ {
1837
+ "text_prompt": "A bird flying across the sky",
1838
+ "video_tokens": [
1839
+ 568,
1840
+ 568,
1841
+ 568,
1842
+ 568,
1843
+ 568,
1844
+ 568,
1845
+ 568,
1846
+ 568,
1847
+ 568,
1848
+ 568,
1849
+ 568,
1850
+ 568,
1851
+ 568,
1852
+ 568,
1853
+ 568,
1854
+ 568,
1855
+ 568,
1856
+ 568,
1857
+ 568,
1858
+ 568,
1859
+ 568,
1860
+ 568,
1861
+ 568,
1862
+ 568,
1863
+ 568,
1864
+ 568,
1865
+ 568,
1866
+ 568,
1867
+ 568,
1868
+ 568,
1869
+ 568,
1870
+ 568,
1871
+ 568,
1872
+ 568,
1873
+ 568,
1874
+ 568,
1875
+ 568,
1876
+ 568,
1877
+ 568,
1878
+ 568,
1879
+ 568,
1880
+ 568,
1881
+ 568,
1882
+ 568,
1883
+ 568,
1884
+ 568,
1885
+ 568,
1886
+ 568,
1887
+ 568,
1888
+ 568,
1889
+ 568,
1890
+ 568,
1891
+ 568,
1892
+ 568,
1893
+ 568,
1894
+ 568,
1895
+ 568,
1896
+ 568,
1897
+ 568,
1898
+ 568,
1899
+ 568,
1900
+ 568,
1901
+ 568,
1902
+ 568,
1903
+ 568,
1904
+ 568,
1905
+ 568,
1906
+ 568,
1907
+ 568,
1908
+ 568,
1909
+ 568,
1910
+ 568,
1911
+ 568,
1912
+ 568,
1913
+ 568,
1914
+ 568,
1915
+ 568,
1916
+ 568,
1917
+ 568,
1918
+ 568,
1919
+ 568,
1920
+ 568,
1921
+ 568,
1922
+ 568,
1923
+ 568,
1924
+ 568,
1925
+ 568,
1926
+ 568,
1927
+ 568,
1928
+ 568,
1929
+ 568,
1930
+ 568,
1931
+ 568,
1932
+ 568,
1933
+ 568,
1934
+ 568,
1935
+ 568,
1936
+ 568,
1937
+ 568,
1938
+ 568,
1939
+ 568,
1940
+ 568,
1941
+ 568,
1942
+ 568,
1943
+ 568,
1944
+ 568,
1945
+ 568,
1946
+ 568,
1947
+ 568,
1948
+ 568,
1949
+ 568,
1950
+ 568,
1951
+ 568,
1952
+ 568,
1953
+ 568,
1954
+ 568,
1955
+ 568,
1956
+ 568,
1957
+ 568,
1958
+ 568,
1959
+ 568,
1960
+ 568,
1961
+ 568,
1962
+ 568,
1963
+ 568,
1964
+ 568,
1965
+ 568,
1966
+ 568,
1967
+ 568,
1968
+ 568,
1969
+ 568,
1970
+ 568,
1971
+ 568,
1972
+ 568,
1973
+ 568,
1974
+ 568,
1975
+ 568,
1976
+ 568,
1977
+ 568,
1978
+ 568,
1979
+ 568,
1980
+ 568,
1981
+ 568,
1982
+ 568,
1983
+ 568,
1984
+ 568,
1985
+ 568,
1986
+ 568,
1987
+ 568,
1988
+ 568,
1989
+ 568,
1990
+ 568,
1991
+ 568,
1992
+ 568,
1993
+ 568,
1994
+ 568,
1995
+ 568,
1996
+ 568,
1997
+ 568,
1998
+ 568,
1999
+ 568,
2000
+ 568,
2001
+ 568,
2002
+ 568,
2003
+ 568,
2004
+ 568,
2005
+ 568,
2006
+ 568,
2007
+ 568,
2008
+ 568,
2009
+ 568,
2010
+ 568,
2011
+ 568,
2012
+ 568,
2013
+ 568,
2014
+ 568,
2015
+ 568,
2016
+ 568,
2017
+ 568,
2018
+ 568,
2019
+ 568,
2020
+ 568,
2021
+ 568,
2022
+ 568,
2023
+ 568,
2024
+ 568,
2025
+ 568,
2026
+ 568,
2027
+ 568,
2028
+ 568,
2029
+ 568,
2030
+ 568,
2031
+ 568,
2032
+ 568,
2033
+ 568,
2034
+ 568,
2035
+ 568,
2036
+ 568,
2037
+ 568,
2038
+ 568,
2039
+ 568,
2040
+ 568,
2041
+ 568,
2042
+ 568,
2043
+ 568,
2044
+ 568,
2045
+ 568,
2046
+ 568,
2047
+ 568,
2048
+ 568,
2049
+ 568,
2050
+ 568,
2051
+ 568,
2052
+ 568,
2053
+ 568,
2054
+ 568,
2055
+ 568,
2056
+ 568,
2057
+ 568,
2058
+ 568,
2059
+ 568,
2060
+ 568,
2061
+ 568,
2062
+ 568,
2063
+ 568,
2064
+ 568,
2065
+ 568,
2066
+ 568,
2067
+ 568,
2068
+ 568,
2069
+ 568,
2070
+ 568,
2071
+ 568,
2072
+ 568,
2073
+ 568,
2074
+ 568,
2075
+ 568,
2076
+ 568,
2077
+ 568,
2078
+ 568,
2079
+ 568,
2080
+ 568,
2081
+ 568,
2082
+ 568,
2083
+ 568,
2084
+ 568,
2085
+ 568,
2086
+ 568,
2087
+ 568,
2088
+ 568,
2089
+ 568,
2090
+ 568,
2091
+ 568,
2092
+ 568,
2093
+ 568,
2094
+ 568
2095
+ ],
2096
+ "num_tokens": 256
2097
+ },
2098
+ {
2099
+ "text_prompt": "Fire burning in a fireplace",
2100
+ "video_tokens": [
2101
+ 568,
2102
+ 568,
2103
+ 568,
2104
+ 568,
2105
+ 568,
2106
+ 568,
2107
+ 568,
2108
+ 568,
2109
+ 568,
2110
+ 568,
2111
+ 568,
2112
+ 568,
2113
+ 568,
2114
+ 568,
2115
+ 568,
2116
+ 568,
2117
+ 568,
2118
+ 568,
2119
+ 568,
2120
+ 568,
2121
+ 568,
2122
+ 568,
2123
+ 568,
2124
+ 568,
2125
+ 568,
2126
+ 568,
2127
+ 568,
2128
+ 568,
2129
+ 568,
2130
+ 568,
2131
+ 568,
2132
+ 568,
2133
+ 568,
2134
+ 568,
2135
+ 568,
2136
+ 568,
2137
+ 568,
2138
+ 568,
2139
+ 568,
2140
+ 568,
2141
+ 568,
2142
+ 568,
2143
+ 568,
2144
+ 568,
2145
+ 568,
2146
+ 568,
2147
+ 568,
2148
+ 568,
2149
+ 568,
2150
+ 568,
2151
+ 568,
2152
+ 568,
2153
+ 568,
2154
+ 568,
2155
+ 568,
2156
+ 568,
2157
+ 568,
2158
+ 568,
2159
+ 568,
2160
+ 568,
2161
+ 568,
2162
+ 568,
2163
+ 568,
2164
+ 568,
2165
+ 568,
2166
+ 568,
2167
+ 568,
2168
+ 568,
2169
+ 568,
2170
+ 568,
2171
+ 568,
2172
+ 568,
2173
+ 568,
2174
+ 568,
2175
+ 568,
2176
+ 568,
2177
+ 568,
2178
+ 568,
2179
+ 568,
2180
+ 568,
2181
+ 568,
2182
+ 568,
2183
+ 568,
2184
+ 568,
2185
+ 568,
2186
+ 568,
2187
+ 568,
2188
+ 568,
2189
+ 568,
2190
+ 568,
2191
+ 568,
2192
+ 568,
2193
+ 568,
2194
+ 568,
2195
+ 568,
2196
+ 568,
2197
+ 568,
2198
+ 568,
2199
+ 568,
2200
+ 568,
2201
+ 568,
2202
+ 568,
2203
+ 568,
2204
+ 568,
2205
+ 568,
2206
+ 568,
2207
+ 568,
2208
+ 568,
2209
+ 568,
2210
+ 568,
2211
+ 568,
2212
+ 568,
2213
+ 568,
2214
+ 568,
2215
+ 568,
2216
+ 568,
2217
+ 568,
2218
+ 568,
2219
+ 568,
2220
+ 568,
2221
+ 568,
2222
+ 568,
2223
+ 568,
2224
+ 568,
2225
+ 568,
2226
+ 568,
2227
+ 568,
2228
+ 568,
2229
+ 568,
2230
+ 568,
2231
+ 568,
2232
+ 568,
2233
+ 568,
2234
+ 568,
2235
+ 568,
2236
+ 568,
2237
+ 568,
2238
+ 568,
2239
+ 568,
2240
+ 568,
2241
+ 568,
2242
+ 568,
2243
+ 568,
2244
+ 568,
2245
+ 568,
2246
+ 568,
2247
+ 568,
2248
+ 568,
2249
+ 568,
2250
+ 568,
2251
+ 568,
2252
+ 568,
2253
+ 568,
2254
+ 568,
2255
+ 568,
2256
+ 568,
2257
+ 568,
2258
+ 568,
2259
+ 568,
2260
+ 568,
2261
+ 568,
2262
+ 568,
2263
+ 568,
2264
+ 568,
2265
+ 568,
2266
+ 568,
2267
+ 568,
2268
+ 568,
2269
+ 568,
2270
+ 568,
2271
+ 568,
2272
+ 568,
2273
+ 568,
2274
+ 568,
2275
+ 568,
2276
+ 568,
2277
+ 568,
2278
+ 568,
2279
+ 568,
2280
+ 568,
2281
+ 568,
2282
+ 568,
2283
+ 568,
2284
+ 568,
2285
+ 568,
2286
+ 568,
2287
+ 568,
2288
+ 568,
2289
+ 568,
2290
+ 568,
2291
+ 568,
2292
+ 568,
2293
+ 568,
2294
+ 568,
2295
+ 568,
2296
+ 568,
2297
+ 568,
2298
+ 568,
2299
+ 568,
2300
+ 568,
2301
+ 568,
2302
+ 568,
2303
+ 568,
2304
+ 568,
2305
+ 568,
2306
+ 568,
2307
+ 568,
2308
+ 568,
2309
+ 568,
2310
+ 568,
2311
+ 568,
2312
+ 568,
2313
+ 568,
2314
+ 568,
2315
+ 568,
2316
+ 568,
2317
+ 568,
2318
+ 568,
2319
+ 568,
2320
+ 568,
2321
+ 568,
2322
+ 568,
2323
+ 568,
2324
+ 568,
2325
+ 568,
2326
+ 568,
2327
+ 568,
2328
+ 568,
2329
+ 568,
2330
+ 568,
2331
+ 568,
2332
+ 568,
2333
+ 568,
2334
+ 568,
2335
+ 568,
2336
+ 568,
2337
+ 568,
2338
+ 568,
2339
+ 568,
2340
+ 568,
2341
+ 568,
2342
+ 568,
2343
+ 568,
2344
+ 568,
2345
+ 568,
2346
+ 568,
2347
+ 568,
2348
+ 568,
2349
+ 568,
2350
+ 568,
2351
+ 568,
2352
+ 568,
2353
+ 568,
2354
+ 568,
2355
+ 568,
2356
+ 568
2357
+ ],
2358
+ "num_tokens": 256
2359
+ },
2360
+ {
2361
+ "text_prompt": "A car driving on a highway",
2362
+ "video_tokens": [
2363
+ 568,
2364
+ 568,
2365
+ 568,
2366
+ 568,
2367
+ 568,
2368
+ 568,
2369
+ 568,
2370
+ 568,
2371
+ 568,
2372
+ 568,
2373
+ 568,
2374
+ 568,
2375
+ 568,
2376
+ 568,
2377
+ 568,
2378
+ 568,
2379
+ 568,
2380
+ 568,
2381
+ 568,
2382
+ 568,
2383
+ 568,
2384
+ 568,
2385
+ 568,
2386
+ 568,
2387
+ 568,
2388
+ 568,
2389
+ 568,
2390
+ 568,
2391
+ 568,
2392
+ 568,
2393
+ 568,
2394
+ 568,
2395
+ 568,
2396
+ 568,
2397
+ 568,
2398
+ 568,
2399
+ 568,
2400
+ 568,
2401
+ 568,
2402
+ 568,
2403
+ 568,
2404
+ 568,
2405
+ 568,
2406
+ 568,
2407
+ 568,
2408
+ 568,
2409
+ 568,
2410
+ 568,
2411
+ 568,
2412
+ 568,
2413
+ 568,
2414
+ 568,
2415
+ 568,
2416
+ 568,
2417
+ 568,
2418
+ 568,
2419
+ 568,
2420
+ 568,
2421
+ 568,
2422
+ 568,
2423
+ 568,
2424
+ 568,
2425
+ 568,
2426
+ 568,
2427
+ 568,
2428
+ 568,
2429
+ 568,
2430
+ 568,
2431
+ 568,
2432
+ 568,
2433
+ 568,
2434
+ 568,
2435
+ 568,
2436
+ 568,
2437
+ 568,
2438
+ 568,
2439
+ 568,
2440
+ 568,
2441
+ 568,
2442
+ 568,
2443
+ 568,
2444
+ 568,
2445
+ 568,
2446
+ 568,
2447
+ 568,
2448
+ 568,
2449
+ 568,
2450
+ 568,
2451
+ 568,
2452
+ 568,
2453
+ 568,
2454
+ 568,
2455
+ 568,
2456
+ 568,
2457
+ 568,
2458
+ 568,
2459
+ 568,
2460
+ 568,
2461
+ 568,
2462
+ 568,
2463
+ 568,
2464
+ 568,
2465
+ 568,
2466
+ 568,
2467
+ 568,
2468
+ 568,
2469
+ 568,
2470
+ 568,
2471
+ 568,
2472
+ 568,
2473
+ 568,
2474
+ 568,
2475
+ 568,
2476
+ 568,
2477
+ 568,
2478
+ 568,
2479
+ 568,
2480
+ 568,
2481
+ 568,
2482
+ 568,
2483
+ 568,
2484
+ 568,
2485
+ 568,
2486
+ 568,
2487
+ 568,
2488
+ 568,
2489
+ 568,
2490
+ 568,
2491
+ 568,
2492
+ 568,
2493
+ 568,
2494
+ 568,
2495
+ 568,
2496
+ 568,
2497
+ 568,
2498
+ 568,
2499
+ 568,
2500
+ 568,
2501
+ 568,
2502
+ 568,
2503
+ 568,
2504
+ 568,
2505
+ 568,
2506
+ 568,
2507
+ 568,
2508
+ 568,
2509
+ 568,
2510
+ 568,
2511
+ 568,
2512
+ 568,
2513
+ 568,
2514
+ 568,
2515
+ 568,
2516
+ 568,
2517
+ 568,
2518
+ 568,
2519
+ 568,
2520
+ 568,
2521
+ 568,
2522
+ 568,
2523
+ 568,
2524
+ 568,
2525
+ 568,
2526
+ 568,
2527
+ 568,
2528
+ 568,
2529
+ 568,
2530
+ 568,
2531
+ 568,
2532
+ 568,
2533
+ 568,
2534
+ 568,
2535
+ 568,
2536
+ 568,
2537
+ 568,
2538
+ 568,
2539
+ 568,
2540
+ 568,
2541
+ 568,
2542
+ 568,
2543
+ 568,
2544
+ 568,
2545
+ 568,
2546
+ 568,
2547
+ 568,
2548
+ 568,
2549
+ 568,
2550
+ 568,
2551
+ 568,
2552
+ 568,
2553
+ 568,
2554
+ 568,
2555
+ 568,
2556
+ 568,
2557
+ 568,
2558
+ 568,
2559
+ 568,
2560
+ 568,
2561
+ 568,
2562
+ 568,
2563
+ 568,
2564
+ 568,
2565
+ 568,
2566
+ 568,
2567
+ 568,
2568
+ 568,
2569
+ 568,
2570
+ 568,
2571
+ 568,
2572
+ 568,
2573
+ 568,
2574
+ 568,
2575
+ 568,
2576
+ 568,
2577
+ 568,
2578
+ 568,
2579
+ 568,
2580
+ 568,
2581
+ 568,
2582
+ 568,
2583
+ 568,
2584
+ 568,
2585
+ 568,
2586
+ 568,
2587
+ 568,
2588
+ 568,
2589
+ 568,
2590
+ 568,
2591
+ 568,
2592
+ 568,
2593
+ 568,
2594
+ 568,
2595
+ 568,
2596
+ 568,
2597
+ 568,
2598
+ 568,
2599
+ 568,
2600
+ 568,
2601
+ 568,
2602
+ 568,
2603
+ 568,
2604
+ 568,
2605
+ 568,
2606
+ 568,
2607
+ 568,
2608
+ 568,
2609
+ 568,
2610
+ 568,
2611
+ 568,
2612
+ 568,
2613
+ 568,
2614
+ 568,
2615
+ 568,
2616
+ 568,
2617
+ 568,
2618
+ 568
2619
+ ],
2620
+ "num_tokens": 256
2621
+ }
2622
+ ]
train_on_hf_spaces.py ADDED
@@ -0,0 +1,113 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ #!/usr/bin/env python3
2
+ """
3
+ HuggingFace Spaces Training Script for EeshaAI/zeeb
4
+
5
+ This script runs on HuggingFace Spaces (free CPU tier, 16GB RAM).
6
+ It fine-tunes OLMo 2 1B Instruct with LoRA to generate video tokens.
7
+
8
+ Steps:
9
+ 1. Load OLMo 2 1B Instruct (full HuggingFace model)
10
+ 2. Add visual token vocabulary
11
+ 3. Apply LoRA (r=4)
12
+ 4. Train on tokenized video data
13
+ 5. Merge and convert to GGUF
14
+ 6. Push to EeshaAI/zeeb
15
+ """
16
+
17
+ import os
18
+ import json
19
+ import torch
20
+ from torch.utils.data import DataLoader, Dataset
21
+ from transformers import AutoModelForCausalLM, AutoTokenizer
22
+ from peft import LoraConfig, get_peft_model, TaskType
23
+
24
+ HF_TOKEN = os.environ.get("HF_TOKEN", "")
25
+ REPO_ID = "eeshaAI/zeeb"
26
+ MODEL_NAME = "allenai/OLMo-2-0425-1B-Instruct"
27
+ CODEBOOK_SIZE = 1024
28
+ VIDEO_START = "<video_start>"
29
+ VIDEO_END = "<video_end>"
30
+
31
+ class VideoTokenDataset(Dataset):
32
+ def __init__(self, data_path, codebook_size, max_tokens=128):
33
+ with open(data_path) as f:
34
+ self.data = json.load(f)
35
+ self.codebook_size = codebook_size
36
+ self.max_tokens = max_tokens
37
+
38
+ def __len__(self):
39
+ return len(self.data)
40
+
41
+ def __getitem__(self, idx):
42
+ item = self.data[idx]
43
+ prompt = item["text_prompt"]
44
+ tokens = item["video_tokens"][:self.max_tokens]
45
+ while len(tokens) < self.max_tokens:
46
+ tokens.append(0)
47
+ return {"prompt": prompt, "video_tokens": torch.tensor(tokens, dtype=torch.long)}
48
+
49
+ def train():
50
+ print("Loading model...")
51
+ tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME, trust_remote_code=True)
52
+ if tokenizer.pad_token is None:
53
+ tokenizer.pad_token = tokenizer.eos_token
54
+
55
+ model = AutoModelForCausalLM.from_pretrained(
56
+ MODEL_NAME, trust_remote_code=True, torch_dtype=torch.float32
57
+ )
58
+
59
+ # Add visual tokens
60
+ visual_tokens = [VIDEO_START, VIDEO_END, "<video_pad>"]
61
+ for i in range(CODEBOOK_SIZE):
62
+ visual_tokens.append(f"<v_{i}>")
63
+ tokenizer.add_tokens(visual_tokens)
64
+ model.resize_token_embeddings(len(tokenizer))
65
+
66
+ # LoRA
67
+ lora_config = LoraConfig(
68
+ r=4, lora_alpha=8,
69
+ target_modules=["q_proj", "v_proj"],
70
+ lora_dropout=0.05, bias="none",
71
+ task_type=TaskType.CAUSAL_LM,
72
+ )
73
+ model = get_peft_model(model, lora_config)
74
+ model.print_trainable_parameters()
75
+
76
+ # Load data
77
+ dataset = VideoTokenDataset("tokenized_dataset.json", CODEBOOK_SIZE)
78
+ dataloader = DataLoader(dataset, batch_size=1, shuffle=True)
79
+
80
+ # Train
81
+ optimizer = torch.optim.Adafactor(model.parameters(), lr=1e-4)
82
+ model.train()
83
+
84
+ for epoch in range(3):
85
+ for batch in dataloader:
86
+ prompt = batch["prompt"][0]
87
+ tokens = batch["video_tokens"][0]
88
+ token_str = " ".join(f"<v_{t.item()}>" for t in tokens)
89
+ text = f"Create a video of: {prompt} {VIDEO_START} {token_str} {VIDEO_END}"
90
+
91
+ inputs = tokenizer(text, return_tensors="pt", truncation=True, max_length=512, padding="max_length")
92
+ outputs = model(**inputs, labels=inputs["input_ids"])
93
+ loss = outputs.loss
94
+
95
+ loss.backward()
96
+ torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0)
97
+ optimizer.step()
98
+ optimizer.zero_grad()
99
+
100
+ print(f"Loss: {loss.item():.4f}")
101
+
102
+ # Save & push
103
+ model = model.merge_and_unload()
104
+ model.save_pretrained("./trained_model")
105
+ tokenizer.save_pretrained("./trained_model")
106
+
107
+ from huggingface_hub import HfApi
108
+ api = HfApi(token=HF_TOKEN)
109
+ api.upload_folder(folder_path="./trained_model", repo_id=REPO_ID, repo_type="model")
110
+ print(f"Pushed to https://huggingface.co/{REPO_ID}")
111
+
112
+ if __name__ == "__main__":
113
+ train()
vq_vae_final.pt ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:7db47a878f8f2f8420fe3246ce53f1c29c54e0404eb36244dc92249f9c070a28
3
+ size 70594679