Spaces:
Running
on
Zero
Running
on
Zero
Update app.py
Browse files
app.py
CHANGED
|
@@ -30,6 +30,7 @@ def rnd_generate(prompt):
|
|
| 30 |
@spaces.GPU
|
| 31 |
def generate(prompt):
|
| 32 |
result_length = len(prompt) + 4
|
|
|
|
| 33 |
inputs = tokenizer(prompt, return_tensors="pt").to('cuda') # 回傳的張量使用 Pytorch的格式。如果是 Tensorflow 格式的話,則指定為 "tf"。
|
| 34 |
results = model.generate(inputs["input_ids"],
|
| 35 |
num_return_sequences=2, # 產生 2 個句子回來。
|
|
|
|
| 30 |
@spaces.GPU
|
| 31 |
def generate(prompt):
|
| 32 |
result_length = len(prompt) + 4
|
| 33 |
+
prompt = prompt.split("<bos>")[1]
|
| 34 |
inputs = tokenizer(prompt, return_tensors="pt").to('cuda') # 回傳的張量使用 Pytorch的格式。如果是 Tensorflow 格式的話,則指定為 "tf"。
|
| 35 |
results = model.generate(inputs["input_ids"],
|
| 36 |
num_return_sequences=2, # 產生 2 個句子回來。
|