Update app.py
Browse files
app.py
CHANGED
|
@@ -49,7 +49,7 @@ def predict(message, history):
|
|
| 49 |
).to(model.device) # 确保输入张量和模型在同一设备上
|
| 50 |
|
| 51 |
# 2. 设置流式输出
|
| 52 |
-
streamer = TextIteratorStreamer(tokenizer, timeout=
|
| 53 |
|
| 54 |
# 3. 在一个单独的线程中运行生成,以避免阻塞UI
|
| 55 |
generation_kwargs = dict(
|
|
|
|
| 49 |
).to(model.device) # 确保输入张量和模型在同一设备上
|
| 50 |
|
| 51 |
# 2. 设置流式输出
|
| 52 |
+
streamer = TextIteratorStreamer(tokenizer, timeout=300.0, skip_prompt=True, skip_special_tokens=True)
|
| 53 |
|
| 54 |
# 3. 在一个单独的线程中运行生成,以避免阻塞UI
|
| 55 |
generation_kwargs = dict(
|