Update app.py

app.py

@@ -51,8 +51,10 @@ def stream_generate(model, tokenizer, prompt, max_length, temperature, top_p, to
             next_token_id = outputs[0, -1].unsqueeze(0)
             output_ids = torch.cat([output_ids, next_token_id.unsqueeze(0)], dim=-1)
 
-            new_word = tokenizer.decode(next_token_id, skip_special_tokens=True)
-            yield new_word.strip()
+            # Очистка и корректировка слова
+            new_word = tokenizer.decode(next_token_id, skip_special_tokens=True).strip()
+            clean_word = new_word.replace(" ", "").replace("▁", " ")  # Очистка BPE пробелов
+            yield clean_word
             if next_token_id == tokenizer.eos_token_id:
                 break
 
@@ -138,7 +140,14 @@ def main():
     rating = st.slider("Рейтинг", 1, 5, 1)
     key_words = st.text_input("Ключевые слова", value="десерт, торт, цена")
 
-    input_text = f"Категория: {category}; Рейтинг: {rating}; Ключевые слова: {key_words} -> Отзыв:"
+    # Улучшенный промпт
+    input_text = (
+        f"Напиши отзыв для заведения. "
+        f"Категория: {category}. "
+        f"Рейтинг: {rating} из 5. "
+        f"Включи ключевые слова: {key_words}. "
+        f"Отзыв:"
+    )
 
     if not category or not key_words:
         st.warning("Пожалуйста, заполните все поля ввода.")
@@ -154,7 +163,7 @@ def main():
             model, tokenizer, input_text, params['max_length'], params['temperature'], 
             params['top_p'], params['top_k'], params['do_sample'], params['no_repeat_ngram_size']
         ):
-            generated_text += word + " "
+            generated_text += word  # Корректное добавление слов
             formatted_text = capitalize_and_punctuate_stream(generated_text)
             placeholder.write(formatted_text)