Spaces:
Build error
Build error
Update app.py
Browse files
app.py
CHANGED
|
@@ -2,30 +2,31 @@ import streamlit as st
|
|
| 2 |
import pandas as pd
|
| 3 |
import numpy as np
|
| 4 |
import nltk
|
|
|
|
| 5 |
from nltk.tokenize import sent_tokenize, word_tokenize
|
| 6 |
from transformers import AutoModelForCausalLM, AutoTokenizer
|
| 7 |
|
| 8 |
-
|
|
|
|
| 9 |
st.set_page_config(
|
| 10 |
page_title="Generate reviews",
|
| 11 |
-
# layout="wide",
|
| 12 |
initial_sidebar_state="expanded"
|
| 13 |
)
|
| 14 |
|
| 15 |
|
| 16 |
# Загрузка модели и токенизатора
|
| 17 |
-
|
| 18 |
def get_model():
|
| 19 |
# Загрузка модели
|
| 20 |
model = AutoModelForCausalLM.from_pretrained('model')
|
| 21 |
# Загрузка токенизатора
|
| 22 |
tokenizer = AutoTokenizer.from_pretrained('model')
|
| 23 |
-
return
|
| 24 |
|
| 25 |
|
| 26 |
# Генерация отзыва
|
| 27 |
-
def gen_review(input_text):
|
| 28 |
-
|
| 29 |
input_ids = tokenizer.encode(input_text, return_tensors='pt')
|
| 30 |
output = model.generate(
|
| 31 |
input_ids,
|
|
@@ -42,62 +43,52 @@ def gen_review(input_text):
|
|
| 42 |
|
| 43 |
|
| 44 |
def capitalize_and_punctuate(text):
|
| 45 |
-
nltk.download('punkt')
|
| 46 |
# Разделяем текст на предложения
|
| 47 |
sentences = sent_tokenize(text)
|
| 48 |
-
|
| 49 |
# Проверка последнего предложения
|
| 50 |
last_sentence = sentences[-1]
|
| 51 |
-
if not last_sentence.endswith('.'):
|
| 52 |
sentences.pop()
|
| 53 |
-
|
| 54 |
# Обрабатываем оставшиеся предложения
|
| 55 |
corrected_sentences = []
|
| 56 |
for sentence in sentences:
|
| 57 |
words = word_tokenize(sentence)
|
| 58 |
-
|
| 59 |
# Делаем первую букву первого слова заглавной
|
| 60 |
if len(words) > 0:
|
| 61 |
words[0] = words[0].capitalize()
|
| 62 |
-
|
| 63 |
# Собираем обратно предложение
|
| 64 |
corrected_sentence = ' '.join(words)
|
| 65 |
corrected_sentences.append(corrected_sentence)
|
| 66 |
-
|
| 67 |
# Объединяем все предложения в единый текст
|
| 68 |
final_text = ' '.join(corrected_sentences)
|
| 69 |
-
|
| 70 |
return final_text
|
| 71 |
|
| 72 |
|
| 73 |
-
#
|
| 74 |
def main():
|
| 75 |
if 'btn_predict' not in st.session_state:
|
| 76 |
st.session_state['btn_predict'] = False
|
| 77 |
|
| 78 |
-
# Sidebar
|
| 79 |
-
# st.sidebar.markdown(''' # New York City Taxi Trip Duration''')
|
| 80 |
-
# st.sidebar.image("img/taxi_img.png")
|
| 81 |
-
|
| 82 |
category = st.text_input("Категория:", value="Кондитерская")
|
| 83 |
rating = st.slider("Рейтинг", 1, 5, 1)
|
| 84 |
key_words = st.text_input("Ключевые слова", value="десерт, торт, цена")
|
| 85 |
-
|
| 86 |
# Ввод новых параметров
|
| 87 |
input_text = f"Категория: {category}; Рейтинг: {rating}; Ключевые слова: {key_words} -> Отзыв:"
|
| 88 |
|
| 89 |
-
|
| 90 |
-
|
| 91 |
-
|
| 92 |
-
generated_text = gen_review(input_text)
|
| 93 |
-
with st.spinner('Wait for it...'):
|
| 94 |
generated_text = capitalize_and_punctuate(generated_text)
|
| 95 |
st.text(generated_text)
|
| 96 |
-
st.success("
|
| 97 |
-
|
| 98 |
-
|
| 99 |
|
| 100 |
|
| 101 |
if __name__ == "__main__":
|
| 102 |
main()
|
| 103 |
-
|
|
|
|
| 2 |
import pandas as pd
|
| 3 |
import numpy as np
|
| 4 |
import nltk
|
| 5 |
+
nltk.download('punkt')
|
| 6 |
from nltk.tokenize import sent_tokenize, word_tokenize
|
| 7 |
from transformers import AutoModelForCausalLM, AutoTokenizer
|
| 8 |
|
| 9 |
+
|
| 10 |
+
# Настройка конфигурации страницы Streamlit
|
| 11 |
st.set_page_config(
|
| 12 |
page_title="Generate reviews",
|
|
|
|
| 13 |
initial_sidebar_state="expanded"
|
| 14 |
)
|
| 15 |
|
| 16 |
|
| 17 |
# Загрузка модели и токенизатора
|
| 18 |
+
@st.cache_resource()
|
| 19 |
def get_model():
|
| 20 |
# Загрузка модели
|
| 21 |
model = AutoModelForCausalLM.from_pretrained('model')
|
| 22 |
# Загрузка токенизатора
|
| 23 |
tokenizer = AutoTokenizer.from_pretrained('model')
|
| 24 |
+
return model, tokenizer
|
| 25 |
|
| 26 |
|
| 27 |
# Генерация отзыва
|
| 28 |
+
def gen_review(input_text):
|
| 29 |
+
model, tokenizer = get_model()
|
| 30 |
input_ids = tokenizer.encode(input_text, return_tensors='pt')
|
| 31 |
output = model.generate(
|
| 32 |
input_ids,
|
|
|
|
| 43 |
|
| 44 |
|
| 45 |
def capitalize_and_punctuate(text):
|
|
|
|
| 46 |
# Разделяем текст на предложения
|
| 47 |
sentences = sent_tokenize(text)
|
| 48 |
+
|
| 49 |
# Проверка последнего предложения
|
| 50 |
last_sentence = sentences[-1]
|
| 51 |
+
if not last_sentence.endswith('.'):
|
| 52 |
sentences.pop()
|
| 53 |
+
|
| 54 |
# Обрабатываем оставшиеся предложения
|
| 55 |
corrected_sentences = []
|
| 56 |
for sentence in sentences:
|
| 57 |
words = word_tokenize(sentence)
|
| 58 |
+
|
| 59 |
# Делаем первую букву первого слова заглавной
|
| 60 |
if len(words) > 0:
|
| 61 |
words[0] = words[0].capitalize()
|
| 62 |
+
|
| 63 |
# Собираем обратно предложение
|
| 64 |
corrected_sentence = ' '.join(words)
|
| 65 |
corrected_sentences.append(corrected_sentence)
|
| 66 |
+
|
| 67 |
# Объединяем все предложения в единый текст
|
| 68 |
final_text = ' '.join(corrected_sentences)
|
| 69 |
+
|
| 70 |
return final_text
|
| 71 |
|
| 72 |
|
| 73 |
+
# Главная функция
|
| 74 |
def main():
|
| 75 |
if 'btn_predict' not in st.session_state:
|
| 76 |
st.session_state['btn_predict'] = False
|
| 77 |
|
|
|
|
|
|
|
|
|
|
|
|
|
| 78 |
category = st.text_input("Категория:", value="Кондитерская")
|
| 79 |
rating = st.slider("Рейтинг", 1, 5, 1)
|
| 80 |
key_words = st.text_input("Ключевые слова", value="десерт, торт, цена")
|
| 81 |
+
|
| 82 |
# Ввод новых параметров
|
| 83 |
input_text = f"Категория: {category}; Рейтинг: {rating}; Ключевые слова: {key_words} -> Отзыв:"
|
| 84 |
|
| 85 |
+
if st.button('Generate'):
|
| 86 |
+
with st.spinner('Генерация отзыва...'):
|
| 87 |
+
generated_text = gen_review(input_text)
|
|
|
|
|
|
|
| 88 |
generated_text = capitalize_and_punctuate(generated_text)
|
| 89 |
st.text(generated_text)
|
| 90 |
+
st.success("Готово!")
|
|
|
|
|
|
|
| 91 |
|
| 92 |
|
| 93 |
if __name__ == "__main__":
|
| 94 |
main()
|
|
|