Upload 14 files

README.md

@@ -1,19 +1,12 @@
 ---
-title: PP3
-emoji: 🚀
-colorFrom: red
-colorTo: red
-sdk: docker
-app_port: 8501
-tags:
-- streamlit
+title: PP3 Team 1
+emoji: 🐢
+colorFrom: pink
+colorTo: blue
+sdk: streamlit
+sdk_version: 1.40.2
+app_file: app.py
 pinned: false
-short_description: Streamlit template space
 ---
 
-# Welcome to Streamlit!
-
-Edit `/src/streamlit_app.py` to customize this app to your heart's desire. :heart:
-
-If you have any questions, checkout our [documentation](https://docs.streamlit.io) and [community
-forums](https://discuss.streamlit.io).
+Check out the configuration reference at https://huggingface.co/docs/hub/spaces-config-reference

_app.py

@@ -0,0 +1,107 @@
+import streamlit as st
+import pandas as pd
+import numpy as np
+import nltk
+from nltk.tokenize import sent_tokenize, word_tokenize
+from transformers import AutoModelForCausalLM, AutoTokenizer
+
+
+# Настройка конфигурации страницы Streamlit
+st.set_page_config(
+    page_title="Generate reviews",
+    initial_sidebar_state="expanded"
+)
+
+# Заголовок приложения
+st.title("Генератор отзывов на основе ИИ")
+st.write("Создайте уникальные текстовые отзывы о различных местах на основе категорий, рейтинга и ключевых слов.")
+
+
+def download_nltk_data():
+    nltk.download('punkt')
+    nltk.download('punkt_tab')
+
+
+# Загрузка модели и токенизатора
+# @st.cache_data()
+@st.cache_resource
+def get_model():
+    # Загрузка модели
+    model = AutoModelForCausalLM.from_pretrained('model')
+    # Загрузка токенизатора
+    tokenizer = AutoTokenizer.from_pretrained('model')
+    return model, tokenizer
+
+
+# Генерация отзыва
+def gen_review(input_text):
+    model, tokenizer = get_model()
+    input_ids = tokenizer.encode(input_text, return_tensors='pt')
+    output = model.generate(
+        input_ids,
+        max_length=200,
+        num_return_sequences=1,
+        no_repeat_ngram_size=2,
+        do_sample=True,
+        top_p=0.95,
+        top_k=60,
+        temperature=0.9,
+        eos_token_id=tokenizer.eos_token_id,
+    )
+    return tokenizer.decode(output[0], skip_special_tokens=True)
+
+
+def capitalize_and_punctuate(text):    
+    # Разделяем текст на предложения
+    text = text.split(":")[-1].strip()
+    sentences = sent_tokenize(text)
+
+    # Проверка последнего предложения
+    last_sentence = sentences[-1]
+    if not last_sentence.endswith('.'):
+        sentences.pop()
+
+    # Обрабатываем оставшиеся предложения
+    corrected_sentences = []
+    for sentence in sentences:
+        words = word_tokenize(sentence)
+
+        # Делаем первую букву первого слова заглавной
+        if len(words) > 0:
+            words[0] = words[0].capitalize()
+
+        # Собираем обратно предложение
+        corrected_sentence = ' '.join(words)
+        corrected_sentences.append(corrected_sentence)
+
+    # Объединяем все предложения в единый текст
+    final_text = ' '.join(corrected_sentences)
+    final_text = final_text.replace(' .', '.')
+    
+    return final_text
+
+
+# Главная функция
+def main():
+    
+    if 'btn_predict' not in st.session_state:
+        st.session_state['btn_predict'] = False
+
+    category = st.text_input("Категория:", value="Кондитерская")
+    rating = st.slider("Рейтинг", 1, 5, 1)
+    key_words = st.text_input("Ключевые слова", value="десерт, торт, цена")
+
+    # Ввод новых параметров
+    input_text = f"Категория: {category}; Рейтинг: {rating}; Ключевые слова: {key_words} -> Отзыв:"
+
+    if st.button('Generate'):
+        with st.spinner('Генерация отзыва...'):
+            generated_text = gen_review(input_text)
+            generated_text = capitalize_and_punctuate(generated_text)        
+        st.success("Готово!")
+        st.text(generated_text)
+
+
+if __name__ == "__main__":
+    download_nltk_data()
+    main()

_app2.py

@@ -0,0 +1,103 @@
+import streamlit as st
+import pandas as pd
+
+
+from transformers import AutoModelForCausalLM, AutoTokenizer
+
+
+# Настройка конфигурации страницы Streamlit
+st.set_page_config(
+    page_title="Generate reviews",
+    initial_sidebar_state="expanded"
+)
+
+# Заголовок приложения
+st.title("Генератор отзывов на основе ИИ")
+st.write("Создайте уникальные текстовые отзывы о различных местах на основе категорий, рейтинга и ключевых слов.")
+
+
+# Загрузка модели и токенизатора
+# @st.cache_data()
+@st.cache_resource
+def get_model():
+    # Загрузка модели
+    model = AutoModelForCausalLM.from_pretrained('model')
+    # Загрузка токенизатора
+    tokenizer = AutoTokenizer.from_pretrained('model')
+    return model, tokenizer
+
+
+# Генерация отзыва
+def gen_review(input_text):
+    model, tokenizer = get_model()
+    input_ids = tokenizer.encode(input_text, return_tensors='pt')
+    output = model.generate(
+        input_ids,
+        max_length=200,
+        num_return_sequences=1,
+        no_repeat_ngram_size=2,
+        do_sample=True,
+        top_p=0.95,
+        top_k=60,
+        temperature=0.9,
+        eos_token_id=tokenizer.eos_token_id,
+    )
+    return tokenizer.decode(output[0], skip_special_tokens=True)
+
+
+def capitalize_and_punctuate(text):
+    # Извлекаем часть текста после последнего двоеточия
+    text = text.split(":")[-1].strip()
+    
+    # Разделяем текст на предложения по общим знакам препинания
+    sentences = []
+    current_sentence = []
+    for char in text:
+        current_sentence.append(char)
+        # Если встречаем знак конца предложения, добавляем его в список предложений
+        if char in '.!?':
+            sentences.append(''.join(current_sentence).strip())
+            current_sentence = []
+    
+    # Если остался текст, добавляем его как последнее предложение
+    if current_sentence:
+        sentences.append(''.join(current_sentence).strip())
+
+    # Обрабатываем каждое предложение, чтобы сделать первую букву заглавной
+    corrected_sentences = []
+    for sentence in sentences:
+        if sentence:
+            # Делаем первую букву заглавной и добавляем точку в конце, если её нет
+            corrected_sentence = sentence[0].upper() + sentence[1:]
+            if not corrected_sentence.endswith('.'):
+                corrected_sentence += '.'
+            corrected_sentences.append(corrected_sentence)
+
+    # Объединяем все исправленные предложения в финальный текст
+    final_text = ' '.join(corrected_sentences)
+    return final_text
+
+
+# Главная функция
+def main():
+    
+    if 'btn_predict' not in st.session_state:
+        st.session_state['btn_predict'] = False
+
+    category = st.text_input("Категория:", value="Кондитерская")
+    rating = st.slider("Рейтинг", 1, 5, 1)
+    key_words = st.text_input("Ключевые слова", value="десерт, торт, цена")
+
+    # Ввод новых параметров
+    input_text = f"Категория: {category}; Рейтинг: {rating}; Ключевые слова: {key_words} -> Отзыв:"
+
+    if st.button('Generate'):
+        with st.spinner('Генерация отзыва...'):
+            generated_text = gen_review(input_text)
+            generated_text = capitalize_and_punctuate(generated_text)        
+        st.success("Готово!")
+        st.text(generated_text)
+
+
+if __name__ == "__main__":    
+    main()

app.py

@@ -0,0 +1,113 @@
+import streamlit as st
+import pandas as pd
+
+
+from transformers import AutoModelForCausalLM, AutoTokenizer
+
+
+# Настройка конфигурации страницы Streamlit
+st.set_page_config(
+    page_title="Generate reviews",
+    initial_sidebar_state="expanded"
+)
+
+# Заголовок приложения
+st.title("Генератор отзывов на основе ИИ")
+st.write("Создайте уникальные текстовые отзывы о различных местах на основе категорий, рейтинга и ключевых слов.")
+st.sidebar.title("Параметры генерации")
+
+# Загрузка модели и токенизатора
+# @st.cache_data()
+@st.cache_resource
+def get_model():
+    # Загрузка модели
+    model = AutoModelForCausalLM.from_pretrained('model')
+    # Загрузка токенизатора
+    tokenizer = AutoTokenizer.from_pretrained('model')
+    return model, tokenizer
+
+
+# Генерация отзыва
+def gen_review(input_text, model, tokenizer, params):  
+    input_ids = tokenizer.encode(input_text, return_tensors='pt')
+    output = model.generate(
+        input_ids,
+        max_length=params['max_length'],
+        num_return_sequences=params['num_return_sequences'],
+        no_repeat_ngram_size=params['no_repeat_ngram_size'],
+        do_sample=params['do_sample'],
+        top_p=params['top_p'],
+        top_k=params['top_k'],
+        temperature=params['temperature'],
+        eos_token_id=tokenizer.eos_token_id,
+    )
+    return tokenizer.decode(output[0], skip_special_tokens=True)
+
+
+def capitalize_and_punctuate(text):
+    # Извлекаем часть текста после последнего двоеточия
+    text = text.split(":")[-1].strip()
+    
+    # Разделяем текст на предложения по общим знакам препинания
+    sentences = []
+    current_sentence = []
+    for char in text:
+        current_sentence.append(char)
+        # Если встречаем знак конца предложения, добавляем его в список предложений
+        if char in '.!?':
+            sentences.append(''.join(current_sentence).strip())
+            current_sentence = []
+    
+    # Если остался текст, добавляем его как последнее предложение
+    if current_sentence:
+        sentences.append(''.join(current_sentence).strip())
+
+    # Обрабатываем каждое предложение, чтобы сделать первую букву заглавной
+    corrected_sentences = []
+    for sentence in sentences:
+        if sentence:
+            # Делаем первую букву заглавной и добавляем точку в конце, если её нет
+            corrected_sentence = sentence[0].upper() + sentence[1:]
+            if not corrected_sentence.endswith('.'):
+                corrected_sentence += '.'
+            corrected_sentences.append(corrected_sentence)
+
+    # Объединяем все исправленные предложения в финальный текст
+    final_text = ' '.join(corrected_sentences)
+    return final_text
+
+
+# Главная функция
+def main():
+    # Загружаем модель и токенизатор
+    model, tokenizer = get_model()
+    if 'btn_predict' not in st.session_state:
+        st.session_state['btn_predict'] = False
+
+    # Параметры генерации
+    params = {}
+    params['max_length'] = st.sidebar.slider('Максимальная длина', min_value=50, max_value=300, value=200)
+    params['num_return_sequences'] = st.sidebar.number_input('Количество ответов', min_value=1, max_value=10, value=1)
+    params['no_repeat_ngram_size'] = st.sidebar.number_input('Размер n-грамм без повтора', min_value=1, max_value=20, value=2)
+    params['do_sample'] = st.sidebar.checkbox('Использовать случайную выборку', value=True)
+    params['top_p'] = st.sidebar.slider('Вероятность отбора (Top-p)', min_value=0.01, max_value=1.00, step=0.05, value=0.95)
+    params['top_k'] = st.sidebar.number_input('Топ-k отбор', min_value=1, max_value=100, value=60)
+    params['temperature'] = st.sidebar.slider('Температура', min_value=0.01, max_value=2.00, step=0.05, value=0.90)
+
+    category = st.text_input("Категория:", value="Кондитерская")
+    rating = st.slider("Рейтинг", 1, 5, 1)
+    key_words = st.text_input("Ключевые слова", value="десерт, торт, цена")
+
+    # Ввод новых параметров
+    input_text = f"Категория: {category}; Рейтинг: {rating}; Ключевые слова: {key_words} -> Отзыв:"
+
+    if st.button('Generate'):
+        with st.spinner('Генерация отзыва...'):
+            generated_text = gen_review(input_text, model, tokenizer, params)
+            generated_text = capitalize_and_punctuate(generated_text)        
+        st.success("Готово!")
+        st.text(generated_text)
+
+
+if __name__ == "__main__":  
+    main()

app3.py

@@ -0,0 +1,103 @@
+import streamlit as st
+import pandas as pd
+
+
+from transformers import AutoModelForCausalLM, AutoTokenizer
+
+
+# Настройка конфигурации страницы Streamlit
+st.set_page_config(
+    page_title="Generate reviews",
+    initial_sidebar_state="expanded"
+)
+
+# Заголовок приложения
+st.title("Генератор отзывов на основе ИИ")
+st.write("Создайте уникальные текстовые отзывы о различных местах на основе категорий, рейтинга и ключевых слов.")
+
+
+# Загрузка модели и токенизатора
+# @st.cache_data()
+@st.cache_resource
+def get_model():
+    # Загрузка модели
+    model = AutoModelForCausalLM.from_pretrained('model')
+    # Загрузка токенизатора
+    tokenizer = AutoTokenizer.from_pretrained('model')
+    return model, tokenizer
+
+
+# Генерация отзыва
+def gen_review(input_text, model, tokenizer):  
+    input_ids = tokenizer.encode(input_text, return_tensors='pt')
+    output = model.generate(
+        input_ids,
+        max_length=200,
+        num_return_sequences=1,
+        no_repeat_ngram_size=2,
+        do_sample=True,
+        top_p=0.95,
+        top_k=60,
+        temperature=0.9,
+        eos_token_id=tokenizer.eos_token_id,
+    )
+    return tokenizer.decode(output[0], skip_special_tokens=True)
+
+
+def capitalize_and_punctuate(text):
+    # Извлекаем часть текста после последнего двоеточия
+    text = text.split(":")[-1].strip()
+    
+    # Разделяем текст на предложения по общим знакам препинания
+    sentences = []
+    current_sentence = []
+    for char in text:
+        current_sentence.append(char)
+        # Если встречаем знак конца предложения, добавляем его в список предложений
+        if char in '.!?':
+            sentences.append(''.join(current_sentence).strip())
+            current_sentence = []
+    
+    # Если остался текст, добавляем его как последнее предложение
+    if current_sentence:
+        sentences.append(''.join(current_sentence).strip())
+
+    # Обрабатываем каждое предложение, чтобы сделать первую букву заглавной
+    corrected_sentences = []
+    for sentence in sentences:
+        if sentence:
+            # Делаем первую букву заглавной и добавляем точку в конце, если её нет
+            corrected_sentence = sentence[0].upper() + sentence[1:]
+            if not corrected_sentence.endswith('.'):
+                corrected_sentence += '.'
+            corrected_sentences.append(corrected_sentence)
+
+    # Объединяем все исправленные предложения в финальный текст
+    final_text = ' '.join(corrected_sentences)
+    return final_text
+
+
+# Главная функция
+def main():
+    # Загружаем модель и токенизатор
+    model, tokenizer = get_model()
+    if 'btn_predict' not in st.session_state:
+        st.session_state['btn_predict'] = False
+
+    category = st.text_input("Категория:", value="Кондитерская")
+    rating = st.slider("Рейтинг", 1, 5, 1)
+    key_words = st.text_input("Ключевые слова", value="десерт, торт, цена")
+
+    # Ввод новых параметров
+    input_text = f"Категория: {category}; Рейтинг: {rating}; Ключевые слова: {key_words} -> Отзыв:"
+
+    if st.button('Generate'):
+        with st.spinner('Генерация отзыва...'):
+            generated_text = gen_review(input_text, model, tokenizer)
+            generated_text = capitalize_and_punctuate(generated_text)        
+        st.success("Готово!")
+        st.text(generated_text)
+
+
+if __name__ == "__main__":  
+    main()

gitattributes

@@ -0,0 +1,35 @@
+*.7z filter=lfs diff=lfs merge=lfs -text
+*.arrow filter=lfs diff=lfs merge=lfs -text
+*.bin filter=lfs diff=lfs merge=lfs -text
+*.bz2 filter=lfs diff=lfs merge=lfs -text
+*.ckpt filter=lfs diff=lfs merge=lfs -text
+*.ftz filter=lfs diff=lfs merge=lfs -text
+*.gz filter=lfs diff=lfs merge=lfs -text
+*.h5 filter=lfs diff=lfs merge=lfs -text
+*.joblib filter=lfs diff=lfs merge=lfs -text
+*.lfs.* filter=lfs diff=lfs merge=lfs -text
+*.mlmodel filter=lfs diff=lfs merge=lfs -text
+*.model filter=lfs diff=lfs merge=lfs -text
+*.msgpack filter=lfs diff=lfs merge=lfs -text
+*.npy filter=lfs diff=lfs merge=lfs -text
+*.npz filter=lfs diff=lfs merge=lfs -text
+*.onnx filter=lfs diff=lfs merge=lfs -text
+*.ot filter=lfs diff=lfs merge=lfs -text
+*.parquet filter=lfs diff=lfs merge=lfs -text
+*.pb filter=lfs diff=lfs merge=lfs -text
+*.pickle filter=lfs diff=lfs merge=lfs -text
+*.pkl filter=lfs diff=lfs merge=lfs -text
+*.pt filter=lfs diff=lfs merge=lfs -text
+*.pth filter=lfs diff=lfs merge=lfs -text
+*.rar filter=lfs diff=lfs merge=lfs -text
+*.safetensors filter=lfs diff=lfs merge=lfs -text
+saved_model/**/* filter=lfs diff=lfs merge=lfs -text
+*.tar.* filter=lfs diff=lfs merge=lfs -text
+*.tar filter=lfs diff=lfs merge=lfs -text
+*.tflite filter=lfs diff=lfs merge=lfs -text
+*.tgz filter=lfs diff=lfs merge=lfs -text
+*.wasm filter=lfs diff=lfs merge=lfs -text
+*.xz filter=lfs diff=lfs merge=lfs -text
+*.zip filter=lfs diff=lfs merge=lfs -text
+*.zst filter=lfs diff=lfs merge=lfs -text
+*tfevents* filter=lfs diff=lfs merge=lfs -text

model/config.json

@@ -0,0 +1,41 @@
+{
+  "_name_or_path": "sberbank-ai/rugpt3small_based_on_gpt2",
+  "activation_function": "gelu_new",
+  "architectures": [
+    "GPT2LMHeadModel"
+  ],
+  "attn_pdrop": 0.1,
+  "bos_token_id": 1,
+  "embd_pdrop": 0.1,
+  "eos_token_id": 2,
+  "gradient_checkpointing": false,
+  "id2label": {
+    "0": "LABEL_0"
+  },
+  "initializer_range": 0.02,
+  "label2id": {
+    "LABEL_0": 0
+  },
+  "layer_norm_epsilon": 1e-05,
+  "model_type": "gpt2",
+  "n_ctx": 2048,
+  "n_embd": 768,
+  "n_head": 12,
+  "n_inner": null,
+  "n_layer": 12,
+  "n_positions": 2048,
+  "pad_token_id": 0,
+  "reorder_and_upcast_attn": false,
+  "resid_pdrop": 0.1,
+  "scale_attn_by_inverse_layer_idx": false,
+  "scale_attn_weights": true,
+  "summary_activation": null,
+  "summary_first_dropout": 0.1,
+  "summary_proj_to_labels": true,
+  "summary_type": "cls_index",
+  "summary_use_proj": true,
+  "torch_dtype": "float32",
+  "transformers_version": "4.46.3",
+  "use_cache": true,
+  "vocab_size": 50264
+}

model/generation_config.json

@@ -0,0 +1,7 @@
+{
+  "_from_model_config": true,
+  "bos_token_id": 1,
+  "eos_token_id": 2,
+  "pad_token_id": 0,
+  "transformers_version": "4.46.3"
+}

model/model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:4c4a4f2313095a80c16a071f619dc17528f49e00437f87a1fbdbe3b06fb42feb
+size 500941440

model/special_tokens_map.json

@@ -0,0 +1,37 @@
+{
+  "bos_token": {
+    "content": "<s>",
+    "lstrip": false,
+    "normalized": true,
+    "rstrip": false,
+    "single_word": false
+  },
+  "eos_token": {
+    "content": "</s>",
+    "lstrip": false,
+    "normalized": true,
+    "rstrip": false,
+    "single_word": false
+  },
+  "mask_token": {
+    "content": "<mask>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "pad_token": {
+    "content": "<pad>",
+    "lstrip": false,
+    "normalized": true,
+    "rstrip": false,
+    "single_word": false
+  },
+  "unk_token": {
+    "content": "<unk>",
+    "lstrip": false,
+    "normalized": true,
+    "rstrip": false,
+    "single_word": false
+  }
+}

model/tokenizer_config.json

@@ -0,0 +1,58 @@
+{
+  "add_bos_token": false,
+  "add_prefix_space": false,
+  "added_tokens_decoder": {
+    "0": {
+      "content": "<pad>",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "1": {
+      "content": "<s>",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "2": {
+      "content": "</s>",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "3": {
+      "content": "<unk>",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "4": {
+      "content": "<mask>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    }
+  },
+  "bos_token": "<s>",
+  "clean_up_tokenization_spaces": true,
+  "eos_token": "</s>",
+  "errors": "replace",
+  "mask_token": "<mask>",
+  "model_max_length": 2048,
+  "pad_token": "<pad>",
+  "padding_side": "left",
+  "tokenizer_class": "GPT2Tokenizer",
+  "truncation_side": "left",
+  "trust_remote_code": false,
+  "unk_token": "<unk>"
+}

requirements.txt

@@ -1,3 +1,4 @@
-altair
+streamlit
 pandas
-streamlit
+transformers
+torch