Update app.py

app.py

@@ -1,97 +1,91 @@
 import os
 import gradio as gr
-from langchain_community.document_loaders import TextLoader
-from langchain.text_splitter import CharacterTextSplitter
-from langchain_community.vectorstores import FAISS
-from langchain_community.embeddings import HuggingFaceEmbeddings
+from langchain.document_loaders import TextLoader
+from langchain.text_splitter import RecursiveCharacterTextSplitter
+from langchain.embeddings import HuggingFaceEmbeddings
+from langchain.vectorstores import FAISS
 from langchain.chains import RetrievalQA
-from langchain_community.llms import HuggingFacePipeline
-from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline
+from langchain.llms import HuggingFaceHub
 
 # Конфигурация
 DOCS_DIR = "lore"
-MODEL_NAME = "IlyaGusev/saiga_mistral_7b"  # Оптимальная модель для русского
 EMBEDDINGS_MODEL = "sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2"
+LLM_REPO = "IlyaGusev/saiga_mistral_7b"
+HF_TOKEN = os.getenv("HF_TOKEN")  # Добавьте в Secrets Space
 
-# 1. Загрузка документов
+# 1. Загрузка документов с обработкой ошибок
 def load_documents():
     docs = []
     for filename in os.listdir(DOCS_DIR):
         if filename.endswith(".txt"):
-            loader = TextLoader(os.path.join(DOCS_DIR, filename), encoding="utf-8")
-            docs.extend(loader.load())
+            try:
+                loader = TextLoader(
+                    os.path.join(DOCS_DIR, filename), 
+                    encoding="utf-8"
+                )
+                docs.extend(loader.load())
+            except Exception as e:
+                print(f"Ошибка загрузки {filename}: {str(e)}")
     return docs
 
-# 2. Подготовка базы знаний
+# 2. Инициализация эмбеддингов с проверкой
+def get_embeddings():
+    try:
+        return HuggingFaceEmbeddings(model_name=EMBEDDINGS_MODEL)
+    except ImportError:
+        raise ImportError(
+            "Требуемые пакеты не установлены. "
+            "Добавьте в requirements.txt:\n"
+            "sentence-transformers\n"
+            "torch\n"
+            "transformers"
+        )
+
+# 3. Подготовка базы знаний
 def prepare_knowledge_base():
     documents = load_documents()
-    
-    # Разбиваем текст на чанки
-    text_splitter = CharacterTextSplitter(chunk_size=500, chunk_overlap=50)
-    splits = text_splitter.split_documents(documents)
-    
-    # Создаем векторное хранилище
-    embeddings = HuggingFaceEmbeddings(model_name=EMBEDDINGS_MODEL)
-    vectorstore = FAISS.from_documents(splits, embeddings)
-    
-    return vectorstore
-
-# 3. Инициализация языковой модели
-def load_llm():
-    tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
-    model = AutoModelForCausalLM.from_pretrained(
-        MODEL_NAME,
-        device_map="auto",
-        load_in_4bit=True  # Экономия памяти
-    )
-    
-    pipe = pipeline(
-        "text-generation",
-        model=model,
-        tokenizer=tokenizer,
-        max_new_tokens=200,
-        temperature=0.3
+    text_splitter = RecursiveCharacterTextSplitter(
+        chunk_size=500,
+        chunk_overlap=50,
+        separators=["\n\n", "\n", " ", ""]
     )
-    
-    return HuggingFacePipeline(pipeline=pipe)
+    splits = text_splitter.split_documents(documents)
+    embeddings = get_embeddings()
+    return FAISS.from_documents(splits, embeddings)
 
-# 4. Создание цепочки для вопросов-ответов
+# 4. Создание цепочки QA
 def create_qa_chain():
-    vectorstore = prepare_knowledge_base()
-    llm = load_llm()
-    
+    llm = HuggingFaceHub(
+        repo_id=LLM_REPO,
+        huggingfacehub_api_token=HF_TOKEN,
+        model_kwargs={
+            "temperature": 0.3,
+            "max_new_tokens": 200
+        }
+    )
     return RetrievalQA.from_chain_type(
         llm=llm,
         chain_type="stuff",
-        retriever=vectorstore.as_retriever(search_kwargs={"k": 2}),
-        return_source_documents=True
+        retriever=prepare_knowledge_base().as_retriever(
+            search_kwargs={"k": 2}
+        )
     )
 
-# 5. Функция для ответов
+# 5. Интерфейс с обработкой ошибок
 def get_answer(question):
-    qa_chain = create_qa_chain()
-    result = qa_chain({"query": question})
-    
-    # Форматируем ответ
-    answer = result["result"]
-    sources = list(set(doc.metadata["source"] for doc in result["source_documents"]))
-    
-    return f"{answer}\n\nИсточники: {', '.join(sources)}"
+    try:
+        qa = create_qa_chain()
+        result = qa.run(question)
+        return result[:500]  # Обрезаем слишком длинные ответы
+    except Exception as e:
+        return f"⚠️ Ошибка: {str(e)}"
 
-# 6. Интерфейс Gradio
-with gr.Blocks() as demo:
-    gr.Markdown("## 🧛 Лор-бот: справочник по сверхъестественному")
-    
-    with gr.Row():
-        question = gr.Textbox(label="Ваш вопрос", placeholder="Какие слабости у вампиров?")
-        submit_btn = gr.Button("Спросить")
-    
-    answer = gr.Textbox(label="Ответ", interactive=False)
-    
-    submit_btn.click(
-        fn=get_answer,
-        inputs=question,
-        outputs=answer
-    )
+# Запуск приложения
+with gr.Blocks(title="📚 Лор-бот") as app:
+    gr.Markdown("## 🧛 Вопрос-ответ по лору")
+    question = gr.Textbox(label="Ваш вопрос", placeholder="Какие слабости у вампиров?")
+    output = gr.Textbox(label="Ответ", interactive=False)
+    btn = gr.Button("Спросить")
+    btn.click(get_answer, inputs=question, outputs=output)
 
-demo.launch(server_name="0.0.0.0", server_port=7860)
+app.launch(server_name="0.0.0.0", server_port=7860)