8

app.py

@@ -1,14 +1,15 @@
 import json
 import faiss
 import torch
-from transformers import AutoModelForCausalLM, AutoTokenizer
+from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
 from sentence_transformers import SentenceTransformer
 from deep_translator import GoogleTranslator  # Для перевода
 
 # Загружаем TinyLlama
 model_name = "TinyLlama/TinyLlama-1.1B-Chat-v1.0"
 tokenizer = AutoTokenizer.from_pretrained(model_name)
-model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.float16, low_cpu_mem_usage=True, device_map="auto")
+quantization_config = BitsAndBytesConfig(load_in_4bit=True)  # 4-битная квантзация
+model = AutoModelForCausalLM.from_pretrained(model_name, quantization_config=quantization_config, device_map="auto")
 
 # Загружаем Sentence Transformer
 embedder = SentenceTransformer("all-MiniLM-L6-v2")  # Легкий, работает на Free Tier

data.json

@@ -3,6 +3,10 @@
         "question": "Что разрабатывает Тимур?",
         "answer": "Тимур разрабатывает множество проектов, включая децентрализованный блокчейн-проект Amalgama с DAO, систему Proof of Contribution и токенами $AMALGAMA, $PDC, $AMT. Также он работает над созданием AI-моделей, чат-ботов, комиксов Aurora Comics, арт-проекта VZM и учебника по механико-логическим процессорам."
     },
+    {
+        "question": "Кто такой Ricoch?",
+        "answer": "ИИ-исследователь, психолог, специалист по NMDA"
+    },
     {
         "question": "Какие проекты у Тимура?",
         "answer": "Среди его проектов — Amalgama (блокчейн-платформа), Canfly (организация, разрабатывающая Amalgama), Ingria (автономный ИИ с гибкими экранами), Discord-бот для Ingria, Telegram-боты, модель социалистической деревни для монографии 'Социализм и ИИ - Симуляция общества', веб-сервисы с использованием DeepSpeech и Express.js, а также благотворительный фонд 'Летать вместе'."

requirements.txt

@@ -4,4 +4,5 @@ gradio
 faiss-cpu
 sentence-transformers
 deep-translator
-accelerate>=0.26.0
+accelerate>=0.26.0
+bitsandbytes