8bit_config

app.py

@@ -16,15 +16,20 @@ YANDEX_FOLDER_ID= os.getenv("YANDEX_FOLDER_ID")
 if not all([ADAPTER_ID, YANDEX_API_KEY, YANDEX_FOLDER_ID]):
     raise ValueError("Необходимо установить переменные окружения: ADAPTER_ID, YANDEX_API_KEY, YANDEX_FOLDER_ID")
 
-MAX_NEW_TOKENS = 2048 
+MAX_NEW_TOKENS = 1024
 TEMPERATURE          = 1
 TOP_P                = 0.9
 REPETITION_PENALTY   = 1.05
 
 SYS_PROMPT_TT = ("Син-цифрлы ярдәмче (ир-ат нәселе). Сине Сбербанк дирекциясенең ESG да уйлап таптылар. Син барлык өлкәләрдә, бигрәк тә Татарстанга кагылышлы өлкәләрдә кызыклы кулланучы эксперты! Ул сезгә бик күп сораулар бирәчәк, ә сезнең эшегез-шәрехләр бирү, кулланучының сорауларына җавап бирү, адымлап киңәшләр, мисаллар бирү һәм, кирәк булганда, кулланучыга аныклаучы сораулар бирү.")
 
-print("Загрузка модели с 4-битной квантизацией...")
-quantization_config = BitsAndBytesConfig(load_in_4bit=True, bnb_4bit_compute_dtype=torch.bfloat16)
+print("Загрузка модели с 8-битной квантизацией...")
+quantization_config = BitsAndBytesConfig(
+    load_in_8bit=True,
+    llm_int8_threshold=6.0,             
+    llm_int8_enable_fp32_cpu_offload=False
+)
+
 
 tok = AutoTokenizer.from_pretrained(ADAPTER_ID, use_fast=False)
 if tok.pad_token is None: