Initial upload of JiRackTernary 70B converted weights

.gitattributes

@@ -33,3 +33,4 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
 *.zip filter=lfs diff=lfs merge=lfs -text
 *.zst filter=lfs diff=lfs merge=lfs -text
 *tfevents* filter=lfs diff=lfs merge=lfs -text
+jirack_dialogs.txt filter=lfs diff=lfs merge=lfs -text

jirack_dialogs.txt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:fa5317db085b69f652d3bed0c6ac048e905e915de4b88abf38500c7a1722c99f
+size 1766038646

tokenize_gutengerg_dataset.py

@@ -0,0 +1,70 @@
+import os
+import numpy as np
+from transformers import AutoTokenizer
+from tqdm import tqdm
+import array
+
+# --- НАСТРОЙКИ ---
+INPUT_FILE = 'jirack_dialogs.txt'
+# Возвращаем старый путь к токенизатору
+TOKENIZER_PATH = 'meta-llama/Meta-Llama-3-70B' 
+OUTPUT_DIR = 'tokenized_base_dialogs_en_chunks'
+
+CHUNK_SIZE_TOKENS = 250_000_000  # ~1GB на один .bin файл
+# -----------------
+
+os.makedirs(OUTPUT_DIR, exist_ok=True)
+
+def save_chunk(token_array, idx):
+    """Сохраняет токены в бинарный файл uint32."""
+    filename = os.path.join(OUTPUT_DIR, f"chunk_{idx:03d}.bin")
+    print(f"\n💾 Запись чанка {idx} (токенов: {len(token_array)})...")
+    # Преобразование в numpy uint32 для записи
+    arr = np.array(token_array, dtype=np.uint32)
+    arr.tofile(filename)
+
+def tokenize_to_chunks():
+    print(f"🧬 Загрузка токенизатора {TOKENIZER_PATH}...")
+    # Если токенизатор уже скачан в кэш, он возьмет его оттуда. 
+    # Если нет — попробует скачать (нужен логин в hf или наличие в кэше).
+    tokenizer = AutoTokenizer.from_pretrained(TOKENIZER_PATH, use_fast=True)
+    
+    if tokenizer.pad_token is None:
+        tokenizer.pad_token = tokenizer.eos_token
+        
+    eos_id = tokenizer.eos_token_id
+    chunk_idx = 0
+    
+    # Использование array.array('I') критично для экономии 128GB RAM
+    current_chunk_tokens = array.array('I')
+
+    print(f"🚀 Чтение {INPUT_FILE}...")
+    
+    # buffering=128MB ускоряет чтение с диска
+    with open(INPUT_FILE, 'r', encoding='utf-8', errors='ignore', buffering=128*1024*1024) as f:
+        for line in tqdm(f, desc="Токенизация"):
+            line = line.strip()
+            if not line:
+                continue
+
+            # Токенизация
+            ids = tokenizer.encode(line, add_special_tokens=False)
+            
+            # Добавляем в буфер
+            current_chunk_tokens.extend(ids)
+            current_chunk_tokens.append(eos_id)
+
+            # Проверка границы чанка
+            if len(current_chunk_tokens) >= CHUNK_SIZE_TOKENS:
+                save_chunk(current_chunk_tokens, chunk_idx)
+                chunk_idx += 1
+                current_chunk_tokens = array.array('I') # Обнуляем буфер
+
+        # Сохранение финального остатка
+        if len(current_chunk_tokens) > 0:
+            save_chunk(current_chunk_tokens, chunk_idx)
+    
+    print(f"🏁 Завершено. Всего чанков: {chunk_idx + 1}")
+
+if __name__ == "__main__":
+    tokenize_to_chunks()

tokenized_base_dialogs_en_chunks/chunk_000.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:0417b6250c8e685318f9721dddd28abbf95813aa351bd13368d302b97e99108b
+size 1000000676

tokenized_base_dialogs_en_chunks/chunk_001.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:07c480a3bdf055674f27d798181603e871c2683896a809a23b687aba5b6e967e
+size 496815348