Update save.py

save.py

@@ -1,45 +1,34 @@
-from huggingface_hub import upload_folder
+from transformers import AutoTokenizer, T5ForConditionalGeneration
+from huggingface_hub import HfApi, HfFolder
 import os
-import tempfile
-import shutil
-
-hf_token = ""***HIDDEN_TOKEN***""
-repo_id = "ajkndfjsdfasdf/mt5-small-bigdataset"
-folder_path = "."
-
-ignored = {".git", "__pycache__", ".ipynb_checkpoints", "wandb", "logs", "temp_hf_repo"}
-
-# 🧼 Временная папка
-clean_dir = tempfile.mkdtemp()
-
-# Копируем все файлы, кроме игнорируемых
-for item in os.listdir(folder_path):
-    if item in ignored:
-        continue
-    src = os.path.join(folder_path, item)
-    dst = os.path.join(clean_dir, item)
-
-    if os.path.isdir(src):
-        shutil.copytree(src, dst, dirs_exist_ok=True)
-    elif os.path.isfile(src):
-        # Если файл .py и содержит токен — заменим токен на "***"
-        if src.endswith(".py"):
-            with open(src, "r") as f:
-                content = f.read()
-            # Маскируем токен в коде
-            content = content.replace(hf_token, '"***HIDDEN_TOKEN***"')
-            with open(dst, "w") as f:
-                f.write(content)
-        else:
-            shutil.copy2(src, dst)
-
-# 🚀 Загружаем на Hugging Face
-upload_folder(
-    repo_id=repo_id,
-    folder_path=clean_dir,
-    repo_type="model",
-    token=hf_token,
-    commit_message="🚀 Full upload with token redacted"
-)
-
-print(f"✅ Всё загружено на: https://huggingface.co/{repo_id}")
+
+# 🔐 Токен из переменной окружения
+hf_token = os.environ["huggingface"]
+
+# 📁 Локальная директория с моделью
+local_model_dir = "./flan-t5-autobatch"
+
+# 🏷️ Репозиторий (ВАЖНО: должен быть в формате 'username/repo_name')
+repo_id = "ajkndfjsdfasdf/flan-5-small-bigdataset"
+
+# 🔐 Авторизация
+api = HfApi()
+HfFolder.save_token(hf_token)
+
+# 🔍 Проверяем наличие репозитория
+try:
+    api.repo_info(repo_id, token=hf_token)
+    print(f"📦 Репозиторий {repo_id} уже существует.")
+except:
+    print(f"📦 Репозиторий {repo_id} не найден. Создаём...")
+    api.create_repo(repo_id=repo_id, token=hf_token, repo_type="model", exist_ok=True)
+
+# 📦 Загружаем модель и токенизатор
+model = T5ForConditionalGeneration.from_pretrained(local_model_dir)
+tokenizer = AutoTokenizer.from_pretrained(local_model_dir)
+
+# 🚀 Пушим в корень репозитория
+model.push_to_hub(repo_id, token=hf_token, commit_message="🚀 Push latest model to root")
+tokenizer.push_to_hub(repo_id, token=hf_token, commit_message="🚀 Push latest tokenizer to root")
+
+print(f"✅ Модель загружена в: https://huggingface.co/{repo_id}")