Initial codes commit

models/initializer.py

@@ -5,13 +5,15 @@ from huggingface_hub import hf_hub_download
 from fastapi import FastAPI
 from config import HF_MODEL_REPO_ID, EMBED_MODEL, EMBED_DIR, RERANK_MODEL, RERANK_DIR
 
+# 공식 모델 경로 (원본 토크나이저를 불러오기 위해 지정)
+EMBEDDER_ORIGINAL_ID = "Qwen/Qwen3-Embedding-0.6B"
+RERANKER_ORIGINAL_ID = "Qwen/Qwen3-Reranker-0.6B"
+
 def initialize_models(app: FastAPI):
     # Embedder
     embedder_tokenizer = AutoTokenizer.from_pretrained(
-        HF_MODEL_REPO_ID,
-        subfolder=EMBED_DIR,   # 토크나이저 관련 파일이 embedder/ 안에 있으므로 지정
-        trust_remote_code=True,
-        force_download=True
+        EMBEDDER_ORIGINAL_ID,
+        trust_remote_code=True
     )
     embedder_model_path = hf_hub_download(
         repo_id=HF_MODEL_REPO_ID,
@@ -22,10 +24,8 @@ def initialize_models(app: FastAPI):
 
     # Reranker
     reranker_tokenizer = AutoTokenizer.from_pretrained(
-        HF_MODEL_REPO_ID,
-        subfolder=RERANK_DIR,   # 토크나이저 관련 파일이 reranker/ 안에 있으므로 지정
-        trust_remote_code=True,
-        force_download=True
+        RERANKER_ORIGINAL_ID,
+        trust_remote_code=True
     )
     reranker_model_path = hf_hub_download(
         repo_id=HF_MODEL_REPO_ID,