Initial codes commit

models/initializer.py

@@ -9,7 +9,8 @@ def initialize_models(app: FastAPI):
     # Embedder
     embedder_tokenizer = AutoTokenizer.from_pretrained(
         HF_MODEL_REPO_ID,
-        subfolder=EMBED_DIR   # 토크나이저 관련 파일이 embedder/ 안에 있으므로 지정
+        subfolder=EMBED_DIR,   # 토크나이저 관련 파일이 embedder/ 안에 있으므로 지정
+        trust_remote_code=True
     )
     embedder_model_path = hf_hub_download(
         repo_id=HF_MODEL_REPO_ID,
@@ -21,7 +22,8 @@ def initialize_models(app: FastAPI):
     # Reranker
     reranker_tokenizer = AutoTokenizer.from_pretrained(
         HF_MODEL_REPO_ID,
-        subfolder=RERANK_DIR   # 토크나이저 관련 파일이 reranker/ 안에 있으므로 지정
+        subfolder=RERANK_DIR,   # 토크나이저 관련 파일이 reranker/ 안에 있으므로 지정
+        trust_remote_code=True
     )
     reranker_model_path = hf_hub_download(
         repo_id=HF_MODEL_REPO_ID,

requirements.txt

@@ -15,6 +15,7 @@ pydantic==2.11.5
 huggingface_hub==0.36.0
 datasets==3.0.1
 transformers==4.44.2   
+tokenizers==0.19.1
 
 # ONNX Runtime (모델 추론)
 onnxruntime==1.19.2