Update app.py
Browse files
app.py
CHANGED
|
@@ -8,6 +8,18 @@ model_name = "meta-llama/Meta-Llama-3-8B-Instruct"
|
|
| 8 |
tokenizer = AutoTokenizer.from_pretrained(model_name)
|
| 9 |
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.float16, device_map="auto")
|
| 10 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 11 |
# KMMLU 데이터셋 로드
|
| 12 |
# 직접 불러오기 df = pd.read_csv("kmmlu_sample.csv")
|
| 13 |
|
|
|
|
| 8 |
tokenizer = AutoTokenizer.from_pretrained(model_name)
|
| 9 |
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.float16, device_map="auto")
|
| 10 |
|
| 11 |
+
from huggingface_hub import login
|
| 12 |
+
import os
|
| 13 |
+
|
| 14 |
+
# 환경 변수에서 토큰을 가져옵니다
|
| 15 |
+
hf_token = os.environ.get("HF_TOKEN")
|
| 16 |
+
|
| 17 |
+
# 토큰을 사용하여 로그인합니다
|
| 18 |
+
if hf_token:
|
| 19 |
+
login(token=hf_token)
|
| 20 |
+
else:
|
| 21 |
+
print("HF_TOKEN 환경 변수가 설정되지 않았습니다.")
|
| 22 |
+
|
| 23 |
# KMMLU 데이터셋 로드
|
| 24 |
# 직접 불러오기 df = pd.read_csv("kmmlu_sample.csv")
|
| 25 |
|