Upload folder using huggingface_hub

README.md

@@ -144,28 +144,37 @@ model_id = "dataslab/DLM-NL2JSON-4B"
 tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
 model = AutoModelForCausalLM.from_pretrained(model_id, trust_remote_code=True)
 
-# System prompt (example: CREDIT schema)
+# System prompt (example: CSM consumer spending schema — abbreviated for readability)
+# Full prompts per category are available in the repository's eval/prompts.py
 system_prompt = """너는 반드시 **JSON 한 줄**만 출력한다. 설명/텍스트/코멘트/마크다운/코드블록/이모지/공백 줄 금지.
+출력은 항상 { 로 시작하고 } 로 끝난다.
 
-[스키마: 개인신용 통합]
-{"summary":string,"base_ym":int,"region_nm":string,"job_cd":[int],"perc_cd":[int],"sex_cd":[int],"age_cd":[int],"category":int}
+[스키마: TASK_CSM] (키/타입/순서 엄수)
+{"summary":string,"base_ym":int,"region_nm":string,"industry_select":object,"sex_cd":[int],"age_cd":[int],"category":2}
 
 [기본값]
 - base_ym: 0, region_nm: "부산광역시"
-- job_cd: [0,1,2], perc_cd: [0,1,2,3,4,5,6,7,8,9]
+- industry_select: 업종 미지정 시 전 대분류 키를 []로 설정
 - sex_cd: [0,1], age_cd: [10,20,30,40,50,60,70]
-- category: 소득=3, 소비=4, 대출/연체=5"""
+- category: 항상 2
+
+[대분류 코드표] 1:여행/숙박 2:여가/문화 3:유통 4:음식/주점 5:음식료품
+6:의류/잡화 7:미용 8:의료 9:교육 10:생활 11:자동차"""
+
+# Note: special token <TASK_CSM> must be included in the user message
+user_query = "<TASK_CSM> 2024년 1월 해운대구 중동 의류/잡화랑 뷰티 쪽 남성 20~40대 위주로 알려줘"
 
 messages = [
     {"role": "system", "content": system_prompt},
-    {"role": "user", "content": "부산 해운대구 소득 남성 30대 3분위"}
+    {"role": "user", "content": user_query}
 ]
 
 text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
 inputs = tokenizer(text, return_tensors="pt").to(model.device)
 outputs = model.generate(**inputs, max_new_tokens=512, temperature=0.0, do_sample=False)
 print(tokenizer.decode(outputs[0][inputs.input_ids.shape[-1]:], skip_special_tokens=True))
-# {"summary":"##부산광역시 해운대구 소득통계##","base_ym":0,"region_nm":"부산광역시 해운대구","job_cd":[0,1,2],"perc_cd":[2],"sex_cd":[0],"age_cd":[30],"category":3}
+# {"summary":"##2024년 1월 부산광역시 해운대구 중동 의류/잡화/미용 소비분석##","base_ym":202401,"region_nm":"부산광역시 해운대구 중동","industry_select":{"6":[],"7":[]},"sex_cd":[0],"age_cd":[20,30,40],"category":2}
+# Note: "뷰티" → mapped to 미용(code 7), "해운대구 중동" → normalized to "부산광역시 해운대구 중동"
 ```
 
 ### vLLM / OpenAI-compatible serving
@@ -178,7 +187,7 @@ resp = client.chat.completions.create(
     model="DLM-NL2JSON-4B",
     messages=[
         {"role": "system", "content": system_prompt},
-        {"role": "user", "content": "부산 해운대구 소득 남성 30대 3분위"}
+        {"role": "user", "content": "<TASK_CSM> 2024년 1월 해운대구 중동 의류/잡화랑 뷰티 쪽 남성 20~40대 위주로 알려줘"}
     ],
     max_tokens=512,
     temperature=0.0,