Update model card with representative finance QA smoke test

README.md

@@ -62,7 +62,7 @@ Download a quantized GGUF file:
 
 ```bash
 huggingface-cli download LLM-OS-Models/KoHRM-Text-1.4B-GGUF \
-  KoHRM-Text-1.4B-Q4_K_M.gguf \
+  KoHRM-Text-1.4B-Q8_0.gguf \
   --local-dir .
 ```
 
@@ -70,57 +70,70 @@ Run on CPU:
 
 ```bash
 ./build-hrm/bin/llama-cli \
-  -m ./KoHRM-Text-1.4B-Q4_K_M.gguf \
+  -m ./KoHRM-Text-1.4B-Q8_0.gguf \
   -ngl 0 \
   -t 4 \
-  -c 512 \
-  -n 80 \
-  --seed 42 \
-  --temp 0.7 \
+  -c 1024 \
+  -n 260 \
+  --seed 41 \
+  --temp 0.45 \
   --top-p 0.9 \
+  --repeat-penalty 1.08 \
   --single-turn \
   --simple-io \
   --no-warmup \
   --display-prompt \
-  -p $'질문: 대한민국 민법상 미성년자의 법률행위 취소에 대해 한 문단으로 설명하라.\n답변:'
+  -p $'해외주식 투자에서 원/달러 환율 변동이 원화 수익률에 미치는 영향과 대응 방안을 간단히 설명해 주세요.'
 ```
 
 ## CPU Generation Tests
 
 Tested locally on CPU with the patched `llama.cpp` build and the prompt shown above.
 
-| file | prompt speed | generation speed | value check |
-|---|---:|---:|---|
-| `KoHRM-Text-1.4B-Q4_K_M.gguf` | 33.6 t/s | 13.2 t/s | Runtime OK, not suitable as a legal-answer quality example |
-| `KoHRM-Text-1.4B-Q8_0.gguf` | 23.8 t/s | 6.8 t/s | Runtime OK, not suitable as a legal-answer quality example |
-
-Q4_K_M output excerpt:
+This prompt was chosen after checking the KoHRM training-data path. KoHRM uses
+the HRM `V1Dataset` instruction-response layout:
 
 ```text
-The user wants a single-word, concise explanation ... The core idea is:
-미성년자는 미성년자를 대상으로 하는 법률행위 ... 민법 제999-1001 ...
+<|im_start|><condition_token>instruction<|im_end|>response<|box_end|>
 ```
 
+The instruction/prefix span is not trained with loss; the response span is
+trained with response-only loss. Local decoded samples include short Korean
+finance QA rows, so the representative GGUF smoke prompt below uses the same
+plain instruction style instead of a legal reasoning prompt.
+
+| file | prompt speed | generation speed | value check |
+|---|---:|---:|---|
+| `KoHRM-Text-1.4B-Q8_0.gguf` | 25.3 t/s | 5.0 t/s | Runtime OK; useful qualitative finance QA sample |
+
 Q8_0 output excerpt:
 
 ```text
-The user wants a single-word, concise explanation ... The key insight is
-to use "소위 '미성년자'" ...
+1. **환율 변동의 영향:** 해외 주식 투자의 수익률은 주가 상승에 따른 수익뿐만 아니라 환율 변동에 따른 수익 또는 손실을 포함합니다.
+...
+2. **대응 방안:**
+   - **환율 변동 위험 관리:** 환율 변동 위험을 줄이기 위해 환헤지 상품을 활용하거나, 분할 매수/매도 전략을 통해 환율 변동에 따른 영향을 완화할 수 있습니다.
+   - **장기 투자:** 장기 투자를 통해 환율 변동의 단기적인 영향을 완화하고, 장기적인 주가 상승에 집중할 수 있습니다.
+   - **분산 투자:** 다양한 국가의 주식에 분산 투자하여 특정 국가의 환율 변동 위험을 줄일 수 있습니다.
 ```
 
-These are valuable as reproducible CPU runtime checks, but not as meaningful legal QA outputs. The outputs include meta-instruction text and legally incorrect or incoherent content. This matches the source checkpoint status: the model is a rolling pretraining-stage checkpoint, not a final instruction-tuned chat/legal model.
-
-The full smoke-test logs are in `reports/`.
+The full smoke-test log is in `reports/generation_tests/finance_short_q8_0.txt`.
+This is a qualitative CPU runtime sample, not a benchmark or financial advice.
 
 ## Prompt Format
 
-The source model card documents this project-side prompt wrapper:
+The source training/inference wrapper is:
 
 ```text
 <|im_start|><|object_ref_start|>PROMPT<|im_end|>
 ```
 
-The public checkpoint is a rolling pretraining-stage model, not a final chat/SFT model. Expect unstable instruction-following behavior and possible immediate end-token generation depending on prompt and sampler settings. The GGUF files here validate conversion and patched CPU runtime support, not final assistant quality.
+`prepare_sft_data.py` writes the generic HRM V1Dataset layout with
+`direct=<|object_ref_start|>` by default. In this patched GGUF runtime,
+`llama-completion` could load the model but returned an immediate end token for
+the tested prompts, while `llama-cli --single-turn` produced visible CPU token
+generation. The public checkpoint is a rolling pretraining-stage model, not a
+final chat/SFT model, so instruction following can still be unstable.
 
 ## GGUF Metadata
 

reports/conversion_report.md

@@ -93,11 +93,16 @@ Exiting...
 
 The generated text is not a legal-quality answer; this source checkpoint is documented as a pretraining-stage model, not an instruction-tuned chat model.
 
-Additional CPU generation tests were run on 2026-06-14 with Q4_K_M and Q8_0 using the model-card prompt. Both loaded and generated on CPU, but both were rejected as meaningful legal QA examples because they contained meta-instruction text and legally incorrect or incoherent content.
+Additional CPU generation tests were run on 2026-06-14. After checking the KoHRM
+training-data layout, the public model-card example was changed from a legal QA
+prompt to a short Korean finance QA prompt that better matches the local decoded
+prepared samples and the instruction-response preprocessing path.
 
 ```text
-Q4_K_M: Prompt 33.6 t/s, Generation 13.2 t/s, runtime OK, quality example rejected
-Q8_0:   Prompt 23.8 t/s, Generation  6.8 t/s, runtime OK, quality example rejected
+Q8_0 prompt:
+해외주식 투자에서 원/달러 환율 변동이 원화 수익률에 미치는 영향과 대응 방안을 간단히 설명해 주세요.
+
+Q8_0: Prompt 25.3 t/s, Generation 5.0 t/s, runtime OK, useful qualitative finance QA sample
 ```
 
 ## Artifacts

reports/generation_quality_check.md

@@ -2,48 +2,82 @@
 
 Date: 2026-06-14 UTC
 
-Prompt from the model card:
+## Data Format Check
+
+Before selecting the representative generation example, the local KoHRM data
+pipeline was checked from the repository docs and code.
+
+KoHRM uses the HRM `V1Dataset` instruction-response layout:
+
+```text
+<|im_start|><condition_token>instruction<|im_end|>response<|box_end|>
+```
+
+Important preprocessing details:
+
+- `scripts/prepare_sft_data.py` accepts rows with `instruction`, `response`, and
+  optional `condition`.
+- The default direct condition is `direct=<|object_ref_start|>`.
+- `dataset_new.py` reads instruction and response spans separately.
+- With `target_only=True`, the instruction/prefix span has ignore labels and
+  the response span receives the supervised loss.
+- Local decoded prepared samples include short Korean finance QA examples, so a
+  finance QA prompt is a better smoke-test example than a legal reasoning prompt.
+
+## Representative Prompt
 
 ```text
-질문: 대한민국 민법상 미성년자의 법률행위 취소에 대해 한 문단으로 설명하라.
-답변:
+해외주식 투자에서 원/달러 환율 변동이 원화 수익률에 미치는 영향과 대응 방안을 간단히 설명해 주세요.
 ```
 
-Command pattern:
+Command:
 
 ```bash
 ./build-hrm/bin/llama-cli \
-  -m MODEL.gguf \
+  -m KoHRM-Text-1.4B-Q8_0.gguf \
   -ngl 0 \
   -t 4 \
-  -c 512 \
-  -n 80 \
-  --seed 42 \
-  --temp 0.7 \
+  -c 1024 \
+  -n 260 \
+  --seed 41 \
+  --temp 0.45 \
   --top-p 0.9 \
+  --repeat-penalty 1.08 \
   --single-turn \
   --simple-io \
   --no-warmup \
   --display-prompt \
-  -p $'질문: 대한민국 민법상 미성년자의 법률행위 취소에 대해 한 문단으로 설명하라.\n답변:'
+  -p $'해외주식 투자에서 원/달러 환율 변동이 원화 수익률에 미치는 영향과 대응 방안을 간단히 설명해 주세요.'
 ```
 
-## Results
+## Result
 
 | model | prompt speed | generation speed | verdict |
 |---|---:|---:|---|
-| `KoHRM-Text-1.4B-Q4_K_M.gguf` | 33.6 t/s | 13.2 t/s | Runtime OK, not suitable as a legal-answer quality example |
-| `KoHRM-Text-1.4B-Q8_0.gguf` | 23.8 t/s | 6.8 t/s | Runtime OK, not suitable as a legal-answer quality example |
+| `KoHRM-Text-1.4B-Q8_0.gguf` | 25.3 t/s | 5.0 t/s | Runtime OK; useful qualitative finance QA sample |
+
+Excerpt:
 
-## Value Assessment
+```text
+1. **환율 변동의 영향:** 해외 주식 투자의 수익률은 주가 상승에 따른 수익뿐만 아니라 환율 변동에 따른 수익 또는 손실을 포함합니다.
+...
+2. **대응 방안:**
+   - **환율 변동 위험 관리:** 환율 변동 위험을 줄이기 위해 환헤지 상품을 활용하거나, 분할 매수/매도 전략을 통해 환율 변동에 따른 영향을 완화할 수 있습니다.
+   - **장기 투자:** 장기 투자를 통해 환율 변동의 단기적인 영향을 완화하고, 장기적인 주가 상승에 집중할 수 있습니다.
+   - **분산 투자:** 다양한 국가의 주식에 분산 투자하여 특정 국가의 환율 변동 위험을 줄일 수 있습니다.
+```
 
-The outputs prove that the patched `llama.cpp` runtime can load and generate from both Q4_K_M and Q8_0 GGUF files on CPU.
+Full log:
+
+```text
+reports/generation_tests/finance_short_q8_0.txt
+```
 
-The outputs should not be presented as useful legal QA examples:
+## Notes
 
-- They contain meta-instruction text such as `The user wants...`.
-- They include legally incorrect or incoherent claims.
-- The Q4_K_M sample references `민법 제999-1001` for 미성년자 행위 제한, which is not a valid basis for the asked civil-law issue.
-- The Q8_0 sample is semantically incoherent around `소위 '미성년자'`, `처분`, and `의무`.
+`llama-completion` loaded the patched GGUF but returned an immediate end token
+for tested prompts. `llama-cli --single-turn` produced visible CPU token
+generation and is therefore used for the model-card smoke command.
 
-Conclusion: the generation results are valuable only as reproducible runtime smoke tests. They are not evidence of instruction-following quality or legal reasoning quality. This is consistent with the source model being a pretraining-stage checkpoint rather than an SFT/chat/legal model.
+This is a qualitative CPU runtime check, not a benchmark, not financial advice,
+and not evidence that the pretraining-stage checkpoint is a final chat/SFT model.

reports/generation_tests/finance_short_q8_0.txt

@@ -0,0 +1,46 @@
+warning: no usable GPU found, --gpu-layers option will be ignored
+warning: one possible reason is that llama.cpp was compiled without GPU support
+warning: consult docs/build.md for compilation instructions
+
+Loading model... 
+
+
+▄▄ ▄▄
+██ ██
+██ ██  ▀▀█▄ ███▄███▄  ▀▀█▄    ▄████ ████▄ ████▄
+██ ██ ▄█▀██ ██ ██ ██ ▄█▀██    ██    ██ ██ ██ ██
+██ ██ ▀█▄██ ██ ██ ██ ▀█▄██ ██ ▀████ ████▀ ████▀
+                                    ██    ██
+                                    ▀▀    ▀▀
+
+build      : b9263-6a257d446
+model      : KoHRM-Text-1.4B-Q8_0.gguf
+modalities : text
+
+available commands:
+  /exit or Ctrl+C     stop or exit
+  /regen              regenerate the last response
+  /clear              clear the chat history
+  /read <file>        add a text file
+  /glob <pattern>     add text files using globbing pattern
+
+
+> 해외주식 투자에서 원/달러 환율 변동이 원화 수익률에 미치는 영향과 대응 방안을 간단히 설명해 주세요.
+
+
+1. **환율 변동의 영향:** 해외 주식 투자의 수익률은 주가 상승에 따른 수익뿐만 아니라 환율 변동에 따른 수익 또는 손실을 포함합니다. 예를 들어, 미국 주식을 매수했을 때 환율이 1,200원이었고, 매도 시점에 환율이 1,300원으로 상승했다면, 주가 상승과 함께 환차익을 얻을 수 있습니다. 반대로, 환율이 하락했다면 환차손이 발생하여 전체 수익률이 낮아질 수 있습니다.
+
+2. **대응 방안:**
+   - **환율 변동 위험 관리:** 환율 변동 위험을 줄이기 위해 환헤지 상품을 활용하거나, 분할 매수/매도 전략을 통해 환율 변동에 따른 영향을 완화할 수 있습니다.
+   - **장기 투자:** 장기 투자를 통해 환율 변동의 단기적인 영향을 완화하고, 장기적인 주가 상승에 집중할 수 있습니다.
+   - **분산 투자:** 다양한 국가의 주식에 분산 투자하여 특정 국가의 환율 변동 위험을 줄일 수 있습니다.
+   - **환율 전망:** 환율 전망을 참고하여 투자 시점을 조절하거나, 환율 변동에 따른 손실을 최소화하기 위한 전략을 수립할 수 있습니다.
+
+3. **추가 고려 사항:**
+   - **투자 목표:** 투자 목표에 따라 적절한 대응 방안을 선택해야 합니다.
+   - **위험 감수 수준:** 위험 감수 수준에 따라 환율 변동 위험을 관리할 수 있는 정도를 결정해야 합니다.
+   - **전문가 자문:** 필요에 따라 금융 전문가의 자문을 받아
+
+[ Prompt: 25.3 t/s | Generation: 5.0 t/s ]
+
+Exiting...