Update README.md

README.md

@@ -1,129 +1,70 @@
----
-license: apache-2.0
-language:
-  - ko
-tags:
-  - reasoning
-  - math
-  - code
-  - from-scratch
-  - korean
-  - gpt
-pipeline_tag: text-generation
-model-index:
-  - name: SOVYN-85M
-    results:
-      - task:
-          type: reasoning
-          name: Custom Reasoning Benchmark
-        metrics:
-          - type: accuracy
-            value: 86.5
-            name: Overall Accuracy
----
-
-# SOVYN-85M
-
-처음부터 학습한 85M 파라미터 한국어 추론 모델.
-
-수학, 코드 트레이싱, 논리, 물리, 화학, 생물, 지구과학, 한국사, 미적분 등 119개 카테고리의 문제를 단계별로 풀이한다.
-
-## 스펙
-
-| | |
-|---|---|
-| 파라미터 | 85.4M |
-| 아키텍처 | GPT (Decoder-only) |
-| 레이어 | 12 |
-| 어텐션 헤드 | 12 |
-| 임베딩 차원 | 768 |
-| 컨텍스트 길이 | 512 |
-| 어휘 크기 | 16,384 (BPE) |
-| 어텐션 | Flash Attention (SDPA) |
-| 정밀도 | float16 |
-
-## 학습
-
-- 데이터: 591,261개 합성 추론 문제 (119 카테고리), 27.97M 토큰
-- 옵티마이저: AdamW (lr=3e-4, weight_decay=0.1)
-- 스케줄: Cosine decay + warmup 500 steps
-- 배치: 16 x 4 grad_accum = effective 64
-- 스텝: 20,000
-- GPU: RTX 5080 16GB
-- 학습 시간: ~4시간
-
-## 벤치마크
-
-자체 벤치마크 52문제, 10개 카테고리.
-
-| 카테고리 | 정확도 |
-|---------|--------|
-| 산술 | 100% |
-| 코드 트레이싱 | 100% |
-| 숫자 성질 | 100% |
-| 서술형 | 100% |
-| 연산 우선순위 | 88% |
-| 리스트 연산 | 83% |
-| 괄호 연산 | 80% |
-| 방정식 | 80% |
-| 논리 | 80% |
-| 수열 | 33% |
-| **전체** | **86.5%** |
-
-## 사용법
-
-```bash
-pip install torch safetensors tokenizers huggingface_hub
-```
-
-```python
-import torch
-from safetensors.torch import load_file
-from tokenizers import Tokenizer
-from huggingface_hub import hf_hub_download
-
-# 다운로드
-model_path = hf_hub_download("SOVYN/SOVYN-85M", "model.safetensors")
-tok_path = hf_hub_download("SOVYN/SOVYN-85M", "tokenizer.json")
-code_path = hf_hub_download("SOVYN/SOVYN-85M", "model.py")
-
-# 아키텍처 로드
-import importlib.util
-spec = importlib.util.spec_from_file_location("model", code_path)
-mod = importlib.util.module_from_spec(spec)
-spec.loader.exec_module(mod)
-
-# 모델 로드
-model = mod.SOVYN85M()
-state_dict = load_file(model_path)
-state_dict = {k: v.float() for k, v in state_dict.items()}
-model.load_state_dict(state_dict)
-model.eval()
-
-tokenizer = Tokenizer.from_file(tok_path)
-
-# 추론
-prompt = "문제: 3x + 7 = 22일 때, x의 값을 구하시오.\n풀이:\n"
-ids = torch.tensor([tokenizer.encode(prompt).ids])
-out = model.generate(ids, max_new_tokens=200, temperature=0.3)
-print(tokenizer.decode(out[0].tolist()))
-```
-
-## 프롬프트 형식
-
-```
-문제: {내용}
-풀이:
-```
-
-"풀이:" 이후를 생성. 단계별 풀이 + "답: {정답}" 형태로 출력.
-
-## 제한사항
-
-- 합성 데이터로만 학습. 자유 대화 불가.
-- 수열(등비/피보나치) 약함.
-- 컨텍스트 512 토큰 제한.
-
-## 라이선스
-
-Apache-2.0
+---
+license: apache-2.0
+language:
+  - ko
+tags:
+  - reasoning
+  - math
+  - code
+  - from-scratch
+  - korean
+  - gpt
+pipeline_tag: text-generation
+model-index:
+  - name: SOVYN-85M
+    results:
+      - task:
+          type: reasoning
+          name: Custom Reasoning Benchmark
+        metrics:
+          - type: accuracy
+            value: 86.5
+            name: Overall Accuracy
+---
+
+# SOVYN-85M
+
+SOVYN-85M은 처음부터(From Scratch) 학습된 85.4M 파라미터 규모의 한국어 추론 모델입니다. 수학, 코드 트레이싱, 논리 등 119개 카테고리의 문제를 단계별로 풀이하도록 설계되었습니다.
+
+## Model Specifications
+
+
+| Attribute | Value |
+| :--- | :--- |
+| **Parameters** | 85.4M |
+| **Architecture** | GPT (Decoder-only) |
+| **Layers / Heads** | 12 / 12 |
+| **Embedding Dim** | 768 |
+| **Context Length** | 512 |
+| **Vocabulary Size** | 16,384 (BPE) |
+| **Precision** | Float16 |
+| **Attention** | Flash Attention (SDPA) |
+
+## Training Details
+
+- **Dataset**: 591,261 합성 추론 문제 (27.97M 토큰)
+- **Optimizer**: AdamW (lr=3e-4, weight_decay=0.1)
+- **Schedule**: Cosine decay (Warmup: 500 steps)
+- **Batch Size**: Effective 64 (16 x 4 grad_accum)
+- **Total Steps**: 20,000
+- **Hardware**: RTX 5080 16GB (Training time: ~4h)
+
+## Benchmarks
+
+자체 벤치마크(52문제, 10개 카테고리) 결과입니다.
+
+
+| Category | Accuracy | Category | Accuracy |
+| :--- | :--- | :--- | :--- |
+| **Arithmetic** | 100% | **Number Property** | 100% |
+| **Code Tracing** | 100% | **Word Problems** | 100% |
+| **Precedence** | 88% | **List Operations** | 83% |
+| **Equations** | 80% | **Logic** | 80% |
+| **Parentheses** | 80% | **Series** | 33% |
+| **Overall** | **86.5%** | | |
+
+## Usage
+
+### Dependencies
+```bash
+pip install torch safetensors tokenizers huggingface_hub