intrect commited on
Commit
0330d0c
·
verified ·
1 Parent(s): c5f7d77

Update model card for DPO v4

Browse files
Files changed (1) hide show
  1. README.md +178 -3
README.md CHANGED
@@ -1,3 +1,178 @@
1
- ---
2
- license: apache-2.0
3
- ---
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ license: apache-2.0
3
+ language:
4
+ - ko
5
+ - en
6
+ library_name: transformers
7
+ tags:
8
+ - finance
9
+ - korean
10
+ - stock-analysis
11
+ - reasoning
12
+ - dpo
13
+ base_model: Qwen/Qwen2.5-7B-Instruct
14
+ pipeline_tag: text-generation
15
+ ---
16
+
17
+ # VELA (Vector-Encoded Learning Agent)
18
+
19
+ **한국 주식시장 전문 AI 애널리스트**
20
+
21
+ VELA는 한국 주식시장 뉴스 분석 및 투자 리서치를 위해 특화된 7B 파라미터 언어 모델입니다.
22
+
23
+ ## Model Details
24
+
25
+ | 항목 | 내용 |
26
+ |------|------|
27
+ | **Base Model** | Qwen/Qwen2.5-7B-Instruct |
28
+ | **Training Stage** | SFT + DPO v4 |
29
+ | **Parameters** | 7.6B |
30
+ | **Context Length** | 8,192 tokens |
31
+ | **Precision** | BFloat16 |
32
+ | **License** | Apache 2.0 |
33
+
34
+ ## Training Pipeline
35
+
36
+ ```
37
+ Qwen2.5-7B-Instruct
38
+
39
+ SFT (930K samples)
40
+ - 한국 주식 뉴스 분석
41
+ - 리서치 리포트 생성
42
+ - Reasoning Trace 학습
43
+
44
+ DPO v4 (7,681 pairs)
45
+ - 중국어/영어 leak 교정
46
+ - 한국어 출력 강화
47
+ - 형식 준수 향상
48
+
49
+ VELA v1.0
50
+ ```
51
+
52
+ ## Capabilities
53
+
54
+ - **뉴스 영향 분석**: 주식 관련 뉴스의 시장 영향도 예측
55
+ - **리서치 리포트 생성**: 구조화된 투자 분석 보고서 작성
56
+ - **Reasoning Trace**: 단계별 분석 사고과정 생성
57
+ - **다중 소스 종합**: 뉴스, 시세, 수급 데이터 통합 분석
58
+
59
+ ## Usage
60
+
61
+ ### Transformers
62
+
63
+ ```python
64
+ from transformers import AutoModelForCausalLM, AutoTokenizer
65
+ import torch
66
+
67
+ model = AutoModelForCausalLM.from_pretrained(
68
+ "intrect/vela",
69
+ torch_dtype=torch.bfloat16,
70
+ device_map="auto"
71
+ )
72
+ tokenizer = AutoTokenizer.from_pretrained("intrect/vela")
73
+
74
+ messages = [
75
+ {"role": "system", "content": "당신은 한국 주식 전문 애널리스트입니다."},
76
+ {"role": "user", "content": "삼성전자 HBM 사업 전망을 분석해주세요."}
77
+ ]
78
+
79
+ text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
80
+ inputs = tokenizer(text, return_tensors="pt").to(model.device)
81
+
82
+ outputs = model.generate(
83
+ **inputs,
84
+ max_new_tokens=1024,
85
+ temperature=0.7,
86
+ do_sample=True
87
+ )
88
+ print(tokenizer.decode(outputs[0], skip_special_tokens=True))
89
+ ```
90
+
91
+ ### vLLM (Recommended for Production)
92
+
93
+ ```python
94
+ from vllm import LLM, SamplingParams
95
+
96
+ llm = LLM(model="intrect/vela", dtype="bfloat16")
97
+ params = SamplingParams(temperature=0.7, max_tokens=1024)
98
+
99
+ prompts = ["삼성전자 HBM 시장 전망을 분석해주세요."]
100
+ outputs = llm.generate(prompts, params)
101
+ ```
102
+
103
+ ### MLX (Apple Silicon)
104
+
105
+ MLX 변환 모델은 별도 저장소에서 제공 예정입니다.
106
+
107
+ ## Output Format
108
+
109
+ VELA는 다음과 같은 구조화된 출력을 생성합니다:
110
+
111
+ ```markdown
112
+ ## Executive Summary
113
+ [2-3문장 핵심 요약]
114
+
115
+ ## Key Metrics
116
+ | 지표 | 수치 |
117
+ |------|------|
118
+ | 현재가 | ₩XX,XXX |
119
+ | PER | XX.X |
120
+ | ... | ... |
121
+
122
+ ## 시장 동향 분석
123
+ [상세 분석]
124
+
125
+ ## 리스크 요인
126
+ - 리스크 1
127
+ - 리스크 2
128
+
129
+ ## 투자 의견
130
+ [종합 의견]
131
+ ```
132
+
133
+ ## Training Data
134
+
135
+ | 데이터셋 | 샘플 수 | 용도 |
136
+ |----------|---------|------|
137
+ | 한국 주식 뉴스 | 412K | SFT 기반 데이터 |
138
+ | 리서치 리포트 | 50K | 분석 형식 학습 |
139
+ | Reasoning Traces | 5K | 사고과정 학습 |
140
+ | DPO Pairs | 7.7K | 선호도 정렬 |
141
+
142
+ ## DPO v4 Improvements
143
+
144
+ DPO v4는 다음 문제들을 해결합니다:
145
+
146
+ - ✅ **중국어 leak 제거**: 중국어 문자 출력 방지
147
+ - ✅ **영어 leak 감소**: 불필요한 영어 사용 최소화
148
+ - ✅ **형식 준수**: 지정된 출력 형식 엄격 준수
149
+ - ✅ **한국어 품질**: 자연스러운 한국어 표현
150
+
151
+ ## Limitations
152
+
153
+ - 실시간 시세 데이터 접근 불가 (외부 API 필요)
154
+ - 투자 조언이 아닌 정보 제공 목적
155
+ - 8K 컨텍스트 제한으로 긴 문서 처리 한계
156
+
157
+ ## Citation
158
+
159
+ ```bibtex
160
+ @misc{vela2025,
161
+ title={VELA: Vector-Encoded Learning Agent for Korean Stock Analysis},
162
+ author={intrect},
163
+ year={2025},
164
+ publisher={Hugging Face},
165
+ url={https://huggingface.co/intrect/vela}
166
+ }
167
+ ```
168
+
169
+ ## Version History
170
+
171
+ | 버전 | 날짜 | 변경사항 |
172
+ |------|------|----------|
173
+ | v1.0 (DPO v4) | 2025-01-28 | DPO v4 병합, 중국어/영어 leak 해결 |
174
+ | v0.9 (SFT) | 2025-01-15 | SFT 베이스 모델 공개 |
175
+
176
+ ---
177
+
178
+ **Disclaimer**: 이 모델의 출력은 투자 조언이 아닙니다. 모든 투자 결정은 본인의 판단과 책임 하에 이루어져야 합니다.