File size: 2,172 Bytes
c2202ab fb19ac0 c2202ab fb19ac0 c2202ab e922a86 fb19ac0 e922a86 fb19ac0 47e980d e922a86 47e980d e922a86 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 |
---
license: apache-2.0
tags:
- korean
- finance
- chatbot
- instruction
- llama
- lora
- 4bit
---
# π¬ KoFinGPT: νκ΅μ΄ κΈμ΅ μ©μ΄ μ€λͺ
νΉν LLM (LoRA + LLaMA-3 κΈ°λ°)
`taetae030/fin-term-model`μ **νκ΅μ΄ κΈμ΅ μ©μ΄μ λν μ§λ¬Έμ μΉμ νκ³ μ ννκ² λ΅λ³νλ μ±λ΄ νΉν LLM**μ
λλ€.
Metaμ μ΅μ **LLaMA-3 8B Instruct** λͺ¨λΈμ κΈ°λ°μΌλ‘ νλ©°,
[`taetae030/fin-term-instruct`](https://huggingface.co/datasets/taetae030/fin-term-instruct) λ°μ΄ν°μ
μ νμ©νμ¬ **LoRA λ°©μμΌλ‘ κ²½λ νλ**λμμ΅λλ€.
---
## π μ£Όμ νΉμ§
- π§ νκ΅μ΄ κΈμ΅ μ λ¬Έ Q&A νμ΅
- π§© LoRA κΈ°λ° κ²½λν νμΈνλ
- πΎ 4bit μμν μ μ© (bnb.nf4) β GPU ν¨μ¨μ μΆλ‘ κ°λ₯
- π€ μ±λ΄ μΈν°νμ΄μ€, κΈμ΅ AI μλΉμ€, κ΅μ‘μ© μ§λ¬Έμλ΅ μμ€ν
λ± λ€μν νμ© κ°λ₯
---
## π¦ νμ΅ λ°μ΄ν° μΆμ²
λͺ¨λΈ νμ΅μλ AI νλΈμ 곡곡 λ°μ΄ν°λ₯Ό κΈ°λ°μΌλ‘ μ μλ λ€μ λ°μ΄ν°μ
μ μ¬μ©νμ΅λλ€:
- π [`taetae030/fin-term-instruct`](https://huggingface.co/datasets/taetae030/fin-term-instruct)
- μλ³Έ μΆμ²: [AI νλΈ β κΈμ΅Β·λ²λ₯ λ¬Έμ κΈ°κ³λ
ν΄ λ°μ΄ν°](https://www.aihub.or.kr/aihubdata/data/view.do?dataSetSn=71610)
- μ¬μ© λ²μ: μ 체 μ½ 40λ§ κ±΄ μ€ **κΈμ΅κ²½μ λΆμΌ(17.3%)**λ§ μ λ³
- ν¬λ§·: Alpaca-style (`instruction`, `input`, `output`) ννλ‘ μ¬μ μ
---
## π‘ μμ
| instruction | input | output |
|------------------------------------------------------------------------|-------|---------------------------|
| νκ΅μνμ΄ μ
무 μΆμ§ κ³Όμ μμ μκΈΈ μ μλ 리μ€ν¬ μλ°©μ μν΄ ν΄λ§λ€ μ€μνλ κ² λμΌ | | 리μ€ν¬ ν΅μ μκ°μ§λ¨ |
| λ°μ΄ν° μ¬μ΄μΈμ€μ λν νλ‘κ·Έλ¨μ 보κ°νμ¬ 2021λ
μ μ°μλ₯Ό μ§νν κΈ°κ΄μ μ΄λμΌ | | νκ΅μν |
| λμ§νΈ κ²½μ μλμ λ°μ΄ν° κ΄λ¦¬μ μ΄μ©μ μν΄ λ§λ μ λλ λμΌ | | λ°μ΄ν° κ±°λ²λμ€ κ·μ |
|