IdinnoLab_LLM / README.md
JosephNa's picture
Show 3 real Korean Base vs Best examples and concise metrics
5110e7c verified
|
Raw History Blame Contribute Delete
12.4 kB
metadata
language:
  - ko
library_name: peft
tags:
  - lora
  - design-strategy

IdinnoLab LLM

๋””์ž์ธ ์ „๋žต ์ˆ˜๋ฆฝ๊ณผ ๋””์ž์ธ ์ง€์›์‚ฌ์—… ์—…๋ฌด๋ฅผ ์œ„ํ•œ ํ•œ๊ตญ์–ด ํŠนํ™” ๋ชจ๋ธ์ž…๋‹ˆ๋‹ค. ๊ณ ๊ฐ์˜ ์ƒํ™ฉ๊ณผ ์‚ฌ์—… ์กฐ๊ฑด์„ ๋ฐ”ํƒ•์œผ๋กœ ํ•ต์‹ฌ ๋ฌธ์ œ๋ฅผ ์ •๋ฆฌํ•˜๊ณ , ์ „๋žต ๋Œ€์•ˆ๊ณผ ์‹คํ–‰ ๋ฐฉ์•ˆ์„ ์ œ์•ˆํ•ฉ๋‹ˆ๋‹ค.

ํ™œ์šฉ ๋ถ„์•ผ

  • ์„œ๋น„์Šคยท์ œํ’ˆ ๋””์ž์ธ: ๊ณ ๊ฐ์˜ ๋ถˆํŽธ๊ณผ ์‚ฌ์šฉ ๋งฅ๋ฝ์„ ๋ฐ˜์˜ํ•œ UX ๊ฐœ์„  ์ „๋žต
  • ์ฐฝ์—…ยท๋ธŒ๋žœ๋“œ ์ „๋žต: ์‚ฌ์—… ๋ชฉํ‘œ์™€ ์กฐ์ง ์กฐ๊ฑด์— ๋งž์ถ˜ ๋Œ€์•ˆ ๊ฒ€ํ† ์™€ ์šฐ์„ ์ˆœ์œ„ ์„ค์ •
  • ๋””์ž์ธ ์ง€์›์‚ฌ์—…: ์ˆ˜ํ–‰ ๋‹จ๊ณ„๋ณ„ ๋Œ€์‘ ๋ฐฉ์•ˆ, ์‚ฐ์ถœ๋ฌผ ๊ฒ€ํ† , ๋ฆฌ์Šคํฌ ๊ด€๋ฆฌ

๋””์ž์ธ ์—…๋ฌด์—์„œ์˜ ํ™œ์šฉ

๋ฌธ์ œ๋ฅผ ์ •๋ฆฌํ•˜๊ณ , ๋””์ž์ธ ๋Œ€์•ˆ์„ ๋น„๊ตํ•˜๊ณ , ์‹คํ–‰ ๊ธฐ์ค€์„ ๋งž์ถ”๋Š” ๊ณผ์ •์— ํ™œ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์•„๋ž˜๋Š” Llama ๊ธฐ๋ฐ˜ ๋ชจ๋ธ์˜ ๋‹ต๋ณ€ ์˜ˆ์‹œ์ž…๋‹ˆ๋‹ค. Base๋Š” ๊ธฐ๋ณธ ๋ชจ๋ธ, Best๋Š” ํŠœ๋‹ ๋ชจ๋ธ์ž…๋‹ˆ๋‹ค.

1. ์ƒํ’ˆ ํƒ์ƒ‰ ๊ฒฝํ—˜์„ ๊ฐœ์„ ํ•  ๋•Œ

์ „์ž์ƒ๊ฑฐ๋ž˜์—์„œ ์ด๋ฏธ ๊ตฌ๋งคํ•œ ์ƒํ’ˆ๊ณผ ๋น„์Šทํ•œ ์ œํ’ˆ๋งŒ ๋ฐ˜๋ณต ์ถ”์ฒœ๋ฉ๋‹ˆ๋‹ค. ์‚ฌ์šฉ์ž๋Š” ํ•„์š”ํ•œ ์—ฐ๊ด€ ์ƒํ’ˆ์„ ์ฐพ๊ธฐ ์–ด๋ ต๊ณ , ์™œ ์ด ์ œํ’ˆ์„ ์ถ”์ฒœํ•˜๋Š”์ง€๋„ ์•Œ๊ณ  ์‹ถ์–ด ํ•ฉ๋‹ˆ๋‹ค. ๋””์ž์ธํŒ€์€ ์ถ”์ฒœ ๋ชฉ๋ก๊ณผ ํƒ์ƒ‰ ํ™”๋ฉด์„ ์–ด๋–ป๊ฒŒ ๋ฐ”๊ฟ€์ง€ ๊ฒ€ํ† ํ•ฉ๋‹ˆ๋‹ค.

๋ชจ๋ธ์— ์ „๋‹ฌํ•œ ๋‚ด์šฉ

[RAG ๋ฐ์ดํ„ฐ ์ฃผ์ž…]
[30๋Œ€ ๋‚จ์„ฑ, ์ „์ž์ƒ๊ฑฐ๋ž˜] ๋””์ž์ธ ์ „๋žต ์ˆ˜๋ฆฝ.
์ผ๋ฐ˜์†Œ๋น„์„ฑํ–ฅ: ์‹œ๊ฐ„ ๋Œ€๋น„ ํšจ์œจ๊ณผ ๋ฐ์ดํ„ฐ ๊ธฐ๋ฐ˜์˜ ํ•ฉ๋ฆฌ์  ๊ทผ๊ฑฐ๋ฅผ ์ค‘์‹œํ•˜๋ฉฐ, ๋‹จ์ˆœ ๋งˆ์ผ€ํŒ…์„ฑ ์ถ”์ฒœ๋ณด๋‹ค '์™œ ์ด ์ œํ’ˆ์ด ๋‚ด๊ฒŒ ํ•„์š”ํ•œ์ง€' ๋…ผ๋ฆฌ์  ๋‚ฉ๋“์„ ์›ํ•จ
ํŽ˜์ธํฌ์ธํŠธ ๋ฐœ์ƒ ์—ฌ์ •: 1. ์ธ์ง€/ํƒ์ƒ‰

ํŽ˜์ธํฌ์ธํŠธ ๋ฐœ์ƒ ์•ก์…˜: ์•Œ๊ณ ๋ฆฌ์ฆ˜ ๊ณ ๋ฆฝ
๋‚ด์šฉ: "์ด๋ฏธ ๊ตฌ๋งคํ•œ ๋ฌผ๊ฑด๊ณผ ์œ ์‚ฌํ•œ ๋ชจ๋ธ๋งŒ ๊ณ„์† ์ถ”์ฒœ๋˜์–ด ๊ฒ€์ƒ‰ ๊ฒฐ๊ณผ๊ฐ€ ์ค‘๋ณต ๋…ธ์ด์ฆˆ๋กœ ์˜ค์—ผ๋˜๊ณ , ์ •์ž‘ ํ•„์š”ํ•œ ์—ฐ๊ด€ ์ƒํ’ˆ์„ ์ฐพ๋Š” ๋ฐ ๋ถˆํ•„์š”ํ•œ ์‹œ๊ฐ„์„ ๋‚ญ๋น„ํ•จ"
Base Best
Based on the provided RAG data, I will propose two design strategies to address the pain point of "algorithmic isolation" for a 30-year-old male consumer who prioritizes time-efficient and data-driven decision-making. [ํ•ต์‹ฌ ๋ฌธ์ œ ์ •์˜]
ํ•ต์‹ฌ ๋ฌธ์ œ ์ •์˜: ์ •๋ณด ๊ณผ์ž‰ ์ƒํƒœ์—์„œ ํƒ€๊ฒŸ์˜ ๋…ผ๋ฆฌ์  ํŒ๋‹จ์„ ๋ฐฉํ•ดํ•˜๊ณ  ํƒ์ƒ‰ ํšจ์œจ์„ ์ €ํ•˜์‹œํ‚ค๋Š” ์ถ”์ฒœ ์•Œ๊ณ ๋ฆฌ์ฆ˜์˜ ๋‹จ์ˆœ์„ฑ ๋ฐ ์ •๋ณด ๋ฐ€๋„ ๋ฌธ์ œ.

...

[์ „๋žต 3]
[ํŽ˜์ธํฌ์ธํŠธ ๊ทน๋ณต ํ•ต์‹ฌ ๋ฌธ์ œ ์ •์˜]
"๋น„์„ ํ˜• ํƒ์ƒ‰์˜ ๋ณต์žก์„ฑ์„ ๋ณด์™„ํ•˜๊ณ , '์™œ ์ด ์ œํ’ˆ์ด ๋‚ด๊ฒŒ ํ•„์š”ํ•œ์ง€'๋ฅผ ๋…ผ๋ฆฌ์ ์œผ๋กœ ์ฆ๋ช…ํ•ด์•ผ ํ•จ."
[๋Œ€๋ฆฝ ๊ฐ€์น˜ ๋””์ž์ธ ์ „๋žต]
"๋…ผ๋ฆฌ์  ์—ฐ๊ด€์„ฑ ์ฆ๋ช… ์นด๋“œ (Opposing Value: ๋น„์ธั‚ัƒะธั‚ะธะฒ์  ํƒ์ƒ‰์˜ ์ธ์ง€์  ๋ณด์™„)"
[์‹คํ–‰ ๋ฐฉ์•ˆ]
"1. ์œ ์‚ฌ์„ฑ ๊ธฐ๋ฐ˜ ์ถ”์ฒœ ๊ฒฐ๊ณผ ์˜†์— '์ด ์ œํ’ˆ์„ ๊ณ ๋ฅธ ์ด์œ '๋ฅผ ์š”์•ฝํ•œ ๋…ผ๋ฆฌ์  ์นด๋“œ ์Šฌ๋ผ์ด๋“œ๋ฅผ ๋ฐฐ์น˜ํ•จ. 2. '์ด ์ œํ’ˆ๊ณผ ๋น„์Šทํ•œ ์ด์œ ๋กœ 30๋Œ€ ํƒ€๊ฒŸ์ด ๋งŽ์ด ๊ตฌ๋งคํ•จ'์ด๋ผ๋Š” ํ†ต๊ณ„ ๋ฐ์ดํ„ฐ๋ฅผ ๊ฒฐํ•ฉํ•จ."

์—…๋ฌด์— ์ ์šฉํ•˜๊ธฐ

์ด ๋‹ต๋ณ€์€ ์ถ”์ฒœ ํ™”๋ฉด์˜ ์„ค๊ณ„ ๋ฐฉํ–ฅ์„ ๋…ผ์˜ํ•  ๋•Œ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์ถ”์ฒœ ์นด๋“œ์— ์„ ํƒ ์ด์œ ๋ฅผ ๋ณด์—ฌ์ฃผ๋Š” ๋ฐฉ์‹์„ ์‹œ์•ˆ์œผ๋กœ ๋งŒ๋“ค๊ณ , ์‚ฌ์šฉ์ž๊ฐ€ ์ถ”์ฒœ ๊ทผ๊ฑฐ๋ฅผ ์ดํ•ดํ•˜๋Š”์ง€ ํ™•์ธํ•ฉ๋‹ˆ๋‹ค. ์œ ์‚ฌ์ƒํ’ˆ์„ ๋” ๋ณด์—ฌ์ฃผ๋Š” ๊ฒƒ๊ณผ ํ•„์š”ํ•œ ์—ฐ๊ด€ ์ƒํ’ˆ์„ ๋ฐœ๊ฒฌํ•˜๊ฒŒ ํ•˜๋Š” ๊ฒƒ์€ ๋‹ค๋ฅด๋ฏ€๋กœ, ํƒ์ƒ‰ ๊ฒฐ๊ณผ๊ฐ€ ๋‹ค์–‘ํ•ด์ง€๋Š”์ง€๋„ ํ•จ๊ป˜ ๊ฒ€ํ† ํ•ฉ๋‹ˆ๋‹ค.

2. ๊ฐ€๊ตฌ AR ์„œ๋น„์Šค์˜ ๊ฐœ์„  ๋ฐฉํ–ฅ์„ ์ •ํ•  ๋•Œ

๊ฐ€๊ตฌ AR ์„œ๋น„์Šค์˜ ์ฒดํ—˜ ์‹œ์ž‘๋ฅ ์€ 44%์ง€๋งŒ ์žฅ๋ฐ”๊ตฌ๋‹ˆ ์ „ํ™˜์œจ์€ 3.2%์ž…๋‹ˆ๋‹ค. ๋ฐ˜ํ’ˆ ์‚ฌ์œ ๋Š” ํฌ๊ธฐ๊ฐ ๋ถˆ์ผ์น˜์™€ ๊ณต๊ฐ„ ์–ด์šธ๋ฆผ์— ๋Œ€ํ•œ ๋ถˆํ™•์‹ค์„ฑ์ž…๋‹ˆ๋‹ค. 4๋ช…์œผ๋กœ ๊ตฌ์„ฑ๋œ ํŒ€์€ 6์ฃผ ์•ˆ์— 3D ๋ชจ๋ธ์˜ ์ •๋ฐ€๋„๋ฅผ ๋†’์ผ์ง€, ๊ตฌ๋งค ํŒ๋‹จ์— ํ•„์š”ํ•œ ์ •๋ณด๋ฅผ ๋ณด๊ฐ•ํ• ์ง€ ๊ฒฐ์ •ํ•ด์•ผ ํ•ฉ๋‹ˆ๋‹ค.

๋ชจ๋ธ์— ์ „๋‹ฌํ•œ ๋‚ด์šฉ

[์—ญํ• ]
๋น„์ฆˆ๋‹ˆ์Šค๋””๋ฒจ๋กœํผ

[์‚ฐ์—…]
๋ฆฌํ…Œ์ผยท๊ณต๊ฐ„

[ํ”„๋กœ์ ํŠธ ์œ ํ˜•]
UX๊ฐœ์„ 

[์ „๋žต ๋ชฉํ‘œ]
Business Growth

[๊ฒฝํ—˜ ์ˆ˜์ค€]
Beginner

[๊ธฐ์—… ๋‹จ๊ณ„]
์ดˆ๊ธฐ์ฐฝ์—…(1~2๋…„)

[ํŒ€ ๊ทœ๋ชจ]
์†Œ๊ทœ๋ชจ(2~5์ธ)

[Persona]
๋น„์ฆˆ๋‹ˆ์Šค๋””๋ฒจ๋กœํผ, ๊ฒฝ๋ ฅ 4๋…„. ๊ฐ€๊ตฌ AR ์ปค๋จธ์Šค ์ดˆ๊ธฐํŒ€. ์ œํœด ๊ฐ€๊ตฌ์‚ฌ ํ™•๋ณด์™€ AR ๊ตฌ๋งค ๊ฒฝํ—˜ ๊ฒ€์ฆ ๋‹ด๋‹น.
 
 ๊ฐ•์ : ์ œํœด์ฒ˜์˜ ์š”๊ตฌ๋ฅผ ์‚ฌ์—… ์ง€ํ‘œ๋กœ ๋น ๋ฅด๊ฒŒ ์ •๋ฆฌํ•จ. ์•ฝ์ : AR ํ™”๋ฉด์˜ ์žฌ๋ฏธ์™€ ๊ตฌ๋งค ํ™•์‹ ์„ ํ˜ผ๋™ํ•˜๋Š” ๊ฒฝํ–ฅ.
 
 ์˜์‚ฌ๊ฒฐ์ •์„ฑํ–ฅ: ์ง๊ด€ํ˜•. ์œ„ํ—˜์„ ํ˜ธ๋„: ์ดˆ๊ธฐ ๊ฒ€์ฆ์—๋Š” ๋ฆฌ์Šคํฌ์ˆ˜์šฉ. ํ˜์‹ ์ˆ˜์šฉ๋„: ์–ผ๋ฆฌ์–ด๋‹ตํ„ฐ. ์ปค๋ฎค๋‹ˆ์ผ€์ด์…˜์Šคํƒ€์ผ: ๊ฒฐ๋ก ์ค‘์‹ฌยท์ˆซ์ž์ค‘์‹ฌ.

[Context]
์„ค๋ฆฝ 1๋…„์ฐจ ๊ฐ€๊ตฌ AR ๋ฐฐ์น˜ ์ปค๋จธ์Šค. ์ œํœด ๋ธŒ๋žœ๋“œ 12๊ฐœ. AR ์ฒดํ—˜ ์‹œ์ž‘๋ฅ  44%. ์žฅ๋ฐ”๊ตฌ๋‹ˆ ์ „ํ™˜์œจ 3.2%. ๋ฐ˜ํ’ˆ ์‚ฌ์œ ๋Š” ํฌ๊ธฐ๊ฐ ๋ถˆ์ผ์น˜์™€ ๊ณต๊ฐ„ ์–ด์šธ๋ฆผ ๋ถˆํ™•์‹ค์„ฑ. ์˜์‚ฌ๊ฒฐ์ • ๋Œ€์•ˆ์€ ๊ณ ํ’ˆ์งˆ 3D ๋ชจ๋ธ ํ™•๋Œ€์™€ ๊ตฌ๋งค ํ™•์‹  ์ง€ํ‘œ ์„ค๊ณ„. ์˜ˆ์‚ฐ 1,500๋งŒ์›. ๊ธฐ๊ฐ„ 6์ฃผ. ํŒ€ 4์ธ. ์ œํœด์‚ฌ์— ๊ธฐ๋Šฅ ํ’ˆ์งˆ ๊ธฐ์ค€ ์ œ์‹œ ํ•„์š”.

[์งˆ๋ฌธ]
๊ฐ€๊ตฌ AR ํ’ˆ์งˆ์€ ์–ด๋–ค ๊ธฐ์ค€์œผ๋กœ ๋ด์•ผ ํ•˜๋‚˜์š”?
Base Best
* ์ œํœด ๋ธŒ๋žœ๋“œ์˜ ์š”๊ตฌ๋ฅผ 80% ์ด์ƒ ์ถฉ์กฑํ•˜๋Š”๊ฐ€?
* ๊ณ ๊ฐ์˜ ๊ตฌ๋งค ํ™•์‹ ์„ 90% ์ด์ƒ ํ™•๋ณดํ•˜๋Š”๊ฐ€?
* ๊ฐ€๊ตฌ์˜ ํฌ๊ธฐ๊ฐ ๋ถˆ์ผ์น˜๊ฐ€ 10% ์ดํ•˜์ธ๊ฐ€?
* ๊ณต๊ฐ„ ์–ด์šธ๋ฆผ ๋ถˆํ™•์‹ค์„ฑ์ด 20% ์ดํ•˜์ธ๊ฐ€?
* 3D ๋ชจ๋ธ์˜ ํ’ˆ์งˆ์ด 90% ์ด์ƒ์˜ ์ •๋ฐ€๋„์™€ ์ •ํ•ฉ๋„๋ฅผ ๊ฐ–๋Š”๊ฐ€?
[ํ•ต์‹ฌ ๋ฌธ์ œ]
ํ‘œ๋ฉด๋ฌธ์ œ: AR ํ™”๋ฉด์˜ ์ •๋ฐ€๋„์™€ ๊ตฌ๋งค ํ™•์‹ ์ด ๋ถ„๋ฆฌ๋จ / ๊ทผ๋ณธ์›์ธ: AR ํ™”๋ฉด ํ’ˆ์งˆ์„ ์‹œ๊ฐ์  ์ •๋ฐ€๋„๋งŒ์œผ๋กœ ํ‰๊ฐ€ํ•˜๊ณ  ์‹ค์ œ ๊ตฌ๋งค ํ™•์‹ ์„ ๋ณ„๋„ ์ง€ํ‘œ๋กœ ๋ณด์ง€ ์•Š์Œ

[๋ถ„์„]
AR ํ™”๋ฉด์˜ ํ’ˆ์งˆ์€ ๋ณด๊ธฐ ์ข‹๋‹ค๋Š” ํ‰๊ฐ€๊ฐ€ ์•„๋‹ˆ๋ผ ๊ตฌ๋งค ํ™•์‹ ์„ ๋งŒ๋“œ๋Š” ์ •ํ™•๋„์™€ ๊ณต๊ฐ„ ์ดํ•ด๋„์— ์—ฐ๊ฒฐ๋˜์–ด์•ผ ํ•œ๋‹ค. 3D ๋ชจ๋ธ์„ ๋Š˜๋ฆฌ๋ฉด ์ฒดํ—˜ ์‹œ์ž‘๋ฅ ์€ ๋†’์•„์งˆ ์ˆ˜ ์žˆ์ง€๋งŒ ๋ฐ˜ํ’ˆ๊ณผ ์žฅ๋ฐ”๊ตฌ๋‹ˆ ์ดํƒˆ์„ ์ค„์ด์ง€ ๋ชปํ•  ์ˆ˜ ์žˆ๋‹ค. ๊ตฌ๋งค ํ™•์‹  ์ง€ํ‘œ๋ฅผ ๋จผ์ € ์ •์˜ํ•ด์•ผ ์ œํœด์‚ฌ์™€ ํ’ˆ์งˆ ๊ธฐ์ค€์„ ํ•ฉ์˜ํ•  ์ˆ˜ ์žˆ๋‹ค.

...

Recommended: A
RecommendReason: ํ˜„์žฌ ๋ฌธ์ œ๋Š” ํ™”๋ฉด ์ •๋ฐ€๋„๋ณด๋‹ค ๊ตฌ๋งค ํ™•์‹ ์ด ๋‚ฎ์€ ๊ตฌ์กฐ์ด๋ฏ€๋กœ ํ’ˆ์งˆ ๊ธฐ์ค€์„ ๊ตฌ๋งค ์ง€ํ‘œ์™€ ์—ฐ๊ฒฐํ•ด์•ผ ํ•œ๋‹ค.

์—…๋ฌด์— ์ ์šฉํ•˜๊ธฐ

๋””์ž์ธ ๋ฆฌ๋ทฐ์—์„œ๋Š” 'AR ํ™”๋ฉด์ด ๋” ์ •๊ตํ•œ๊ฐ€'๋ฟ ์•„๋‹ˆ๋ผ '์ด ๊ฐ€๊ตฌ๋ฅผ ๊ตฌ๋งคํ•ด๋„ ๋˜๋Š”์ง€ ํŒ๋‹จํ•  ์ˆ˜ ์žˆ๋Š”๊ฐ€'๋ฅผ ํ•จ๊ป˜ ์งˆ๋ฌธํ•˜๊ฒŒ ๋ฉ๋‹ˆ๋‹ค. ๋‹ต๋ณ€์— ๋‚˜์˜จ ํฌ๊ธฐ๊ฐยท๊ณต๊ฐ„ ์–ด์šธ๋ฆผยท๊ตฌ๋งค ํ™•์‹ ์„ ์‚ฌ์šฉ์ž ํ…Œ์ŠคํŠธ ํ•ญ๋ชฉ์œผ๋กœ ์ •๋ฆฌํ•˜๊ณ , 3D ๋ชจ๋ธ ๊ฐœ์„ ๊ณผ ๊ตฌ๋งค ์ •๋ณด ๊ฐœ์„ ์˜ ์šฐ์„ ์ˆœ์œ„๋ฅผ ๊ฒ€ํ† ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์ „ํ™˜์œจ์ด๋‚˜ ๋ฐ˜ํ’ˆ์ด ์‹ค์ œ๋กœ ๊ฐœ์„ ๋˜๋Š”์ง€๋Š” ์ดํ›„ ํ…Œ์ŠคํŠธ๋กœ ํ™•์ธํ•ฉ๋‹ˆ๋‹ค.

์ด ๋‹ต๋ณ€์€ ์ƒ์„ฑ ๊ธธ์ด ์ œํ•œ์— ๋„๋‹ฌํ–ˆ์Šต๋‹ˆ๋‹ค.

3. ํŒจํ‚ค์ง€ ํ”„๋กœ์ ํŠธ์˜ ์žฌ์ž‘์—…์„ ์ค„์ผ ๋•Œ

ํ•œ๋ฐฉยท๋ทฐํ‹ฐ ๋ธŒ๋žœ๋“œ์˜ ๋””์ž์ธ์„ ์•ฝ๋ น์‹œ ๋งค์žฅ๊ณผ ์ˆ˜์ถœ์šฉ ํŒจํ‚ค์ง€์— ๋‹จ๊ณ„์ ์œผ๋กœ ์ ์šฉํ•˜๋ ค๊ณ  ํ•ฉ๋‹ˆ๋‹ค. ์ˆ˜์ถœ ํŒจํ‚ค์ง€์™€ ํ‘œ๊ธฐ๋ฅผ ๊ฒ€ํ† ํ•˜๋Š” ๊ณผ์ •์—์„œ ์ผ์ • ์ง€์—ฐ๊ณผ ๋ฐ˜๋ณต ์ˆ˜์ •์„ ์ค„์ผ ๋ฐฉ๋ฒ•์ด ํ•„์š”ํ•ฉ๋‹ˆ๋‹ค.

๋ชจ๋ธ์— ์ „๋‹ฌํ•œ ๋‚ด์šฉ

[๊ธฐ๊ด€๋ช…]
๋Œ€๊ตฌ๊ฒฝ๋ถ๋””์ž์ธ์ง„ํฅ์›

[์ˆ˜ํ–‰ ๋‹จ๊ณ„]
์ˆ˜์ถœ ํŒจํ‚ค์ง€ยทํ‘œ๊ธฐ ๊ฒ€ํ† 

[์ƒํ™ฉ๊ณผ ์งˆ๋ฌธ]
ํ•œ๋ฐฉยท๋ทฐํ‹ฐ ๊ธ€๋กœ๋ฒŒ ๋ธŒ๋žœ๋“œ ์ˆ˜ํ–‰ ์ค‘ ์ˆ˜์ถœ ํŒจํ‚ค์ง€ยทํ‘œ๊ธฐ ๊ฒ€ํ† ์— ๋“ค์–ด์™”์Šต๋‹ˆ๋‹ค.
ํ˜„์žฅ ์ ์šฉ : ์•ฝ๋ น์‹œ ๋งค์žฅ๊ณผ ์ˆ˜์ถœ์šฉ ํŒจํ‚ค์ง€์— ๋‹จ๊ณ„์ ์œผ๋กœ ์ ์šฉ
ํ•œ๋ฐฉยท๋ทฐํ‹ฐ ๊ธ€๋กœ๋ฒŒ ๋ธŒ๋žœ๋“œ ์ผ์ •์ง€์—ฐ๊ณผ ์žฌ์ž‘์—…์„ ์ค„์ด๋Š” ๋Œ€์‘์ˆœ์„œ๋ฅผ ์•Œ๋ ค์ฃผ์„ธ์š”.
Base Best
๋Œ€์‘ ์ˆœ์„œ

1. ์ผ์ •์ง€์—ฐ: ํŒจํ‚ค์ง€ยทํ‘œ๊ธฐ ๊ฒ€ํ† ์˜ ์ผ์ •์— ๋Œ€ํ•œ ์ง€์—ฐ์ด ๋ฐœ์ƒํ•  ๊ฒฝ์šฐ, ๋ธŒ๋žœ๋“œ ํŒ€๊ณผ ํ•จ๊ป˜ ์žฌ์ž‘์—…์„ ๊ณ„ํšํ•˜์—ฌ, ์ง€์—ฐ์„ ์ตœ์†Œํ™”ํ•ฉ๋‹ˆ๋‹ค.
2. ์žฌ์ž‘์—…: ํŒจํ‚ค์ง€ยทํ‘œ๊ธฐ ๊ฒ€ํ† ์˜ ์žฌ์ž‘์—…์„ ๊ณ„ํšํ•˜์—ฌ, ๋ธŒ๋žœ๋“œ ํŒ€๊ณผ ํ•จ๊ป˜ ํ™•์ธํ•ฉ๋‹ˆ๋‹ค.
[ํ•ต์‹ฌ ๋…ธํ•˜์šฐ]
1. ์ˆ˜์ถœ ํŒจํ‚ค์ง€ยทํ‘œ๊ธฐ ๊ฒ€ํ†  ์ „ ์žฌ์ž‘์—… ๊ธฐ์ค€ ํ™•์ •
์ˆ˜์ถœ ํŒจํ‚ค์ง€ยทํ‘œ๊ธฐ ๊ฒ€ํ† ์˜ ๊ธฐ์ค€์ผยท๋น„์šฉยท์„ฑ๊ณผ์ง€ํ‘œ๋ฅผ ์‚ฌ์ „์— ํ™•์ •ํ•œ๋‹ค. ์ˆ˜์ถœ ํŒจํ‚ค์ง€ยทํ‘œ๊ธฐ ๊ฒ€ํ† ๋ฌธ์„œ์™€ ์‹ค์ œ ํ˜„์žฅ๊ฐ’์ด ์ผ์น˜ํ•˜๋Š”์ง€ ์ ๊ฒ€ํ•œ๋‹ค.

2. ์ˆ˜์ถœ ํŒจํ‚ค์ง€ยทํ‘œ๊ธฐ ๊ฒ€ํ† ์˜ ์Šน์ธ์ž๋ฅผ ์ง€์ •
์ˆ˜์ถœ ํŒจํ‚ค์ง€ยทํ‘œ๊ธฐ ๊ฒ€ํ† ์—์„œ ์˜ˆ์™ธ๊ฒฐ์ •์„ ํ•œ ๋ช…์˜ ๋‹ด๋‹น์ž์—๊ฒŒ ์ง‘์ค‘ํ•œ๋‹ค. ๊ณ ๊ฐยท์šด์˜ยทํ’ˆ์งˆ ๋‹ด๋‹น์ž์—๊ฒŒ ๊ฐ™์€ ๊ธฐ์ค€์œผ๋กœ ์„ค๋ช…ํ•  ์ˆ˜ ์žˆ๋„๋ก ๋ฌธ์„œ๋ฅผ ๋ณด์™„ํ•œ๋‹ค.

3. ์ˆ˜์ถœ ํŒจํ‚ค์ง€ยทํ‘œ๊ธฐ ๊ฒ€ํ† ์˜ ๋ณ€๊ฒฝ๋‚ด์šฉ ๊ธฐ๋ก
์ˆ˜์ถœ ํŒจํ‚ค์ง€ยทํ‘œ๊ธฐ ๊ฒ€ํ†  ๋ณ€๊ฒฝ์‚ฌํ•ญ์€ ๋ฒ„์ „ยท์ผ์žยท์Šน์ธ์ž๋ฅผ ๋‚จ๊ธด๋‹ค. ๋ณ€๊ฒฝ ์ „ยทํ›„ ์‚ฐ์ถœ๋ฌผ์„ ํ•จ๊ป˜ ๋ณด๊ด€ํ•œ๋‹ค.

...

[๊ธฐ๊ด€๋ณ„ ํŠน์ด์‚ฌํ•ญ]
์ˆ˜์ถœ ํŒจํ‚ค์ง€ยทํ‘œ๊ธฐ ๊ฒ€ํ† ์˜ ๊ณต์‹ ์„œ์‹ยท๋น„์šฉยท์ฆ๋น™์š”๊ฑด์€ ์ตœ์‹  ์šด์˜์ง€์นจ์„ ํ™•์ธํ•œ๋‹ค. ํŠน์ • ํšŒ๊ณ„ยท์šด์˜ ๊ธฐ์ค€์€ ์ตœ์‹  ๊ณต์‹ ๊ธฐ์ค€์„ ์šฐ์„ ํ•œ๋‹ค.

์—…๋ฌด์— ์ ์šฉํ•˜๊ธฐ

ํ”„๋กœ์ ํŠธ ๋‹ด๋‹น์ž๋Š” ์ด ๋‹ต๋ณ€์„ ๋ฐ”ํƒ•์œผ๋กœ ๊ฒ€ํ†  ๊ธฐ์ค€๊ณผ ์Šน์ธ ๋‹ด๋‹น์ž๋ฅผ ๋จผ์ € ์ •๋ฆฌํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๋””์ž์ธ ๋ณ€๊ฒฝ๋งˆ๋‹ค ๋ฒ„์ „ยท์ผ์žยท์Šน์ธ์ž๋ฅผ ๋‚จ๊ธฐ๊ณ  ๋ณ€๊ฒฝ ์ „ํ›„ ์‚ฐ์ถœ๋ฌผ์„ ํ•จ๊ป˜ ๋ณด๊ด€ํ•˜๋Š” ๋ฐฉ์‹์œผ๋กœ, ํŒ€์ด ๊ฐ™์€ ๊ธฐ์ค€์—์„œ ์ˆ˜์ • ์—ฌ๋ถ€๋ฅผ ํŒ๋‹จํ•˜๋„๋ก ์—…๋ฌด ์ ˆ์ฐจ๋ฅผ ๋งž์ถฅ๋‹ˆ๋‹ค. ์ˆ˜์ถœ ๊ตญ๊ฐ€์˜ ํ‘œ๊ธฐ ๊ทœ์ •์€ ๋ณ„๋„๋กœ ํ™•์ธํ•ฉ๋‹ˆ๋‹ค.

์„ฑ๋Šฅ

์‚ฌ๋‚ด ํ‰๊ฐ€ 330๊ฑด ๊ธฐ์ค€์ž…๋‹ˆ๋‹ค. 11๊ฐœ ์—…๋ฌด ์œ ํ˜•์˜ ํ‰๊ท ์„ ๋™์ผ ๊ฐ€์ค‘์œผ๋กœ ์ง‘๊ณ„ํ–ˆ์Šต๋‹ˆ๋‹ค.

๋ชจ๋ธ ์ง€ํ‘œ Base Best ์ฐจ์ด (Best โˆ’ Base)
Llama ํ•œ๊ธ€ ๋ณด์กด ROUGE-L F1 0.0258 0.2492 +0.2233
Llama ๊ธ€์ž 3-gram F1 0.0368 0.3184 +0.2817

Mi:dm ์ง€ํ‘œ๋Š” ์ค€๋น„ ์ค‘์ž…๋‹ˆ๋‹ค.

ROUGE-L๊ณผ ๊ธ€์ž 3-gram F1์€ ์ฐธ๊ณ  ๋‹ต๋ณ€๊ณผ์˜ ํ‘œํ˜„ ์œ ์‚ฌ์„ฑ์„ ์ธก์ •ํ•ฉ๋‹ˆ๋‹ค. ์‹ค์ œ ์—…๋ฌด์—์„œ์˜ ์ •ํ™•์„ฑ์ด๋‚˜ ์ „๋žต์˜ ํšจ๊ณผ๋ฅผ ๋ณด์žฅํ•˜๋Š” ์ง€ํ‘œ๋Š” ์•„๋‹™๋‹ˆ๋‹ค.

ํ‰๊ฐ€ ๊ธฐ์ค€ ๋ฐ ์‚ฌ์šฉ ์‹œ ์ฐธ๊ณ  ์‚ฌํ•ญ

Base์™€ Best๋Š” ๋™์ผ ์ž…๋ ฅ๊ณผ ์ƒ์„ฑ ์„ค์ •์œผ๋กœ ๋น„๊ตํ–ˆ์Šต๋‹ˆ๋‹ค. ROUGE-L์—๋Š” ํ•œ๊ธ€์„ ๋ณด์กดํ•˜๋Š” ํ† ํฌ๋‚˜์ด์ €๋ฅผ ์‚ฌ์šฉํ–ˆ์Šต๋‹ˆ๋‹ค. ๊ฐ€๋…์„ฑ์„ ์œ„ํ•ด ๋‹ต๋ณ€์˜ ์ผ๋ถ€๋งŒ ํ‘œ์‹œํ–ˆ์œผ๋ฉฐ ...๋Š” ์ƒ๋žต๋œ ๋ถ€๋ถ„์„ ๋œปํ•ฉ๋‹ˆ๋‹ค. ํ‘œ์‹œํ•œ ๋‹ต๋ณ€ ๋ฌธ์žฅ์€ ์‹ค์ œ ์ƒ์„ฑ ๊ฒฐ๊ณผ ๊ทธ๋Œ€๋กœ์ž…๋‹ˆ๋‹ค. ๊ฐ ์ƒํ™ฉ ์„ค๋ช…๊ณผ ์—…๋ฌด ์ ์šฉ ๋ฐฉ๋ฒ•์€ ๋‹ต๋ณ€์˜ ํ™œ์šฉ ๋ฐฉํ–ฅ์„ ์„ค๋ช…ํ•˜๋ฉฐ, ์‹ค์ œ ๋„์ž… ์„ฑ๊ณผ๋ฅผ ๋œปํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค. ์˜ˆ์‹œ๋Š” ์„ค๋ช…์šฉ์ด๋ฉฐ ์ „์ฒด ์„ฑ๋Šฅ์„ ๋Œ€ํ‘œํ•˜๋Š” ํ‘œ๋ณธ์€ ์•„๋‹™๋‹ˆ๋‹ค.

1,024ํ† ํฐ ์„ค์ •์—์„œ Llama Best์˜ ๊ธธ์ด ์ œํ•œ ๋„๋‹ฌ๋ฅ ์€ ์‹œํŠธ ํ‰๊ท  **72.4%**์ž…๋‹ˆ๋‹ค. ๊ธด ๋‹ต๋ณ€์˜ ์™„๊ฒฐ์„ฑ์€ ๋ณ„๋„ ํ™•์ธ์ด ํ•„์š”ํ•ฉ๋‹ˆ๋‹ค. ํ‰๊ฐ€๋Š” ๋‚ด๋ถ€ ๋ฐ์ดํ„ฐ ๊ธฐ์ค€์ด๋ฉฐ ๋…๋ฆฝ ์™ธ๋ถ€ ํ‰๊ฐ€ ๋ฐ ์ „๋ฌธ๊ฐ€ ํ‰๊ฐ€๋Š” ํฌํ•จํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค. ์ถ”์ฒœ ์ „๋žต์˜ ์ ํ•ฉ์„ฑ๊ณผ ๊ตญ๊ฐ€๋ณ„ ์ˆ˜์ถœ ํ‘œ๊ธฐ ์š”๊ฑด ๋“ฑ์€ ์‹ค๋ฌด ๊ฒ€ํ† ๊ฐ€ ํ•„์š”ํ•ฉ๋‹ˆ๋‹ค.

๋ชจ๋ธ ๊ตฌ์„ฑ

LoRA ์–ด๋Œ‘ํ„ฐ ํ˜•ํƒœ๋กœ ์ œ๊ณตํ•˜๋ฉฐ, ํ•ด๋‹น ๊ธฐ๋ฐ˜ ๋ชจ๋ธ๊ณผ ํ•จ๊ป˜ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค. ์ €์žฅ์†Œ ์ ‘๊ทผ ๊ถŒํ•œ๊ณผ ๊ธฐ๋ฐ˜ ๋ชจ๋ธ์˜ ์‚ฌ์šฉ ๊ถŒํ•œ์ด ํ•„์š”ํ•ฉ๋‹ˆ๋‹ค.

์‚ฌ์šฉ ๋ฐฉ๋ฒ•

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftConfig, PeftModel

repo = "JosephNa/IdinnoLab_LLM"
subfolder = "Llama-3-Design11-LoRA"  # ๋˜๋Š” "Midm-Design11-LoRA"
config = PeftConfig.from_pretrained(repo, subfolder=subfolder)
base = AutoModelForCausalLM.from_pretrained(
    config.base_model_name_or_path, revision=config.revision,
    dtype=torch.bfloat16, device_map="auto",
)
model = PeftModel.from_pretrained(base, repo, subfolder=subfolder)
tokenizer = AutoTokenizer.from_pretrained(repo, subfolder=subfolder)
model.eval()

BF16 ๋กœ๋”ฉ ์˜ˆ์‹œ๋Š” NF4 ํ‰๊ฐ€๋ณด๋‹ค ๋” ๋งŽ์€ GPU ๋ฉ”๋ชจ๋ฆฌ๊ฐ€ ํ•„์š”ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

๋ผ์ด์„ ์Šค

ํ•™์Šต ๋ฐ์ดํ„ฐ๋Š” ๋ฐฐํฌํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค. ๋‹ต๋ณ€์— ํฌํ•จ๋œ ๊ธฐ๊ด€ ์ •์ฑ…ยท์ž๊ฒฉ ์š”๊ฑดยทํ‘œ๊ธฐ ๊ธฐ์ค€์€ ์ตœ์‹  ๊ณต์‹ ์ž๋ฃŒ๋ฅผ ํ™•์ธํ•˜์„ธ์š”.

Built with Meta Llama 3. Llama ์–ด๋Œ‘ํ„ฐ์—๋Š” Meta Llama 3 Community License ๋ฐ NOTICE๊ฐ€ ์ ์šฉ๋˜๊ณ , Mi:dm์—๋Š” upstream MIT ๋ผ์ด์„ ์Šค๊ฐ€ ์ ์šฉ๋ฉ๋‹ˆ๋‹ค. ๊ฐ ๋ชจ๋ธ ํด๋”์˜ ๋ผ์ด์„ ์Šค๋ฅผ ๋ณ„๋„๋กœ ํ™•์ธํ•˜์„ธ์š”.