Instructions to use JosephNa/IdinnoLab_LLM with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- PEFT
How to use JosephNa/IdinnoLab_LLM with PEFT:
Task type is invalid.
- Notebooks
- Google Colab
- Kaggle
|
Download README.md from JosephNa/IdinnoLab_LLM: direct link, hf CLI and curl.
- Browser
- Download file 12.4 kB
-
https://huggingface.co/JosephNa/IdinnoLab_LLM/resolve/main/README.md
- Command line
-
hf download hf://JosephNa/IdinnoLab_LLM/README.md
-
curl -L -o README.md https://huggingface.co/JosephNa/IdinnoLab_LLM/resolve/main/README.md
12.4 kB
| language: | |
| - ko | |
| library_name: peft | |
| tags: | |
| - lora | |
| - design-strategy | |
| # IdinnoLab LLM | |
| ๋์์ธ ์ ๋ต ์๋ฆฝ๊ณผ ๋์์ธ ์ง์์ฌ์ ์ ๋ฌด๋ฅผ ์ํ ํ๊ตญ์ด ํนํ ๋ชจ๋ธ์ ๋๋ค. | |
| ๊ณ ๊ฐ์ ์ํฉ๊ณผ ์ฌ์ ์กฐ๊ฑด์ ๋ฐํ์ผ๋ก ํต์ฌ ๋ฌธ์ ๋ฅผ ์ ๋ฆฌํ๊ณ , ์ ๋ต ๋์๊ณผ ์คํ ๋ฐฉ์์ ์ ์ํฉ๋๋ค. | |
| ## ํ์ฉ ๋ถ์ผ | |
| - **์๋น์คยท์ ํ ๋์์ธ:** ๊ณ ๊ฐ์ ๋ถํธ๊ณผ ์ฌ์ฉ ๋งฅ๋ฝ์ ๋ฐ์ํ UX ๊ฐ์ ์ ๋ต | |
| - **์ฐฝ์ ยท๋ธ๋๋ ์ ๋ต:** ์ฌ์ ๋ชฉํ์ ์กฐ์ง ์กฐ๊ฑด์ ๋ง์ถ ๋์ ๊ฒํ ์ ์ฐ์ ์์ ์ค์ | |
| - **๋์์ธ ์ง์์ฌ์ :** ์ํ ๋จ๊ณ๋ณ ๋์ ๋ฐฉ์, ์ฐ์ถ๋ฌผ ๊ฒํ , ๋ฆฌ์คํฌ ๊ด๋ฆฌ | |
| ## ๋์์ธ ์ ๋ฌด์์์ ํ์ฉ | |
| ๋ฌธ์ ๋ฅผ ์ ๋ฆฌํ๊ณ , ๋์์ธ ๋์์ ๋น๊ตํ๊ณ , ์คํ ๊ธฐ์ค์ ๋ง์ถ๋ ๊ณผ์ ์ ํ์ฉํ ์ ์์ต๋๋ค. | |
| ์๋๋ Llama ๊ธฐ๋ฐ ๋ชจ๋ธ์ ๋ต๋ณ ์์์ ๋๋ค. **Base**๋ ๊ธฐ๋ณธ ๋ชจ๋ธ, **Best**๋ ํ๋ ๋ชจ๋ธ์ ๋๋ค. | |
| ### 1. ์ํ ํ์ ๊ฒฝํ์ ๊ฐ์ ํ ๋ | |
| ์ ์์๊ฑฐ๋์์ ์ด๋ฏธ ๊ตฌ๋งคํ ์ํ๊ณผ ๋น์ทํ ์ ํ๋ง ๋ฐ๋ณต ์ถ์ฒ๋ฉ๋๋ค. ์ฌ์ฉ์๋ ํ์ํ ์ฐ๊ด ์ํ์ ์ฐพ๊ธฐ ์ด๋ ต๊ณ , ์ ์ด ์ ํ์ ์ถ์ฒํ๋์ง๋ ์๊ณ ์ถ์ด ํฉ๋๋ค. ๋์์ธํ์ ์ถ์ฒ ๋ชฉ๋ก๊ณผ ํ์ ํ๋ฉด์ ์ด๋ป๊ฒ ๋ฐ๊ฟ์ง ๊ฒํ ํฉ๋๋ค. | |
| **๋ชจ๋ธ์ ์ ๋ฌํ ๋ด์ฉ** | |
| ```text | |
| [RAG ๋ฐ์ดํฐ ์ฃผ์ ] | |
| [30๋ ๋จ์ฑ, ์ ์์๊ฑฐ๋] ๋์์ธ ์ ๋ต ์๋ฆฝ. | |
| ์ผ๋ฐ์๋น์ฑํฅ: ์๊ฐ ๋๋น ํจ์จ๊ณผ ๋ฐ์ดํฐ ๊ธฐ๋ฐ์ ํฉ๋ฆฌ์ ๊ทผ๊ฑฐ๋ฅผ ์ค์ํ๋ฉฐ, ๋จ์ ๋ง์ผํ ์ฑ ์ถ์ฒ๋ณด๋ค '์ ์ด ์ ํ์ด ๋ด๊ฒ ํ์ํ์ง' ๋ ผ๋ฆฌ์ ๋ฉ๋์ ์ํจ | |
| ํ์ธํฌ์ธํธ ๋ฐ์ ์ฌ์ : 1. ์ธ์ง/ํ์ | |
| ํ์ธํฌ์ธํธ ๋ฐ์ ์ก์ : ์๊ณ ๋ฆฌ์ฆ ๊ณ ๋ฆฝ | |
| ๋ด์ฉ: "์ด๋ฏธ ๊ตฌ๋งคํ ๋ฌผ๊ฑด๊ณผ ์ ์ฌํ ๋ชจ๋ธ๋ง ๊ณ์ ์ถ์ฒ๋์ด ๊ฒ์ ๊ฒฐ๊ณผ๊ฐ ์ค๋ณต ๋ ธ์ด์ฆ๋ก ์ค์ผ๋๊ณ , ์ ์ ํ์ํ ์ฐ๊ด ์ํ์ ์ฐพ๋ ๋ฐ ๋ถํ์ํ ์๊ฐ์ ๋ญ๋นํจ" | |
| ``` | |
| | Base | Best | | |
| |---|---| | |
| | Based on the provided RAG data, I will propose two design strategies to address the pain point of "algorithmic isolation" for a 30-year-old male consumer who prioritizes time-efficient and data-driven decision-making. | [ํต์ฌ ๋ฌธ์ ์ ์]<br>ํต์ฌ ๋ฌธ์ ์ ์: ์ ๋ณด ๊ณผ์ ์ํ์์ ํ๊ฒ์ ๋ ผ๋ฆฌ์ ํ๋จ์ ๋ฐฉํดํ๊ณ ํ์ ํจ์จ์ ์ ํ์ํค๋ ์ถ์ฒ ์๊ณ ๋ฆฌ์ฆ์ ๋จ์์ฑ ๋ฐ ์ ๋ณด ๋ฐ๋ ๋ฌธ์ .<br><br>...<br><br>[์ ๋ต 3]<br>[ํ์ธํฌ์ธํธ ๊ทน๋ณต ํต์ฌ ๋ฌธ์ ์ ์]<br>"๋น์ ํ ํ์์ ๋ณต์ก์ฑ์ ๋ณด์ํ๊ณ , '์ ์ด ์ ํ์ด ๋ด๊ฒ ํ์ํ์ง'๋ฅผ ๋ ผ๋ฆฌ์ ์ผ๋ก ์ฆ๋ช ํด์ผ ํจ."<br>[๋๋ฆฝ ๊ฐ์น ๋์์ธ ์ ๋ต]<br>"๋ ผ๋ฆฌ์ ์ฐ๊ด์ฑ ์ฆ๋ช ์นด๋ (Opposing Value: ๋น์ธััะธัะธะฒ์ ํ์์ ์ธ์ง์ ๋ณด์)"<br>[์คํ ๋ฐฉ์]<br>"1. ์ ์ฌ์ฑ ๊ธฐ๋ฐ ์ถ์ฒ ๊ฒฐ๊ณผ ์์ '์ด ์ ํ์ ๊ณ ๋ฅธ ์ด์ '๋ฅผ ์์ฝํ ๋ ผ๋ฆฌ์ ์นด๋ ์ฌ๋ผ์ด๋๋ฅผ ๋ฐฐ์นํจ. 2. '์ด ์ ํ๊ณผ ๋น์ทํ ์ด์ ๋ก 30๋ ํ๊ฒ์ด ๋ง์ด ๊ตฌ๋งคํจ'์ด๋ผ๋ ํต๊ณ ๋ฐ์ดํฐ๋ฅผ ๊ฒฐํฉํจ." | | |
| **์ ๋ฌด์ ์ ์ฉํ๊ธฐ** | |
| ์ด ๋ต๋ณ์ ์ถ์ฒ ํ๋ฉด์ ์ค๊ณ ๋ฐฉํฅ์ ๋ ผ์ํ ๋ ์ฌ์ฉํ ์ ์์ต๋๋ค. ์ถ์ฒ ์นด๋์ ์ ํ ์ด์ ๋ฅผ ๋ณด์ฌ์ฃผ๋ ๋ฐฉ์์ ์์์ผ๋ก ๋ง๋ค๊ณ , ์ฌ์ฉ์๊ฐ ์ถ์ฒ ๊ทผ๊ฑฐ๋ฅผ ์ดํดํ๋์ง ํ์ธํฉ๋๋ค. ์ ์ฌ์ํ์ ๋ ๋ณด์ฌ์ฃผ๋ ๊ฒ๊ณผ ํ์ํ ์ฐ๊ด ์ํ์ ๋ฐ๊ฒฌํ๊ฒ ํ๋ ๊ฒ์ ๋ค๋ฅด๋ฏ๋ก, ํ์ ๊ฒฐ๊ณผ๊ฐ ๋ค์ํด์ง๋์ง๋ ํจ๊ป ๊ฒํ ํฉ๋๋ค. | |
| ### 2. ๊ฐ๊ตฌ AR ์๋น์ค์ ๊ฐ์ ๋ฐฉํฅ์ ์ ํ ๋ | |
| ๊ฐ๊ตฌ AR ์๋น์ค์ ์ฒดํ ์์๋ฅ ์ 44%์ง๋ง ์ฅ๋ฐ๊ตฌ๋ ์ ํ์จ์ 3.2%์ ๋๋ค. ๋ฐํ ์ฌ์ ๋ ํฌ๊ธฐ๊ฐ ๋ถ์ผ์น์ ๊ณต๊ฐ ์ด์ธ๋ฆผ์ ๋ํ ๋ถํ์ค์ฑ์ ๋๋ค. 4๋ช ์ผ๋ก ๊ตฌ์ฑ๋ ํ์ 6์ฃผ ์์ 3D ๋ชจ๋ธ์ ์ ๋ฐ๋๋ฅผ ๋์ผ์ง, ๊ตฌ๋งค ํ๋จ์ ํ์ํ ์ ๋ณด๋ฅผ ๋ณด๊ฐํ ์ง ๊ฒฐ์ ํด์ผ ํฉ๋๋ค. | |
| **๋ชจ๋ธ์ ์ ๋ฌํ ๋ด์ฉ** | |
| ```text | |
| [์ญํ ] | |
| ๋น์ฆ๋์ค๋๋ฒจ๋กํผ | |
| [์ฐ์ ] | |
| ๋ฆฌํ ์ผยท๊ณต๊ฐ | |
| [ํ๋ก์ ํธ ์ ํ] | |
| UX๊ฐ์ | |
| [์ ๋ต ๋ชฉํ] | |
| Business Growth | |
| [๊ฒฝํ ์์ค] | |
| Beginner | |
| [๊ธฐ์ ๋จ๊ณ] | |
| ์ด๊ธฐ์ฐฝ์ (1~2๋ ) | |
| [ํ ๊ท๋ชจ] | |
| ์๊ท๋ชจ(2~5์ธ) | |
| [Persona] | |
| ๋น์ฆ๋์ค๋๋ฒจ๋กํผ, ๊ฒฝ๋ ฅ 4๋ . ๊ฐ๊ตฌ AR ์ปค๋จธ์ค ์ด๊ธฐํ. ์ ํด ๊ฐ๊ตฌ์ฌ ํ๋ณด์ AR ๊ตฌ๋งค ๊ฒฝํ ๊ฒ์ฆ ๋ด๋น. | |
| ๊ฐ์ : ์ ํด์ฒ์ ์๊ตฌ๋ฅผ ์ฌ์ ์งํ๋ก ๋น ๋ฅด๊ฒ ์ ๋ฆฌํจ. ์ฝ์ : AR ํ๋ฉด์ ์ฌ๋ฏธ์ ๊ตฌ๋งค ํ์ ์ ํผ๋ํ๋ ๊ฒฝํฅ. | |
| ์์ฌ๊ฒฐ์ ์ฑํฅ: ์ง๊ดํ. ์ํ์ ํธ๋: ์ด๊ธฐ ๊ฒ์ฆ์๋ ๋ฆฌ์คํฌ์์ฉ. ํ์ ์์ฉ๋: ์ผ๋ฆฌ์ด๋ตํฐ. ์ปค๋ฎค๋์ผ์ด์ ์คํ์ผ: ๊ฒฐ๋ก ์ค์ฌยท์ซ์์ค์ฌ. | |
| [Context] | |
| ์ค๋ฆฝ 1๋ ์ฐจ ๊ฐ๊ตฌ AR ๋ฐฐ์น ์ปค๋จธ์ค. ์ ํด ๋ธ๋๋ 12๊ฐ. AR ์ฒดํ ์์๋ฅ 44%. ์ฅ๋ฐ๊ตฌ๋ ์ ํ์จ 3.2%. ๋ฐํ ์ฌ์ ๋ ํฌ๊ธฐ๊ฐ ๋ถ์ผ์น์ ๊ณต๊ฐ ์ด์ธ๋ฆผ ๋ถํ์ค์ฑ. ์์ฌ๊ฒฐ์ ๋์์ ๊ณ ํ์ง 3D ๋ชจ๋ธ ํ๋์ ๊ตฌ๋งค ํ์ ์งํ ์ค๊ณ. ์์ฐ 1,500๋ง์. ๊ธฐ๊ฐ 6์ฃผ. ํ 4์ธ. ์ ํด์ฌ์ ๊ธฐ๋ฅ ํ์ง ๊ธฐ์ค ์ ์ ํ์. | |
| [์ง๋ฌธ] | |
| ๊ฐ๊ตฌ AR ํ์ง์ ์ด๋ค ๊ธฐ์ค์ผ๋ก ๋ด์ผ ํ๋์? | |
| ``` | |
| | Base | Best | | |
| |---|---| | |
| | * ์ ํด ๋ธ๋๋์ ์๊ตฌ๋ฅผ 80% ์ด์ ์ถฉ์กฑํ๋๊ฐ?<br>* ๊ณ ๊ฐ์ ๊ตฌ๋งค ํ์ ์ 90% ์ด์ ํ๋ณดํ๋๊ฐ?<br>* ๊ฐ๊ตฌ์ ํฌ๊ธฐ๊ฐ ๋ถ์ผ์น๊ฐ 10% ์ดํ์ธ๊ฐ?<br>* ๊ณต๊ฐ ์ด์ธ๋ฆผ ๋ถํ์ค์ฑ์ด 20% ์ดํ์ธ๊ฐ?<br>* 3D ๋ชจ๋ธ์ ํ์ง์ด 90% ์ด์์ ์ ๋ฐ๋์ ์ ํฉ๋๋ฅผ ๊ฐ๋๊ฐ? | [ํต์ฌ ๋ฌธ์ ]<br>ํ๋ฉด๋ฌธ์ : AR ํ๋ฉด์ ์ ๋ฐ๋์ ๊ตฌ๋งค ํ์ ์ด ๋ถ๋ฆฌ๋จ / ๊ทผ๋ณธ์์ธ: AR ํ๋ฉด ํ์ง์ ์๊ฐ์ ์ ๋ฐ๋๋ง์ผ๋ก ํ๊ฐํ๊ณ ์ค์ ๊ตฌ๋งค ํ์ ์ ๋ณ๋ ์งํ๋ก ๋ณด์ง ์์<br><br>[๋ถ์]<br>AR ํ๋ฉด์ ํ์ง์ ๋ณด๊ธฐ ์ข๋ค๋ ํ๊ฐ๊ฐ ์๋๋ผ ๊ตฌ๋งค ํ์ ์ ๋ง๋๋ ์ ํ๋์ ๊ณต๊ฐ ์ดํด๋์ ์ฐ๊ฒฐ๋์ด์ผ ํ๋ค. 3D ๋ชจ๋ธ์ ๋๋ฆฌ๋ฉด ์ฒดํ ์์๋ฅ ์ ๋์์ง ์ ์์ง๋ง ๋ฐํ๊ณผ ์ฅ๋ฐ๊ตฌ๋ ์ดํ์ ์ค์ด์ง ๋ชปํ ์ ์๋ค. ๊ตฌ๋งค ํ์ ์งํ๋ฅผ ๋จผ์ ์ ์ํด์ผ ์ ํด์ฌ์ ํ์ง ๊ธฐ์ค์ ํฉ์ํ ์ ์๋ค.<br><br>...<br><br>Recommended: A<br> RecommendReason: ํ์ฌ ๋ฌธ์ ๋ ํ๋ฉด ์ ๋ฐ๋๋ณด๋ค ๊ตฌ๋งค ํ์ ์ด ๋ฎ์ ๊ตฌ์กฐ์ด๋ฏ๋ก ํ์ง ๊ธฐ์ค์ ๊ตฌ๋งค ์งํ์ ์ฐ๊ฒฐํด์ผ ํ๋ค. | | |
| **์ ๋ฌด์ ์ ์ฉํ๊ธฐ** | |
| ๋์์ธ ๋ฆฌ๋ทฐ์์๋ 'AR ํ๋ฉด์ด ๋ ์ ๊ตํ๊ฐ'๋ฟ ์๋๋ผ '์ด ๊ฐ๊ตฌ๋ฅผ ๊ตฌ๋งคํด๋ ๋๋์ง ํ๋จํ ์ ์๋๊ฐ'๋ฅผ ํจ๊ป ์ง๋ฌธํ๊ฒ ๋ฉ๋๋ค. ๋ต๋ณ์ ๋์จ ํฌ๊ธฐ๊ฐยท๊ณต๊ฐ ์ด์ธ๋ฆผยท๊ตฌ๋งค ํ์ ์ ์ฌ์ฉ์ ํ ์คํธ ํญ๋ชฉ์ผ๋ก ์ ๋ฆฌํ๊ณ , 3D ๋ชจ๋ธ ๊ฐ์ ๊ณผ ๊ตฌ๋งค ์ ๋ณด ๊ฐ์ ์ ์ฐ์ ์์๋ฅผ ๊ฒํ ํ ์ ์์ต๋๋ค. ์ ํ์จ์ด๋ ๋ฐํ์ด ์ค์ ๋ก ๊ฐ์ ๋๋์ง๋ ์ดํ ํ ์คํธ๋ก ํ์ธํฉ๋๋ค. | |
| *์ด ๋ต๋ณ์ ์์ฑ ๊ธธ์ด ์ ํ์ ๋๋ฌํ์ต๋๋ค.* | |
| ### 3. ํจํค์ง ํ๋ก์ ํธ์ ์ฌ์์ ์ ์ค์ผ ๋ | |
| ํ๋ฐฉยท๋ทฐํฐ ๋ธ๋๋์ ๋์์ธ์ ์ฝ๋ น์ ๋งค์ฅ๊ณผ ์์ถ์ฉ ํจํค์ง์ ๋จ๊ณ์ ์ผ๋ก ์ ์ฉํ๋ ค๊ณ ํฉ๋๋ค. ์์ถ ํจํค์ง์ ํ๊ธฐ๋ฅผ ๊ฒํ ํ๋ ๊ณผ์ ์์ ์ผ์ ์ง์ฐ๊ณผ ๋ฐ๋ณต ์์ ์ ์ค์ผ ๋ฐฉ๋ฒ์ด ํ์ํฉ๋๋ค. | |
| **๋ชจ๋ธ์ ์ ๋ฌํ ๋ด์ฉ** | |
| ```text | |
| [๊ธฐ๊ด๋ช ] | |
| ๋๊ตฌ๊ฒฝ๋ถ๋์์ธ์งํฅ์ | |
| [์ํ ๋จ๊ณ] | |
| ์์ถ ํจํค์งยทํ๊ธฐ ๊ฒํ | |
| [์ํฉ๊ณผ ์ง๋ฌธ] | |
| ํ๋ฐฉยท๋ทฐํฐ ๊ธ๋ก๋ฒ ๋ธ๋๋ ์ํ ์ค ์์ถ ํจํค์งยทํ๊ธฐ ๊ฒํ ์ ๋ค์ด์์ต๋๋ค. | |
| ํ์ฅ ์ ์ฉ : ์ฝ๋ น์ ๋งค์ฅ๊ณผ ์์ถ์ฉ ํจํค์ง์ ๋จ๊ณ์ ์ผ๋ก ์ ์ฉ | |
| ํ๋ฐฉยท๋ทฐํฐ ๊ธ๋ก๋ฒ ๋ธ๋๋ ์ผ์ ์ง์ฐ๊ณผ ์ฌ์์ ์ ์ค์ด๋ ๋์์์๋ฅผ ์๋ ค์ฃผ์ธ์. | |
| ``` | |
| | Base | Best | | |
| |---|---| | |
| | **๋์ ์์**<br><br>1. ์ผ์ ์ง์ฐ: ํจํค์งยทํ๊ธฐ ๊ฒํ ์ ์ผ์ ์ ๋ํ ์ง์ฐ์ด ๋ฐ์ํ ๊ฒฝ์ฐ, ๋ธ๋๋ ํ๊ณผ ํจ๊ป ์ฌ์์ ์ ๊ณํํ์ฌ, ์ง์ฐ์ ์ต์ํํฉ๋๋ค.<br>2. ์ฌ์์ : ํจํค์งยทํ๊ธฐ ๊ฒํ ์ ์ฌ์์ ์ ๊ณํํ์ฌ, ๋ธ๋๋ ํ๊ณผ ํจ๊ป ํ์ธํฉ๋๋ค. | [ํต์ฌ ๋ ธํ์ฐ]<br>1. ์์ถ ํจํค์งยทํ๊ธฐ ๊ฒํ ์ ์ฌ์์ ๊ธฐ์ค ํ์ <br>์์ถ ํจํค์งยทํ๊ธฐ ๊ฒํ ์ ๊ธฐ์ค์ผยท๋น์ฉยท์ฑ๊ณผ์งํ๋ฅผ ์ฌ์ ์ ํ์ ํ๋ค. ์์ถ ํจํค์งยทํ๊ธฐ ๊ฒํ ๋ฌธ์์ ์ค์ ํ์ฅ๊ฐ์ด ์ผ์นํ๋์ง ์ ๊ฒํ๋ค.<br><br>2. ์์ถ ํจํค์งยทํ๊ธฐ ๊ฒํ ์ ์น์ธ์๋ฅผ ์ง์ <br>์์ถ ํจํค์งยทํ๊ธฐ ๊ฒํ ์์ ์์ธ๊ฒฐ์ ์ ํ ๋ช ์ ๋ด๋น์์๊ฒ ์ง์คํ๋ค. ๊ณ ๊ฐยท์ด์ยทํ์ง ๋ด๋น์์๊ฒ ๊ฐ์ ๊ธฐ์ค์ผ๋ก ์ค๋ช ํ ์ ์๋๋ก ๋ฌธ์๋ฅผ ๋ณด์ํ๋ค.<br><br>3. ์์ถ ํจํค์งยทํ๊ธฐ ๊ฒํ ์ ๋ณ๊ฒฝ๋ด์ฉ ๊ธฐ๋ก<br>์์ถ ํจํค์งยทํ๊ธฐ ๊ฒํ ๋ณ๊ฒฝ์ฌํญ์ ๋ฒ์ ยท์ผ์ยท์น์ธ์๋ฅผ ๋จ๊ธด๋ค. ๋ณ๊ฒฝ ์ ยทํ ์ฐ์ถ๋ฌผ์ ํจ๊ป ๋ณด๊ดํ๋ค.<br><br>...<br><br>[๊ธฐ๊ด๋ณ ํน์ด์ฌํญ]<br>์์ถ ํจํค์งยทํ๊ธฐ ๊ฒํ ์ ๊ณต์ ์์ยท๋น์ฉยท์ฆ๋น์๊ฑด์ ์ต์ ์ด์์ง์นจ์ ํ์ธํ๋ค. ํน์ ํ๊ณยท์ด์ ๊ธฐ์ค์ ์ต์ ๊ณต์ ๊ธฐ์ค์ ์ฐ์ ํ๋ค. | | |
| **์ ๋ฌด์ ์ ์ฉํ๊ธฐ** | |
| ํ๋ก์ ํธ ๋ด๋น์๋ ์ด ๋ต๋ณ์ ๋ฐํ์ผ๋ก ๊ฒํ ๊ธฐ์ค๊ณผ ์น์ธ ๋ด๋น์๋ฅผ ๋จผ์ ์ ๋ฆฌํ ์ ์์ต๋๋ค. ๋์์ธ ๋ณ๊ฒฝ๋ง๋ค ๋ฒ์ ยท์ผ์ยท์น์ธ์๋ฅผ ๋จ๊ธฐ๊ณ ๋ณ๊ฒฝ ์ ํ ์ฐ์ถ๋ฌผ์ ํจ๊ป ๋ณด๊ดํ๋ ๋ฐฉ์์ผ๋ก, ํ์ด ๊ฐ์ ๊ธฐ์ค์์ ์์ ์ฌ๋ถ๋ฅผ ํ๋จํ๋๋ก ์ ๋ฌด ์ ์ฐจ๋ฅผ ๋ง์ถฅ๋๋ค. ์์ถ ๊ตญ๊ฐ์ ํ๊ธฐ ๊ท์ ์ ๋ณ๋๋ก ํ์ธํฉ๋๋ค. | |
| ## ์ฑ๋ฅ | |
| ์ฌ๋ด ํ๊ฐ 330๊ฑด ๊ธฐ์ค์ ๋๋ค. 11๊ฐ ์ ๋ฌด ์ ํ์ ํ๊ท ์ ๋์ผ ๊ฐ์ค์ผ๋ก ์ง๊ณํ์ต๋๋ค. | |
| | ๋ชจ๋ธ | ์งํ | Base | Best | ์ฐจ์ด (Best โ Base) | | |
| |---|---|---:|---:|---:| | |
| | Llama | ํ๊ธ ๋ณด์กด ROUGE-L F1 | 0.0258 | 0.2492 | +0.2233 | | |
| | Llama | ๊ธ์ 3-gram F1 | 0.0368 | 0.3184 | +0.2817 | | |
| Mi:dm ์งํ๋ ์ค๋น ์ค์ ๋๋ค. | |
| ROUGE-L๊ณผ ๊ธ์ 3-gram F1์ ์ฐธ๊ณ ๋ต๋ณ๊ณผ์ ํํ ์ ์ฌ์ฑ์ ์ธก์ ํฉ๋๋ค. ์ค์ ์ ๋ฌด์์์ ์ ํ์ฑ์ด๋ ์ ๋ต์ ํจ๊ณผ๋ฅผ ๋ณด์ฅํ๋ ์งํ๋ ์๋๋๋ค. | |
| <details> | |
| <summary>ํ๊ฐ ๊ธฐ์ค ๋ฐ ์ฌ์ฉ ์ ์ฐธ๊ณ ์ฌํญ</summary> | |
| Base์ Best๋ ๋์ผ ์ ๋ ฅ๊ณผ ์์ฑ ์ค์ ์ผ๋ก ๋น๊ตํ์ต๋๋ค. ROUGE-L์๋ ํ๊ธ์ ๋ณด์กดํ๋ ํ ํฌ๋์ด์ ๋ฅผ ์ฌ์ฉํ์ต๋๋ค. ๊ฐ๋ ์ฑ์ ์ํด ๋ต๋ณ์ ์ผ๋ถ๋ง ํ์ํ์ผ๋ฉฐ `...`๋ ์๋ต๋ ๋ถ๋ถ์ ๋ปํฉ๋๋ค. ํ์ํ ๋ต๋ณ ๋ฌธ์ฅ์ ์ค์ ์์ฑ ๊ฒฐ๊ณผ ๊ทธ๋๋ก์ ๋๋ค. ๊ฐ ์ํฉ ์ค๋ช ๊ณผ ์ ๋ฌด ์ ์ฉ ๋ฐฉ๋ฒ์ ๋ต๋ณ์ ํ์ฉ ๋ฐฉํฅ์ ์ค๋ช ํ๋ฉฐ, ์ค์ ๋์ ์ฑ๊ณผ๋ฅผ ๋ปํ์ง ์์ต๋๋ค. ์์๋ ์ค๋ช ์ฉ์ด๋ฉฐ ์ ์ฒด ์ฑ๋ฅ์ ๋ํํ๋ ํ๋ณธ์ ์๋๋๋ค. | |
| 1,024ํ ํฐ ์ค์ ์์ Llama Best์ ๊ธธ์ด ์ ํ ๋๋ฌ๋ฅ ์ ์ํธ ํ๊ท **72.4%**์ ๋๋ค. ๊ธด ๋ต๋ณ์ ์๊ฒฐ์ฑ์ ๋ณ๋ ํ์ธ์ด ํ์ํฉ๋๋ค. ํ๊ฐ๋ ๋ด๋ถ ๋ฐ์ดํฐ ๊ธฐ์ค์ด๋ฉฐ ๋ ๋ฆฝ ์ธ๋ถ ํ๊ฐ ๋ฐ ์ ๋ฌธ๊ฐ ํ๊ฐ๋ ํฌํจํ์ง ์์ต๋๋ค. ์ถ์ฒ ์ ๋ต์ ์ ํฉ์ฑ๊ณผ ๊ตญ๊ฐ๋ณ ์์ถ ํ๊ธฐ ์๊ฑด ๋ฑ์ ์ค๋ฌด ๊ฒํ ๊ฐ ํ์ํฉ๋๋ค. | |
| </details> | |
| ## ๋ชจ๋ธ ๊ตฌ์ฑ | |
| - **Llama ๊ธฐ๋ฐ:** [Llama-3-Design11-LoRA](Llama-3-Design11-LoRA/README.md) | |
| - **Mi:dm ๊ธฐ๋ฐ:** ์ค๋น ์ค | |
| LoRA ์ด๋ํฐ ํํ๋ก ์ ๊ณตํ๋ฉฐ, ํด๋น ๊ธฐ๋ฐ ๋ชจ๋ธ๊ณผ ํจ๊ป ์ฌ์ฉํฉ๋๋ค. ์ ์ฅ์ ์ ๊ทผ ๊ถํ๊ณผ ๊ธฐ๋ฐ ๋ชจ๋ธ์ ์ฌ์ฉ ๊ถํ์ด ํ์ํฉ๋๋ค. | |
| ## ์ฌ์ฉ ๋ฐฉ๋ฒ | |
| ```python | |
| import torch | |
| from transformers import AutoModelForCausalLM, AutoTokenizer | |
| from peft import PeftConfig, PeftModel | |
| repo = "JosephNa/IdinnoLab_LLM" | |
| subfolder = "Llama-3-Design11-LoRA" # ๋๋ "Midm-Design11-LoRA" | |
| config = PeftConfig.from_pretrained(repo, subfolder=subfolder) | |
| base = AutoModelForCausalLM.from_pretrained( | |
| config.base_model_name_or_path, revision=config.revision, | |
| dtype=torch.bfloat16, device_map="auto", | |
| ) | |
| model = PeftModel.from_pretrained(base, repo, subfolder=subfolder) | |
| tokenizer = AutoTokenizer.from_pretrained(repo, subfolder=subfolder) | |
| model.eval() | |
| ``` | |
| BF16 ๋ก๋ฉ ์์๋ NF4 ํ๊ฐ๋ณด๋ค ๋ ๋ง์ GPU ๋ฉ๋ชจ๋ฆฌ๊ฐ ํ์ํ ์ ์์ต๋๋ค. | |
| ## ๋ผ์ด์ ์ค | |
| ํ์ต ๋ฐ์ดํฐ๋ ๋ฐฐํฌํ์ง ์์ต๋๋ค. ๋ต๋ณ์ ํฌํจ๋ ๊ธฐ๊ด ์ ์ฑ ยท์๊ฒฉ ์๊ฑดยทํ๊ธฐ ๊ธฐ์ค์ ์ต์ ๊ณต์ ์๋ฃ๋ฅผ ํ์ธํ์ธ์. | |
| Built with Meta Llama 3. Llama ์ด๋ํฐ์๋ Meta Llama 3 Community License ๋ฐ NOTICE๊ฐ ์ ์ฉ๋๊ณ , Mi:dm์๋ upstream MIT ๋ผ์ด์ ์ค๊ฐ ์ ์ฉ๋ฉ๋๋ค. ๊ฐ ๋ชจ๋ธ ํด๋์ ๋ผ์ด์ ์ค๋ฅผ ๋ณ๋๋ก ํ์ธํ์ธ์. | |