Text Generation
Transformers
Safetensors
Korean
English
aether_v2_7way
foundation-model
sovereign-ai
fully-open
open-source
mixture-of-experts
Mixture of Experts
heterogeneous-attention
latin-square
from-scratch
reproducible
pretrained
korean
vidraft
aether
conversational
custom_code
Instructions to use FINAL-Bench/Aether-7B-5Attn with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use FINAL-Bench/Aether-7B-5Attn with Transformers:
# Use a pipeline as a high-level helper from transformers import pipeline pipe = pipeline("text-generation", model="FINAL-Bench/Aether-7B-5Attn", trust_remote_code=True) messages = [ {"role": "user", "content": "Who are you?"}, ] pipe(messages)# Load model directly from transformers import AutoModelForCausalLM model = AutoModelForCausalLM.from_pretrained("FINAL-Bench/Aether-7B-5Attn", trust_remote_code=True, device_map="auto") - Notebooks
- Google Colab
- Kaggle
- Local Apps Settings
- vLLM
How to use FINAL-Bench/Aether-7B-5Attn with vLLM:
Install from pip and serve model
# Install vLLM from pip: pip install vllm # Start the vLLM server: vllm serve "FINAL-Bench/Aether-7B-5Attn" # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:8000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "FINAL-Bench/Aether-7B-5Attn", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }'Use Docker
docker model run hf.co/FINAL-Bench/Aether-7B-5Attn
- SGLang
How to use FINAL-Bench/Aether-7B-5Attn with SGLang:
Install from pip and serve model
# Install SGLang from pip: pip install sglang # Start the SGLang server: python3 -m sglang.launch_server \ --model-path "FINAL-Bench/Aether-7B-5Attn" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "FINAL-Bench/Aether-7B-5Attn", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }'Use Docker images
docker run --gpus all \ --shm-size 32g \ -p 30000:30000 \ -v ~/.cache/huggingface:/root/.cache/huggingface \ --env "HF_TOKEN=<secret>" \ --ipc=host \ lmsysorg/sglang:latest \ python3 -m sglang.launch_server \ --model-path "FINAL-Bench/Aether-7B-5Attn" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "FINAL-Bench/Aether-7B-5Attn", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }' - Docker Model Runner
How to use FINAL-Bench/Aether-7B-5Attn with Docker Model Runner:
docker model run hf.co/FINAL-Bench/Aether-7B-5Attn
| license: apache-2.0 | |
| library_name: transformers | |
| pipeline_tag: text-generation | |
| tags: | |
| - aether | |
| - mixture-of-experts | |
| - heterogeneous-attention | |
| - korean | |
| - vidraft | |
| - base-model | |
| - fully-open | |
| language: | |
| - ko | |
| - en | |
| datasets: | |
| - HuggingFaceFW/fineweb-edu | |
| - HuggingFaceTB/smollm-corpus | |
| - HuggingFaceTB/finemath | |
| - open-web-math/open-web-math | |
| - OpenCoder-LLM/opc-fineweb-code-corpus | |
| - HAERAE-HUB/KOREAN-WEBTEXT | |
| - HAERAE-HUB/KOREAN-SyntheticText-1.5B | |
| # Aether-7B-5Attn โ Base | |
| <!-- AETHER-FAMILY-LINKS --> | |
| **Aether family** โ [](https://huggingface.co/FINAL-Bench/Aether-7B-5Attn-it) [](https://huggingface.co/FINAL-Bench/Aether-7B-7Attn-base) [](https://huggingface.co/FINAL-Bench/Aether-6B-11Attn) [](https://huggingface.co/datasets/FINAL-Bench/Aether-7B-5Attn-checkpoints) [](https://huggingface.co/spaces/FINAL-Bench/Aether-Sovereign-AI) [](https://huggingface.co/blog/FINAL-Bench/opensource-llm) [](https://huggingface.co/collections/FINAL-Bench/aether-foundation-model) | |
| <!-- /AETHER-FAMILY-LINKS --> | |
|  | |
| [](https://huggingface.co/blog/FINAL-Bench/opensource-llm) | |
| > ๐ **[Aether Foundation Model ์ปฌ๋ ์ ](https://huggingface.co/collections/FINAL-Bench/aether-foundation-model) ์ ์ผ๋ถ** โ ๋ฒ ์ด์คยทinstructยท์ฒดํฌํฌ์ธํธ๋ฅผ ํ๊ณณ์์. | |
| > ๐งฉ **์ค๊ฐ ์ฒดํฌํฌ์ธํธ** (110k ยท 115k ยท 162k)๋ ๋ฐ์ดํฐ์ ์ผ๋ก ๊ณต๊ฐ: [Aether-7B-5Attn-checkpoints](https://huggingface.co/datasets/FINAL-Bench/Aether-7B-5Attn-checkpoints). | |
| ## ๐ฐ๐ท ํ์ต ๋ฐ์ดํฐ์ ํ์ต ์ฝ๋๊น์ง ์ ๋ถ ๊ณต๊ฐํ๋ ํ๊ตญ ์ต์ด์ ํ์ด๋ฐ์ด์ ๋ชจ๋ธ | |
| **49์ธต์ ์ดํ ์ ์ 7ร7 ๋ผํด ๋ฐฉ์ง์ผ๋ก ๋ฐฐ์นํ 6.59B MoE ์ธ์ด๋ชจ๋ธ.** | |
| ๊ฐ์ค์น ยท **ํ์ต ๋ฐ์ดํฐ ๋ ์ํผ** ยท **ํ์ต ์ฝ๋** ยท **ํ์ต ๋ก๊ทธ ์ ๋ฌธ** ยท **์ํคํ ์ฒ ์์ค ์ ์ฒด** ๋ฅผ ๋จ๊น์์ด ๊ณต๊ฐํฉ๋๋ค. | |
| NVIDIA **B200 16์ฅ**(2-node FSDP)์ผ๋ก **์ฝ 46์ผ**, ์ด **144.2B ํ ํฐ**์ ์ฒ์๋ถํฐ ํ์ตํ์ต๋๋ค. | |
| **Apache-2.0** | |
| --- | |
| ## 1. ์ ์ ๋ถ ๊ณต๊ฐํ๋๊ฐ | |
| ์ค๋๋ "์คํ LLM" ๋๋ถ๋ถ์ **๊ฐ์ค์น๋ง** ์ค๋๋ค. ๊ฐ์ค์น๋ง์ผ๋ก๋ ๋ชจ๋ธ์ ์ดํดํ ์๋, ๊ฒ์ฆํ ์๋, ์ฒ์๋ถํฐ ๋ค์ ๋ง๋ค ์๋ ์์ต๋๋ค. ๋ฌด์์ ๋จน์๋์ง ๋ชจ๋ฅด๋ ๋ชจ๋ธ์ ๋ธ๋๋ฐ์ค์ผ ๋ฟ์ด๊ณ , ๊ทธ ์์ ๊ตญ๊ฐ์ ๊ธฐ์ ์ AI ์ฃผ๊ถ์ ์ธ์ธ ์๋ ์์ต๋๋ค. | |
| **Allen Institute์ OLMo๋ "์ง์ง ์คํ"์ ๊ธฐ์ค์ ๋ค์ ์ธ์ ์ต๋๋ค** โ ๊ฐ์ค์น๋ฟ ์๋๋ผ ํ์ต ๋ฐ์ดํฐยทํ์ต ์ฝ๋ยท๋ก๊ทธ๊น์ง ๊ณต๊ฐํด์ผ ๋น๋ก์ ๊ณผํ์ด ๋๋ค๋ ๊ธฐ์ค์ ๋๋ค. Aether๋ ๊ทธ ๊ธฐ์ค์ ๋ฐ๋ฆ ๋๋ค. | |
| ### ์ฐ๋ฆฌ๊ฐ ๊ณต๊ฐํ๋ ๊ฒ | |
| | | ํญ๋ชฉ | Aether | | |
| |---|------|--------| | |
| | 1 | ๊ฐ์ค์น (annealing ์๋ฃ ๋ฒ ์ด์ค) | โ | | |
| | 2 | **์ํคํ ์ฒ ์์ค ์ ์ฒด** โ 5์ข ์ดํ ์ ยทMoEยท๋ผํด ๋ฐฉ์ง ๋ฐฐ์น ๊ตฌํ | โ `aether_pkg/` | | |
| | 3 | **ํ์ต ๋ฐ์ดํฐ ๋ ์ํผ** โ ์์ค ์ ์ฅ์ยทconfigยทํ ํฐ ์ยท๋ฐฐํฉ ๊ฐ์ค์นยทํ ํฌ๋์ด์ ยทEOS | โ ยง5 | | |
| | 4 | **ํ ํฐํ ์คํฌ๋ฆฝํธ** โ ์ฐ๋ฆฌ๊ฐ ์ด ๊ทธ ํ์ผ ๊ทธ๋๋ก | โ `tokenize_one.py` | | |
| | 5 | **ํ์ต ์ฝ๋** โ FSDP ๋ฐ์ฒยทํ์ต ๋ฃจํยท๋ ธ๋ ์คํ ์คํฌ๋ฆฝํธ | โ `launcher_v2b_multi.py` ์ธ | | |
| | 6 | **ํ์ต ํ์ดํผํ๋ผ๋ฏธํฐ ์ ์ฒด** | โ ยง5 | | |
| | 7 | **ํ์ต ๋ก๊ทธ ์ ๋ฌธ** โ 162,000 ์คํ 30์ผ ๊ธฐ๋ก | โ `logs/` | | |
| | 8 | **ํ๊ฐ ์ฝ๋** | โ `eval/lmeval_run.py` | | |
| | 9 | ์ค๊ฐ ์ฒดํฌํฌ์ธํธ (110k ยท 115k ยท 162k) | โ | | |
| | 10 | ๋ผ์ด์ ์ค | โ **Apache-2.0** | | |
| **ยง5์ ๋ ์ํผ๋ง์ผ๋ก ์ 3์๊ฐ ์ฐ๋ฆฌ ํ์ต ๋ฐ์ดํฐ๋ฅผ ๋ฐ์ดํธ ๋จ์๋ก ๋์ผํ๊ฒ ์ฌ๊ตฌ์ฑํ ์ ์์ต๋๋ค.** ์์ค๊ฐ ์ ๋ถ ๊ณต๊ฐ ์ ์ฅ์์ด๋ฏ๋ก, ํ ํฌ๋์ด์ ์ EOS์ ๋ฐฐํฉ ๊ฐ์ค์น๊ฐ ๊ฐ์ผ๋ฉด ๊ฒฐ๊ณผ ๋ฐ์ด๋๋ฆฌ๋ ๊ฐ์ต๋๋ค. ๊ฒ์ฆํ์ญ์์ค. ๊ทธ๋ฌ๋ผ๊ณ ๊ณต๊ฐํฉ๋๋ค. | |
| ### ํ๊ตญ ํ์ด๋ฐ์ด์ ๋ชจ๋ธ ์ต์ด์ ๋๋ค | |
| ํ๊ตญ์์ ์ฒ์๋ถํฐ ํ์ต๋ ํ์ด๋ฐ์ด์ ๋ชจ๋ธ์ ์ด์ ์๋ ์์์ต๋๋ค. ๊ทธ๋ฌ๋ **ํ์ต ๋ฐ์ดํฐ๋ฅผ ๊ณต๊ฐํ ๋ชจ๋ธ์ ์์์ต๋๋ค.** ์ฐ๋ฆฌ๊ฐ ์๋ ํ Aether๊ฐ ์ฒ์์ ๋๋ค. | |
| ์ด๊ฒ์ด **์๋ฒ๋ฆฐ AI**์ ์ค์ง์ ๋๋ค. ์ด๋ ๋๋ผ, ์ด๋ ๊ธฐ์ , ์ด๋ ์ฐ๊ตฌ์ค์ด๋ ์ด ์ ์ฅ์๋ง์ผ๋ก ์์ ์ ํ์ด๋ฐ์ด์ ๋ชจ๋ธ์ **์ฒ์๋ถํฐ ๋ค์** ๋ง๋ค ์ ์์ด์ผ ํฉ๋๋ค. ๊ฐ์ค์น๋ง ๋ฐ์ ์ฐ๋ ๊ฒ์ ์ฃผ๊ถ์ด ์๋๋๋ค. | |
| --- | |
| ### ์คํ์์ค ์์ ๊ณต๊ฐ LLM ๋น๊ต (6๊ฐ๊ตญ) | |
|  | |
| *์๋ฒ๋ฆฐ ์์ ๊ณต๊ฐ LLM 6๊ฐ๊ตญ ๋๋น. ๊ฐ๋ฐฉ ํญ๋ชฉ์ ๋ชจ๋ ๋๋ฑํ๋ฉฐ, ๋น๋๋ํํธ์ ์ฐจ๋ณ์ ์ ์ ์ผํ ํ๊ตญ AI ์คํํธ์ ์ด๋ผ๋ ์ ๊ณผ 5์ข (์ต๋ค) ์ดํ ์ ยท๋ผํด๋ฐฉ์ง ๊ตฌ์กฐ์ ๋๋ค.* | |
| ## 2. ์ค๊ณ โ ์ ๋ชจ๋ ์ธต์ด ๊ฐ์ ์ดํ ์ ์ด์ด์ผ ํ๋๊ฐ | |
| ### 2.1 ํ๋์ ์ดํ ์ ์ด ๋ชจ๋ ์ธต์ ๋ด๋นํด์ผ ํ ์ด์ ๋ ์์ต๋๋ค | |
| GPT ์ดํ ๊ฑฐ์ ๋ชจ๋ ํธ๋์คํฌ๋จธ๋ **๋ชจ๋ ์ธต์์ ๋๊ฐ์ ์ดํ ์ ์ ์๋๋ค.** 49์ธต์ง๋ฆฌ ๋ชจ๋ธ์ด๋ผ๋ฉด 49๋ฒ ๊ฐ์ ์ฐ์ฐ์ ๋ฐ๋ณตํฉ๋๋ค. | |
| ๊ทธ๋ฐ๋ฐ ์ธต๋ง๋ค ํ๋ ์ผ์ ๋ค๋ฆ ๋๋ค. ์ด๊ธฐ ์ธต์ ๊ตญ์์ ์ธ ๋ฌธ๋ฒยทํํ์ ํจํด์ ์ก๊ณ , ์ค๊ฐ ์ธต์ ๊ตฌ๋ฌธ ๊ตฌ์กฐ๋ฅผ, ํ๊ธฐ ์ธต์ ๋ฌธ์ ์ ์ฒด๋ฅผ ๊ฐ๋ก์ง๋ฅด๋ ์๋ฏธ ๊ด๊ณ๋ฅผ ๋ค๋ฃน๋๋ค. **ํ๋ ์ผ์ด ๋ค๋ฅธ๋ฐ ์ ๊ฐ์ ์ฐ์ฐ์ ๊ฐ์๋ฐ์์ผ ํฉ๋๊น.** | |
| ์ด๊ฑด ์ฑ๋ฅ ๋ฌธ์ ์ด์ ์ **์ค๊ณ ๊ฐ์ ์ ๋ฌธ์ **์ ๋๋ค. "๋ชจ๋ ์ธต = ๊ฐ์ ์ดํ ์ "์ ๊ฒ์ฆ๋ ๊ฒฐ๋ก ์ด ์๋๋ผ **ํ ๋ฒ๋ ์ง์งํ๊ฒ ์์ฌ๋ฐ์ง ์์ ๊ดํ**์ ๋๋ค. Aether๋ ๊ทธ ๊ฐ์ ์ ํ์ด๋ด ๋๋ค. | |
| ### 2.2 ์ดํ ์ ์ ์ ๋ง๋ค ๋ค๋ฅธ ๊ท๋ฉ ํธํฅ์ ๊ฐ์ง๋๋ค | |
| | ์ข ๋ฅ | ์ํ๋ ๊ฒ | ๋๊ฐ | | |
| |------|-----------|------| | |
| | `full` | ๋ชจ๋ ํ ํฐ ์์ ์ ํํ ๋ด ๋๋ค. ์ ๋ณด ์์ค 0 | ๊ธธ์ด์ **์ ๊ณฑ**์ผ๋ก ๋น์๋๋ค | | |
| | `sliding` | ๊ตญ์์ฑ์ ์์ฃผ ์ธ๊ฒ ๋ด ๋๋ค (๊ธธ์ด์ ์ ํ) | ์๋์ฐ ๋ฐ์ ๋ชป ๋ด ๋๋ค | | |
| | `differential` | ๋ ์ดํ ์ ๋งต์ **์ฐจ์ด**๋ฅผ ์ทจํด ๊ณตํต ๋ ธ์ด์ฆ๋ฅผ ์์ํฉ๋๋ค | ํค๋ ์ฐจ์์ ๋ฐ์ผ๋ก ๋๋ ์๋๋ค | | |
| | `nsa` | ์์ถยท์ ํยท์ฌ๋ผ์ด๋ฉ์ ๊ฒ์ดํธ๋ก ๋ฌถ์ด ์ฅ๊ฑฐ๋ฆฌ๋ฅผ ์ธ๊ฒ ๋ด ๋๋ค | ๊ตฌ์กฐ๊ฐ ๋ณต์กํฉ๋๋ค | | |
| | `hybrid` | `nsa`์ ์ฅ๊ฑฐ๋ฆฌ์ `differential`์ ๋ ธ์ด์ฆ ์ต์ ๋ฅผ ํจ๊ป ์๋๋ค | ๊ฐ์ฅ ๋น์๋๋ค | | |
| **์ด๋ ํ๋๊ฐ ๋ค๋ฅธ ๊ฒ๋ค์ ์ง๋ฐฐํ์ง ์์ต๋๋ค.** ๊ฐ์ ์ํ๋ ๊ฒ ๋ค๋ฅด๊ณ ๋๊ฐ๋ ๋ค๋ฆ ๋๋ค. ๊ทธ๋ ๋ค๋ฉด **ํ ์ข ๋ฅ๋ง ๊ณจ๋ผ 49๋ฒ ๋ฐ๋ณตํ๋ ๊ฒ์, ๊ทธ ์ข ๋ฅ์ ์ฝ์ ๋ 49๋ฒ ๋ฐ๋ณตํ๋ ๊ฒ**์ ๋๋ค. | |
| ### 2.3 ๋ผํด ๋ฐฉ์ง โ ๊ฐ์ ์ ๊ณต์ ํ๊ฒ ์ํํ๋ ์ฅ์น | |
| "์์ผ๋ฉด ์ข์ ๊ฒ ๊ฐ๋ค"๋ ์ง๊ด์ ์ฝ์ง๋ง, ์๋ฌด๋ ๊ฒ๋ ์์ผ๋ฉด **๊ฒฐ๊ณผ๋ฅผ ๋ฐฐ์น ํ์ธ์ง ์ข ๋ฅ ํ์ธ์ง ๊ตฌ๋ถํ ์ ์์ต๋๋ค.** `full`์ด ์ฐ์ฐํ ํ๊ธฐ ์ธต์ ๋ชฐ๋ฆฌ๋ฉด ๊ทธ ๋ชจ๋ธ์ "์ด์ข ์ด๋ผ์" ์ํ ๊ฒ ์๋๋ผ "ํ๊ธฐ ์ธต์ด full์ด๋ผ์" ์ํ ๊ฒ์ด ๋ฉ๋๋ค. | |
| 49์ธต = **7 ร 7 ๋ผํด ๋ฐฉ์ง**์ผ๋ก ๊ตฌ์ฑํ ์ด์ ๊ฐ ์ด๊ฒ์ ๋๋ค. ๋ผํด ๋ฐฉ์ง์ **๊ฐ ์ข ๋ฅ๊ฐ ๊ฐ ์์น์ ์ ํํ ํ ๋ฒ์ฉ** ๋ํ๋๋๋ก ๋ณด์ฅํ๋ ์กฐํฉ๋ก ์ ๋ฐฐ์น์ ๋๋ค. ํน์ ์ข ๋ฅ๊ฐ ํน์ ๊น์ด์ ํธ์ค๋๋ ๊ฒ์ **๊ตฌ์กฐ์ ์ผ๋ก** ๋ง์ต๋๋ค. | |
| ์ฆ ๋ผํด ๋ฐฉ์ง์ ์ฅ์์ด ์๋๋ผ **ํต์ ์ฅ์น**์ ๋๋ค. ์ด ๋ฐฐ์น ๋๋ถ์ "์ด์ข ๋ฐฐ์น์ ํจ๊ณผ"๋ผ๋ ์ง๋ฌธ์ ๋ฐฐ์น ํธํฅ ์์ด ๋์ง ์ ์์ต๋๋ค. | |
| **์ฐ๋ฆฌ๊ฐ ์๋ ํ, ์ด์ข ์ดํ ์ ์ ๋ผํด ๋ฐฉ์ง์ผ๋ก ๋ฐฐ์นํ ๊ณต๊ฐ ๋ชจ๋ธ์ ์์ต๋๋ค.** | |
| --- | |
| ## 3. ์ดํ ์ ๊ตฌ์ฑ โ ๋ผํด ๋ฐฉ์ง 7ร7, 49์ธต | |
| 49์ธต์ 7๊ฐ์ ์ดํ ์ ๋ผ๋ฒจ์ด ๋ผํด ๋ฐฉ์ง์ ๋ฐ๋ผ, **๊ฐ๊ฐ ์ ํํ 7๊ฐ ์ธต์ฉ** ๋ฐฐ์น๋ฉ๋๋ค (7 ร 7 = 49). | |
| | ๋ผ๋ฒจ | ์ธต ์ | ์ค๋ช | | |
| |------|------|------| | |
| | `full` | 7 | ํ์ค ์ธ๊ณผ ์ดํ ์ (SDPA) | | |
| | `differential` | 7 | QยทK๋ฅผ ๋ฐ์ผ๋ก ๋๋ ๋ ์ดํ ์ ๋งต์ ๋ง๋ค๊ณ ฮป ๊ฐ์ค์ผ๋ก ๋นผ์ ๊ณตํต ๋ ธ์ด์ฆ๋ฅผ ์์ | | |
| | `sliding` | 7 | ์ฌ๋ผ์ด๋ฉ ์๋์ฐ (window = 512) โ full ๊ฒฝ๋ก ์์ ๋ง์คํน | | |
| | `nsa` | 7 | ์์ถยท์ ํยท์ฌ๋ผ์ด๋ฉ ๋ธ๋์น๋ฅผ ํ์ต๋ ๊ฒ์ดํธ๋ก ๊ฒฐํฉ | | |
| | `hybrid` | 7 | `nsa` + `differential` ๊ฒฐํฉ | | |
| | `compress` | 7 | NSA ๋ธ๋กํ๊ท ๊ฒฝ๋ก โ ๋ณธ ์ฒดํฌํฌ์ธํธ์์๋ full ๊ฒฝ๋ก๋ก ๋์ | | |
| | `linear` | 7 | SDPA + ํ์ต ๊ฒ์ดํธ | | |
| | **ํฉ๊ณ** | **49** | | | |
| **๋ชจ๋ธ๋ช `5Attn`์ ์ ๋.** ์ 7๊ฐ ๋ผ๋ฒจ์ **5์ข ์ ์๋ก ๋ค๋ฅธ ๋ฉ์ปค๋์ฆ**์ผ๋ก ํ์๋ฉ๋๋ค โ `compress`๋ full ๊ฒฝ๋ก๋ก, `linear`๋ SDPA + ๊ฒ์ดํธ๋ก ๋์ํฉ๋๋ค. ๋ชจ๋ธ๋ช ์ ๋ผ๋ฒจ ์(7)๊ฐ ์๋๋ผ **๋ฉ์ปค๋์ฆ ์(5)**๋ฅผ ๋ฐ๋ฆ ๋๋ค. | |
| ๋ฐฐ์น ๊ท์น๊ณผ ๊ฐ ๋ผ๋ฒจ์ ๊ตฌํ ์ ์ฒด๋ `aether_pkg/` ์ ๊ณต๊ฐ๋์ด ์์ต๋๋ค. `LATIN_SQUARE_7x7` ์์ ์ธตโ๋ผ๋ฒจ ๋์์ ์ง์ ํ์ธํ์ค ์ ์์ต๋๋ค. | |
| ### 3.1 ๋ฉ์ปค๋์ฆ๋ณ ๋น์ฉ ํ๋กํ์ผ (์ค์ธก) | |
| 5์ข ๋ฉ์ปค๋์ฆ ๊ฐ๊ฐ์ ๋จ๋ 1๊ฐ ์ธต์ผ๋ก ๋๊ณ prefill ์ง์ฐ์๊ฐ๊ณผ ์ต๋ ๋ฉ๋ชจ๋ฆฌ๋ฅผ ์ธก์ ํ์ต๋๋ค. ์ดํ ์ ์ ์ฐ์ฐยท๋ฉ๋ชจ๋ฆฌ ๋น์ฉ์ **ํ์ต๋ ๊ฐ์ค์น ๊ฐ๊ณผ ๋ฌด๊ดํ ์ํคํ ์ฒ ๊ณ ์ ์์ฑ**์ด๋ฏ๋ก, ์ด ํ๋ ๋๊ตฌ๋ ์ฌํํ ์ ์์ต๋๋ค. | |
| | ์ข ๋ฅ | 2K (ms / GB) | 8K (ms / GB) | 32K (ms / GB) | | |
| |------|--------------|--------------|---------------| | |
| | `full` | 0.4 / 0.0 | 1.5 / 0.2 | 13.6 / 0.7 | | |
| | `differential` | 0.5 / 0.1 | 3.7 / 0.3 | 46.5 / 1.1 | | |
| | **`sliding`** | 0.6 / 0.1 | 1.9 / 0.2 | **7.6 / 0.8** | | |
| | `nsa` | 1.0 / 0.1 | 3.6 / 0.3 | 26.8 / 3.5 | | |
| | `hybrid` | 1.5 / 0.1 | 7.7 / 0.3 | 74.7 / 3.5 | | |
| **ยง2.2์์ ๋งํ "์ข ๋ฅ๋ง๋ค ๋ค๋ฅธ ๋๊ฐ"๊ฐ ์ซ์๋ก ๋ํ๋ฉ๋๋ค.** | |
| - **32K์์ `sliding`(7.6ms)์ด `full`(13.6ms)๋ณด๋ค 1.8๋ฐฐ ๋น ๋ฆ ๋๋ค.** ๊ตญ์์ฑ๋ง ๋ณด๋๋ก ์ค๊ณ๋ ๋๋ก ๋์ํฉ๋๋ค. ๋ฌธ๋งฅ์ด ๊ธธ์ด์ง์๋ก ๊ฒฉ์ฐจ๊ฐ ๋ฒ์ด์ง๋๋ค (2K์์๋ ์คํ๋ ค `full`์ด ๋น ๋ฆ ๋๋ค). | |
| - `hybrid`๋ `nsa`์ `differential`์ **๋ ๋ค** ์คํํ๋ฏ๋ก ๋น์ฉ๋ ๋์ ํฉ์ ์๋ ดํฉ๋๋ค (26.8 + 46.5 โ 74.7). | |
| - ๋ชจ๋ธ ์ ์ฒด๋ 32K ๋ฌธ๋งฅ์ **3.46 GB**๋ก ์ฒ๋ฆฌํฉ๋๋ค. | |
| ์ฐ๋ฆฌ๊ฐ ์๋ ํ **์ด์ข ์ดํ ์ ์ข ๋ฅ๋ณ ๋น์ฉ ํ๋กํ์ผ์ ์ค์ธกํด ๊ณต๊ฐํ ์ฌ๋ก๋ ์์ต๋๋ค.** ์ด ํ ์์ฒด๊ฐ ํ์ ์ฐ๊ตฌ๋ฅผ ์ํ ์๋ฃ์ ๋๋ค. | |
| > ์ด ํ๋ **๋น์ฉ**๋ง ๋งํฉ๋๋ค. ์ถ๋ ฅ ํ์ง์ ๋ํด์๋ ์๋ฌด๊ฒ๋ ์ฃผ์ฅํ์ง ์์ต๋๋ค. ํ์ง ๋น๊ต์๋ ์ดํ ์ ๊ตฌ์ฑ๋ง ๋ค๋ฅด๊ณ ๋๋จธ์ง๊ฐ ์ ๋ถ ๋์ผํ ํต์ ์คํ์ด ํ์ํ๋ฉฐ, ๊ทธ๊ฒ์ ๋ณ๋๋ก ์ํ๋์ด์ผ ํฉ๋๋ค. | |
| --- | |
| ## 3.2 ๊ตฌ์กฐ ์ฌํ โ 7ร7 ๋ผํด ์ง๊ต ๋ฐฐ์น | |
|  | |
| 49๊ฐ ์ธต์ **7 ร 7 ๋ผํด ๋ฐฉ์ง(Latin square)** ์ ์ด๋ฃน๋๋ค. ๊ฐ ์ธต์ ์ดํ ์ ์ข ๋ฅ๋ ๋ค์ ๊ท์น์ผ๋ก ์ ํด์ง๋๋ค: | |
| ``` | |
| attention_type(layer) = ATTN_TYPES[(row + col) mod 7] | |
| ๋จ, row = layer // 7, col = layer % 7 | |
| ``` | |
| ### ๋ผํด ๋ฐฉ์ง์ ์ฑ์ง (๊ตฌ์กฐ์ ํน์ด์ฑ) | |
| - **๊ฐ ์ข ๋ฅ๊ฐ ๋ชจ๋ ํ์ ์ ํํ ํ ๋ฒ, ๋ชจ๋ ์ด์๋ ์ ํํ ํ ๋ฒ** ๋ํ๋ฉ๋๋ค (7์ข ร 7์ธต = 49). ์ด๊ฒ์ด "๋ผํด ๋ฐฉ์ง"์ ์ ์์ ๋๋ค. | |
| - ๊ทธ ๊ฒฐ๊ณผ **์ด๋ค ์ดํ ์ ์ข ๋ฅ๋ ํน์ ๊น์ด(์ด๊ธฐยท์ค๊ฐยทํ๊ธฐ ์ธต)์ ํธ์ค๋์ง ์์ต๋๋ค.** ์ํ ์ด๋(+1)์ผ๋ก ๋ฐฐ์น๋์ด ๊น์ด ๋ฐฉํฅ์ผ๋ก ๊ณ ๋ฅด๊ฒ ๋ถ์ฐ๋ฉ๋๋ค. | |
| - **์ 7์ธ๊ฐ**: 7์ ์์(prime)์ด๋ฏ๋ก ์ํ ์ด๋ `(row+col) mod 7` ์ด ์์ ํ ๋ผํด ๋ฐฉ์ง(๊ฐ ํยท์ด์ด 7์ข ์ ์์ด)์ ๋ง๋ญ๋๋ค. 7ยฒ=49์ธต์ผ๋ก ๋ฑ ๋จ์ด์ง๋๋ค. | |
| ### ์ ์ด๋ ๊ฒ ๋ฐฐ์นํ๋๊ฐ โ ํต์ ์ฅ์น | |
| "์์ผ๋ฉด ์ข์ ๊ฒ ๊ฐ๋ค"๋ ์ง๊ด์ ์ฝ์ง๋ง, ์๋ฌด๋ ๊ฒ๋ ์์ผ๋ฉด **๊ฒฐ๊ณผ๊ฐ ๋ฐฐ์น ํธํฅ ํ์ธ์ง ์ข ๋ฅ ํ์ธ์ง ๊ตฌ๋ถํ ์ ์์ต๋๋ค.** `full` ์ด ์ฐ์ฐํ ํ๊ธฐ ์ธต์ ๋ชฐ๋ฆฌ๋ฉด "์ด์ข ์ด๋ผ์" ์ํ ๊ฒ ์๋๋ผ "ํ๊ธฐ ์ธต์ด full ์ด๋ผ์" ์ํ ๊ฒ์ด ๋ฉ๋๋ค. | |
| **๋ผํด ๋ฐฉ์ง์ ์ด ํธํฅ์ ๊ตฌ์กฐ์ ์ผ๋ก ์ ๊ฑฐํฉ๋๋ค.** ๊ฐ ์ข ๋ฅ๊ฐ ๋ชจ๋ ๊น์ด๋ฅผ ์ ํํ ํ ๋ฒ์ฉ ๊ฑฐ์น๋ฏ๋ก, "์ด์ข ๋ฐฐ์น์ ํจ๊ณผ"๋ผ๋ ์ง๋ฌธ์ **๊น์ด ํธํฅ ์์ด** ๋์ง ์ ์์ต๋๋ค. ์ฆ ๋ผํด ๋ฐฉ์ง์ ์ฑ๋ฅ์ ์ํ ์ฅ์์ด ์๋๋ผ **์ฌํ ๊ฐ๋ฅํ ๊ณผํ์ ์ํ ํต์ ์ฅ์น**์ ๋๋ค. | |
| ### 7๊ฐ ๋ผ๋ฒจ โ 5๊ฐ ๋ฉ์ปค๋์ฆ | |
| ๋ฐฉ์ง์ ๋ฐฐ์น๋๋ ๋ผ๋ฒจ์ 7๊ฐ(`nsa`ยท`differential`ยท`full`ยท`linear`ยท`sliding`ยท`compress`ยท`hybrid`)์ด์ง๋ง, **์๋ก ๋ค๋ฅธ ๋ฉ์ปค๋์ฆ์ 5๊ฐ**์ ๋๋ค โ `compress` ๋ full ๊ฒฝ๋ก๋ก, `linear` ๋ SDPA+๊ฒ์ดํธ๋ก ๋์ํฉ๋๋ค(๊ทธ๋ฆผ์์ ๋น๊ธ). ๋ชจ๋ธ๋ช `5Attn` ์ ๋ผ๋ฒจ ์(7)๊ฐ ์๋๋ผ **๋ฉ์ปค๋์ฆ ์(5)** ๋ฅผ ๋ฐ๋ฆ ๋๋ค. | |
| *์ฐ๋ฆฌ๊ฐ ์๋ ํ, ์ด์ข ์ดํ ์ ์ ๋ผํด ๋ฐฉ์ง์ผ๋ก ๋ฐฐ์นํ ๊ณต๊ฐ ๋ชจ๋ธ์ ์์ต๋๋ค.* | |
| ## 4. ์ฌ์ | |
| | ํญ๋ชฉ | ๊ฐ | | |
| |------|-----| | |
| | ์ด ํ๋ผ๋ฏธํฐ | **6.59B** | | |
| | ํ์ฑ ํ๋ผ๋ฏธํฐ | **~2.98B** (ํ ํฐ๋น) | | |
| | ์ธต | 49 (7ร7 ๋ผํด ๋ฐฉ์ง) | | |
| | ์ ๋ฌธ๊ฐ | 25๊ฐ, top-7 ๋ผ์ฐํ , ๊ณต์ ์ ๋ฌธ๊ฐ 1๊ฐ | | |
| | expert intermediate | 640 | | |
| | hidden / intermediate | 2048 / 6144 | | |
| | heads / KV heads / head_dim | 16 / 4 / 128 | | |
| | ์ดํ | 151,936 (Qwen ํธํ ํ ํฌ๋์ด์ ) | | |
| | ํ์ต ์ปจํ ์คํธ | 4096 | | |
| | dtype | bfloat16 | | |
| | ํฌ๊ธฐ | 13.2 GB | | |
| | ํด๋์ค | `AETHERV27wayForCausalLM` (`trust_remote_code=True`) | | |
| --- | |
| ## 5. ํ์ต ๋ฐ์ดํฐ โ ์ ์ฒด ๋ ์ํผ | |
| **์๋ ์ ๋ณด๋ง์ผ๋ก ์ 3์๊ฐ ํ์ต ๋ฐ์ดํฐ๋ฅผ ๋ฐ์ดํธ ๋จ์๋ก ๋์ผํ๊ฒ ์ฌ๊ตฌ์ฑํ ์ ์์ต๋๋ค.** | |
| ### 5.1 ์์ค | |
| | ํ์ผ | ์ ์ฅ์ | config | ํ ํฐ | ๋ผ์ด์ ์ค | | |
| |------|--------|--------|------|----------| | |
| | `eng_fineweb_edu.bin` | `HuggingFaceFW/fineweb-edu` | `sample-100BT` | 15.000B | ODC-By | | |
| | `syn_cosmopedia.bin` | `HuggingFaceTB/smollm-corpus` | `cosmopedia-v2` | 8.000B | ODC-By | | |
| | `math_finemath.bin` | `HuggingFaceTB/finemath` | `finemath-3plus` | 6.002B | ODC-By | | |
| | `code_opc.bin` | `OpenCoder-LLM/opc-fineweb-code-corpus` | default | 5.001B | MIT | | |
| | `math_owm.bin` | `open-web-math/open-web-math` | default | 4.004B | ์ ์ ์ฅ์ ์ฐธ์กฐ | | |
| | `kor_webtext.bin` | `HAERAE-HUB/KOREAN-WEBTEXT` | default | 2.492B | ์ ์ ์ฅ์ ์ฐธ์กฐ | | |
| | `kor_synth.bin` | `HAERAE-HUB/KOREAN-SyntheticText-1.5B` | default | 1.650B | ์ ์ ์ฅ์ ์ฐธ์กฐ | | |
| | `phase15_mix_90b.bin` | ์ ์์ค๋ค์ ์ ํ ํผํฉ๋ณธ | โ | 90B | โ | | |
| ์ ์ฒ๋ฆฌ: `AutoTokenizer.from_pretrained("Qwen/Qwen3-14B")`, ๋ฌธ์ ๊ฒฝ๊ณ์ **EOS 151645** ์ฝ์ , `uint32` ๋ฐฐ์ด๋ก ๊ธฐ๋ก. | |
| ์ฌํ ์คํฌ๋ฆฝํธ `tokenize_one.py` ๋ฅผ ํจ๊ป ๊ณต๊ฐํฉ๋๋ค. | |
| ```bash | |
| python tokenize_one.py HuggingFaceFW/fineweb-edu sample-100BT text 15 out/eng_fineweb_edu.bin | |
| ``` | |
| ### 5.2 ๋ฐฐํฉ๋น | |
| ```python | |
| DATA_POOL = [ # (ํ์ผ, ์ํ๋ง ๊ฐ์ค์น) | |
| ("phase15_mix_90b.bin", 1.0), | |
| ("eng_fineweb_edu.bin", 2.0), | |
| ("syn_cosmopedia.bin", 2.0), | |
| ("math_finemath.bin", 3.5), | |
| ("math_owm.bin", 3.5), | |
| ("code_opc.bin", 2.5), | |
| ("kor_webtext.bin", 2.0), | |
| ("kor_synth.bin", 2.0), | |
| ] | |
| ``` | |
| ๊ฐ์ค์น ํฉ 18.5 ๊ธฐ์ค ์คํจ ๋น์ค: | |
| | ์์ญ | ๋น์ค | | |
| |------|------| | |
| | ์ํ (finemath + open-web-math) | 37.8% | | |
| | ํ๊ตญ์ด (webtext + synth) | 21.6% | | |
| | ์์ด ์นยทํฉ์ฑ (fineweb-edu + cosmopedia) | 21.6% | | |
| | ์ฝ๋ (opc) | 13.5% | | |
| | phase15 ํผํฉ | 5.4% | | |
| --- | |
| ## 6. ํ์ต | |
| | ํญ๋ชฉ | ๊ฐ | | |
| |------|-----| | |
| | **ํ๋์จ์ด** | **NVIDIA B200 ร 16** (2-node FSDP) | | |
| | **์ ์ฒด ํ์ต ๊ธฐ๊ฐ** | **2026-05-30 โ 2026-07-16, ์ฝ 46์ผ** | | |
| | **์ต์ข ๋จ๊ณ** | 2026-06-15 โ 07-16, **30์ผ 11์๊ฐ**, B200 16์ฅ, **์ฝ 11,700 B200-์๊ฐ** | | |
| | **์ฒ๋ฆฌ๋** (์ต์ข ๋จ๊ณ) | ์ฝ 32,000 tok/s | | |
| | ์ด ์คํ | 162,000 | | |
| | ์ด ํ ํฐ | **144.2B** | | |
| | ์ตํฐ๋ง์ด์ | AdamW, ฮฒ=(0.9, 0.95), eps=1e-8 | | |
| | LR | cosine, peak 5e-5 โ min 5e-6 | | |
| | weight decay | 0.1 (ํธ๋์คํฌ๋จธ ์ธต) / 0.0 (์๋ฒ ๋ฉยทnorm) | | |
| | ์๋ฒ ๋ฉ LR ๋ฐฐ์ | 0.1 | | |
| | Layer-wise decay | 0.97 | | |
| | grad clip | 1.0 | | |
| | ์ํ์ค | 4096 | | |
| | ํ์ | annealing (๋ณธ ์ฒดํฌํฌ์ธํธ๋ annealing ์๋ฃ๋ณธ) | | |
| ํ์ต ์ฝ๋(`launcher_v2b_multi.py`, `launcher_v2b_multi.py`, `run_s1.sh`, `run_s2.sh`)์ **์์ฃผ ๋ก๊ทธ ์ ๋ฌธ**์ ํจ๊ป ๊ณต๊ฐํฉ๋๋ค. | |
| --- | |
| ## 7. ํ๊ฐ | |
| **lm-evaluation-harness 0.4.11**, 0-shot, n=600, `batch_size=1`. | |
| ### 7.1 ์์ด | |
| | ๊ณผ์ | acc | acc_norm | | |
| |------|-----|----------| | |
| | **SciQ** | **73.7** | 63.0 | | |
| | **PIQA** | **66.3** | 65.8 | | |
| | BoolQ | 54.3 | โ | | |
| | **ARC-Easy** | **52.5** | 48.7 | | |
| | WinoGrande | 51.8 | โ | | |
| | HellaSwag | 37.2 | 41.0 | | |
| | OpenBookQA | 20.0 | 32.6 | | |
| | ARC-Challenge | 22.2 | 25.8 | | |
| ### 7.2 ํ๊ตญ์ด (KoBEST) | |
| | ๊ณผ์ | ์ ์ | | |
| |------|------| | |
| | **HellaSwag** (acc_norm) | **44.6 ยฑ2.2** | | |
| | **COPA** | **57.2 ยฑ2.0** | | |
| | **SentiNeg** | **55.7 ยฑ2.5** | | |
| | WiC | 48.8 ยฑ2.0 | | |
| | BoolQ | 47.8 ยฑ2.0 | | |
| ### 7.3 ์ธ์ด ๋ชจ๋ธ๋ง | |
| | ์ ๋ ฅ | perplexity | | |
| |------|-----------| | |
| | ์์ฐ์ค๋ฌ์ด ํ๊ตญ์ด ๋ฌธ์ฅ | **5.4** | | |
| | ๊ฐ์ ๋ฌธ์ฅ์ ์ด์์ ๋ค์์ ๊ฒ | 41.3 | | |
| | ๋ฌด์์ ํ ํฐ | 2233.4 | | |
| ํ๊ตญ์ด ๋ฌธ๋ฒยท์๋ฏธ ๊ตฌ์กฐ๊ฐ ์ ์์ ์ผ๋ก ํ์ต๋์์์ ๋ณด์ฌ์ค๋๋ค. | |
| --- | |
| ## 8. ์ฌ์ฉ๋ฒ | |
| ```python | |
| import torch | |
| from transformers import AutoTokenizer, AutoModelForCausalLM | |
| MODEL = "FINAL-Bench/Aether-7B-5Attn" | |
| tok = AutoTokenizer.from_pretrained(MODEL) | |
| model = AutoModelForCausalLM.from_pretrained( | |
| MODEL, trust_remote_code=True, torch_dtype=torch.bfloat16, device_map="cuda" | |
| ) | |
| ids = tok("์ธ๊ณต์ง๋ฅ์ด๋", return_tensors="pt").to("cuda") | |
| out = model.generate(**ids, max_new_tokens=128, | |
| do_sample=True, temperature=0.8, top_p=0.9, | |
| repetition_penalty=1.1) | |
| print(tok.decode(out[0], skip_special_tokens=True)) | |
| ``` | |
| ### ์ฌ์ฉ | |
| > โ ๏ธ **batch_size=1 ๋ก ์ฌ์ฉํ์ธ์.** ๋ณธ ๋ชจ๋ธ์ ์ผ๋ถ ์ดํ ์ (NSA ๊ณ์ด)์ padding mask ๋ฅผ ์ฌ์ฉํ์ง ์์ผ๋ฏ๋ก, ์ฌ๋ฌ ์ํ์ค๋ฅผ padding ํ์ฌ ๋ฐฐ์น๋ก ๋ฃ์ผ๋ฉด ๊ฒฐ๊ณผ๊ฐ ์กฐ์ฉํ ์ค์ผ๋ ์ ์์ต๋๋ค. ํ ๋ฒ์ ํ๋์ฉ(batch_size=1) ์ถ๋ก ํ์ญ์์ค. | |
| ์ ์ฐธ๊ณ | |
| - **๋ฒ ์ด์ค ๋ชจ๋ธ์ ๋๋ค.** ์ง์(instruction) ํ๋์ด ๋์ด ์์ง ์์ต๋๋ค. instruct ๋ฒ์ ์ ์ค๋น ์ค์ ๋๋ค. | |
| - **`do_sample=True` ๋ฅผ ์ฌ์ฉํ์ญ์์ค.** ๋ฒ ์ด์ค ๋ชจ๋ธ ํน์ฑ์ greedy ๋์ฝ๋ฉ์ ๋ฐ๋ณต์ ๋น ์ง๋๋ค. | |
| - **`batch_size=1` ๋๋ ํจ๋ฉ ์๋ ์ ๋ ฅ์ ์ฌ์ฉํ์ญ์์ค.** ์ปค์คํ ์ดํ ์ ๊ตฌํ ํน์ฑ์ ์ขํจ๋ฉ ๋ฐฐ์น์์๋ ์ถ๋ ฅ์ด ๋ฌ๋ผ์ง ์ ์์ต๋๋ค. | |
| - **์๋น์ HF `transformers`** ๋ก ํ์ญ์์ค. ์ปค์คํ ์ํคํ ์ฒ์ด๋ฏ๋ก vLLM์ ์์ง ์ง์ํ์ง ์์ต๋๋ค. | |
| - **์์ ์ฑ ์ ๋ ฌ์ ํ์ง ์์์ต๋๋ค.** RLHFยท์์ ์ฑ ํ๋์ด ์ ์ฉ๋์ง ์์ ์ฐ๊ตฌ์ฉ ๋ฒ ์ด์ค ๋ชจ๋ธ์ ๋๋ค. ์๋น์ค์ ๊ทธ๋๋ก ์ฌ์ฉํ์ง ๋ง์ญ์์ค. | |
| --- | |
| ## 9. ๊ณต๊ฐ ๋ฒ์ | |
| | ํญ๋ชฉ | ์ํ | | |
| |------|------| | |
| | ๊ฐ์ค์น (annealing ์๋ฃ ๋ฒ ์ด์ค) | โ ๋ณธ ์ ์ฅ์ | | |
| | ์ํคํ ์ฒ ์์ค ์ ์ฒด | โ `aether_pkg/` | | |
| | ํ์ต ๋ฐ์ดํฐ ๋ ์ํผ (์์คยทconfigยทํ ํฐ์ยท๋ฐฐํฉ๋นยทํ ํฌ๋์ด์ ยทEOS) | โ ยง5 | | |
| | ํ ํฐํ ์คํฌ๋ฆฝํธ | โ `tokenize_one.py` | | |
| | ํ์ต ์ฝ๋ | โ `launcher_v2b_multi.py`, `launcher_v2b_multi.py`, `run_s1.sh`, `run_s2.sh` | | |
| | ํ์ต ํ์ดํผํ๋ผ๋ฏธํฐ ์ ์ฒด | โ ยง6 | | |
| | ํ์ต ๋ก๊ทธ ์ ๋ฌธ | โ `logs/` | | |
| | ํ๊ฐ ์ฝ๋ | โ `eval/lmeval_run.py` | | |
| | ์ค๊ฐ ์ฒดํฌํฌ์ธํธ | โ step 110k / 115k / 162k | | |
| | ๋ ผ๋ฌธ | ์ค๋น ์ค | | |
| **๋ผ์ด์ ์ค: Apache-2.0** (๊ฐ์ค์นยท์ฝ๋). ํ์ต ๋ฐ์ดํฐ๋ ๊ฐ ์ ์ ์ฅ์์ ๋ผ์ด์ ์ค๋ฅผ ๋ฐ๋ฆ ๋๋ค (ยง5.1). | |
| --- | |
| ## 10. ์ธ์ฉ | |
| ```bibtex | |
| @misc{aether7b5attn2026, | |
| title = {Aether-7B-5Attn: A Heterogeneous-Attention Mixture-of-Experts Language Model}, | |
| author = {VIDRAFT}, | |
| year = {2026}, | |
| url = {https://huggingface.co/FINAL-Bench/Aether-7B-5Attn} | |
| } | |
| ``` | |
| --- | |
| ## 11. ๋ฌธ์ | |
| **์ฃผ์ํ์ฌ ๋น๋๋ํํธ (VIDRAFT)** ยท arxivgpt@gmail.com | |