Upload folder using huggingface_hub

.gitattributes

@@ -1,35 +1,4 @@
-*.7z filter=lfs diff=lfs merge=lfs -text
-*.arrow filter=lfs diff=lfs merge=lfs -text
-*.bin filter=lfs diff=lfs merge=lfs -text
-*.bz2 filter=lfs diff=lfs merge=lfs -text
-*.ckpt filter=lfs diff=lfs merge=lfs -text
-*.ftz filter=lfs diff=lfs merge=lfs -text
-*.gz filter=lfs diff=lfs merge=lfs -text
-*.h5 filter=lfs diff=lfs merge=lfs -text
-*.joblib filter=lfs diff=lfs merge=lfs -text
-*.lfs.* filter=lfs diff=lfs merge=lfs -text
-*.mlmodel filter=lfs diff=lfs merge=lfs -text
-*.model filter=lfs diff=lfs merge=lfs -text
-*.msgpack filter=lfs diff=lfs merge=lfs -text
-*.npy filter=lfs diff=lfs merge=lfs -text
-*.npz filter=lfs diff=lfs merge=lfs -text
-*.onnx filter=lfs diff=lfs merge=lfs -text
-*.ot filter=lfs diff=lfs merge=lfs -text
-*.parquet filter=lfs diff=lfs merge=lfs -text
-*.pb filter=lfs diff=lfs merge=lfs -text
-*.pickle filter=lfs diff=lfs merge=lfs -text
-*.pkl filter=lfs diff=lfs merge=lfs -text
 *.pt filter=lfs diff=lfs merge=lfs -text
-*.pth filter=lfs diff=lfs merge=lfs -text
-*.rar filter=lfs diff=lfs merge=lfs -text
+*.bin filter=lfs diff=lfs merge=lfs -text
 *.safetensors filter=lfs diff=lfs merge=lfs -text
-saved_model/**/* filter=lfs diff=lfs merge=lfs -text
-*.tar.* filter=lfs diff=lfs merge=lfs -text
-*.tar filter=lfs diff=lfs merge=lfs -text
-*.tflite filter=lfs diff=lfs merge=lfs -text
-*.tgz filter=lfs diff=lfs merge=lfs -text
-*.wasm filter=lfs diff=lfs merge=lfs -text
-*.xz filter=lfs diff=lfs merge=lfs -text
-*.zip filter=lfs diff=lfs merge=lfs -text
-*.zst filter=lfs diff=lfs merge=lfs -text
-*tfevents* filter=lfs diff=lfs merge=lfs -text
+sovyn.model filter=lfs diff=lfs merge=lfs -text

README.md

@@ -0,0 +1,75 @@
+---
+language:
+- ko
+library_name: pytorch
+tags:
+- sovyn
+- korean
+- conversational
+- causal-lm
+- from-scratch
+pipeline_tag: text-generation
+---
+
+# SOVYN-300M-Cortex
+
+SOVYN-300M-Cortex is a small Korean conversational model trained from scratch.
+It is not a Transformers-compatible checkpoint yet; it uses the custom PyTorch
+architecture in `src/sovyn`.
+
+## Current Status
+
+- Parameters: about 300M
+- Format: custom PyTorch checkpoint
+- Tokenizer: SentencePiece BPE
+- Context length: 512 tokens
+- Weight dtype in checkpoint: bfloat16
+- Main checkpoint: `sovyn_300m_last.pt`
+
+This is an early experimental checkpoint. It can handle short Korean dialogue
+patterns, but it is not a broad knowledge model.
+
+## Quick Start
+
+```powershell
+python -m venv .venv
+.\.venv\Scripts\python.exe -m pip install torch sentencepiece pyyaml tqdm
+.\.venv\Scripts\python.exe scripts\chat.py --checkpoint sovyn_300m_last.pt --tokenizer sovyn.model
+```
+
+Example:
+
+```text
+user: 나 오늘 피곤해
+sovyn: 많이 지쳤겠다. 지금은 잠깐 쉬어도 괜찮아.
+```
+
+## Ollama-Compatible Local API
+
+This repository includes an Ollama-compatible bridge, but the model is not a
+native GGUF Ollama model yet.
+
+```powershell
+powershell -ExecutionPolicy Bypass -File scripts\start_ollama_bridge.ps1
+```
+
+Then call:
+
+```text
+POST http://127.0.0.1:11435/api/chat
+```
+
+## Files
+
+- `sovyn_300m_last.pt`: model checkpoint
+- `sovyn.model`, `sovyn.vocab`: SentencePiece tokenizer
+- `config.yaml`: model and training config
+- `src/sovyn`: custom PyTorch architecture and formatting/data helpers
+- `scripts/chat.py`: local chat runner
+- `scripts/ollama_bridge.py`: Ollama-compatible local API bridge
+
+## Notes
+
+SOVYN-300M-Cortex was trained for short, natural Korean replies. The next major
+step is converting the architecture to a standard export format or writing a
+GGUF converter so it can be registered as a native Ollama model.

config.yaml

@@ -0,0 +1,42 @@
+model:
+  name: SOVYN-300M-Cortex
+  vocab_size: 32000
+  max_seq_len: 512
+  n_layers: 21
+  hidden_size: 1024
+  n_heads: 16
+  n_kv_heads: 8
+  ffn_size: 3584
+  dropout: 0.0
+  rope_theta: 10000.0
+  tie_embeddings: true
+
+tokenizer:
+  path: tokenizer_300m/sovyn.model
+
+training:
+  train_path: data/sovyn_300m_train.jsonl
+  output_dir: checkpoints
+  checkpoint_prefix: sovyn_300m
+  seed: 43
+  device: cuda
+  dtype: bf16
+  max_steps: 8000
+  batch_size: 2
+  grad_accum_steps: 16
+  learning_rate: 0.00005
+  weight_decay: 0.1
+  warmup_steps: 800
+  max_grad_norm: 1.0
+  log_every: 100
+  save_every: 1000
+  save_total_limit: 1
+  save_optimizer: false
+  save_dtype: bf16
+  save_step_checkpoints: false
+  delete_before_save: true
+
+generation:
+  max_new_tokens: 96
+  temperature: 0.75
+  top_k: 40

requirements.txt

@@ -0,0 +1,4 @@
+torch
+sentencepiece
+pyyaml
+tqdm

scripts/chat.py

@@ -0,0 +1,132 @@
+import argparse
+import re
+import sys
+from pathlib import Path
+
+import sentencepiece as spm
+import torch
+
+sys.path.insert(0, str(Path(__file__).resolve().parents[1] / "src"))
+
+from sovyn import SovynConfig, SovynForCausalLM
+from sovyn.formatting import format_prompt
+
+
+def clean_answer(text: str) -> str:
+    answer = text.split("<assistant>")[-1].replace("<eos>", "").strip()
+    for marker in ["<system>", "<user>", "<state>", "<plan>", "<memory>", "<reflection>"]:
+        answer = answer.split(marker)[0].strip()
+    sentences = re.findall(r".+?[.!?。](?=\s|$)", answer)
+    if sentences:
+        first = sentences[0].strip()
+        generic_first = first in {
+            "좋아.",
+            "응.",
+            "알겠어.",
+            "가능해.",
+            "그럴 수 있어.",
+            "불안할 수 있어.",
+            "많이 지쳤겠다.",
+        }
+        if generic_first and len(sentences) > 1:
+            answer = " ".join(item.strip() for item in sentences[:2])
+        else:
+            answer = first
+    return answer
+
+
+def score_answer(user: str, answer: str) -> int:
+    text = user.lower()
+    score = 0
+    groups = [
+        (["피곤", "지쳤", "힘들", "기운", "복잡"], ["지쳤", "쉬", "힘들", "숨", "들어줄", "괜찮"]),
+        (["누구", "정체", "sovyn"], ["sovyn", "모델", "ai", "학습", "기억"]),
+        (["짧", "간단", "핵심", "요약"], ["핵심", "짧", "결론", "간단"]),
+        (
+            ["1b", "120m", "300m", "모델", "학습", "키울", "저장공간", "저장 공간", "체크포인트", "부족"],
+            ["모델", "학습", "120m", "300m", "1b", "키우", "실험", "체크포인트", "저장", "공간"],
+        ),
+        (["먹", "점심", "저녁", "음식"], ["김밥", "국밥", "덮밥", "샌드위치", "먹"]),
+        (["공부", "집중", "미루", "루틴"], ["10분", "타이머", "문제", "시작", "공부"]),
+        (["불안", "걱정", "초조"], ["불안", "걱정", "숨", "괜찮", "나눠"]),
+    ]
+    for user_words, answer_words in groups:
+        if any(word in text for word in user_words):
+            score += sum(2 for word in answer_words if word.lower() in answer.lower())
+            break
+    if answer in {"안녕.", "좋아.", "응.", "좋은 생각이야.", "좋은 아침이야."}:
+        score -= 3
+    if len(answer) < 4:
+        score -= 2
+    if 8 <= len(answer) <= 80:
+        score += 1
+    return score
+
+
+def main():
+    parser = argparse.ArgumentParser()
+    parser.add_argument("--checkpoint", required=True)
+    parser.add_argument("--tokenizer", required=True)
+    parser.add_argument("--device", default="cuda")
+    parser.add_argument("--max-new-tokens", type=int, default=96)
+    parser.add_argument("--temperature", type=float, default=0.0)
+    parser.add_argument("--top-k", type=int, default=50)
+    parser.add_argument("--best-of", type=int, default=4)
+    args = parser.parse_args()
+
+    device = args.device
+    if device == "cuda" and not torch.cuda.is_available():
+        device = "cpu"
+
+    sp = spm.SentencePieceProcessor(model_file=args.tokenizer)
+    ckpt = torch.load(args.checkpoint, map_location="cpu")
+    model_cfg = ckpt["config"]["model"]
+    if model_cfg["vocab_size"] != sp.get_piece_size():
+        raise ValueError(
+            f"Checkpoint vocab_size={model_cfg['vocab_size']} but tokenizer has "
+            f"{sp.get_piece_size()} pieces"
+        )
+    model = SovynForCausalLM(SovynConfig(**model_cfg))
+    model.load_state_dict(ckpt["model"])
+    model.to(device)
+    model.eval()
+
+    eos_id = sp.piece_to_id("<eos>")
+    stop_ids = [
+        sp.piece_to_id(piece)
+        for piece in ["<system>", "<user>", "<state>", "<plan>", "<memory>", "<reflection>"]
+        if sp.piece_to_id(piece) >= 0
+    ]
+    suppress_ids = [
+        idx
+        for idx in [sp.piece_to_id("<pad>"), sp.piece_to_id("<unk>"), sp.piece_to_id("<bos>")]
+        if idx >= 0
+    ]
+    print("SOVYN chat. Type 'exit' to quit.")
+
+    while True:
+        user = input("you> ").strip()
+        if user.lower() in {"exit", "quit"}:
+            break
+        prompt = format_prompt(user)
+        ids = torch.tensor([sp.encode(prompt, out_type=int)], dtype=torch.long, device=device)
+        candidates = []
+        runs = max(1, args.best_of if args.temperature > 0 else 1)
+        for _ in range(runs):
+            out = model.generate(
+                ids,
+                max_new_tokens=args.max_new_tokens,
+                temperature=args.temperature,
+                top_k=args.top_k,
+                eos_id=eos_id,
+                stop_ids=stop_ids,
+                suppress_ids=suppress_ids,
+            )
+            answer = clean_answer(sp.decode(out[0].tolist()))
+            candidates.append(answer)
+        answer = max(candidates, key=lambda item: score_answer(user, item))
+        print(f"sovyn> {answer}")
+
+
+if __name__ == "__main__":
+    main()

scripts/ollama_bridge.py

@@ -0,0 +1,246 @@
+import argparse
+import json
+import sys
+import time
+from datetime import UTC, datetime
+from http.server import BaseHTTPRequestHandler, ThreadingHTTPServer
+from pathlib import Path
+
+import sentencepiece as spm
+import torch
+
+sys.path.insert(0, str(Path(__file__).resolve().parents[1] / "src"))
+
+from sovyn import SovynConfig, SovynForCausalLM
+from sovyn.formatting import format_prompt
+
+from chat import clean_answer, score_answer
+
+
+def now_iso():
+    return datetime.now(UTC).isoformat(timespec="milliseconds").replace("+00:00", "Z")
+
+
+class SovynRuntime:
+    def __init__(self, args):
+        self.model_name = args.model_name
+        self.max_new_tokens = args.max_new_tokens
+        self.temperature = args.temperature
+        self.top_k = args.top_k
+        self.best_of = args.best_of
+        self.checkpoint_path = Path(args.checkpoint)
+
+        device = args.device
+        if device == "cuda" and not torch.cuda.is_available():
+            device = "cpu"
+        self.device = device
+
+        self.tokenizer = spm.SentencePieceProcessor(model_file=args.tokenizer)
+        checkpoint = torch.load(self.checkpoint_path, map_location="cpu")
+        model_cfg = checkpoint["config"]["model"]
+        self.model = SovynForCausalLM(SovynConfig(**model_cfg))
+        self.model.load_state_dict(checkpoint["model"])
+        dtype = torch.bfloat16 if device == "cuda" else torch.float32
+        self.model.to(device=device, dtype=dtype)
+        self.model.eval()
+
+        self.eos_id = self.tokenizer.piece_to_id("<eos>")
+        self.stop_ids = [
+            self.tokenizer.piece_to_id(piece)
+            for piece in ["<system>", "<user>", "<state>", "<plan>", "<memory>", "<reflection>"]
+            if self.tokenizer.piece_to_id(piece) >= 0
+        ]
+        self.suppress_ids = [
+            idx
+            for idx in [
+                self.tokenizer.piece_to_id("<pad>"),
+                self.tokenizer.piece_to_id("<unk>"),
+                self.tokenizer.piece_to_id("<bos>"),
+            ]
+            if idx >= 0
+        ]
+
+    @torch.no_grad()
+    def reply(self, user: str, system: str | None = None, options: dict | None = None) -> str:
+        options = options or {}
+        temperature = float(options.get("temperature", self.temperature))
+        top_k = int(options.get("top_k", self.top_k))
+        max_new_tokens = int(options.get("num_predict", self.max_new_tokens))
+        best_of = max(1, int(options.get("best_of", self.best_of)))
+        runs = best_of if temperature > 0 else 1
+
+        prompt = format_prompt(user, system=system)
+        ids = torch.tensor(
+            [self.tokenizer.encode(prompt, out_type=int)],
+            dtype=torch.long,
+            device=self.device,
+        )
+
+        candidates = []
+        for _ in range(runs):
+            out = self.model.generate(
+                ids,
+                max_new_tokens=max_new_tokens,
+                temperature=temperature,
+                top_k=top_k,
+                eos_id=self.eos_id,
+                stop_ids=self.stop_ids,
+                suppress_ids=self.suppress_ids,
+            )
+            answer = clean_answer(self.tokenizer.decode(out[0].tolist()))
+            candidates.append(answer)
+        return max(candidates, key=lambda answer: score_answer(user, answer))
+
+    def tags(self):
+        size = self.checkpoint_path.stat().st_size if self.checkpoint_path.exists() else 0
+        return {
+            "models": [
+                {
+                    "name": self.model_name,
+                    "model": self.model_name,
+                    "modified_at": now_iso(),
+                    "size": size,
+                    "digest": "sovyn-local-pytorch",
+                    "details": {
+                        "parent_model": "",
+                        "format": "pytorch",
+                        "family": "sovyn",
+                        "families": ["sovyn"],
+                        "parameter_size": "300M",
+                        "quantization_level": "BF16",
+                    },
+                }
+            ]
+        }
+
+
+def json_bytes(payload: dict) -> bytes:
+    return json.dumps(payload, ensure_ascii=False).encode("utf-8")
+
+
+def get_last_user_and_system(messages: list[dict]) -> tuple[str, str | None]:
+    system = None
+    user = ""
+    for message in messages:
+        role = message.get("role")
+        content = message.get("content", "")
+        if role == "system" and content:
+            system = content
+        elif role == "user" and content:
+            user = content
+    return user, system
+
+
+def make_handler(runtime: SovynRuntime):
+    class Handler(BaseHTTPRequestHandler):
+        server_version = "SOVYN-Ollama-Bridge/0.1"
+
+        def log_message(self, fmt, *args):
+            sys.stdout.write("%s - %s\n" % (self.address_string(), fmt % args))
+            sys.stdout.flush()
+
+        def send_json(self, status: int, payload: dict):
+            body = json_bytes(payload)
+            self.send_response(status)
+            self.send_header("Content-Type", "application/json; charset=utf-8")
+            self.send_header("Content-Length", str(len(body)))
+            self.end_headers()
+            self.wfile.write(body)
+
+        def send_stream_json(self, payload: dict):
+            body = json_bytes(payload) + b"\n"
+            self.send_response(200)
+            self.send_header("Content-Type", "application/x-ndjson; charset=utf-8")
+            self.end_headers()
+            self.wfile.write(body)
+
+        def read_payload(self) -> dict:
+            length = int(self.headers.get("Content-Length", "0"))
+            if length <= 0:
+                return {}
+            raw = self.rfile.read(length).decode("utf-8")
+            return json.loads(raw) if raw else {}
+
+        def do_GET(self):
+            if self.path == "/" or self.path == "/api/version":
+                self.send_json(200, {"version": "sovyn-ollama-bridge-0.1"})
+            elif self.path == "/api/tags":
+                self.send_json(200, runtime.tags())
+            else:
+                self.send_json(404, {"error": f"unknown route: {self.path}"})
+
+        def do_POST(self):
+            started = time.perf_counter_ns()
+            try:
+                payload = self.read_payload()
+                if self.path == "/api/generate":
+                    prompt = payload.get("prompt", "")
+                    options = payload.get("options") or {}
+                    answer = runtime.reply(prompt, options=options)
+                    response = {
+                        "model": runtime.model_name,
+                        "created_at": now_iso(),
+                        "response": answer,
+                        "done": True,
+                        "total_duration": time.perf_counter_ns() - started,
+                    }
+                    if payload.get("stream", True):
+                        self.send_stream_json(response)
+                    else:
+                        self.send_json(200, response)
+                elif self.path == "/api/chat":
+                    user, system = get_last_user_and_system(payload.get("messages", []))
+                    options = payload.get("options") or {}
+                    answer = runtime.reply(user, system=system, options=options)
+                    response = {
+                        "model": runtime.model_name,
+                        "created_at": now_iso(),
+                        "message": {"role": "assistant", "content": answer},
+                        "done": True,
+                        "total_duration": time.perf_counter_ns() - started,
+                    }
+                    if payload.get("stream", True):
+                        self.send_stream_json(response)
+                    else:
+                        self.send_json(200, response)
+                elif self.path == "/api/show":
+                    self.send_json(
+                        200,
+                        {
+                            "modelfile": "FROM SOVYN PyTorch checkpoint via local bridge",
+                            "parameters": "temperature 0.7\ntop_k 20",
+                            "template": "{{ .Prompt }}",
+                            "details": runtime.tags()["models"][0]["details"],
+                        },
+                    )
+                else:
+                    self.send_json(404, {"error": f"unknown route: {self.path}"})
+            except Exception as exc:
+                self.send_json(500, {"error": str(exc)})
+
+    return Handler
+
+
+def main():
+    parser = argparse.ArgumentParser()
+    parser.add_argument("--checkpoint", default="checkpoints/sovyn_300m_last.pt")
+    parser.add_argument("--tokenizer", default="tokenizer_300m/sovyn.model")
+    parser.add_argument("--model-name", default="sovyn:300m")
+    parser.add_argument("--host", default="127.0.0.1")
+    parser.add_argument("--port", type=int, default=11434)
+    parser.add_argument("--device", default="cuda")
+    parser.add_argument("--max-new-tokens", type=int, default=64)
+    parser.add_argument("--temperature", type=float, default=0.0)
+    parser.add_argument("--top-k", type=int, default=0)
+    parser.add_argument("--best-of", type=int, default=1)
+    args = parser.parse_args()
+
+    runtime = SovynRuntime(args)
+    server = ThreadingHTTPServer((args.host, args.port), make_handler(runtime))
+    print(f"SOVYN Ollama-compatible API listening on http://{args.host}:{args.port}")
+    print(f"model: {runtime.model_name}, device: {runtime.device}")
+    server.serve_forever()
+
+
+if __name__ == "__main__":
+    main()

scripts/start_ollama_bridge.ps1

@@ -0,0 +1,12 @@
+$ErrorActionPreference = "Stop"
+
+$Root = Split-Path -Parent $PSScriptRoot
+Set-Location $Root
+$env:Path = [Environment]::GetEnvironmentVariable("Path", "Machine") + ";" + [Environment]::GetEnvironmentVariable("Path", "User")
+
+& .\.venv\Scripts\python.exe scripts\ollama_bridge.py `
+  --checkpoint checkpoints\sovyn_300m_last.pt `
+  --tokenizer tokenizer_300m\sovyn.model `
+  --model-name sovyn:300m `
+  --host 127.0.0.1 `
+  --port 11435

sovyn.model

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:979996d0ef9b99ce81b0dace8b29bd9fccc9847d212448fcb77c6e592d208785
+size 285791

sovyn.vocab

@@ -0,0 +1,2740 @@
+<pad>	0
+<unk>	0
+<bos>	0
+<eos>	0
+<system>	0
+<user>	0
+<state>	0
+<plan>	0
+<memory>	0
+<reflection>	0
+<assistant>	0
+한다	-0
+▁짧	-1
+▁대	-2
+▁대화	-3
+OV	-4
+YN	-5
+▁S	-6
+OVYN	-7
+▁SOVYN	-8
+▁짧고	-9
+▁너	-10
+▁자	-11
+연스	-12
+▁자연스	-13
+▁한	-14
+럽게	-15
+▁자연스럽게	-16
+▁너는	-17
+국어	-18
+이다	-19
+국어로	-20
+▁대화한다	-21
+▁한국어로	-22
+▁사	-23
+용자	-24
+▁사용자	-25
+▁있	-26
+▁작	-27
+▁말	-28
+▁사용자는	-29
+하고	-30
+▁정	-31
+▁좋	-32
+▁수	-33
+▁제	-34
+▁다	-35
+▁가	-36
+▁이	-37
+▁모	-38
+▁먼	-39
+▁먼저	-40
+▁제안	-41
+▁아	-42
+▁다음	-43
+▁작은	-44
+▁좋아	-45
+▁제안한다	-46
+▁있는	-47
+▁지	-48
+▁행	-49
+▁행동	-50
+▁행동을	-51
+▁하	-52
+▁부	-53
+▁할	-54
+▁지금	-55
+▁반	-56
+▁원	-57
+하지	-58
+적인	-59
+▁않	-60
+▁반응	-61
+▁확	-62
+▁모르	-63
+▁정확	-64
+▁척	-65
+▁척하지	-66
+▁말에	-67
+▁아는	-68
+▁않고	-69
+▁다음에	-70
+▁모르면	-71
+▁정확히	-72
+▁반응하고	-73
+▁사용자의	-74
+▁어	-75
+▁오	-76
+▁답	-77
+▁원한다	-78
+▁확인	-79
+보자	-80
+▁나	-81
+부터	-82
+▁해	-83
+▁돼	-84
+▁안	-85
+▁방	-86
+▁기	-87
+▁뭐	-88
+▁있다	-89
+▁괜	-90
+하는	-91
+이나	-92
+해줘	-93
+▁오늘	-94
+▁학	-95
+▁학습	-96
+▁있어	-97
+이야	-98
+▁작게	-99
+▁하나	-100
+▁없	-101
+했다	-102
+▁괜찮	-103
+으로	-104
+▁고	-105
+▁간	-106
+▁간단	-107
+▁답변	-108
+▁한다	-109
+▁안정	-110
+▁모델	-111
+▁부담	-112
+▁불	-113
+▁데	-114
+▁지금은	-115
+▁공	-116
+▁그	-117
+▁쉬	-118
+▁바	-119
+AI	-120
+▁AI	-121
+▁짧은	-122
+▁바로	-123
+▁만	-124
+▁같	-125
+▁1	-126
+▁만들	-127
+▁가능	-128
+▁이어	-129
+▁추	-130
+▁추천	-131
+▁방향	-132
+▁핵	-133
+▁핵심	-134
+▁도	-135
+▁짧게	-136
+▁표	-137
+▁표현	-138
+▁표현했다	-139
+▁소	-140
+▁인	-141
+▁간단히	-142
+▁잡	-143
+▁개	-144
+▁음	-145
+▁게	-146
+▁가볍	-147
+▁좀	-148
+▁맞	-149
+▁알	-150
+▁거	-151
+▁거야	-152
+▁실	-153
+정을	-154
+▁없는	-155
+▁저	-156
+▁부분	-157
+▁긍	-158
+▁긍정	-159
+▁대화를	-160
+▁것	-161
+벼운	-162
+▁가벼운	-163
+▁질	-164
+▁질문	-165
+▁개발	-166
+▁묻	-167
+▁묻고	-168
+하게	-169
+간다	-170
+▁이어간다	-171
+▁걱	-172
+▁쉬운	-173
+주고	-174
+▁보	-175
+▁결	-176
+▁같이	-177
+▁공부	-178
+▁너무	-179
+▁응	-180
+▁설	-181
+▁선	-182
+▁마	-183
+디어	-184
+▁아이	-185
+▁아이디어	-186
+▁내	-187
+▁배	-188
+▁기억	-189
+▁괜찮아	-190
+▁된	-191
+▁된다	-192
+▁불안	-193
+▁설명	-194
+▁단	-195
+▁단계	-196
+▁느	-197
+▁시	-198
+▁시작	-199
+▁일	-200
+▁상	-201
+식을	-202
+움이	-203
+▁대화는	-204
+▁도움이	-205
+▁방식을	-206
+▁안정적인	-207
+▁학습하는	-208
+▁문	-209
+▁가볍게	-210
+▁해보자	-211
+▁하나만	-212
+하자	-213
+겠어	-214
+▁알겠어	-215
+▁정도	-216
+▁답변을	-217
+▁중	-218
+▁긍정적인	-219
+▁선택	-220
+이터	-221
+▁데이터	-222
+▁인사	-223
+▁예	-224
+▁답한다	-225
+▁방향을	-226
+하기	-227
+▁싶	-228
+▁추천을	-229
+탁해	-230
+▁부탁해	-231
+▁주고	-232
+▁질문으로	-233
+▁어때	-234
+▁빨	-235
+▁빨리	-236
+▁기분	-237
+▁야	-238
+빈아	-239
+▁소빈아	-240
+▁저기	-241
+▁구	-242
+▁생	-243
+▁생각	-244
+▁말한다	-245
+▁좋은	-246
+▁줄	-247
+요한	-248
+필요한	-249
+▁집	-250
+▁집중	-251
+▁정체	-252
+▁얘	-253
+▁얘기	-254
+▁확인하는	-255
+하면	-256
+▁성	-257
+▁마음	-258
+▁피	-259
+▁정도면	-260
+▁고치	-261
+▁결론	-262
+▁로	-263
+▁이름	-264
+▁먹	-265
+▁배우	-266
+▁예시	-267
+▁문구	-268
+렵게	-269
+▁가지	-270
+▁말자	-271
+▁어렵게	-272
+▁흐	-273
+▁흐름	-274
+할게	-275
+▁키	-276
+성을	-277
+▁모델이야	-278
+▁오늘은	-279
+▁들	-280
+이고	-281
+▁잘	-282
+▁나눠	-283
+▁추천해줘	-284
+▁목	-285
+으면	-286
+▁하고	-287
+▁걱정을	-288
+▁버	-289
+▁상황	-290
+▁땐	-291
+▁직	-292
+▁직접	-293
+▁말해	-294
+였어	-295
+00	-296
+▁보자	-297
+▁더	-298
+▁설명을	-299
+▁정리	-300
+▁만들어	-301
+▁맞아	-302
+▁제안을	-303
+▁감	-304
+▁감정을	-305
+▁간단한	-306
+감을	-307
+▁불안이나	-308
+▁안정감을	-309
+▁돕	-310
+는다	-311
+▁돕는다	-312
+▁가능한	-313
+▁보면	-314
+▁제일	-315
+▁작업	-316
+▁아이디어를	-317
+▁안녕	-318
+▁했다	-319
+▁인사를	-320
+▁공감	-321
+▁부담을	-322
+▁공감하고	-323
+▁소개	-324
+▁받	-325
+▁받아	-326
+▁복	-327
+▁불필요한	-328
+▁핵심적인	-329
+▁판	-330
+▁판단	-331
+▁부분과	-332
+▁부분을	-333
+▁확인을	-334
+▁확인할	-335
+▁판단이나	-336
+끼고	-337
+려움	-338
+려움을	-339
+▁공부나	-340
+▁느끼고	-341
+▁시작할	-342
+▁집중에	-343
+▁어려움을	-344
+▁테	-345
+스트	-346
+▁테스트	-347
+▁고르	-348
+▁뭐야	-349
+▁재	-350
+▁쓸	-351
+▁로그	-352
+▁구조	-353
+▁잡아	-354
+▁나는	-355
+▁현	-356
+성과	-357
+도록	-358
+하도록	-359
+▁복잡	-360
+▁다음은	-361
+▁샌	-362
+드위	-363
+드위치	-364
+▁샌드위치	-365
+을까	-366
+▁그럼	-367
+▁좁	-368
+▁걱정	-369
+▁만들고	-370
+▁김	-371
+▁김밥	-372
+▁가장	-373
+▁같아	-374
+▁걸	-375
+▁먹고	-376
+▁당	-377
+▁없어	-378
+▁품	-379
+▁품질	-380
+▁음식	-381
+▁괜찮은	-382
+▁컨	-383
+▁컨셉	-384
+▁들어	-385
+▁좋다	-386
+▁예시로	-387
+▁확인하고	-388
+▁인정	-389
+▁봐	-390
+▁어디	-391
+▁초	-392
+▁초조	-393
+▁피곤	-394
+▁숨	-395
+▁마음이	-396
+▁실험	-397
+▁배우는	-398
+▁미	-399
+▁일단	-400
+마워	-401
+▁고마워	-402
+▁남	-403
+▁적	-404
+▁적게	-405
+▁어떤	-406
+▁실제	-407
+▁계	-408
+▁해결	-409
+▁말고	-410
+▁얘기하자	-411
+▁싶으면	-412
+▁편	-413
+▁결론부터	-414
+▁성장	-415
+▁순	-416
+▁순서	-417
+▁국	-418
+▁국밥	-419
+▁재현	-420
+▁힘	-421
+들었	-422
+▁힘들었	-423
+▁크	-424
+▁가면	-425
+▁싶어	-426
+▁말해줘	-427
+▁기운	-428
+▁아침	-429
+▁왔	-430
+▁지쳤	-431
+인을	-432
+▁원인을	-433
+▁오류	-434
+▁코	-435
+▁뭐였어	-436
+▁첫	-437
+▁버그	-438
+▁해야	-439
+▁하는	-440
+▁때	-441
+▁때는	-442
+▁핵심만	-443
+과를	-444
+▁결과를	-445
+▁정해	-446
+▁심	-447
+▁심심	-448
+▁말하면	-449
+▁기분은	-450
+▁키우	-451
+▁중이야	-452
+▁스	-453
+▁느낌	-454
+▁하지	-455
+▁내가	-456
+▁말할게	-457
+리고	-458
+20	-459
+▁120	-460
+▁계속	-461
+▁편하게	-462
+▁돌	-463
+▁많	-464
+▁상태	-465
+▁정하고	-466
+▁도울	-467
+▁상황을	-468
+▁준	-469
+▁준비	-470
+▁기운이	-471
+▁설명해줘	-472
+▁열	-473
+▁열어	-474
+▁실행	-475
+▁줄이고	-476
+길게	-477
+▁고치고	-478
+▁흐름이	-479
+에서	-480
+▁뭐해	-481
+표를	-482
+▁목표를	-483
+볼까	-484
+▁뭐부터	-485
+▁에	-486
+▁에러	-487
+▁그런	-488
+▁학습하고	-489
+▁고르는	-490
+었어	-491
+▁있었어	-492
+려줘	-493
+▁알려줘	-494
+▁문구를	-495
+▁이상	-496
+▁크게	-497
+▁다만	-498
+▁쉽	-499
+▁쉽게	-500
+▁쉬워	-501
+▁구조를	-502
+▁덮	-503
+▁분	-504
+▁분명	-505
+이는	-506
+▁잡아보자	-507
+▁잘한	-508
+▁함	-509
+▁함께	-510
+▁많이	-511
+▁마음에	-512
+지만	-513
+▁오래	-514
+▁식	-515
+▁고민	-516
+▁식사	-517
+▁가볍고	-518
+▁선택을	-519
+▁고민하고	-520
+▁선택하기	-521
+▁생각을	-522
+▁정리하도록	-523
+▁작고	-524
+▁단계를	-525
+▁연	-526
+▁연다	-527
+▁작업을	-528
+▁준비를	-529
+의와	-530
+▁정의와	-531
+▁인사하고	-532
+로와	-533
+▁질문을	-534
+▁피로와	-535
+적을	-536
+▁있게	-537
+▁자신	-538
+▁목적을	-539
+▁소개한다	-540
+▁정체성을	-541
+▁말하고	-542
+▁가능성을	-543
+▁단계적인	-544
+둔다	-545
+였다	-546
+들이고	-547
+▁반응을	-548
+▁보였다	-549
+▁열어둔다	-550
+▁받아들이고	-551
+▁핵심부터	-552
+눈다	-553
+▁긍정할	-554
+▁나눈다	-555
+▁인정하고	-556
+법을	-557
+▁방법을	-558
+▁뭐가	-559
+▁좋을까	-560
+▁창	-561
+▁창작	-562
+▁그럴	-563
+▁큰	-564
+▁너와	-565
+준을	-566
+▁기준을	-567
+▁불편	-568
+아도	-569
+▁않아도	-570
+▁3	-571
+▁300	-572
+보다	-573
+▁덮밥	-574
+▁말해봐	-575
+▁누	-576
+▁대화부터	-577
+하면서	-578
+▁대화하면서	-579
+▁파	-580
+▁루	-581
+▁루틴	-582
+기면	-583
+▁10	-584
+▁아니	-585
+구나	-586
+▁가능해	-587
+▁솔	-588
+▁역	-589
+▁통	-590
+갑게	-591
+계를	-592
+지를	-593
+직히	-594
+할을	-595
+힌다	-596
+▁구체	-597
+▁당장	-598
+▁맞는	-599
+▁없이	-600
+▁지친	-601
+▁통제	-602
+▁현실	-603
+▁현재	-604
+함이나	-605
+▁반갑게	-606
+▁상태를	-607
+▁상황에	-608
+▁솔직히	-609
+▁순서��	-610
+▁역할을	-611
+▁좁힌다	-612
+▁줄이는	-613
+▁하나로	-614
+▁한계를	-615
+▁가능성과	-616
+▁개발이나	-617
+▁구체적인	-618
+▁받아주고	-619
+▁선택지를	-620
+▁소개하고	-621
+▁정체성과	-622
+▁현실적인	-623
+▁피곤함이나	-624
+▁동	-625
+서적	-626
+행을	-627
+▁중심	-628
+▁대화나	-629
+▁동행을	-630
+▁로그와	-631
+▁재현을	-632
+▁정서적	-633
+▁해결을	-634
+▁작업이나	-635
+▁중심으로	-636
+▁확인하게	-637
+▁아이디어나	-638
+▁하려	-639
+되는	-640
+▁문제	-641
+▁따	-642
+▁완	-643
+▁작지만	-644
+▁배우고	-645
+▁하이	-646
+▁힘들었던	-647
+▁대화하는	-648
+▁코드	-649
+▁꽤	-650
+거웠	-651
+거웠나	-652
+▁버거웠나	-653
+▁것도	-654
+고픈	-655
+▁배고픈	-656
+▁커	-657
+졌나	-658
+▁걱정이	-659
+▁커졌나	-660
+▁쪽	-661
+▁불편해	-662
+▁급	-663
+리지	-664
+▁결론을	-665
+▁급하게	-666
+▁내리지	-667
+▁초조할	-668
+▁조	-669
+▁확인해줘	-670
+▁숨부터	-671
+▁난	-672
+▁저녁	-673
+▁답할게	-674
+▁생각이야	-675
+▁해도	-676
+▁키우는	-677
+▁고르자	-678
+▁든	-679
+▁남는	-680
+▁일은	-681
+▁걱정돼	-682
+▁기억에	-683
+▁심심해	-684
+▁메	-685
+시지	-686
+▁파일	-687
+▁메시지	-688
+▁나눠서	-689
+▁차	-690
+▁미래	-691
+▁차분	-692
+▁미래적인	-693
+▁괜히	-694
+▁초조해	-695
+▁없을	-696
+루고	-697
+▁미루고	-698
+▁하는데	-699
+▁불안해	-700
+립트	-701
+▁스크	-702
+▁고치자	-703
+▁스크립트	-704
+▁타	-705
+이머	-706
+추고	-707
+▁15	-708
+▁맞추고	-709
+▁타이머	-710
+▁샌드위치가	-711
+구야	-712
+▁누구야	-713
+▁짜	-714
+▁천	-715
+천히	-716
+▁짜줘	-717
+▁불안할	-718
+▁천천히	-719
+▁아침이야	-720
+▁학습되는	-721
+지고	-722
+▁잡아줘	-723
+▁기억하고	-724
+▁만들어지고	-725
+▁성장하도록	-726
+▁왔구나	-727
+▁다시	-728
+▁이제	-729
+분만	-730
+▁먹을까	-731
+뜻한	-732
+▁당기면	-733
+▁따뜻한	-734
+해보자	-735
+▁시작해보자	-736
+▁방향은	-737
+▁테스트로	-738
+체로	-739
+▁대체로	-740
+▁얘기부터	-741
+▁김밥이나	-742
+▁집중이	-743
+▁프	-744
+로젝	-745
+로젝트	-746
+▁프로젝트	-747
+▁가볍게면	-748
+▁만들면	-749
+갈게	-750
+▁이거	-751
+▁이어갈게	-752
+▁하루	-753
+▁하루였어	-754
+▁잠	-755
+겠다	-756
+어도	-757
+▁잠깐	-758
+▁쉬어도	-759
+▁지쳤겠다	-760
+▁말만	-761
+▁필요한	-762
+▁모델로	-763
+▁싫	-764
+▁싫어	-765
+▁공부하기	-766
+▁점	-767
+▁점심	-768
+▁성장하는	-769
+▁아직	-770
+▁내줘	-771
+▁국밥이	-772
+▁잡으면	-773
+▁컨셉은	-774
+▁품질을	-775
+▁나랑	-776
+▁완벽	-777
+▁대화해줘	-778
+▁완벽하게	-779
+▁나누	-780
+▁그냥	-781
+렇게	-782
+▁핵심은	-783
+▁정체가	-784
+▁만들어줘	-785
+▁기억한다	-786
+▁힘들었다	-787
+▁지쳤어	-788
+▁요	-789
+▁길게	-790
+▁말하지	-791
+▁왔어	-792
+▁머	-793
+리가	-794
+▁머리가	-795
+▁복잡해	-796
+▁피곤해	-797
+▁코드는	-798
+▁테스트하는	-799
+다니	-800
+▁볼까	-801
+▁든다니	-802
+▁어디를	-803
+▁들면	-804
+▁예를	-805
+▁실험부터	-806
+해서	-807
+▁정리해서	-808
+▁들어줘	-809
+보는	-810
+해보는	-811
+▁간단해	-812
+▁단계는	-813
+▁대화해보는	-814
+▁왜	-815
+▁키울	-816
+▁덮밥이나	-817
+▁옆	-818
+줄게	-819
+▁옆에서	-820
+▁들어줄게	-821
+▁잡을	-822
+▁정하자	-823
+▁파일을	-824
+▁메시지나	-825
+▁품질부터	-826
+되면	-827
+장할	-828
+▁괜찮게	-829
+▁구조와	-830
+▁확장할	-831
+▁데이터가	-832
+▁안정되면	-833
+▁이상으로	-834
+▁만들어보자	-835
+▁해볼까	-836
+히면	-837
+▁버그면	-838
+▁좁히면	-839
+▁해결돼	-840
+▁로그부터	-841
+▁코딩	-842
+려면	-843
+▁보려면	-844
+▁복잡할	-845
+▁정해야	-846
+▁골	-847
+리를	-848
+▁골라	-849
+▁숨을	-850
+▁잡고	-851
+▁원리를	-852
+▁골라보자	-853
+▁맞춰	-854
+▁정도에	-855
+▁쪽이	-856
+▁것부터	-857
+▁이름은	-858
+▁기억하기	-859
+았어	-860
+하지만	-861
+▁괜찮았어	-862
+▁느낌으로	-863
+▁차분하지만	-864
+▁날	-865
+스로	-866
+▁날은	-867
+해줘도	-868
+▁스스로	-869
+▁인정해줘도	-870
+▁뿌	-871
+듯해	-872
+떻게	-873
+▁뿌듯해	-874
+▁어떻게	-875
+▁찾	-876
+▁충	-877
+분해	-878
+▁찾고	-879
+▁김밥이	-880
+▁정해도	-881
+▁충분해	-882
+▁흐름이��	-883
+▁채	-884
+개로	-885
+000	-886
+▁채팅	-887
+▁1000	-888
+▁검	-889
+▁별	-890
+▁검증	-891
+▁잡기	-892
+▁심심할	-893
+▁검증하자	-894
+▁방향이야	-895
+▁잡기보다	-896
+▁조금	-897
+가보자	-898
+▁기분을	-899
+▁흐름이네	-900
+▁이어가보자	-901
+▁기분이	-902
+▁다음엔	-903
+▁말해도	-904
+▁늘	-905
+시키	-906
+▁이해	-907
+시키는	-908
+▁나누면	-909
+▁늘리고	-910
+▁복잡한	-911
+▁쉬워져	-912
+▁하나야	-913
+▁데이터를	-914
+▁이해하기	-915
+▁안정시키는	-916
+▁빠	-917
+▁세	-918
+▁처	-919
+공한	-920
+르게	-921
+음엔	-922
+▁개가	-923
+▁일을	-924
+▁빠르게	-925
+▁성공한	-926
+▁아니라	-927
+▁처음엔	-928
+▁실험하고	-929
+▁의	-930
+라도	-931
+▁성취	-932
+▁의미	-933
+▁분명히	-934
+▁잘했다	-935
+▁정해줘	-936
+▁성취라도	-937
+두자	-938
+해두자	-939
+▁괜찮다	-940
+▁키우면	-941
+▁기억해두자	-942
+▁훨	-943
+▁하자	-944
+▁훨씬	-945
+▁시작을	-946
+▁막	-947
+는지	-948
+▁막혔	-949
+▁어디서	-950
+▁막혔는지	-951
+▁재현부터	-952
+▁뭘	-953
+▁하면	-954
+▁우	-955
+아서	-956
+▁우선	-957
+▁고치면	-958
+▁돌리고	-959
+▁모아서	-960
+▁이상한	-961
+▁테스트를	-962
+려보	-963
+해질	-964
+려보면	-965
+▁실제로	-966
+▁돌려보면	-967
+▁분명해질	-968
+▁남길게	-969
+▁나름	-970
+▁흐름으로	-971
+▁문제만	-972
+▁저장	-973
+▁나눠보자	-974
+▁망	-975
+▁문구는	-976
+▁이렇게	-977
+▁무	-978
+와줘	-979
+와줘서	-980
+▁도와줘서	-981
+▁괜찮네	-982
+▁요약	-983
+▁요약해줘	-984
+미있	-985
+▁재미있	-986
+▁네	-987
+▁줄로	-988
+호할	-989
+▁선호할	-990
+▁직접적인	-991
+이라	-992
+▁전	-993
+▁전체	-994
+▁에러를	-995
+했어	-996
+▁키워	-997
+▁로컬	-998
+▁휴	-999
+▁휴식	-1000
+▁가자	-1001
+▁걸려	-1002
+▁체	-1003
+인트	-1004
+크포	-1005
+▁배치	-1006
+인트를	-1007
+▁체크포	-1008
+▁확인하자	-1009
+▁체크포인트를	-1010
+▁망한	-1011
+▁아니야	-1012
+▁효	-1013
+▁효율	-1014
+▁하나씩	-1015
+겁지	-1016
+아가	-1017
+▁않게	-1018
+▁무겁지	-1019
+▁크기	-1020
+여줘	-1021
+▁좁힐	-1022
+▁보여줘	-1023
+▁귀	-1024
+▁컵	-1025
+까지	-1026
+보고	-1027
+찮아	-1028
+▁네가	-1029
+▁요즘	-1030
+▁조리	-1031
+▁컵밥	-1032
+▁귀찮아	-1033
+▁얘기가	-1034
+▁쪽으로	-1035
+▁하나가	-1036
+▁배고픈데	-1037
+▁어디까지	-1038
+▁재미있는	-1039
+▁재미있어	-1040
+▁키워보고	-1041
+▁곁	-1042
+▁슬	-1043
+로건	-1044
+▁곁에서	-1045
+▁슬로건	-1046
+▁정리할게	-1047
+▁진	-1048
+▁많아	-1049
+▁진짜	-1050
+이라는	-1051
+▁모르는	-1052
+▁아직은	-1053
+▁중이라	-1054
+▁뒤	-1055
+▁고생	-1056
+▁가능은	-1057
+▁부분만	-1058
+▁품질과	-1059
+▁확인한	-1060
+▁고생했어	-1061
+▁안정성을	-1062
+▁신	-1063
+▁쓰	-1064
+▁신경	-1065
+▁아무	-1066
+▁말부터	-1067
+▁쓰이는	-1068
+▁물	-1069
+▁볼	-1070
+시고	-1071
+▁모금	-1072
+▁마시고	-1073
+▁정하면	-1074
+볼게	-1075
+해볼게	-1076
+▁확인해볼게	-1077
+▁멈	-1078
+땠어	-1079
+춰도	-1080
+▁기다	-1081
+▁된다고	-1082
+▁멈춰도	-1083
+▁어땠어	-1084
+▁기다리고	-1085
+▁정해보자	-1086
+▁입	-1087
+▁출	-1088
+력과	-1089
+실히	-1090
+▁계획	-1091
+▁잡는	-1092
+▁출력	-1093
+▁느낌이	-1094
+▁문제를	-1095
+▁예시를	-1096
+▁이름이	-1097
+▁입력과	-1098
+▁하려면	-1099
+▁확실히	-1100
+▁계획보다	-1101
+▁차분하고	-1102
+▁휴식부터	-1103
+25	-1104
+▁5	-1105
+▁과	-1106
+목은	-1107
+▁25	-1108
+▁걸로	-1109
+▁과목은	-1110
+▁시작하자	-1111
+▁휴식으로	-1112
+껴질	-1113
+실과	-1114
+▁결론은	-1115
+▁그렇게	-1116
+▁느껴질	-1117
+▁사실과	-1118
+▁있지만	-1119
+▁타이머를	-1120
+▁끄	-1121
+▁노	-1122
+▁옵	-1123
+▁움	-1124
+간을	-1125
+공간	-1126
+래도	-1127
+마이	-1128
+쓰고	-1129
+이기	-1130
+트북	-1131
+▁끄면	-1132
+▁누적	-1133
+▁덮어	-1134
+▁부족	-1135
+▁옵티	-1136
+▁움직	-1137
+▁줄일	-1138
+▁편해	-1139
+마이저	-1140
+에서도	-1141
+▁공간을	-1142
+▁그래도	-1143
+▁노트북	-1144
+▁배치와	-1145
+▁실험은	-1146
+▁저장을	-1147
+▁덮어쓰고	-1148
+▁부족하면	-1149
+▁움직이기	-1150
+▁저장공간	-1151
+▁학습으로	-1152
+▁옵티마이저	-1153
+▁노트북에서도	-1154
+▁갈	-1155
+면서	-1156
+지막	-1157
+▁가야	-1158
+���대신	-1159
+▁만든	-1160
+▁바꾼	-1161
+기면서	-1162
+▁대화형	-1163
+▁마지막	-1164
+▁쉬면서	-1165
+▁정확한	-1166
+▁크기를	-1167
+▁남기면서	-1168
+▁메시지와	-1169
+▁파일부터	-1170
+▁마지막으로	-1171
+▁비	-1172
+▁새	-1173
+교해	-1174
+러운	-1175
+성은	-1176
+일까	-1177
+▁새로	-1178
+▁이론	-1179
+교해야	-1180
+적일까	-1181
+▁단계만	-1182
+▁효율을	-1183
+▁가능성은	-1184
+▁비교해야	-1185
+▁실험으로	-1186
+▁열어보자	-1187
+▁자연스러운	-1188
+▁효율적일까	-1189
+▁건	-1190
+인지	-1191
+전히	-1192
+▁너랑	-1193
+▁로딩	-1194
+▁무슨	-1195
+▁복구	-1196
+▁설정	-1197
+▁할까	-1198
+▁대화할	-1199
+▁덮밥이	-1200
+▁망했어	-1201
+▁어디가	-1202
+▁완전히	-1203
+▁기분이야	-1204
+▁문제인지	-1205
+▁샌드위치나	-1206
+▁번	-1207
+라는	-1208
+▁번째	-1209
+▁돌아가	-1210
+▁로그의	-1211
+▁코드가	-1212
+▁컨셉으로	-1213
+▁'	-1214
+▁억	-1215
+명해	-1216
+지로	-1217
+사용자	-1218
+▁불편한	-1219
+▁선명해	-1220
+▁억지로	-1221
+사용자와	-1222
+▁상태구나	-1223
+▁평	-1224
+가를	-1225
+가면	-1226
+인튜	-1227
+▁든든	-1228
+▁자체	-1229
+인튜닝	-1230
+하게면	-1231
+▁평가를	-1232
+▁키워가면	-1233
+▁파인튜닝	-1234
+▁든든하게면	-1235
+▁꺼	-1236
+▁엉	-1237
+▁꺼내	-1238
+▁따로	-1239
+▁엉킨	-1240
+▁생각이	-1241
+▁꺼내보자	-1242
+▁쌓	-1243
+아가는	-1244
+▁쌓아가는	-1245
+능을	-1246
+▁기능을	-1247
+▁나누고	-1248
+▁만들자	-1249
+▁상태부터	-1250
+▁실행되는	-1251
+다음	-1252
+다음이	-1253
+▁먼저고	-1254
+▁크기야	-1255
+▁품질이	-1256
+▁그다음이	-1257
+10	-1258
+12	-1259
+15	-1260
+30	-1261
+SO	-1262
+VY	-1263
+▁2	-1264
+▁A	-1265
+▁길	-1266
+▁주	-1267
+▁필	-1268
+▁했	-1269
+가는	-1270
+가능	-1271
+가벼	-1272
+가볍	-1273
+가보	-1274
+가야	-1275
+가자	-1276
+가장	-1277
+가지	-1278
+각을	-1279
+각이	-1280
+간단	-1281
+감정	-1282
+감하	-1283
+같이	-1284
+개가	-1285
+개발	-1286
+개하	-1287
+개한	-1288
+거야	-1289
+걱정	-1290
+걸려	-1291
+걸로	-1292
+검증	-1293
+것도	-1294
+것부	-1295
+게면	-1296
+결과	-1297
+결돼	-1298
+결론	-1299
+같아	-1300
+결을	-1301
+곁에	-1302
+계는	-1303
+계만	-1304
+계속	-1305
+계적	-1306
+계획	-1307
+고르	-1308
+고마	-1309
+고민	-1310
+고생	-1311
+고치	-1312
+곤함	-1313
+곤해	-1314
+골라	-1315
+공감	-1316
+공부	-1317
+과목	-1318
+괜찮	-1319
+괜히	-1320
+구는	-1321
+구를	-1322
+구조	-1323
+구체	-1324
+국밥	-1325
+귀찮	-1326
+그냥	-1327
+그다	-1328
+그래	-1329
+그런	-1330
+그럴	-1331
+그럼	-1332
+그렇	-1333
+그면	-1334
+그부	-1335
+그와	-1336
+그의	-1337
+금은	-1338
+급하	-1339
+긍정	-1340
+기가	-1341
+기능	-1342
+기다	-1343
+기를	-1344
+기보	-1345
+기부	-1346
+기분	-1347
+기야	-1348
+기억	-1349
+기운	-1350
+기준	-1351
+기하	-1352
+김밥	-1353
+꺼내	-1354
+끄면	-1355
+낌으	-1356
+낌이	-1357
+나가	-1358
+나누	-1359
+나눈	-1360
+나눠	-1361
+나는	-1362
+나랑	-1363
+나로	-1364
+나름	-1365
+나만	-1366
+나씩	-1367
+나야	-1368
+날은	-1369
+남기	-1370
+남길	-1371
+남는	-1372
+내가	-1373
+내리	-1374
+내보	-1375
+내줘	-1376
+너는	-1377
+너랑	-1378
+너무	-1379
+너와	-1380
+네가	-1381
+노트	-1382
+누고	-1383
+누구	-1384
+누면	-1385
+누적	-1386
+눠보	-1387
+눠서	-1388
+느껴	-1389
+느끼	-1390
+느낌	-1391
+는데	-1392
+늘리	-1393
+늘은	-1394
+능성	-1395
+능은	-1396
+능한	-1397
+능해	-1398
+니라	-1399
+니야	-1400
+다고	-1401
+다리	-1402
+다만	-1403
+다시	-1404
+단계	-1405
+단이	-1406
+단한	-1407
+단해	-1408
+단히	-1409
+담을	-1410
+답변	-1411
+답한	-1412
+답할	-1413
+당기	-1414
+당장	-1415
+대신	-1416
+대체	-1417
+대화	-1418
+덮밥	-1419
+덮어	-1420
+데이	-1421
+델로	-1422
+델이	-1423
+도면	-1424
+도에	-1425
+도와	-1426
+도울	-1427
+도움	-1428
+돌려	-1429
+돌리	-1430
+돌아	-1431
+돕는	-1432
+동을	-1433
+동행	-1434
+된다	-1435
+드가	-1436
+드는	-1437
+든다	-1438
+든든	-1439
+든하	-1440
+들고	-1441
+들면	-1442
+들어	-1443
+들이	-1444
+들자	-1445
+디가	-1446
+디까	-1447
+디를	-1448
+디서	-1449
+따뜻	-1450
+따로	-1451
+때는	-1452
+라보	-1453
+래적	-1454
+러를	-1455
+로그	-1456
+로딩	-1457
+로컬	-1458
+론부	-1459
+론은	-1460
+론을	-1461
+루였	-1462
+루틴	-1463
+르는	-1464
+르면	-1465
+르자	-1466
+름으	-1467
+름은	-1468
+름이	-1469
+리하	-1470
+리할	-1471
+리해	-1472
+마시	-1473
+마음	-1474
+마지	-1475
+막으	-1476
+막혔	-1477
+만든	-1478
+만들	-1479
+많아	-1480
+많이	-1481
+말고	-1482
+말만	-1483
+말부	-1484
+말에	-1485
+말자	-1486
+말하	-1487
+말한	-1488
+말할	-1489
+말해	-1490
+망한	-1491
+망했	-1492
+맞는	-1493
+맞아	-1494
+맞추	-1495
+맞춰	-1496
+머를	-1497
+머리	-1498
+먹고	-1499
+먹을	-1500
+먼저	-1501
+멈춰	-1502
+메시	-1503
+명을	-1504
+명히	-1505
+모금	-1506
+모델	-1507
+모르	-1508
+모아	-1509
+목적	-1510
+목표	-1511
+무겁	-1512
+무슨	-1513
+문구	-1514
+문으	-1515
+문을	-1516
+문제	-1517
+묻고	-1518
+뭐가	-1519
+뭐부	-1520
+뭐야	-1521
+뭐였	-1522
+뭐해	-1523
+미래	-1524
+미루	-1525
+민하	-1526
+바꾼	-1527
+바로	-1528
+반갑	-1529
+반응	-1530
+받아	-1531
+발이	-1532
+밥이	-1533
+방법	-1534
+방식	-1535
+방향	-1536
+배고	-1537
+배우	-1538
+배치	-1539
+버거	-1540
+버그	-1541
+번째	-1542
+벽하	-1543
+변을	-1544
+볍게	-1545
+볍고	-1546
+보려	-1547
+보면	-1548
+보여	-1549
+보였	-1550
+복구	-1551
+복잡	-1552
+부나	-1553
+부담	-1554
+부분	-1555
+부족	-1556
+부탁	-1557
+부하	-1558
+북에	-1559
+분과	-1560
+분명	-1561
+분은	-1562
+분을	-1563
+분이	-1564
+분하	-1565
+불안	-1566
+불편	-1567
+불필	-1568
+비교	-1569
+비를	-1570
+빠르	-1571
+빨리	-1572
+뿌듯	-1573
+사를	-1574
+사실	-1575
+사용	-1576
+사하	-1577
+상으	-1578
+상태	-1579
+상한	-1580
+상황	-1581
+새로	-1582
+샌드	-1583
+생각	-1584
+생했	-1585
+서도	-1586
+서를	-1587
+선명	-1588
+선택	-1589
+선호	-1590
+설명	-1591
+설정	-1592
+성공	-1593
+성장	-1594
+성취	-1595
+셉으	-1596
+셉은	-1597
+소개	-1598
+소빈	-1599
+솔직	-1600
+순서	-1601
+숨부	-1602
+숨을	-1603
+쉬면	-1604
+쉬어	-1605
+쉬운	-1606
+쉬워	-1607
+쉽게	-1608
+스러	-1609
+스럽	-1610
+스스	-1611
+스크	-1612
+슬로	-1613
+습되	-1614
+습으	-1615
+습하	-1616
+시로	-1617
+시를	-1618
+시작	-1619
+식부	-1620
+식사	-1621
+식으	-1622
+신경	-1623
+실적	-1624
+실제	-1625
+실행	-1626
+실험	-1627
+싫어	-1628
+심만	-1629
+심부	-1630
+심심	-1631
+심으	-1632
+심은	-1633
+심적	-1634
+심할	-1635
+심해	-1636
+싶어	-1637
+싶으	-1638
+쌓아	-1639
+쓰이	-1640
+아는	-1641
+아니	-1642
+아들	-1643
+아무	-1644
+아보	-1645
+아이	-1646
+아주	-1647
+아줘	-1648
+아직	-1649
+아침	-1650
+안녕	-1651
+안을	-1652
+안이	-1653
+안정	-1654
+안한	-1655
+안할	-1656
+안해	-1657
+않게	-1658
+않고	-1659
+않아	-1660
+알겠	-1661
+알려	-1662
+약해	-1663
+얘기	-1664
+어가	-1665
+어간	-1666
+어갈	-1667
+어나	-1668
+어둔	-1669
+어디	-1670
+어때	-1671
+어땠	-1672
+어떤	-1673
+어떻	-1674
+어려	-1675
+어렵	-1676
+어로	-1677
+어를	-1678
+어보	-1679
+어쓰	-1680
+어줄	-1681
+어줘	-1682
+어지	-1683
+억에	-1684
+억지	-1685
+억하	-1686
+억한	-1687
+억해	-1688
+업을	-1689
+업이	-1690
+없는	-1691
+없어	-1692
+없을	-1693
+없이	-1694
+었다	-1695
+었던	-1696
+엉킨	-1697
+에러	-1698
+역할	-1699
+연다	-1700
+열어	-1701
+옆에	-1702
+예를	-1703
+예시	-1704
+오늘	-1705
+오래	-1706
+오류	-1707
+옵티	-1708
+완벽	-1709
+완전	-1710
+왔구	-1711
+왔어	-1712
+요약	-1713
+요즘	-1714
+우고	-1715
+우는	-1716
+우면	-1717
+우선	-1718
+운이	-1719
+움을	-1720
+움직	-1721
+워가	-1722
+워보	-1723
+워져	-1724
+원리	-1725
+원인	-1726
+원한	-1727
+웠나	-1728
+위치	-1729
+율을	-1730
+율적	-1731
+음식	-1732
+음에	-1733
+음은	-1734
+음이	-1735
+응을	-1736
+응하	-1737
+의미	-1738
+이거	-1739
+이네	-1740
+이디	-1741
+이렇	-1742
+이론	-1743
+이름	-1744
+이상	-1745
+이어	-1746
+이저	-1747
+이제	-1748
+이해	-1749
+인사	-1750
+인정	-1751
+인하	-1752
+인한	-1753
+인할	-1754
+인해	-1755
+일단	-1756
+일부	-1757
+일은	-1758
+일을	-1759
+입력	-1760
+있게	-1761
+있는	-1762
+있다	-1763
+있어	-1764
+있었	-1765
+있지	-1766
+자는	-1767
+자신	-1768
+자연	-1769
+자와	-1770
+자의	-1771
+자체	-1772
+작게	-1773
+작고	-1774
+작업	-1775
+작은	-1776
+작을	-1777
+작지	-1778
+작하	-1779
+작할	-1780
+작해	-1781
+잘한	-1782
+잘했	-1783
+잠깐	-1784
+잡고	-1785
+잡기	-1786
+잡는	-1787
+잡아	-1788
+잡으	-1789
+잡을	-1790
+잡한	-1791
+잡할	-1792
+잡해	-1793
+장공	-1794
+장을	-1795
+장하	-1796
+재미	-1797
+재현	-1798
+저고	-1799
+저기	-1800
+저녁	-1801
+저장	-1802
+적게	-1803
+적일	-1804
+전체	-1805
+점심	-1806
+접적	-1807
+정감	-1808
+정도	-1809
+정돼	-1810
+정되	-1811
+정리	-1812
+��서	-1813
+정성	-1814
+정시	-1815
+정의	-1816
+정이	-1817
+정적	-1818
+정체	-1819
+정하	-1820
+정할	-1821
+정해	-1822
+정확	-1823
+제로	-1824
+제를	-1825
+제만	-1826
+제안	-1827
+제인	-1828
+제일	-1829
+젝트	-1830
+조금	-1831
+조를	-1832
+조리	-1833
+조와	-1834
+조할	-1835
+조해	-1836
+족하	-1837
+좁히	-1838
+좁힌	-1839
+좁힐	-1840
+좋다	-1841
+좋아	-1842
+좋은	-1843
+좋을	-1844
+준비	-1845
+줄로	-1846
+줄이	-1847
+줄일	-1848
+중심	-1849
+중에	-1850
+중이	-1851
+줘도	-1852
+줘서	-1853
+증하	-1854
+지금	-1855
+지나	-1856
+지와	-1857
+지쳤	-1858
+지친	-1859
+직은	-1860
+직이	-1861
+직접	-1862
+진짜	-1863
+질과	-1864
+질문	-1865
+질부	-1866
+질을	-1867
+질이	-1868
+집중	-1869
+짜줘	-1870
+짧게	-1871
+짧고	-1872
+짧은	-1873
+쪽으	-1874
+쪽이	-1875
+차분	-1876
+찮게	-1877
+찮네	-1878
+찮다	-1879
+찮았	-1880
+찮은	-1881
+창작	-1882
+찾고	-1883
+채팅	-1884
+처음	-1885
+척하	-1886
+천을	-1887
+천천	-1888
+천해	-1889
+체가	-1890
+체성	-1891
+체적	-1892
+체크	-1893
+쳤겠	-1894
+쳤어	-1895
+초조	-1896
+추천	-1897
+출력	-1898
+충분	-1899
+취라	-1900
+치가	-1901
+치고	-1902
+치나	-1903
+치면	-1904
+치와	-1905
+치자	-1906
+침이	-1907
+커졌	-1908
+컨셉	-1909
+컵밥	-1910
+코드	-1911
+코딩	-1912
+크게	-1913
+크기	-1914
+크립	-1915
+키는	-1916
+키우	-1917
+키울	-1918
+키워	-1919
+타이	-1920
+태구	-1921
+태를	-1922
+태부	-1923
+택을	-1924
+택지	-1925
+택하	-1926
+터가	-1927
+터를	-1928
+테스	-1929
+통제	-1930
+튜닝	-1931
+트로	-1932
+트를	-1933
+트하	-1934
+티마	-1935
+파인	-1936
+파일	-1937
+판단	-1938
+편하	-1939
+편한	-1940
+편해	-1941
+평가	-1942
+포인	-1943
+표현	-1944
+품질	-1945
+프로	-1946
+픈데	-1947
+피곤	-1948
+피로	-1949
+필요	-1950
+하나	-1951
+하도	-1952
+하려	-1953
+하루	-1954
+하이	-1955
+학습	-1956
+한계	-1957
+한국	-1958
+할까	-1959
+함께	-1960
+함이	-1961
+해결	-1962
+해도	-1963
+해두	-1964
+해보	-1965
+해볼	-1966
+해봐	-1967
+해야	-1968
+해하	-1969
+핵심	-1970
+행동	-1971
+행되	-1972
+향은	-1973
+향을	-1974
+향이	-1975
+험부	-1976
+험으	-1977
+험은	-1978
+험하	-1979
+현부	-1980
+현실	-1981
+현을	-1982
+현재	-1983
+현했	-1984
+혔는	-1985
+화나	-1986
+화는	-1987
+화를	-1988
+화부	-1989
+화하	-1990
+화한	-1991
+화할	-1992
+화해	-1993
+화형	-1994
+확실	-1995
+확인	-1996
+확장	-1997
+확한	-1998
+확히	-1999
+황에	-2000
+황을	-2001
+획보	-2002
+효율	-2003
+훨씬	-2004
+휴식	-2005
+흐름	-2006
+힘들	-2007
+300	-2008
+OVY	-2009
+SOV	-2010
+▁12	-2011
+▁가벼	-2012
+▁결과	-2013
+▁고마	-2014
+▁공간	-2015
+▁과목	-2016
+▁귀찮	-2017
+▁그다	-2018
+▁그래	-2019
+▁그렇	-2020
+▁기능	-2021
+▁기준	-2022
+▁나눈	-2023
+▁남기	-2024
+▁남길	-2025
+▁내리	-2026
+▁노트	-2027
+▁누구	-2028
+▁느껴	-2029
+▁느끼	-2030
+▁답할	-2031
+▁당기	-2032
+▁대체	-2033
+▁데이	-2034
+▁도와	-2035
+▁도움	-2036
+▁돌려	-2037
+▁돌아	-2038
+▁돕는	-2039
+▁동행	-2040
+▁든다	-2041
+▁따뜻	-2042
+▁마시	-2043
+▁마지	-2044
+▁말부	-2045
+▁말하	-2046
+▁말할	-2047
+▁망했	-2048
+▁맞추	-2049
+▁머리	-2050
+▁먹을	-2051
+▁멈춰	-2052
+▁메시	-2053
+▁모아	-2054
+▁목적	-2055
+▁목표	-2056
+▁무겁	-2057
+▁뭐였	-2058
+▁미루	-2059
+▁반갑	-2060
+▁방법	-2061
+▁방식	-2062
+▁배고	-2063
+▁버거	-2064
+▁보려	-2065
+▁보여	-2066
+▁보였	-2067
+▁부탁	-2068
+▁불필	-2069
+▁비교	-2070
+▁빠르	-2071
+▁뿌듯	-2072
+▁사실	-2073
+▁사용	-2074
+▁샌드	-2075
+▁선명	-2076
+▁선호	-2077
+▁성공	-2078
+▁소빈	-2079
+▁솔직	-2080
+▁쉬면	-2081
+▁쉬어	-2082
+▁스스	-2083
+▁슬로	-2084
+▁싶으	-2085
+▁않아	-2086
+▁알겠	-2087
+▁알려	-2088
+▁어땠	-2089
+▁어떻	-2090
+▁어려	-2091
+▁어렵	-2092
+▁억지	-2093
+▁역할	-2094
+▁완전	-2095
+▁왔구	-2096
+▁원리	-2097
+▁원인	-2098
+▁이렇	-2099
+▁입력	-2100
+▁있었	-2101
+▁있지	-2102
+▁자연	-2103
+▁작지	-2104
+▁잡으	-2105
+▁재미	-2106
+▁정서	-2107
+▁정의	-2108
+▁정하	-2109
+▁좁히	-2110
+▁좁힌	-2111
+▁좋을	-2112
+▁줄이	-2113
+▁중이	-2114
+▁처음	-2115
+▁천천	-2116
+▁체크	-2117
+▁충분	-2118
+▁커졌	-2119
+▁타이	-2120
+▁테스	-2121
+▁파인	-2122
+▁평가	-2123
+▁프로	-2124
+▁피로	-2125
+▁한계	-2126
+▁한국	-2127
+▁해볼	-2128
+▁확실	-2129
+▁확장	-2130
+▁��들	-2131
+각이야	-2132
+감정을	-2133
+감하고	-2134
+개하고	-2135
+개한다	-2136
+걱정을	-2137
+것부터	-2138
+곁에서	-2139
+계적인	-2140
+고픈데	-2141
+그부터	-2142
+급하게	-2143
+기보다	-2144
+기부터	-2145
+기하자	-2146
+낌으로	-2147
+내보자	-2148
+눠보자	-2149
+늘리고	-2150
+다리고	-2151
+단이나	-2152
+답한다	-2153
+델이야	-2154
+돌리고	-2155
+든하게	-2156
+들었다	-2157
+들었던	-2158
+디어나	-2159
+디어를	-2160
+라보자	-2161
+래적인	-2162
+론부터	-2163
+루였어	-2164
+름으로	-2165
+름이야	-2166
+리할게	-2167
+막으로	-2168
+말한다	-2169
+명해줘	-2170
+문으로	-2171
+뭐부터	-2172
+미있는	-2173
+미있어	-2174
+민하고	-2175
+발이나	-2176
+밥이나	-2177
+벽하게	-2178
+북에서	-2179
+분이야	-2180
+분하고	-2181
+분하지	-2182
+사하고	-2183
+상으로	-2184
+생했어	-2185
+셉으로	-2186
+숨부터	-2187
+스트로	-2188
+스트를	-2189
+습하고	-2190
+습하는	-2191
+시지나	-2192
+시지와	-2193
+식부터	-2194
+식으로	-2195
+실적인	-2196
+심부터	-2197
+심으로	-2198
+심적인	-2199
+쌓아가	-2200
+쓰이는	-2201
+아보자	-2202
+아주고	-2203
+안이나	-2204
+안한다	-2205
+약해줘	-2206
+어보자	-2207
+어쓰고	-2208
+억하고	-2209
+억한다	-2210
+업이나	-2211
+연스러	-2212
+연스럽	-2213
+옆에서	-2214
+용자는	-2215
+용자와	-2216
+용자의	-2217
+원한다	-2218
+응하고	-2219
+이디어	-2220
+이머를	-2221
+이터가	-2222
+이터를	-2223
+인하고	-2224
+일부터	-2225
+잘했다	-2226
+장하는	-2227
+접적인	-2228
+정적인	-2229
+정하고	-2230
+정해줘	-2231
+족하면	-2232
+중이야	-2233
+증하자	-2234
+직이기	-2235
+질부터	-2236
+쪽으로	-2237
+척하지	-2238
+천해줘	-2239
+체적인	-2240
+취라도	-2241
+침이야	-2242
+크립트	-2243
+태부터	-2244
+트하는	-2245
+티마이	-2246
+편하게	-2247
+포인트	-2248
+해하기	-2249
+향이야	-2250
+험부터	-2251
+험으로	-2252
+험하고	-2253
+현부터	-2254
+현했다	-2255
+혔는지	-2256
+화한다	-2257
+획보다	-2258
+▁100	-2259
+▁SOV	-2260
+▁가능성	-2261
+▁공부하	-2262
+▁괜찮았	-2263
+▁그다음	-2264
+▁기억하	-2265
+▁기억해	-2266
+▁남기면	-2267
+▁대화부	-2268
+▁대화하	-2269
+▁대화해	-2270
+▁도와줘	-2271
+▁돌려보	-2272
+▁들어줄	-2273
+▁문제인	-2274
+▁받아들	-2275
+▁버거웠	-2276
+▁분명해	-2277
+▁비교해	-2278
+▁상태구	-2279
+▁샌드위	-2280
+▁선택지	-2281
+▁선택하	-2282
+▁시작하	-2283
+▁시작해	-2284
+▁실행되	-2285
+▁쌓아가	-2286
+▁안정감	-2287
+▁안정되	-2288
+▁안정성	-2289
+▁안정시	-2290
+▁어디까	-2291
+▁어려움	-2292
+▁열어둔	-2293
+▁이어가	-2294
+▁이어간	-2295
+▁이어갈	-2296
+▁저장공	-2297
+▁정리하	-2298
+▁정리해	-2299
+▁정체성	-2300
+▁지쳤겠	-2301
+▁키워가	-2302
+▁키워보	-2303
+▁파인튜	-2304
+▁프로젝	-2305
+▁피곤함	-2306
+▁학습되	-2307
+▁학습으	-2308
+▁한국어	-2309
+▁확인하	-2310
+▁확인해	-2311
+▁효율적	-2312
+드위치가	-2313
+드위치나	-2314
+스트하는	-2315
+장하도록	-2316
+지막으로	-2317
+크포인트	-2318
+트북에서	-2319
+▁대화하면	-2320
+▁든든하게	-2321
+▁만들어지	-2322
+▁안정시키	-2323
+▁옵티마이	-2324
+▁인정해줘	-2325
+▁자연스러	-2326
+▁자연스럽	-2327
+▁차분하지	-2328
+크포인트를	-2329
+트북에서도	-2330
+▁	-2331
+.	-2332
+다	-2333
+한	-2334
+는	-2335
+고	-2336
+이	-2337
+자	-2338
+어	-2339
+게	-2340
+하	-2341
+로	-2342
+을	-2343
+짧	-2344
+대	-2345
+화	-2346
+N	-2347
+O	-2348
+S	-2349
+V	-2350
+Y	-2351
+너	-2352
+스	-2353
+연	-2354
+아	-2355
+럽	-2356
+국	-2357
+은	-2358
+사	-2359
+정	-2360
+용	-2361
+지	-2362
+,	-2363
+해	-2364
+있	-2365
+작	-2366
+나	-2367
+안	-2368
+면	-2369
+에	-2370
+인	-2371
+말	-2372
+가	-2373
+부	-2374
+음	-2375
+할	-2376
+제	-2377
+를	-2378
+저	-2379
+확	-2380
+좋	-2381
+야	-2382
+수	-2383
+?	-2384
+기	-2385
+히	-2386
+모	-2387
+먼	-2388
+행	-2389
+적	-2390
+보	-2391
+동	-2392
+도	-2393
+의	-2394
+응	-2395
+만	-2396
+금	-2397
+단	-2398
+르	-2399
+줘	-2400
+반	-2401
+터	-2402
+원	-2403
+않	-2404
+분	-2405
+간	-2406
+척	-2407
+돼	-2408
+오	-2409
+답	-2410
+들	-2411
+으	-2412
+방	-2413
+심	-2414
+운	-2415
+그	-2416
+뭐	-2417
+늘	-2418
+리	-2419
+현	-2420
+괜	-2421
+시	-2422
+습	-2423
+학	-2424
+했	-2425
+서	-2426
+찮	-2427
+없	-2428
+데	-2429
+문	-2430
+구	-2431
+개	-2432
+변	-2433
+성	-2434
+공	-2435
+천	-2436
+델	-2437
+일	-2438
+담	-2439
+식	-2440
+불	-2441
+질	-2442
+잡	-2443
+표	-2444
+감	-2445
+과	-2446
+추	-2447
+계	-2448
+쉬	-2449
+바	-2450
+0	-2451
+A	-2452
+I	-2453
+거	-2454
+중	-2455
+와	-2456
+실	-2457
+려	-2458
+같	-2459
+1	-2460
+움	-2461
+능	-2462
+마	-2463
+결	-2464
+름	-2465
+체	-2466
+장	-2467
+디	-2468
+향	-2469
+핵	-2470
+명	-2471
+소	-2472
+치	-2473
+상	-2474
+무	-2475
+볍	-2476
+밥	-2477
+우	-2478
+좀	-2479
+맞	-2480
+알	-2481
+때	-2482
+조	-2483
+선	-2484
+긍	-2485
+것	-2486
+트	-2487
+직	-2488
+벼	-2489
+발	-2490
+묻	-2491
+걱	-2492
+겠	-2493
+주	-2494
+내	-2495
+억	-2496
+설	-2497
+배	-2498
+된	-2499
+까	-2500
+느	-2501
+요	-2502
+줄	-2503
+였	-2504
+택	-2505
+워	-2506
+예	-2507
+생	-2508
+싶	-2509
+탁	-2510
+키	-2511
+빨	-2512
+재	-2513
+빈	-2514
+각	-2515
+필	-2516
+집	-2517
+얘	-2518
+론	-2519
+었	-2520
+크	-2521
+피	-2522
+드	-2523
+봐	-2524
+미	-2525
+편	-2526
+루	-2527
+먹	-2528
+목	-2529
+렵	-2530
+흐	-2531
+라	-2532
+M	-2533
+잘	-2534
+눠	-2535
+준	-2536
+버	-2537
+황	-2538
+땐	-2539
+접	-2540
+더	-2541
+래	-2542
+함	-2543
+돕	-2544
+업	-2545
+녕	-2546
+받	-2547
+복	-2548
+판	-2549
+끼	-2550
+테	-2551
+B	-2552
+쓸	-2553
+울	-2554
+록	-2555
+샌	-2556
+위	-2557
+럼	-2558
+좁	-2559
+김	-2560
+걸	-2561
+당	-2562
+품	-2563
+누	-2564
+셉	-2565
+컨	-2566
+볼	-2567
+초	-2568
+곤	-2569
+숨	-2570
+니	-2571
+험	-2572
+남	-2573
+떤	-2574
+2	-2575
+되	-2576
+순	-2577
+힘	-2578
+네	-2579
+신	-2580
+비	-2581
+침	-2582
+왔	-2583
+쳤	-2584
+머	-2585
+류	-2586
+코	-2587
+첫	-2588
+러	-2589
+낌	-2590
+속	-2591
+돌	-2592
+많	-2593
+태	-2594
+열	-2595
+길	-2596
+런	-2597
+엔	-2598
+쉽	-2599
+5	-2600
+덮	-2601
+든	-2602
+께	-2603
+민	-2604
+둔	-2605
+눈	-2606
+법	-2607
+창	-2608
+럴	-2609
+큰	-2610
+짜	-2611
+3	-2612
+파	-2613
+틴	-2614
+갑	-2615
+솔	-2616
+역	-2617
+친	-2618
+통	-2619
+힌	-2620
+갈	-2621
+따	-2622
+랑	-2623
+완	-2624
+던	-2625
+꽤	-2626
+웠	-2627
+픈	-2628
+졌	-2629
+커	-2630
+쪽	-2631
+급	-2632
+난	-2633
+녁	-2634
+춰	-2635
+메	-2636
+차	-2637
+립	-2638
+타	-2639
+딩	-2640
+뜻	-2641
+젝	-2642
+프	-2643
+막	-2644
+깐	-2645
+잠	-2646
+싫	-2647
+점	-2648
+벽	-2649
+냥	-2650
+렇	-2651
+왜	-2652
+옆	-2653
+전	-2654
+골	-2655
+았	-2656
+날	-2657
+듯	-2658
+떻	-2659
+뿌	-2660
+찾	-2661
+충	-2662
+채	-2663
+팅	-2664
+검	-2665
+별	-2666
+증	-2667
+져	-2668
+빠	-2669
+세	-2670
+처	-2671
+취	-2672
+두	-2673
+씬	-2674
+훨	-2675
+혔	-2676
+뭘	-2677
+망	-2678
+약	-2679
+호	-2680
+건	-2681
+쓰	-2682
+력	-2683
+컬	-2684
+휴	-2685
+포	-2686
+율	-2687
+효	-2688
+씩	-2689
+'	-2690
+겁	-2691
+여	-2692
+힐	-2693
+귀	-2694
+즘	-2695
+컵	-2696
+곁	-2697
+슬	-2698
+진	-2699
+뒤	-2700
+경	-2701
+물	-2702
+땠	-2703
+멈	-2704
+입	-2705
+출	-2706
+획	-2707
+껴	-2708
+끄	-2709
+노	-2710
+북	-2711
+옵	-2712
+족	-2713
+티	-2714
+꾼	-2715
+형	-2716
+교	-2717
+새	-2718
+슨	-2719
+번	-2720
+째	-2721
+닝	-2722
+튜	-2723
+평	-2724
+꺼	-2725
+엉	-2726
+킨	-2727
+쌓	-2728

sovyn_300m_last.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:859aac989b5fc3925c69436702ab04f9135701c02a61a2c1dc262357fc825135
+size 605916225

src/sovyn/__init__.py

@@ -0,0 +1,3 @@
+from .model import SovynConfig, SovynForCausalLM
+
+__all__ = ["SovynConfig", "SovynForCausalLM"]

src/sovyn/data.py

@@ -0,0 +1,52 @@
+import json
+from pathlib import Path
+
+import torch
+from torch.utils.data import Dataset
+
+from .formatting import format_example
+
+
+class DialogueDataset(Dataset):
+    def __init__(self, path: str, tokenizer, max_seq_len: int):
+        self.path = Path(path)
+        self.tokenizer = tokenizer
+        self.max_seq_len = max_seq_len
+        self.assistant_id = tokenizer.piece_to_id("<assistant>")
+        self.examples = []
+
+        with self.path.open("r", encoding="utf-8") as f:
+            for line in f:
+                line = line.strip()
+                if not line:
+                    continue
+                self.examples.append(json.loads(line))
+
+        if not self.examples:
+            raise ValueError(f"No examples found in {self.path}")
+
+    def __len__(self):
+        return len(self.examples)
+
+    def __getitem__(self, index: int):
+        text = format_example(self.examples[index])
+        ids = self.tokenizer.encode(text, out_type=int)
+        ids = ids[: self.max_seq_len]
+        input_ids = torch.tensor(ids[:-1], dtype=torch.long)
+        labels = torch.tensor(ids[1:], dtype=torch.long)
+        if self.assistant_id in ids:
+            assistant_pos = ids.index(self.assistant_id)
+            labels[:assistant_pos] = -100
+        return input_ids, labels
+
+
+def collate_batch(batch, pad_id: int):
+    max_len = max(x[0].numel() for x in batch)
+    input_ids = torch.full((len(batch), max_len), pad_id, dtype=torch.long)
+    labels = torch.full((len(batch), max_len), -100, dtype=torch.long)
+
+    for i, (x, y) in enumerate(batch):
+        input_ids[i, : x.numel()] = x
+        labels[i, : y.numel()] = y
+
+    return input_ids, labels

src/sovyn/formatting.py

@@ -0,0 +1,158 @@
+SPECIAL_TOKENS = [
+    "<pad>",
+    "<bos>",
+    "<eos>",
+    "<system>",
+    "<user>",
+    "<state>",
+    "<plan>",
+    "<memory>",
+    "<reflection>",
+    "<assistant>",
+]
+
+
+def format_example(example: dict) -> str:
+    system = example.get("system", "")
+    user = example.get("user", "")
+    state = example.get("state", "")
+    plan = example.get("plan", "")
+    memory = example.get("memory", "")
+    reflection = example.get("reflection", "")
+    assistant = example.get("assistant", "")
+
+    parts = [
+        "<system>",
+        system,
+        "<user>",
+        user,
+        "<state>",
+        state,
+        "<plan>",
+        plan,
+    ]
+    if memory:
+        parts.extend(["<memory>", memory])
+    if reflection:
+        parts.extend(["<reflection>", reflection])
+    parts.extend(["<assistant>", assistant, "<eos>"])
+    return "\n".join(parts)
+
+
+def format_prompt(user: str, system: str | None = None) -> str:
+    if system is None:
+        system = (
+            "너는 SOVYN이다. 사용자의 말에 먼저 정확히 반응하고, 짧고 자연스럽게 한국어로 대화한다. "
+            "모르면 아는 척하지 않고, 다음에 할 수 있는 작은 행동을 제안한다."
+        )
+    state, plan = infer_state_plan(user)
+    return "\n".join(
+        [
+            "<system>",
+            system,
+            "<user>",
+            user,
+            "<state>",
+            state,
+            "<plan>",
+            plan,
+            "<assistant>",
+        ]
+    )
+
+
+def infer_state_plan(user: str) -> tuple[str, str]:
+    text = user.strip().lower()
+    if any(word in text for word in ["피곤", "지쳤", "힘들", "기운", "복잡"]):
+        return (
+            "사용자는 피로와 부담을 표현했다.",
+            "먼저 공감하고, 부담 없는 질문을 한다.",
+        )
+    if any(word in text for word in ["짧", "간단", "핵심", "요약", "길게"]):
+        return (
+            "사용자는 짧고 핵심적인 답변을 원한다.",
+            "불필요한 설명을 줄이고 핵심부터 답한다.",
+        )
+    if any(word in text for word in ["누구", "정체", "sovyn", "ai야"]):
+        return (
+            "사용자는 SOVYN의 정체성을 묻고 있다.",
+            "SOVYN의 목적을 짧고 자신 있게 소개한다.",
+        )
+    if any(
+        word in text
+        for word in [
+            "1b",
+            "120m",
+            "300m",
+            "모델",
+            "학습",
+            "키울",
+            "저장공간",
+            "저장 공간",
+            "체크포인트",
+            "부족",
+        ]
+    ):
+        return (
+            "사용자는 AI 모델 개발 방향을 묻고 있다.",
+            "가능성을 말하고 단계적인 방향을 제안한다.",
+        )
+    if any(word in text for word in ["고마워", "좋다", "괜찮", "마음"]):
+        return (
+            "사용자는 긍정적인 반응을 보였다.",
+            "가볍게 받아들이고 다음 행동을 열어둔다.",
+        )
+    if any(word in text for word in ["뭐부터", "다음", "순서"]):
+        return (
+            "사용자는 다음 행동을 정하고 싶어 한다.",
+            "작고 실행 가능한 다음 단계를 제안한다.",
+        )
+    if any(word in text for word in ["코딩", "프로젝트", "스크립트", "버그", "에러"]):
+        return (
+            "사용자는 개발 작업을 하고 있다.",
+            "상황을 확인하고 바로 도울 준비를 한다.",
+        )
+    if any(word in text for word in ["먹", "점심", "저녁", "음식"]):
+        return (
+            "사용자는 식사 선택을 고민하고 있다.",
+            "가볍고 선택하기 쉬운 추천을 한다.",
+        )
+    if any(word in text for word in ["공부", "집중", "미루", "루틴"]):
+        return (
+            "사용자는 공부나 집중에 어려움을 느끼고 있다.",
+            "작게 시작할 수 있는 방법을 제안한다.",
+        )
+    if any(word in text for word in ["좋아", "괜찮았", "잘한", "뿌듯"]):
+        return (
+            "사용자는 긍정적인 감정을 표현했다.",
+            "긍정적인 감정을 인정하고 이어간다.",
+        )
+    if any(word in text for word in ["불안", "걱정", "불편", "초조"]):
+        return (
+            "사용자는 불안이나 걱정을 표현했다.",
+            "안정감을 주고 생각을 정리하도록 돕는다.",
+        )
+    if any(word in text for word in ["아이디어", "이름", "컨셉", "문구"]):
+        return (
+            "사용자는 창작 아이디어를 원한다.",
+            "짧고 바로 쓸 수 있는 아이디어를 제안한다.",
+        )
+    if any(word in text for word in ["맞아", "확인", "생각 어때", "방향"]):
+        return (
+            "사용자는 판단이나 확인을 원한다.",
+            "긍정할 부분과 확���할 부분을 짧게 나눈다.",
+        )
+    if any(word in text for word in ["대화", "심심", "할 말", "얘기"]):
+        return (
+            "사용자는 가벼운 대화를 원한다.",
+            "부담 없는 질문으로 대화를 연다.",
+        )
+    if any(word in text for word in ["설명", "왜", "쉽게", "예시"]):
+        return (
+            "사용자는 쉬운 설명을 원한다.",
+            "짧은 정의와 간단한 예시로 답한다.",
+        )
+    return (
+        "사용자는 가벼운 인사를 했다.",
+        "짧게 인사하고 자연스럽게 대화를 이어간다.",
+    )

src/sovyn/model.py

@@ -0,0 +1,201 @@
+from dataclasses import dataclass
+
+import torch
+import torch.nn as nn
+import torch.nn.functional as F
+
+
+@dataclass
+class SovynConfig:
+    name: str = "SOVYN-120M-Cortex"
+    vocab_size: int = 32000
+    max_seq_len: int = 1024
+    n_layers: int = 12
+    hidden_size: int = 768
+    n_heads: int = 12
+    n_kv_heads: int = 4
+    ffn_size: int = 2688
+    dropout: float = 0.0
+    rope_theta: float = 10000.0
+    tie_embeddings: bool = True
+
+
+class RMSNorm(nn.Module):
+    def __init__(self, dim: int, eps: float = 1e-6):
+        super().__init__()
+        self.weight = nn.Parameter(torch.ones(dim))
+        self.eps = eps
+
+    def forward(self, x):
+        normed = x * torch.rsqrt(x.pow(2).mean(dim=-1, keepdim=True) + self.eps)
+        return normed * self.weight
+
+
+def precompute_rope(head_dim: int, max_seq_len: int, theta: float):
+    inv_freq = 1.0 / (theta ** (torch.arange(0, head_dim, 2).float() / head_dim))
+    t = torch.arange(max_seq_len).float()
+    freqs = torch.outer(t, inv_freq)
+    return torch.cos(freqs), torch.sin(freqs)
+
+
+def apply_rope(x, cos, sin):
+    cos = cos[None, :, None, :]
+    sin = sin[None, :, None, :]
+    x_even = x[..., 0::2]
+    x_odd = x[..., 1::2]
+    out = torch.empty_like(x)
+    out[..., 0::2] = x_even * cos - x_odd * sin
+    out[..., 1::2] = x_even * sin + x_odd * cos
+    return out
+
+
+class Attention(nn.Module):
+    def __init__(self, cfg: SovynConfig):
+        super().__init__()
+        if cfg.n_heads % cfg.n_kv_heads != 0:
+            raise ValueError("n_heads must be divisible by n_kv_heads")
+        self.n_heads = cfg.n_heads
+        self.n_kv_heads = cfg.n_kv_heads
+        self.head_dim = cfg.hidden_size // cfg.n_heads
+        self.repeat = cfg.n_heads // cfg.n_kv_heads
+
+        kv_dim = cfg.n_kv_heads * self.head_dim
+        self.q_proj = nn.Linear(cfg.hidden_size, cfg.hidden_size, bias=False)
+        self.k_proj = nn.Linear(cfg.hidden_size, kv_dim, bias=False)
+        self.v_proj = nn.Linear(cfg.hidden_size, kv_dim, bias=False)
+        self.o_proj = nn.Linear(cfg.hidden_size, cfg.hidden_size, bias=False)
+        self.dropout = cfg.dropout
+
+    def forward(self, x, cos, sin):
+        bsz, seq_len, hidden = x.shape
+        q = self.q_proj(x).view(bsz, seq_len, self.n_heads, self.head_dim)
+        k = self.k_proj(x).view(bsz, seq_len, self.n_kv_heads, self.head_dim)
+        v = self.v_proj(x).view(bsz, seq_len, self.n_kv_heads, self.head_dim)
+
+        q = apply_rope(q, cos[:seq_len], sin[:seq_len])
+        k = apply_rope(k, cos[:seq_len], sin[:seq_len])
+
+        k = k.repeat_interleave(self.repeat, dim=2)
+        v = v.repeat_interleave(self.repeat, dim=2)
+
+        q = q.transpose(1, 2)
+        k = k.transpose(1, 2)
+        v = v.transpose(1, 2)
+
+        y = F.scaled_dot_product_attention(
+            q,
+            k,
+            v,
+            attn_mask=None,
+            dropout_p=self.dropout if self.training else 0.0,
+            is_causal=True,
+        )
+        y = y.transpose(1, 2).contiguous().view(bsz, seq_len, hidden)
+        return self.o_proj(y)
+
+
+class SwiGLU(nn.Module):
+    def __init__(self, cfg: SovynConfig):
+        super().__init__()
+        self.gate = nn.Linear(cfg.hidden_size, cfg.ffn_size, bias=False)
+        self.up = nn.Linear(cfg.hidden_size, cfg.ffn_size, bias=False)
+        self.down = nn.Linear(cfg.ffn_size, cfg.hidden_size, bias=False)
+
+    def forward(self, x):
+        return self.down(F.silu(self.gate(x)) * self.up(x))
+
+
+class Block(nn.Module):
+    def __init__(self, cfg: SovynConfig):
+        super().__init__()
+        self.attn_norm = RMSNorm(cfg.hidden_size)
+        self.attn = Attention(cfg)
+        self.ffn_norm = RMSNorm(cfg.hidden_size)
+        self.ffn = SwiGLU(cfg)
+
+    def forward(self, x, cos, sin):
+        x = x + self.attn(self.attn_norm(x), cos, sin)
+        x = x + self.ffn(self.ffn_norm(x))
+        return x
+
+
+class SovynForCausalLM(nn.Module):
+    def __init__(self, cfg: SovynConfig):
+        super().__init__()
+        self.cfg = cfg
+        self.embed = nn.Embedding(cfg.vocab_size, cfg.hidden_size)
+        self.blocks = nn.ModuleList([Block(cfg) for _ in range(cfg.n_layers)])
+        self.norm = RMSNorm(cfg.hidden_size)
+        self.lm_head = nn.Linear(cfg.hidden_size, cfg.vocab_size, bias=False)
+        if cfg.tie_embeddings:
+            self.lm_head.weight = self.embed.weight
+
+        cos, sin = precompute_rope(
+            cfg.hidden_size // cfg.n_heads,
+            cfg.max_seq_len,
+            cfg.rope_theta,
+        )
+        self.register_buffer("rope_cos", cos, persistent=False)
+        self.register_buffer("rope_sin", sin, persistent=False)
+        self.apply(self._init_weights)
+
+    def _init_weights(self, module):
+        if isinstance(module, nn.Linear):
+            nn.init.normal_(module.weight, mean=0.0, std=0.02)
+        elif isinstance(module, nn.Embedding):
+            nn.init.normal_(module.weight, mean=0.0, std=0.02)
+
+    def forward(self, input_ids, labels=None):
+        if input_ids.size(1) > self.cfg.max_seq_len:
+            raise ValueError("Sequence length exceeds max_seq_len")
+
+        x = self.embed(input_ids)
+        for block in self.blocks:
+            x = block(x, self.rope_cos, self.rope_sin)
+        x = self.norm(x)
+        logits = self.lm_head(x)
+
+        loss = None
+        if labels is not None:
+            loss = F.cross_entropy(
+                logits.view(-1, logits.size(-1)),
+                labels.view(-1),
+                ignore_index=-100,
+            )
+        return {"loss": loss, "logits": logits}
+
+    @torch.no_grad()
+    def generate(
+        self,
+        input_ids,
+        max_new_tokens=96,
+        temperature=0.8,
+        top_k=50,
+        eos_id=None,
+        stop_ids=None,
+        suppress_ids=None,
+    ):
+        self.eval()
+        stop_ids = set(stop_ids or [])
+        suppress_ids = list(suppress_ids or [])
+        for _ in range(max_new_tokens):
+            x = input_ids[:, -self.cfg.max_seq_len :]
+            logits = self(x)["logits"][:, -1, :]
+            if suppress_ids:
+                logits[:, suppress_ids] = -float("inf")
+            if temperature <= 0:
+                next_id = torch.argmax(logits, dim=-1, keepdim=True)
+            else:
+                logits = logits / temperature
+                if top_k > 0:
+                    values, _ = torch.topk(logits, min(top_k, logits.size(-1)))
+                    logits[logits < values[:, [-1]]] = -float("inf")
+                probs = F.softmax(logits, dim=-1)
+                next_id = torch.multinomial(probs, num_samples=1)
+            input_ids = torch.cat([input_ids, next_id], dim=1)
+            token_id = next_id.item()
+            if eos_id is not None and token_id == eos_id:
+                break
+            if token_id in stop_ids:
+                break
+        return input_ids

upload.ps1

@@ -0,0 +1,6 @@
+$ErrorActionPreference = "Stop"
+
+$Root = Split-Path -Parent $MyInvocation.MyCommand.Path
+Set-Location $Root
+
+..\..\.venv\Scripts\hf.exe upload SOVYN/sovyn-300m-cortex . . --repo-type model