Update README.md
Browse files
README.md
CHANGED
|
@@ -1,3 +1,69 @@
|
|
| 1 |
---
|
| 2 |
-
license:
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 3 |
---
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
---
|
| 2 |
+
license: mit
|
| 3 |
+
language:
|
| 4 |
+
- ko
|
| 5 |
+
- en
|
| 6 |
+
base_model: jhu-clsp/mmBERT-small
|
| 7 |
+
base_model_relation: finetune
|
| 8 |
+
tags:
|
| 9 |
+
- pytorch
|
| 10 |
+
- safetensors
|
| 11 |
+
- text-segmentation
|
| 12 |
+
- semantic-chunking
|
| 13 |
+
- modernbert
|
| 14 |
+
- prototype
|
| 15 |
---
|
| 16 |
+
|
| 17 |
+
|
| 18 |
+
# Backfire Borderline (Rev 232)
|
| 19 |
+
๋ง๋ถ ๋ฐฉํ์ ๋ชจ๋ธ์ ํ์ ๋ชจ๋ธ์ ์ ๋ฌํ๊ธฐ ์ฉ์ดํ๋๋ก ์ฃผ์ ๋ฅผ ๊ธฐ๋ฐ์ผ๋ก ์ ๋นํ ๋ณธ๋ฌธ์ ๋ถํ ํ๋ ๊ฒ์ ๋ชฉํ๋ก ํฉ๋๋ค.
|
| 20 |
+
|
| 21 |
+
๊ธฐ์กด์ ๋ชจ๋ธ ํํ์๋ ๋ค๋ฅด๊ฒ KEEP / CLOSE ํํ๋ก ์ถ๋ ฅํ๋ฉฐ, ์ด๋ฅผ ํตํด ํ์ฌ ๋ถ๋ถ์์ ๋ณธ๋ฌธ์ ๋์ด์ผ ํ ์ง, ์๋๋ฉด ๊ณ์ ์ด์ด๊ฐ์ผํ ์ง๋ฅผ ๋ฐํํฉ๋๋ค.
|
| 22 |
+
|
| 23 |
+
์ด ํ๋ก์ ํธ๋ **๋ฐํ ํน์ด์ ** ํ๋ก์ ํธ์ ์ผ๋ถ์
๋๋ค.
|
| 24 |
+
|
| 25 |
+
## ๋น ๋ฅธ ์์
|
| 26 |
+
|
| 27 |
+
Python 3.11 ์ด์์ ์ฌ์ฉํฉ๋๋ค. ๋ชจ๋ธ ์ ์ฅ์๋ฅผ ๋ก์ปฌ ํด๋๋ก ๋ค์ด๋ก๋ํ๊ฑฐ๋ ๋ณต์ ํ ๋ค,
|
| 28 |
+
์ฌ์ฉํ CPUยทGPU ํ๊ฒฝ์ ๋ง๋ PyTorch ํจํค์ง๋ฅผ ์ค์นํ๊ณ ๋ค์ ๋ช
๋ น์ ์คํํฉ๋๋ค.
|
| 29 |
+
|
| 30 |
+
```bash
|
| 31 |
+
cd bfb232
|
| 32 |
+
python -m pip install -r requirements.txt
|
| 33 |
+
python bfb232.py --model . --language ko --input input.txt --output result.json
|
| 34 |
+
```
|
| 35 |
+
|
| 36 |
+
Python์์๋ ์ด ๋ ํฌ์งํ ๋ฆฌ๋ฅผ ๊ฐ์ ๊ฒฝ๋ก์ ๋ ์ํ์์ ๋ค์๊ณผ ๊ฐ์ด ์ฌ์ฉํฉ๋๋ค.
|
| 37 |
+
|
| 38 |
+
```python
|
| 39 |
+
from bfb232 import BFB232
|
| 40 |
+
|
| 41 |
+
model = BFB232.from_pretrained(".", device="auto")
|
| 42 |
+
text = "์ฌ์ฏ ์ด ์ ์ ๋๋ "์ฒดํํ ์ด์ผ๊ธฐ"๋ผ๋ ์ ๋ชฉ์, ์์๋ฆผ์ ๊ดํ ์ฑ
์์ ๊ธฐ๋งํ ๊ทธ๋ฆผ ํ๋๋ฅผ ๋ณธ ์ ์ด ์๋ค. ๋งน์๋ฅผ ์ง์ด์ผํค๊ณ ์๋ ๋ณด์ ๊ตฌ๋ ์ด ๊ทธ๋ฆผ์ด์๋ค. ์์ ๊ทธ๋ฆผ์ ๊ทธ๊ฒ์ ์ฎ๊ฒจ ๊ทธ๋ฆฐ ๊ฒ์ด๋ค..."
|
| 43 |
+
result = model.segment(text, language="ko")
|
| 44 |
+
for segment in result["segments"]:
|
| 45 |
+
print(segment["start"], segment["end"], repr(segment["text"]))
|
| 46 |
+
assert "".join(s["text"] for s in result["segments"]) == text
|
| 47 |
+
```
|
| 48 |
+
|
| 49 |
+
`language`์๋ ํ๊ตญ์ด `ko` ๋๋ ์์ด `en`์ ์ง์ ํด์ผ ํฉ๋๋ค.
|
| 50 |
+
์ธ์ด ์๋ ๊ฐ์ง๋ ํผํฉ ์ธ์ด ํ๋ณ์ ์ ๊ณตํ์ง ์์ต๋๋ค - ์
๋ ฅ๋ ๋ฐ์ดํฐ๋ฅผ ๊ธฐ๋ฐ์ผ๋ก ํ๋ณํจ์ ์ถ์ฒํฉ๋๋ค.
|
| 51 |
+
|
| 52 |
+
## ๋ฐฐํฌ ๊ตฌ์ฑ
|
| 53 |
+
|
| 54 |
+
| ํญ๋ชฉ | ๋ด์ฉ |
|
| 55 |
+
|---|---|
|
| 56 |
+
| ๊ธฐ๋ฐ ๋ชจ๋ธ | ํ์ธ ํ๋๋ `jhu-clsp/mmBERT-small` |
|
| 57 |
+
| ์ธ์ฝ๋ ํ๋ผ๋ฏธํฐ ์ | 140,493,696 |
|
| 58 |
+
| ์ฒดํฌํฌ์ธํธ | 232๋ฒ์งธ ์คํ๋ณธ (์๋ 1026914109) |
|
| 59 |
+
| ๋ถํ ํ์ | `close_logit - keep_logit >= ์๊ณ๊ฐ`์ด๋ฉด `CLOSE` |
|
| 60 |
+
| ์๊ณ๊ฐ | ํ๊ตญ์ด โ1.234375, ์์ด โ1.4140625 |
|
| 61 |
+
|
| 62 |
+
|
| 63 |
+
## ์
๋ ฅยท์ถ๋ ฅ ํฌ๋งท
|
| 64 |
+
- CRLFยทCR ์ค๋ฐ๊ฟ์ ๋ด๋ถ์ ์ผ๋ก LF๋ก ์ ๊ทํํ๋ฉฐ, ๋ฐํํ๋ ๊ตฌ๊ฐ์๋ ์๋ฌธ์ ์ค๋ฐ๊ฟ๊ณผ ๊ณต๋ฐฑ์ ๋ณด์กดํฉ๋๋ค.
|
| 65 |
+
- ๋ถํ ํ๋ณด ์์น๋ง๋ค KEEP(์ด์ด ๋ถ์ด๊ธฐ) / CLOSE(๊ตฌ๊ฐ ๋๋ด๊ธฐ)๋ฅผ ํ๋จํ๊ณ , ์๋ฌธ์ ๋ณด์กดํ ๊ตฌ๊ฐ์ ๋ฐํํฉ๋๋ค.
|
| 66 |
+
|
| 67 |
+
## ์ฃผ์์ฌํญ
|
| 68 |
+
- ํด๋น ํ๋ก์ ํธ๋ ์์
์ ์๋๋ฅผ ์ํด ChatGPT 6 Astra๋ฅผ ์ด์ฉํ์ฌ ์ฝ๋๊ฐ ์์ฑ๋์์ต๋๋ค.
|
| 69 |
+
์ผ๋ถ ์ฝ๋์์ ๋ถํ์ํ ํธ์ถ์ด ๋ฐ์ํ ์ ์์ต๋๋ค.
|