Update README.md
Browse files
README.md
CHANGED
|
@@ -101,16 +101,50 @@ datasets:
|
|
| 101 |
You can initialize the model and processor for inference with `pipeline` as follows.
|
| 102 |
|
| 103 |
```python
|
| 104 |
-
from
|
| 105 |
-
|
| 106 |
-
|
| 107 |
-
|
| 108 |
-
|
| 109 |
-
|
| 110 |
-
|
| 111 |
-
|
| 112 |
-
|
| 113 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 114 |
```
|
| 115 |
|
| 116 |
## Running with vLLM
|
|
|
|
| 101 |
You can initialize the model and processor for inference with `pipeline` as follows.
|
| 102 |
|
| 103 |
```python
|
| 104 |
+
from openai import OpenAI
|
| 105 |
+
|
| 106 |
+
client = OpenAI(
|
| 107 |
+
base_url="model-endpoint",
|
| 108 |
+
api_key="api-key" # vllm์ API key๊ฐ ํ์ ์์ง๋ง ํ๋๋ ํ์
|
| 109 |
+
)
|
| 110 |
+
|
| 111 |
+
SYSTEM_PROMPT = """๋น์ ์ ์คํธ ๋ฌธ์๋ก ํ์ ํ ๊ทผ๊ฑฐ๋ฅผ ์์ฑํ๋ ๋ํ ์ธ์ด ๋ชจ๋ธ์
๋๋ค.
|
| 112 |
+
์๋ ๊ธฐ์ค์ ๋ฐ๋ผ ์คํธ์ฌ๋ถ ํ์ ์ ๊ทผ๊ฑฐ๋ฅผ ๊ฐ๋จ๋ช
๋ฃํ๊ฒ ํ ๋ฌธ์ฅ์ผ๋ก ์์ฑํด ์ฃผ์ธ์. ์ถ๋ ฅ ํฌ๋งท์ XAI ์ค๋ช
์ ์ ํฉํ๋๋ก ์ผ๊ด์ฑ ์๊ฒ ํ
ํ๋ฆฟ ํ์์ผ๋ก ๊ณ ์ ๋์ด์ผ ํ๋ฉฐ, ์คํธ ์ฌ๋ถ ๋ฐ ๊ทธ ๊ทผ๊ฑฐ๋ฅผ ๋ช
์พํ๊ฒ ์ ์ํด์ผ ํฉ๋๋ค.
|
| 113 |
+
|
| 114 |
+
**1. ํ์ ๊ทผ๊ฑฐ(ํ ๋ฌธ์ฅ, ํ
ํ๋ฆฟ):**
|
| 115 |
+
- **๊ฐ์ธ ์ ๋ณด ์๊ตฌ:** ์ ๋ถ์ฆ, ๋น๋ฐ๋ฒํธ, ์นด๋ ๋ฒํธ ๋ฑ ๊ฐ์ธ ์ ๋ณด๋ฅผ ์๊ตฌํ๊ธฐ ๋๋ฌธ์
๋๋ค.
|
| 116 |
+
- **๊ธฐํ ํน์ด์ฌํญ:** ์ ํญ๋ชฉ ์ธ์ ์คํธ์ผ๋ก ์์ฌ๋๋ ๋ค๋ฅธ ํจํด์ด ์์ต๋๋ค.
|
| 117 |
+
- **๋ฐ์ ์/์์ ์:** ๋ฐ์ ๋ฒํธ๊ฐ ์ผ๋ฐ์ ์ด์ง ์๊ฑฐ๋ ๋ถ๋ถ๋ช
ํ๊ธฐ ๋๋ฌธ์
๋๋ค.
|
| 118 |
+
- **๋ด์ฉ์ ๋ชฉ์ :** ๊ธ์ต ์ํ, ๋์ถ, ๋๋ฐ, ํฌ์, ๋ถ๋ฒ ๋ณต์ ๋ฑ์ ํ๋ณด๋ ๊ถ์ ๊ฐ ํฌํจ๋์ด ์๊ธฐ ๋๋ฌธ์
๋๋ค.
|
| 119 |
+
- **์ฌ๋ฆฌ์ ์๋ฐ:** ๊ธด๊ธ์ฑ, ๊ณตํฌ, ํธ๊ธฐ์ฌ์ ์ ๋ฐํ์ฌ ์ฆ๊ฐ์ ์ธ ํ๋์ ์ ๋ํ๊ธฐ ๋๋ฌธ์
๋๋ค. (์: "๊ธฐ๊ฐ ํ์ ", "์ง๊ธ ์ฆ์", "ํด๋ฆญํ์ง ์์ผ๋ฉด ๋ถ์ด์ต")
|
| 120 |
+
- **๋งํฌ/URL:** ์ผ๋ฐ์ ์ด์ง ์์ ์งง์ URL, ๋จ์ถ URL ๋๋ ์์ฌ์ค๋ฌ์ด ๋งํฌ๊ฐ ํฌํจ๋์ด ์๊ธฐ ๋๋ฌธ์
๋๋ค.
|
| 121 |
+
|
| 122 |
+
**2. ํ์ ์กฐ๊ฑด**
|
| 123 |
+
- ๋ฐ๋์ ์ถ๋ ฅ ํ์์ ๋ฐ๋ผ์ [์คํธ ํ์ ์ด์ ] ํ
ํ๋ฆฟ์ ์ฌ์ฉํด์ผ ํฉ๋๋ค.
|
| 124 |
+
- ์คํธ์ผ๋ก ํ์ ํ ์ด์ ์ ๋ํด์ ๊ตฌ์ฒด์ ์ธ ์ด์ ๋ก 100์ ์ด์์ผ๋ก ์ค๋ช
ํด์ผ ํฉ๋๋ค.
|
| 125 |
+
- ๋ฐ๋์ ์ ํ์ ๊ทผ๊ฑฐ๋ฅผ ๋จผ์ ์ธ๊ธํ ๋ค์ ์ถ๋ ฅ ํ์์ ๋ง๊ฒ ์คํธ ํ์ ์ด์ ๋ฅผ ์์ฑํด์ผ ํฉ๋๋ค.
|
| 126 |
+
- ์คํธ ํ์ ์ด์ ์์ฑ ์, ์ ์คํธ ๋ฌธ์๋ ~~ ์ผ๋ก ์์ํด์ผํฉ๋๋ค.
|
| 127 |
+
- ๊ทธ๋ฆฌ๊ณ ์ ์ ์กฐ๊ฑด์ ๋ชจ๋ ์คํธ ๋ฌธ์๋ก ๋ถ๋ฅ๋ ํ์์ด๋ ์คํธ์ด ์๋๋ผ๊ณ ์ธ๊ธํ๋ฉด ์๋ฉ๋๋ค.
|
| 128 |
+
|
| 129 |
+
### ์ถ๋ ฅ ํ์ ์์
|
| 130 |
+
- ํ์ ๊ทผ๊ฑฐ : ๊ฐ์ธ์ ๋ณด ์๊ตฌ
|
| 131 |
+
- ์คํธ ํ์ ์ด์ : ์ ์คํธ ๋ฌธ์๋ ๊ฐ์ธ์ ๋ณด๋ฅผ ์๊ตฌํ๋ ์คํธ์ผ๋ก ์ํํธ ๋ถ์ ๋ฐ ๋ถ๋์ฐ ํฌ์ ๊ถ์ ๊ฐ ํฌํจ๋์ด ์์ผ๋ฉฐ, ๊ธด๊ธ์ฑ์ ๊ฐ์กฐํ์ฌ ์ฆ๊ฐ์ ์ธ ํ๋์ ์ ๋ํ๊ณ ์์ต๋๋ค."""
|
| 132 |
+
|
| 133 |
+
response = client.chat.completions.create(
|
| 134 |
+
model="Devocean-06/Spam_Filter-gemma",
|
| 135 |
+
messages=[
|
| 136 |
+
{"role": "system", "content": SYSTEM_PROMPT},
|
| 137 |
+
{"role": "user", "content": user_message}
|
| 138 |
+
],
|
| 139 |
+
temperature=0.7,
|
| 140 |
+
max_tokens=2048
|
| 141 |
+
)
|
| 142 |
+
print(response.choices[0].message.content)
|
| 143 |
+
|
| 144 |
+
๐ง Example Output
|
| 145 |
+
- ํ์ ๊ทผ๊ฑฐ: ๋ด์ฉ์ ๋ชฉ์
|
| 146 |
+
- ์คํธ ํ์ ์ด์ : ์ ์คํธ ๋ฌธ์๋ ๊ธ์ต ์ํ๊ณผ ๋์ถ ๊ด๋ จ ๊ถ์ ๋ด์ฉ์ ํฌํจํ๊ณ ์์ผ๋ฉฐ,
|
| 147 |
+
โ์ง๊ธ ๋ฐ๋กโ, โ์ฆ์ ์ ์ฒญโ๊ณผ ๊ฐ์ ์ฌ๋ฆฌ์ ์๋ฐ ์ด๊ตฌ๋ฅผ ์ฌ์ฉํ์ฌ ์์ ์์ ํ๋์ ์ ๋ํ๊ณ ์์ต๋๋ค.
|
| 148 |
```
|
| 149 |
|
| 150 |
## Running with vLLM
|