Instructions to use werty1248/HyperCLOVAX-1.5B-Reasoning-RFT with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use werty1248/HyperCLOVAX-1.5B-Reasoning-RFT with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="werty1248/HyperCLOVAX-1.5B-Reasoning-RFT")
messages = [
    {"role": "user", "content": "Who are you?"},
]
pipe(messages)

# Load model directly
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("werty1248/HyperCLOVAX-1.5B-Reasoning-RFT")
model = AutoModelForCausalLM.from_pretrained("werty1248/HyperCLOVAX-1.5B-Reasoning-RFT")
messages = [
    {"role": "user", "content": "Who are you?"},
]
inputs = tokenizer.apply_chat_template(
	messages,
	add_generation_prompt=True,
	tokenize=True,
	return_dict=True,
	return_tensors="pt",
).to(model.device)

outputs = model.generate(**inputs, max_new_tokens=40)
print(tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:]))

Notebooks
Google Colab
Kaggle
Local Apps

vLLM

How to use werty1248/HyperCLOVAX-1.5B-Reasoning-RFT with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "werty1248/HyperCLOVAX-1.5B-Reasoning-RFT"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "werty1248/HyperCLOVAX-1.5B-Reasoning-RFT",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker

docker model run hf.co/werty1248/HyperCLOVAX-1.5B-Reasoning-RFT

SGLang

How to use werty1248/HyperCLOVAX-1.5B-Reasoning-RFT with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "werty1248/HyperCLOVAX-1.5B-Reasoning-RFT" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "werty1248/HyperCLOVAX-1.5B-Reasoning-RFT",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "werty1248/HyperCLOVAX-1.5B-Reasoning-RFT" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "werty1248/HyperCLOVAX-1.5B-Reasoning-RFT",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Docker Model Runner
How to use werty1248/HyperCLOVAX-1.5B-Reasoning-RFT with Docker Model Runner:
```
docker model run hf.co/werty1248/HyperCLOVAX-1.5B-Reasoning-RFT
```

werty1248 commited on Apr 30, 2025

Commit

9fab271

verified ·

1 Parent(s): 0f0dd23

Update README.md

Browse files

Files changed (1) hide show

README.md +86 -2

README.md CHANGED Viewed

@@ -193,7 +193,7 @@ deepspeed: ./deepspeed_configs/zero3_bf16.json
 - **평균 응답 길이가 753 token**(GSM8K 기준) 정도로, reasoning 모델보다 짧은 편 (아직 Reasoning 학습을 하지 않았기 때문)
 - ```</think>``` 와 같은 **Reasoning 포맷**을 이해시키려고 시도(시스템 프롬프트에 설명, 답변 후 강제로 </think> 토큰을 삽입 후 다시 completion 생성 등등)했으나 **실패**
-- 일반 질문에 대해서도 별도의 지시 없이도 CoT처럼 생각하는 경향이 발생.
 Q: 하늘은 왜 파랄까?
@@ -243,4 +243,88 @@ A:
 **최종 답변**:
 하늘이 파란 이유는 태양 광선의 자외선이 대기의 산란에 의해 파란색으로 관측되기 때문입니다. 대기의 구성 성분과 두께, 그리고 태양 광선의 각도가 자외선 산란에 중요한 역할을 합니다. 이로 인해 우리는 하늘을 파란색으로 보게 됩니다.
-```

 - **평균 응답 길이가 753 token**(GSM8K 기준) 정도로, reasoning 모델보다 짧은 편 (아직 Reasoning 학습을 하지 않았기 때문)
 - ```</think>``` 와 같은 **Reasoning 포맷**을 이해시키려고 시도(시스템 프롬프트에 설명, 답변 후 강제로 </think> 토큰을 삽입 후 다시 completion 생성 등등)했으나 **실패**
+- 일반 질문에 대해서도 종종 별도의 지시 없이도 CoT처럼 생각하는 경향이 발생.
 Q: 하늘은 왜 파랄까?
 **최종 답변**:
 하늘이 파란 이유는 태양 광선의 자외선이 대기의 산란에 의해 파란색으로 관측되기 때문입니다. 대기의 구성 성분과 두께, 그리고 태양 광선의 각도가 자외선 산란에 중요한 역할을 합니다. 이로 인해 우리는 하늘을 파란색으로 보게 됩니다.
+```
+# 기타 입출력 사례
+```
+Q: 너는 누구야?
+A: 저는 인공지능 언어 모델로, 주로 사람들과 대화하고 정보를 제공하는 역할을 합니다. 궁금한 점이나 도움이 필요한 부분이 있으면 언제든지 물어보세요!
+```
+- 드물게 자신이 CLOVA X라고 자각함.
+```
+Q: 헌법 제 1조에 대해 알려줘.
+A:
+헌법 제 1조는 대한민국 국가의 최고법규로서 국가의 기본적인 정체성과 주권의 소재를 명시하는 조항입니다. 이 조항은 국가의 존립과 통치질서의 근간을 다지며, 다른 모든 법률의 기본이 됩니다.
+**헌법 제 1조**
+1. **대한민국은 민주공화국이다.**
+   - 이 조항은 대한민국의 정치체제를 정의합니다. '민주공화국'이라는 표현은 국민이 주권을 가지며, 그 주권이 공회(공적인 대표)를 통해 행사되는 국가 체제를 의미합니다.
+2. **대한민국의 주권은 국민에게 있고, 모든 권력은 국민으로부터 나온다.**
+   - 이 조항은 주권의 소재와 권력의 근원을 명확히 합니다. 이는 국가의 모든 권위가 국민으로부터 나오며, 국민은 이를 통해 자신의 의사를 표현할 수 있어야 한다는 민주주의의 기본 원칙을 반영합니다.
+3. **대한민국은 자유민주주의적 기본질서를 지향한다.**
+   - 이 조항은 대한민국의 정치체제와 사회체제가 자유민주주의를 기본 원칙으로 삼고 있음을 선언합니다. 이는 개인의 자유와 민주주의를 중시하는 국가임을 나타냅니다.
+4. **대한민국의 영토는 한반도와 그 부속도서로 한다.**
+   - 이 조항은 국가의 영토를 명시합니다. 한반도를 중심으로 한 부속 도서를 포함하며, 이는 국가의 주권 범위를 나타냅니다.
+5. **입법권, 행정권, 사법권의 삼권분립을 기본으로 한다.**
+   - 이 조항은 대한민국의 권력 분립을 명확히 합니다. 입법권, 행정권, 사법권이 각각 분리되어 있으며, 상호 견제와 균형을 통해 권력의 남용을 방지하고 민주주의를 유지합니다.
+**요약**
+- **제 1조 1:** 대한민국은 민주공화국이다.
+- **제 1조 2:** 대한민국의 주권은 국민에게 있고, 모든 권력은 국민으로부터 나온다.
+- **제 1조 3:** 대한민국은 자유민주주의적 기본질서를 지향한다.
+- **제 1조 4:** 대한민국의 영토는 한반도와 그 부속도서로 한다.
+- **제 1조 5:**입법권, 행정권, 사법권의 삼권분립을 기본으로 한다.
+이 조항들은 대한민국의 정체성, 권력 구조, 기본질서를 명확히 하며, 다른 모든 법률과 정책의 기초가 됩니다.
+```
+- 일반적인 질문, 일반적인 답변.
+```
+Q: 헌법 제 1조의 항목 수와 헌법 제 2조의 항목 수를 곱하면 얼마인가?
+A:
+**문제 재정의 및 조건 정리**
+**문제:** 헌법 제 1조와 헌법 제 2조의 항목을 수로 계산했을 때, 두 항목의 곱을 구하라.
+**헌법 제 1조:**
+1항: "대한민국은 민주공화국이다."
+2항: "대한민국의 주권은 국민에게 있고, 모든 권력은 국민으로부터 나온다."
+**헌법 제 2조:**
+1항: "대한민국의 영토는 한반도와 그 부속도서로 한다."
+2항: "대한민국의 국가는 존중하며, 모든 국민은 사상의 자유를 가진다."
+**논리적 전개 및 수식 작성**
+1. **헌법 제 1조 분석:**
+   - 헌법 제 1조는 총 2항으로 구성되어 있습니다.
+   - 첫 번째 항: "대한민국은 민주공화국이다."
+   - 두 번째 항: "대한민국의 주권은 국민에게 있고, 모든 권력은 국민으로부터 나온다."
+   - 따라서 헌법 제 1조의 총 항목 수는 2개입니다.
+2. **헌법 제 2조 분석:**
+   - 헌법 제 2조는 총 2항으로 구성되어 있습니다.
+   - 첫 번째 항: "대한민국의 영토는 한반도와 그 부속도서로 한다."
+   - 두 번째 항: "대한민국의 국가는 존중하며, 모든 국민은 사상의 자유를 가진다."
+   - 따라서 헌법 제 2조의 총 항목 수는 2개입니다.
+3. **두 헌법의 항목 수 곱하기:**
+   - 헌법 제 1조의 항목 수: 2
+   - 헌법 제 2조의 항목 수: 2
+   - 두 항목의 곱: $2 \times 2 = 4$
+**최종 답변**
+따라서, 헌법 제 1조와 헌법 제 2조의 항목을 수로 곱한 결과는 $4$입니다.
+$\boxed{4}$
+```
+- ^^;