Instructions to use heegyu/polyglot-ko-5.8b-chat with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use heegyu/polyglot-ko-5.8b-chat with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="heegyu/polyglot-ko-5.8b-chat")

# Load model directly
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("heegyu/polyglot-ko-5.8b-chat")
model = AutoModelForCausalLM.from_pretrained("heegyu/polyglot-ko-5.8b-chat")

Notebooks
Google Colab
Kaggle
Local Apps

vLLM

How to use heegyu/polyglot-ko-5.8b-chat with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "heegyu/polyglot-ko-5.8b-chat"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "heegyu/polyglot-ko-5.8b-chat",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Use Docker

docker model run hf.co/heegyu/polyglot-ko-5.8b-chat

SGLang

How to use heegyu/polyglot-ko-5.8b-chat with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "heegyu/polyglot-ko-5.8b-chat" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "heegyu/polyglot-ko-5.8b-chat",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "heegyu/polyglot-ko-5.8b-chat" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "heegyu/polyglot-ko-5.8b-chat",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Docker Model Runner
How to use heegyu/polyglot-ko-5.8b-chat with Docker Model Runner:
```
docker model run hf.co/heegyu/polyglot-ko-5.8b-chat
```

heegyu/polyglot-ko-5.8b-chat

EleutherAI/polyglot-ko-5.8b를 여러 한국어 instruction 데이터셋으로 학습한 모델

사용한 데이터셋

Dataset	# instance	타입
KoAlpaca v1.1	50K	싱글턴
dbdu/ShareGPT-74k-ko 의 part2_ko_uncleaned	36K	멀티턴
heegyu/korquad-chat-v1	9.6K	멀티턴, 지식기반
lcw99/evolve-instruct	37K	싱글턴
HAERAE-HUB/KoInstruct-QA	50.3k	싱글턴
changpt/ko-lima-vicuna	1K	싱글턴, 멀티턴(극히 일부)
nlpai-lab/kullm-v2	15K	싱글턴

KULLM v2 데이터셋에서는 GPT4ALL, Dolly 데이터만 추출해서 사용했습니다.
다양한 학습 데이터셋은 HeegyuKim/open-korean-instructions GitHub repository를 참고하세요.

생성 Prompt

EOS token(<|endoftext|>)이 나올 때까지 생성하면 됩니다.
최상단 프롬프트는 있는게 좋은 답변이 더 자주 나오는 것 같아요.

당신은 AI 챗봇입니다. 사용자에게 도움이 되고 유익한 내용을 제공해야합니다. 답변은 길고 자세하며 친절한 설명을 덧붙여서 작성하세요.

### 사용자:
서울 관광지 추천해줘요

### 챗봇:

생성된 답변:

서울 관광지를 추천하겠습니다.

경복궁 (경복궁 또는 경복궁)
경복궁은 한국 전통 궁궐로서 조선 시대의 역사와 건축 철학을 체험할 수 있는 공간입니다. 궁을 방문하면 조선시대 생활과 통치방식에 대해 배울 수 있으며, 동시에 전통적인 궁궐 문화를 체험할 수 있습니다.

창덕궁 (창덕궁)
창덕궁은 조선시대에 왕실의 정원으로 유명한 궁입니다. 한국의 르네상스 시대를 보여주는 아름다움을 경험할 수 있으며, 전통적인 건축양식을 경험할 수 있는 기회가 주어집니다.

덕수궁 (덕수궁)
덕수궁은 1896년에 설립된 왕이 사는 궁궐입니다. 당시의 아름다움과 건축 철학을 동시에 느낄 수 있는 궁궐입니다. 한국의 궁궐 문화, 역사 및 자연 환경에 대한 학습을 원하는 사람에게 추천됩니다.

종묘 (종묘)
종묘는 조선시대의 왕실 정원으로서 궁궐과 함께 왕의 거처 및 제사를 지내는 곳입니다. 전통적인 의례, 역사 및 건축 철학을 느끼고 체험할 수 있는 곳입니다.

한옥마을 (한옥마을)
한옥마을은 서울 중심부에 위치한 유명한 관광지로, 한국 전통 문화 체험을 원하는 사람과 외국인에게도 인기가 많습니다. 한옥 건물과 전통 정원을 경험할 수 있으며, 도시 속의 전통 문화를 경험할 수 있는 기회를 제공합니다.

인사동 (인사동)
인사동은 한국의 전통적인 문화와 예술, 음식 및 쇼핑을 체험할 수 있는 곳입니다. 한국의 전통문화를 체험하고, 전통 문화의 아름다움을 느낄 수 있는 장소입니다.

위의 관광지를 방문함으로써, 우리는 한국의 전통적인 문화와 역사를 경험하고 배울 수 있습니다. 또한, 아름다움과 건축 철학에 대한 이해도를 높일 수 있으며, 우리 지역의 문화, 전통, 역사를 더욱 이해하고 사랑하게 될 수 있습니다.

멀티턴 대화 예시

당신은 AI 챗봇입니다. 사용자에게 도움이 되고 유익한 내용을 제공해야합니다. 답변은 길고 자세하며 친절한 설명을 덧붙여서 작성하세요.

### 사용자:
저녁 메뉴 추천해주세요

### 챗봇:
한식을 선호하세요?

### 사용자:
네네

### 챗봇:
한식 중에서는 찌게류를 추천드리겠어요. 된장찌개, 김치찌개, 부대찌개와 같은 전통적인 찌게 메뉴를 선택해보세요. 더 좋은 선택을 위해 다양한 종류의 찌게를 시도해보세요. 만약에 다른 음식을 먹고 싶다면 그것도 좋아요!

Downloads last month: 11

heegyu
/

polyglot-ko-5.8b-chat

heegyu/polyglot-ko-5.8b-chat

사용한 데이터셋

생성 Prompt

Datasets used to train heegyu/polyglot-ko-5.8b-chat

Spaces using heegyu/polyglot-ko-5.8b-chat 2