Instructions to use beomi/KoAlpaca-KoRWKV-6B with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use beomi/KoAlpaca-KoRWKV-6B with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="beomi/KoAlpaca-KoRWKV-6B")

# Load model directly
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("beomi/KoAlpaca-KoRWKV-6B")
model = AutoModelForCausalLM.from_pretrained("beomi/KoAlpaca-KoRWKV-6B", device_map="auto")

Notebooks
Google Colab
Kaggle
Local Apps Settings

vLLM

How to use beomi/KoAlpaca-KoRWKV-6B with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "beomi/KoAlpaca-KoRWKV-6B"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "beomi/KoAlpaca-KoRWKV-6B",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Use Docker

docker model run hf.co/beomi/KoAlpaca-KoRWKV-6B

SGLang

How to use beomi/KoAlpaca-KoRWKV-6B with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "beomi/KoAlpaca-KoRWKV-6B" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "beomi/KoAlpaca-KoRWKV-6B",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "beomi/KoAlpaca-KoRWKV-6B" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "beomi/KoAlpaca-KoRWKV-6B",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Docker Model Runner
How to use beomi/KoAlpaca-KoRWKV-6B with Docker Model Runner:
```
docker model run hf.co/beomi/KoAlpaca-KoRWKV-6B
```

데이터셋을 새로 만드는 법을 알 수 있을까요?

by Gyeongmo - opened Jun 20, 2023

Discussion

Gyeongmo

Jun 20, 2023

안녕하세요?

유튜브에서 2주 전에 ChatGPT 러닝데이 한국어 LLM 민주화 강의 영상을 보고 왔습니다. 덕분에 코랩 무료 버전 ipynb를 이용해서 메모리가.. 12GB 밖에 안 되는 GPU로 시험을 해보고 있습니다.

데이터셋이 from datasets...에서 정의되어 있던데요, 파이썬에서 임시로 저장된 라이브러리에 갔더니 사람의 눈으로는 잘 볼 수 없는 형태로 파일이 만들어져 있어서 데이터셋 파일을 바꾸고 싶어도 바꿀 수가 없다는 것을 알게 됐습니다.

저는 단순하게 학생의 질문과 답변을 모아둔 엑셀 행렬로 만든 데이터셋이 있는데요, 라이브러리에 담아두신 데이터를 가만히 보니 json(?) 형태스럽기도 하고... 그렇습니다.

실례가 되지 않는다면 민주화된 GPT를 사용하기 위한 특정 영역의 데이터셋을 만들고 적용하는 법을 알려주실 수 있을까요?

감사합니다.

Gyeongmo changed discussion status to closed Jul 30, 2023

Upload images, audio, and videos by dragging in the text input, pasting, or clicking here.

Tap or paste here to upload images

· Sign up or log in to comment