Instructions to use nlpai-lab/KULLM3 with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use nlpai-lab/KULLM3 with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="nlpai-lab/KULLM3")
messages = [
    {"role": "user", "content": "Who are you?"},
]
pipe(messages)

# Load model directly
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("nlpai-lab/KULLM3")
model = AutoModelForCausalLM.from_pretrained("nlpai-lab/KULLM3")
messages = [
    {"role": "user", "content": "Who are you?"},
]
inputs = tokenizer.apply_chat_template(
	messages,
	add_generation_prompt=True,
	tokenize=True,
	return_dict=True,
	return_tensors="pt",
).to(model.device)

outputs = model.generate(**inputs, max_new_tokens=40)
print(tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:]))

Inference
Notebooks
Google Colab
Kaggle
Local Apps

vLLM

How to use nlpai-lab/KULLM3 with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "nlpai-lab/KULLM3"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "nlpai-lab/KULLM3",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker

docker model run hf.co/nlpai-lab/KULLM3

SGLang

How to use nlpai-lab/KULLM3 with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "nlpai-lab/KULLM3" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "nlpai-lab/KULLM3",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "nlpai-lab/KULLM3" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "nlpai-lab/KULLM3",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Docker Model Runner
How to use nlpai-lab/KULLM3 with Docker Model Runner:
```
docker model run hf.co/nlpai-lab/KULLM3
```

저작권 관련 - 구름 3 파인튜닝 모델을 상업적으로 사용할 수 있나요?

by yuneun92 - opened Apr 24, 2024

Discussion

yuneun92

Apr 24, 2024

안녕하세요. 좋은 모델을 만들고, 공유해주셔서 감사드립니다. 라이센스가 cc-by-nc 4.0 으로 표기되어 있음을 확인하고 질문 드립니다. 해당 라이센스는 2차 저작물의 생산이 가능하고, 그렇게 생산한 2차 저작물의 경우 자유롭게 라이센스를 선택할 수 있는 것으로 알고 있습니다. 그러나 이 파생물의 생산에 대한 정의가 모호해, 실제 모델 개발자에게 여쭤보는 것이 좋을 것 같다고 판단했습니다.

구름3 모델을 파인튜닝해서 상업적으로 사용하는 것이 가능한지 말씀해주시면 감사하겠습니다.

heavytail

NLP & AI - Korea University org Apr 24, 2024

네, 파인튜닝해서 상업적으로 사용이 가능합니다.

모델 출시 직후 Apache 2.0 라이센스로 바꿨는데, GitHub에는 반영하였으나 Huggingface model card는 미처 반영하지 못했네요.
Model card도 Apache 2.0 라이센스로 업데이트하였습니다.

감사합니다.

yuneun92

Apr 24, 2024

우와아아아아아 감사합니다!!!! :) 좋은 하루 되세용

Upload images, audio, and videos by dragging in the text input, pasting, or clicking here.

Tap or paste here to upload images

· Sign up or log in to comment