Instructions to use blueapple8259/TinyStoriesWriter-korean with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use blueapple8259/TinyStoriesWriter-korean with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="blueapple8259/TinyStoriesWriter-korean")

# Load model directly
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("blueapple8259/TinyStoriesWriter-korean")
model = AutoModelForCausalLM.from_pretrained("blueapple8259/TinyStoriesWriter-korean")

Notebooks
Google Colab
Kaggle
Local Apps

vLLM

How to use blueapple8259/TinyStoriesWriter-korean with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "blueapple8259/TinyStoriesWriter-korean"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "blueapple8259/TinyStoriesWriter-korean",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Use Docker

docker model run hf.co/blueapple8259/TinyStoriesWriter-korean

SGLang

How to use blueapple8259/TinyStoriesWriter-korean with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "blueapple8259/TinyStoriesWriter-korean" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "blueapple8259/TinyStoriesWriter-korean",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "blueapple8259/TinyStoriesWriter-korean" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "blueapple8259/TinyStoriesWriter-korean",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Docker Model Runner
How to use blueapple8259/TinyStoriesWriter-korean with Docker Model Runner:
```
docker model run hf.co/blueapple8259/TinyStoriesWriter-korean
```

TinyStories-Korean데이터셋으로 사전 학습 후 스토리의 1%에 설명을 추가해 추가 학습한 모델입니다.

프롬프트

{prompt}
---

예시

고양이와 개가 노는 이야기
---
어느 날, 고양이와 개가 공원에서 놀고 있었습니다. 고양이는 매우 행복했습니다. 개도 행복했죠. 그들은 함께 노는 것을 좋아했습니다.
고양이는 큰 나무를 보았습니다. 고양이는 나무를 올라가고 싶어 했습니다. 개는 "조심해!"라고 말했습니다. 고양이는 나무를 오르기 시작했습니다. 개는 아래에서 지켜보고 있었습니다.
하지만 고양이는 나무에 큰 구멍을 발견했습니다. 고양이는 구멍 안을 들여다보았어요. 개는 여전히 거기 있었습니다. 개는 고양이를 찾으려고 했지만 찾을 수 없었어요. 개는 슬퍼했습니다.
고양이는 개가 슬퍼하는 것을 보았습니다. 고양이는 "나무에서 내려와, 개야!"라고 말했습니다. 개는 나무에서 내려왔습니다. 그들은 다시 함께 행복해졌습니다. 그들은 공원에서 함께 놀았습니다. 고양이와 개는 최고의 친구였습니다. 그들은 항상 서로를 도왔습니다. 그리고 그들은 영원히 최고의 친구였습니다. 끝.

Downloads last month: 7

Safetensors

Model size

47.5M params

Tensor type

F32