PLaMo
Collection
8 items • Updated • 3
How to use mlx-community/plamo-2-1b-bf16 with Transformers:
# Use a pipeline as a high-level helper
from transformers import pipeline
pipe = pipeline("text-generation", model="mlx-community/plamo-2-1b-bf16", trust_remote_code=True) # Load model directly
from transformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained("mlx-community/plamo-2-1b-bf16", trust_remote_code=True, dtype="auto")How to use mlx-community/plamo-2-1b-bf16 with MLX:
# Make sure mlx-lm is installed
# pip install --upgrade mlx-lm
# if on a CUDA device, also pip install mlx[cuda]
# Generate text with mlx-lm
from mlx_lm import load, generate
model, tokenizer = load("mlx-community/plamo-2-1b-bf16")
prompt = "Once upon a time in"
text = generate(model, tokenizer, prompt=prompt, verbose=True)How to use mlx-community/plamo-2-1b-bf16 with vLLM:
# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "mlx-community/plamo-2-1b-bf16"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/completions" \
-H "Content-Type: application/json" \
--data '{
"model": "mlx-community/plamo-2-1b-bf16",
"prompt": "Once upon a time,",
"max_tokens": 512,
"temperature": 0.5
}'docker model run hf.co/mlx-community/plamo-2-1b-bf16
How to use mlx-community/plamo-2-1b-bf16 with SGLang:
# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
--model-path "mlx-community/plamo-2-1b-bf16" \
--host 0.0.0.0 \
--port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/completions" \
-H "Content-Type: application/json" \
--data '{
"model": "mlx-community/plamo-2-1b-bf16",
"prompt": "Once upon a time,",
"max_tokens": 512,
"temperature": 0.5
}'docker run --gpus all \
--shm-size 32g \
-p 30000:30000 \
-v ~/.cache/huggingface:/root/.cache/huggingface \
--env "HF_TOKEN=<secret>" \
--ipc=host \
lmsysorg/sglang:latest \
python3 -m sglang.launch_server \
--model-path "mlx-community/plamo-2-1b-bf16" \
--host 0.0.0.0 \
--port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/completions" \
-H "Content-Type: application/json" \
--data '{
"model": "mlx-community/plamo-2-1b-bf16",
"prompt": "Once upon a time,",
"max_tokens": 512,
"temperature": 0.5
}'How to use mlx-community/plamo-2-1b-bf16 with MLX LM:
# Install MLX LM uv tool install mlx-lm # Generate some text mlx_lm.generate --model "mlx-community/plamo-2-1b-bf16" --prompt "Once upon a time"
How to use mlx-community/plamo-2-1b-bf16 with Docker Model Runner:
docker model run hf.co/mlx-community/plamo-2-1b-bf16
The Model mlx-community/plamo-2-1b-bf16 was converted to MLX format from pfnet/plamo-2-1b using mlx-lm version 0.22.0.
# numba is required for the new PLaMo tokenizer
pip install mlx numba 'mlx-lm>=0.22.0'
python -m mlx_lm.generate \
--model mlx-community/plamo-2-1b-bf16 \
--prompt '美味しいカレーの作り方を紹介します。' \
--ignore-chat-template \
--max-tokens 1024 \
--extra-eos-token '<|plamo:bos|>' \
--temp 0.7 \
--seed 0
==========
スパイスの使い方からカレーの作り方まで詳しく解説します。
## カレーの作り方
**①材料を用意する**
塩を適量加えると、スパイシーな香りが楽しめます。
クミン、コリアンダーなどのスパイスを使うと、食欲をそそります。
**②スパイスを炒める**
スパイスは始めに少し入れるだけで、その後は徐々に加えます。
**③玉ねぎのみじん切りを炒める**
玉ねぎを炒めることで、甘みが生まれます。
**④鶏肉を炒める**
鶏肉を炒める際には、焦げないように注意します。
**⑤肉の色が変わったら**
肉の色が変わったら、残りのスパイスを順番に加えます。
**⑥ルーをつくる**
最後に、火を止めてから、ルーを加えます。
**⑦ルーを加える**
ルーを加える際には、弱火で優しく加熱します。
**⑧ルーが馴染んだら完成**
ルーが馴染んだら、完成です。
## 最後に
カレーはスパイスの組み合わせで味が変わります。
今回紹介したレシピを参考に、自分好みのカレーを作ってみてください。
同じように作っても、スパイスの組み合わせで味が変わるので面白いです。
今回はスパイスの使い方まで解説しましたが、カレーの作り方としては比較的簡単な部類だと思います。
慣れてきたら、トッピングも色々加えてみて下さい。
カレーはアレンジしても美味しいし、食べて満足します。
皆さんも美味しくカレーを作ってみてください。
==========
Prompt: 6 tokens, 88.572 tokens-per-sec
Generation: 238 tokens, 85.596 tokens-per-sec
Peak memory: 2.718 GB
You can also write your code to use this model like this:
from mlx_lm import load, generate
model, tokenizer = load("mlx-community/plamo-2-1b-bf16")
prompt = "美味しいカレーの作り方のレシピを紹介します。"
response = generate(model, tokenizer, prompt=prompt, verbose=True)
Quantized
Base model
pfnet/plamo-2-1b