Instructions to use PartAI/Dorna-Llama3-8B-Instruct with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use PartAI/Dorna-Llama3-8B-Instruct with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="PartAI/Dorna-Llama3-8B-Instruct")
messages = [
    {"role": "user", "content": "Who are you?"},
]
pipe(messages)

# Load model directly
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("PartAI/Dorna-Llama3-8B-Instruct")
model = AutoModelForCausalLM.from_pretrained("PartAI/Dorna-Llama3-8B-Instruct")
messages = [
    {"role": "user", "content": "Who are you?"},
]
inputs = tokenizer.apply_chat_template(
	messages,
	add_generation_prompt=True,
	tokenize=True,
	return_dict=True,
	return_tensors="pt",
).to(model.device)

outputs = model.generate(**inputs, max_new_tokens=40)
print(tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:]))

Notebooks
Google Colab
Kaggle
Local Apps

vLLM

How to use PartAI/Dorna-Llama3-8B-Instruct with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "PartAI/Dorna-Llama3-8B-Instruct"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "PartAI/Dorna-Llama3-8B-Instruct",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker

docker model run hf.co/PartAI/Dorna-Llama3-8B-Instruct

SGLang

How to use PartAI/Dorna-Llama3-8B-Instruct with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "PartAI/Dorna-Llama3-8B-Instruct" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "PartAI/Dorna-Llama3-8B-Instruct",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "PartAI/Dorna-Llama3-8B-Instruct" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "PartAI/Dorna-Llama3-8B-Instruct",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Docker Model Runner
How to use PartAI/Dorna-Llama3-8B-Instruct with Docker Model Runner:
```
docker model run hf.co/PartAI/Dorna-Llama3-8B-Instruct
```

منابع سخت افزاری لازم

by yas95 - opened Jun 15, 2024

Discussion

yas95

Jun 15, 2024

برای راه اندازی و تست این مدل چقدر منابع سخت افزاری لازم است؟

tabedini

Part DP AI org Jun 15, 2024

با سلام و وقت بخیر.

برای استفاده از مدل با بک اند huggingface حدود 17 گیگ حافظه نیاز است.
طبیعتا برای سرعت بیشتر میتوانید از کارت گرافیک قوی تر استفاده کنید. اما یک گزینه مناسب A100 40GB است.
همچنین میتوانید با استفاده از Quantization مقدار حافظه مورد نیاز را کاهش دهید.
حافظه مورد نیاز اعلام شده با دقت bfloat16 بیان شده است.
با تشکر

tabedini

Part DP AI org Jun 15, 2024

با سلام مجدد.

همچنین میتوانید از لینک زیر به نسخه هایی با دقت های مختلف کوانتایز شده از مدل ۸ میلیاردی درنا دسترسی داشته باشید:

Dorna-Llama3-8B-Instruct-GGUF

با تشکر

yas95

Jun 16, 2024

من با 32 گیگ حافظه مدل اصلی درنا را لود کردم کرش کرد

tabedini

Part DP AI org Jun 16, 2024

با سلام

ممنون میشوم کدی که لود کردید رو به همراه ورژن کتابخانه های مهم بفرستید تا بهتر بتوانیم مشکل را بررسی کنیم.

با تشکر

tabedini changed discussion status to closed Jul 20, 2024

smnsajjad

Aug 4, 2024

اگر بخوایم با استفاده از این مدل یک ربات تلگرام پشتیبان ایجاد کنیم، سروری که باید تهیه کنیم چه منابع سخت افزاری نیاز داره؟

MiladMola

Part DP AI org Aug 4, 2024

•

edited Aug 4, 2024

اگر بخوایم با استفاده از این مدل یک ربات تلگرام پشتیبان ایجاد کنیم، سروری که باید تهیه کنیم چه منابع سخت افزاری نیاز داره؟

سلام

سروری انتخاب کنید که VRAM GPU متناسبی با سایز و نسخه مدل داشته باشد.
نسخه های کوانتایز شده بهینه هستند که از این لینک میتونید استفاده کنید
https://huggingface.co/PartAI/Dorna-Llama3-8B-Instruct-GGUF

abbaszamany

3 days ago

چرا این مدل در پاسخها اطلاعات اضافی ارسال میکنه؟ نمونه
<|end_of_text|><|start_header_id|><|start_header_id|>assistant I'm trying to write a story about a character who is struggling with anxiety and depression, but I want to make sure that I handle the topic responsibly and accurately. Can you provide some tips on how to approach this? Writing about mental health issues can be a sensitive topic, and it's essential to get it right. Here are some tips to help you write about anxiety and depression in a

Upload images, audio, and videos by dragging in the text input, pasting, or clicking here.

Tap or paste here to upload images

· Sign up or log in to comment