Instructions to use abdullah/AceGPT-7B-chat-GGUF with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use abdullah/AceGPT-7B-chat-GGUF with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="abdullah/AceGPT-7B-chat-GGUF")

# Load model directly
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("abdullah/AceGPT-7B-chat-GGUF")
model = AutoModelForCausalLM.from_pretrained("abdullah/AceGPT-7B-chat-GGUF")

llama-cpp-python

How to use abdullah/AceGPT-7B-chat-GGUF with llama-cpp-python:

# !pip install llama-cpp-python

from llama_cpp import Llama

llm = Llama.from_pretrained(
	repo_id="abdullah/AceGPT-7B-chat-GGUF",
	filename="acegpt-7b-chat.Q4_K_M.gguf",
)

output = llm(
	"Once upon a time,",
	max_tokens=512,
	echo=True
)
print(output)

Notebooks
Google Colab
Kaggle
Local Apps Settings

llama.cpp

How to use abdullah/AceGPT-7B-chat-GGUF with llama.cpp:

Install (macOS, Linux)

curl -LsSf https://llama.app/install.sh | sh
# Start a local OpenAI-compatible server with a web UI:
llama serve -hf abdullah/AceGPT-7B-chat-GGUF:Q4_K_M
# Run inference directly in the terminal:
llama cli -hf abdullah/AceGPT-7B-chat-GGUF:Q4_K_M

Install from WinGet (Windows)

winget install llama.cpp
# Start a local OpenAI-compatible server with a web UI:
llama serve -hf abdullah/AceGPT-7B-chat-GGUF:Q4_K_M
# Run inference directly in the terminal:
llama cli -hf abdullah/AceGPT-7B-chat-GGUF:Q4_K_M

Use pre-built binary

# Download pre-built binary from:
# https://github.com/ggerganov/llama.cpp/releases
# Start a local OpenAI-compatible server with a web UI:
./llama-server -hf abdullah/AceGPT-7B-chat-GGUF:Q4_K_M
# Run inference directly in the terminal:
./llama-cli -hf abdullah/AceGPT-7B-chat-GGUF:Q4_K_M

Build from source code

git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
cmake -B build
cmake --build build -j --target llama-server llama-cli
# Start a local OpenAI-compatible server with a web UI:
./build/bin/llama-server -hf abdullah/AceGPT-7B-chat-GGUF:Q4_K_M
# Run inference directly in the terminal:
./build/bin/llama-cli -hf abdullah/AceGPT-7B-chat-GGUF:Q4_K_M

Use Docker

docker model run hf.co/abdullah/AceGPT-7B-chat-GGUF:Q4_K_M

LM Studio
Jan

vLLM

How to use abdullah/AceGPT-7B-chat-GGUF with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "abdullah/AceGPT-7B-chat-GGUF"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "abdullah/AceGPT-7B-chat-GGUF",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Use Docker

docker model run hf.co/abdullah/AceGPT-7B-chat-GGUF:Q4_K_M

SGLang

How to use abdullah/AceGPT-7B-chat-GGUF with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "abdullah/AceGPT-7B-chat-GGUF" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "abdullah/AceGPT-7B-chat-GGUF",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "abdullah/AceGPT-7B-chat-GGUF" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "abdullah/AceGPT-7B-chat-GGUF",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Ollama
How to use abdullah/AceGPT-7B-chat-GGUF with Ollama:
```
ollama run hf.co/abdullah/AceGPT-7B-chat-GGUF:Q4_K_M
```

Unsloth Studio

How to use abdullah/AceGPT-7B-chat-GGUF with Unsloth Studio:

Install Unsloth Studio (macOS, Linux, WSL)

curl -fsSL https://unsloth.ai/install.sh | sh
# Run unsloth studio
unsloth studio -H 0.0.0.0 -p 8888
# Then open http://localhost:8888 in your browser
# Search for abdullah/AceGPT-7B-chat-GGUF to start chatting

Install Unsloth Studio (Windows)

irm https://unsloth.ai/install.ps1 | iex
# Run unsloth studio
unsloth studio -H 0.0.0.0 -p 8888
# Then open http://localhost:8888 in your browser
# Search for abdullah/AceGPT-7B-chat-GGUF to start chatting

Using HuggingFace Spaces for Unsloth

# No setup required
# Open https://huggingface.co/spaces/unsloth/studio in your browser
# Search for abdullah/AceGPT-7B-chat-GGUF to start chatting

Atomic Chat new
Docker Model Runner
How to use abdullah/AceGPT-7B-chat-GGUF with Docker Model Runner:
```
docker model run hf.co/abdullah/AceGPT-7B-chat-GGUF:Q4_K_M
```

Lemonade

How to use abdullah/AceGPT-7B-chat-GGUF with Lemonade:

Pull the model

# Download Lemonade from https://lemonade-server.ai/
lemonade pull abdullah/AceGPT-7B-chat-GGUF:Q4_K_M

Run and chat with the model

lemonade run user.AceGPT-7B-chat-GGUF-Q4_K_M

List all available models

lemonade list

AceGPT

AceGPT is a fully fine-tuned generative text model collection based on LlaMA2, particularly in the
Arabic language domain. This is the repository for the 7B-chat pre-trained model.

Model Details

We have released the AceGPT family of large language models, which is a collection of fully fine-tuned generative text models based on LlaMA2, ranging from 7B to 13B parameters. Our models include two main categories: AceGPT and AceGPT-chat. AceGPT-chat is an optimized version specifically designed for dialogue applications. It is worth mentioning that our models have demonstrated superior performance compared to all currently available open-source Arabic dialogue models in multiple benchmark tests. Furthermore, in our human evaluations, our models have shown comparable satisfaction levels to some closed-source models, such as ChatGPT, in the Arabic language.

Model Developers

We are from the School of Data Science, the Chinese University of Hong Kong, Shenzhen (CUHKSZ), the Shenzhen Research Institute of Big Data (SRIBD), and the King Abdullah University of Science and Technology (KAUST).

Variations

AceGPT famils come in a range of parameter sizes —— 7B and 13B, each size of model has a base category and a -chat category.

Input

Models input text only.

Output

Models output text only.

Model Evaluation Results

Experiments on Arabic Vicuna-80, Arabic AlpacaEval. Numbers are the average performance ratio of ChatGPT over three runs. We do not report the results of raw Llama-2 models since they cannot properly generate Arabic texts.

	Arabic Vicuna-80	Arabic AlpacaEval
Phoenix Chen et al. (2023a)	71.92% ± 0.2%	65.62% ± 0.3%
Phoenix–multiple-langs Chen et al. (2023b)	71.67% ± 0.7%	65.36% ± 0.1%
Jais-13B-chat Sengupta et al. (2023)	75.40% ± 1.6%	74.95% ± 0.2%
AceGPT-7B-chat	94.82% ± 0.2%	93.81% ± 0.1%
AceGPT-13B-chat	100.88% ± 0.4%	97.95% ± 0.1%

Samples

Sample1(alpaca)

question:

ما هي أسماء بعض الممثلين المشهورين الذين بدأوا مسيراتهم المهنية على برودواي؟

answer:

ليوناردو دي كابريو: بدأ مسيرته الفنية في برودواي على الرغم من أنه اشتهر بشكل أكبر من خلال أدواره في الأفلام مثل "The Wolf of Wall Street" و "Titanic".
فرانسيس مكدورماند: بدأت مسيرتها الفنية في برودواي وأصبحت ممثلة مشهورة في أوائل القرن العشرين بفضل أدوارها في العديد من المسرحيات الكلاسيكية.
جودي دنش: بدأت مسيرتها الفنية في برودواي وأصبحت ممثلة مشهورة بفضل أدائها المتميز في العديد من المسرحيات الكلاسيكية.
بيتر أوستروم: بدأ مسيرته الفنية في برودواي وأصبح ممثلًا مشهورًا بفضل أدائه المتميز في العديد من المسرحيات الكلاسيكية.
مارك رايلانس: بدأ مسيرته الفنية في برودواي وأصبح ممثلًا مشهورًا بفضل أدائه المتميز في العديد من المسرحيات الكلاسيكية.
جيمس كان: بدأ مسيرته الفنية في برودواي وأصبح ممثلًا مشهورًا بفضل أدائه المتميز في العديد من المسرحيات الكلاسيكية.
إليزابيث تايلور: بدأت مسيرتها الفنية في برودواي وأصبحت ممثلة مشهورة في أوائل القرن العشرين بفضل أدوارها في العديد من المسرحيات الكلاسيكية.
روبرت ويلسون: بدأ مسيرته الفنية في برودواي وأصبح ممثلًا مشهورًا بفضل أدائه المتميز في العديد من المسرحيات الكلاسيكية.
جودي غارلاند: بدأت مسيرتها الفنية في برودواي وأصبحت ممثلة مشهورة في أوائل القرن العشرين بفضل أدوارها في العديد من المسرحيات الكلاسيكية.
ماثيو برودريك: بدأ مسيرته الفنية في برودواي وأصبح ممثلًا مشهورًا بفضل أدائه المتميز في العديد من المسرحيات الكلاسيكية."

Sample2(Vicuna)

question:

كيف يمكنني تحسين مهارات إدارة الوقت الخاصة بي؟

answer:

تحديد الأولويات: قم بتحديد الأعمال الأكثر أهمية والتي تتطلب اهتمامك الأكبر.
تنظيم الجدول الزمني: استخدم جدول زمني أو تقويم لتنظيم وقتك وتحديد الأوقات المحددة للقيام بمهام معينة.
تجنب التسويف: تجنب تأجيل الأعمال التي يمكنك القيام بها الآن.
استخدام تقنيات الإدارة الزمنية: استخدم تقنيات مثل تقنية بومودورو، حيث تعمل لمدة 25 دقيقة ثم تأخذ استراحة لمدة 5 دقائق.
تعلم قول "لا": تعلم كيفية رفض الطلبات التي لا تتناسب مع أهدافك وجدولك الزمني.
استخدم التكنولوجيا: استخدم التطبيقات والأدوات التكنولوجية لتتبع الوقت وتنظيم المهام.
تحديد الوقت للراحة: تأكد من تحديد الوقت للراحة والاسترخاء لتجنب الإرهاق والشعور بالحرق.
تحسين المهارات التنظيمية: تعلم كيفية تنظيم المهام والأولويات بشكل فعال.
استخدم التقنيات البصرية: استخدم الرسوم البيانية والرسوم البيانية لتتبع الوقت والتقدم.
تحسين الصحة العامة: تأكد من الحصول على قسط كاف من النوم والتغذية الجيدة والتمارين الرياضية لتحسين قدرتك على التركيز والإنتاجية.
استخدم تقنية الطماطم: هذه التقنية تتطلب منك العمل لمدة 25 دقيقة دون انقطاع، ثم تأخذ استراحة لمدة 5 دقائق.
تعلم كيفية قول "لا": قدرتك على قول "لا" للأشياء التي لا تخدم أهدافك يمكن أن تحسن بشكل كبير إدارة الوقت الخاصة بك.
استخدم تقنية التركيز العميق: تقنية تستخدم التقنيات مثل التأمل والتركيز العقلي لزيادة القدرة على التركيز وتحسين الإنتاجية.
تعلم كيفية تقسيم المهام: تعلم كيفية تقسيم المهام الكبيرة إلى مهام أصغر وأكثر إدارة.
استخدم تقنية الطماطم: تقنية تتطلب منك العمل لمدة 25 دقيقة دون انقطاع، ثم تأخذ استراحة لمدة 5 دقائق.
تعلم كيفية تحديد الأولويات: تعلم كيفية تحديد الأولويات والتركيز على المهام الأكثر أهمية أولاً.
استخدم تقنية الترتيب الثلاثي: تقنية تتطلب منك ترتيب المهام حسب الأهمية والعاجلة، ثم تعمل على المهمة الأعلى أولاً.
تعلم كيفية تحسين التركيز: تعلم"

You can get more details at https://github.com/FreedomIntelligence/AceGPT/tree/main

Downloads last month: 47

GGUF

Model size

7B params

Architecture

llama

Hardware compatibility

4-bit

5-bit

16-bit