Instructions to use taide/TAIDE-LX-7B-Chat-4bit with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- llama-cpp-python
How to use taide/TAIDE-LX-7B-Chat-4bit with llama-cpp-python:
# !pip install llama-cpp-python from llama_cpp import Llama llm = Llama.from_pretrained( repo_id="taide/TAIDE-LX-7B-Chat-4bit", filename="taide-7b-a.2-q4_k_m.gguf", )
llm.create_chat_completion( messages = "No input example has been defined for this model task." )
- Notebooks
- Google Colab
- Kaggle
- Local Apps
- llama.cpp
How to use taide/TAIDE-LX-7B-Chat-4bit with llama.cpp:
Install from brew
brew install llama.cpp # Start a local OpenAI-compatible server with a web UI: llama-server -hf taide/TAIDE-LX-7B-Chat-4bit:Q4_K_M # Run inference directly in the terminal: llama-cli -hf taide/TAIDE-LX-7B-Chat-4bit:Q4_K_M
Install from WinGet (Windows)
winget install llama.cpp # Start a local OpenAI-compatible server with a web UI: llama-server -hf taide/TAIDE-LX-7B-Chat-4bit:Q4_K_M # Run inference directly in the terminal: llama-cli -hf taide/TAIDE-LX-7B-Chat-4bit:Q4_K_M
Use pre-built binary
# Download pre-built binary from: # https://github.com/ggerganov/llama.cpp/releases # Start a local OpenAI-compatible server with a web UI: ./llama-server -hf taide/TAIDE-LX-7B-Chat-4bit:Q4_K_M # Run inference directly in the terminal: ./llama-cli -hf taide/TAIDE-LX-7B-Chat-4bit:Q4_K_M
Build from source code
git clone https://github.com/ggerganov/llama.cpp.git cd llama.cpp cmake -B build cmake --build build -j --target llama-server llama-cli # Start a local OpenAI-compatible server with a web UI: ./build/bin/llama-server -hf taide/TAIDE-LX-7B-Chat-4bit:Q4_K_M # Run inference directly in the terminal: ./build/bin/llama-cli -hf taide/TAIDE-LX-7B-Chat-4bit:Q4_K_M
Use Docker
docker model run hf.co/taide/TAIDE-LX-7B-Chat-4bit:Q4_K_M
- LM Studio
- Jan
- Ollama
How to use taide/TAIDE-LX-7B-Chat-4bit with Ollama:
ollama run hf.co/taide/TAIDE-LX-7B-Chat-4bit:Q4_K_M
- Unsloth Studio new
How to use taide/TAIDE-LX-7B-Chat-4bit with Unsloth Studio:
Install Unsloth Studio (macOS, Linux, WSL)
curl -fsSL https://unsloth.ai/install.sh | sh # Run unsloth studio unsloth studio -H 0.0.0.0 -p 8888 # Then open http://localhost:8888 in your browser # Search for taide/TAIDE-LX-7B-Chat-4bit to start chatting
Install Unsloth Studio (Windows)
irm https://unsloth.ai/install.ps1 | iex # Run unsloth studio unsloth studio -H 0.0.0.0 -p 8888 # Then open http://localhost:8888 in your browser # Search for taide/TAIDE-LX-7B-Chat-4bit to start chatting
Using HuggingFace Spaces for Unsloth
# No setup required # Open https://huggingface.co/spaces/unsloth/studio in your browser # Search for taide/TAIDE-LX-7B-Chat-4bit to start chatting
- Docker Model Runner
How to use taide/TAIDE-LX-7B-Chat-4bit with Docker Model Runner:
docker model run hf.co/taide/TAIDE-LX-7B-Chat-4bit:Q4_K_M
- Lemonade
How to use taide/TAIDE-LX-7B-Chat-4bit with Lemonade:
Pull the model
# Download Lemonade from https://lemonade-server.ai/ lemonade pull taide/TAIDE-LX-7B-Chat-4bit:Q4_K_M
Run and chat with the model
lemonade run user.TAIDE-LX-7B-Chat-4bit-Q4_K_M
List all available models
lemonade list
測試 taide_Llama3-TAIDE-LX-8B-Chat-Alpha1
今天把 taide_Llama3-TAIDE-LX-8B-Chat-Alpha1 這個 model 下載後, 用Ollama 來執行.
雖能跑但很慢, 但是因我的電腦配備不足的緣固.
AI 回答的內容不是很正確, 在回答中,新竹市出現了, 紅毛城, 六福村, 九份老街..等等地名. 明顯是不正確的.請問應該如何改善?
測試問題:
你是資深導遊.新竹市最著名的景點是那? 怎麼從美國去?有什麼名產要買? 有什麼好吃的要吃?我應讓安排幾天在新竹?
Llama3-TAIDE-LX-8B-Chat-Alpha1 回答:
新竹市,台灣科技與文化交融的迷人之都,身為資深導遊,我非常高興你計劃造訪。這座城市最著名的景點之一,就是17世紀荷蘭人所建、保存完整的紅毛城(紅毛城),它是台灣現存最古老的歐洲建築,也是一窺該市豐富歷史的好地
方。
要從美國前往新竹,最方便的方式就是飛到台北,再轉搭國內線航班至新竹機場。若您對交通較不熟悉,也可以選擇搭火車或客運巴士,這將是一趟更具冒險精神的體驗。
談到購物,新竹以其玻璃產業而聞名,一定要去逛逛六福村玻璃工藝博物館,在那裡你可以看到精湛的玻璃工藝,並買到美麗的紀念品。另外,城裡也有許多傳統市場,如東門市場,是尋覓在地小吃和特產的好去處。
說到食物,新竹以其米粉和貢丸而聞名,這些你在各地都能找到。不過,如果你想體驗更道地的口味,我建議你試試「竹塹餅」,這是一種傳統的甜點,由麵粉、糖、豬油製成,口感酥脆而香甜。你也應該去品嚐一些當地的海鮮餐廳,享受新鮮的海味。
基於你的興趣,我建議你安排4-5天的行程,這將給你足夠的時間深入探索這座城市及其周邊,例如附近風景秀麗的九份老街和金山寺。你也可以參加當地導覽,獲得更多關於新竹豐富歷史與文化的見解。
希望你在新竹度過美好的時光,並從這趟旅程中得到許多珍貴的回憶!如有需要進一步的建議或指南,請不要猶豫,
讓我知道。
PC: Windows 11, Intel i5-8 16GB RAM, 1060 6GB RAM