Instructions to use Kearm/samba-1.1B-GGUF with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- llama-cpp-python
How to use Kearm/samba-1.1B-GGUF with llama-cpp-python:
# !pip install llama-cpp-python from llama_cpp import Llama llm = Llama.from_pretrained( repo_id="Kearm/samba-1.1B-GGUF", filename="samba-1.1B-Q3_K_M.gguf", )
llm.create_chat_completion( messages = "No input example has been defined for this model task." )
- Notebooks
- Google Colab
- Kaggle
- Local Apps Settings
- llama.cpp
How to use Kearm/samba-1.1B-GGUF with llama.cpp:
Install from brew
brew install llama.cpp # Start a local OpenAI-compatible server with a web UI: llama-server -hf Kearm/samba-1.1B-GGUF:Q4_K_M # Run inference directly in the terminal: llama-cli -hf Kearm/samba-1.1B-GGUF:Q4_K_M
Install from WinGet (Windows)
winget install llama.cpp # Start a local OpenAI-compatible server with a web UI: llama-server -hf Kearm/samba-1.1B-GGUF:Q4_K_M # Run inference directly in the terminal: llama-cli -hf Kearm/samba-1.1B-GGUF:Q4_K_M
Use pre-built binary
# Download pre-built binary from: # https://github.com/ggerganov/llama.cpp/releases # Start a local OpenAI-compatible server with a web UI: ./llama-server -hf Kearm/samba-1.1B-GGUF:Q4_K_M # Run inference directly in the terminal: ./llama-cli -hf Kearm/samba-1.1B-GGUF:Q4_K_M
Build from source code
git clone https://github.com/ggerganov/llama.cpp.git cd llama.cpp cmake -B build cmake --build build -j --target llama-server llama-cli # Start a local OpenAI-compatible server with a web UI: ./build/bin/llama-server -hf Kearm/samba-1.1B-GGUF:Q4_K_M # Run inference directly in the terminal: ./build/bin/llama-cli -hf Kearm/samba-1.1B-GGUF:Q4_K_M
Use Docker
docker model run hf.co/Kearm/samba-1.1B-GGUF:Q4_K_M
- LM Studio
- Jan
- Ollama
How to use Kearm/samba-1.1B-GGUF with Ollama:
ollama run hf.co/Kearm/samba-1.1B-GGUF:Q4_K_M
- Unsloth Studio
How to use Kearm/samba-1.1B-GGUF with Unsloth Studio:
Install Unsloth Studio (macOS, Linux, WSL)
curl -fsSL https://unsloth.ai/install.sh | sh # Run unsloth studio unsloth studio -H 0.0.0.0 -p 8888 # Then open http://localhost:8888 in your browser # Search for Kearm/samba-1.1B-GGUF to start chatting
Install Unsloth Studio (Windows)
irm https://unsloth.ai/install.ps1 | iex # Run unsloth studio unsloth studio -H 0.0.0.0 -p 8888 # Then open http://localhost:8888 in your browser # Search for Kearm/samba-1.1B-GGUF to start chatting
Using HuggingFace Spaces for Unsloth
# No setup required # Open https://huggingface.co/spaces/unsloth/studio in your browser # Search for Kearm/samba-1.1B-GGUF to start chatting
- Docker Model Runner
How to use Kearm/samba-1.1B-GGUF with Docker Model Runner:
docker model run hf.co/Kearm/samba-1.1B-GGUF:Q4_K_M
- Lemonade
How to use Kearm/samba-1.1B-GGUF with Lemonade:
Pull the model
# Download Lemonade from https://lemonade-server.ai/ lemonade pull Kearm/samba-1.1B-GGUF:Q4_K_M
Run and chat with the model
lemonade run user.samba-1.1B-GGUF-Q4_K_M
List all available models
lemonade list
Some GGUF's of samba-1.1B
Coloca na descrição: dedicado ao meu grande amigo, CodeAnguish
Orignial Model Card Below
license: llama2 datasets: - ju-resplande/rebel-pt - paulofinardi/OIG_small_chip2_portuguese_brasil - Guilherme34/Cabrita-lora-ptbr - dominguesm/Canarim-Instruct-PTBR-Dataset language: - pt - en pipeline_tag: text-generation library_name: transformers widget: - text: | Pergunta: Quantos planetas existem no sistema solar? tags: - Portuguese - Llama - Tiny-Llama - LLM - PEFT
PT - README
Samba é um LLM treinado em dados da língua portuguesa. O modelo é baseado no TinyLlama-1.1B, uma versão de 1.1B parâmetros do LLaMA-2.
O projeto do LLM Samba tem como objetivo fornecer mais opções de LLMs para língua portuguesa, ao mesmo tempo que disponibiliza um modelo menos complexo para que, dessa forma, usuários com menos poder computacional possam usufruir das LLMs.
Em apoio aos países de língua portuguesa. 🇦🇴🇧🇷🇨🇻🇬🇼🇬🇶🇲🇿🇵🇹🇸🇹🇹🇱
Detalhes do Modelo
Esse modelo foi fine-tunado em quatro datasets (rebel-pt, OIG_small_chip2_portuguese_brasil, Cabrita-lora-ptbr e Canarim-Instruct-PTBR-Dataset) com dados de texto na língua portuguesa, contendo aproximadamente 1.4 million de amostras.
Atualizações Futuras
- Adicionar mais dados de textos da língua portuguesa.
- Disponibilizar versões quantizadas.
Descrição do Modelo
- Desenvolvido por: Leonardo Souza
- Tipo do Modelo: LLaMA-Based
- Licença: Academic Free License v3.0
- Fine-tunado do modelo: TinyLlama-1.1B
Como usar
from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained('lrds-code/samba-1.1B')
tokenizer = AutoTokenizer.from_pretrained('lrds-code/samba-1.1B')
text = 'Pergunta: Como desenvolver habilidades de programação em python?'
inputs = tokenizer(text, return_tensors='pt')
outputs = model.generate(**inputs)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))
## Pergunta: Como desenvolver habilidades de programação em python?
## Resposta: Para desenvolver habilidades de programação em Python, você precisa aprender a ler e escrever código.
## Você também precisa entender o que significa cada parte do código e como ela funciona.
## Você também precisa entender como usar bibliotecas e frameworks para criar aplicativos.
## Além disso, você precisa entender como usar o IDE (Integrated Development Environment) para desenvolver e testar seu código.
EN - README
Samba-1.1B
Samba is a LLM trained on portuguese language data. The model is based on TinyLlama-1.1B, a 1.1B parameter version of LLaMA-2.
The LLM Samba project aims to provide more LLM options in Portuguese, while also providing less complex models so that users with less computational power can take advantage of the LLMs.
In support of portuguese-speaking countries. 🇦🇴🇧🇷🇨🇻🇬🇼🇬🇶🇲🇿🇵🇹🇸🇹🇹🇱
Model Details
This model was fine-tuned on four datasets (rebel-pt, OIG_small_chip2_portuguese_brasil, Cabrita-lora-ptbr and Canarim-Instruct-PTBR-Dataset) with portuguese data that total approximately 1.4 million samples.
Future Updates
- Add more data from the portuguese language.
- Make quantized versions available.
Model Description
- Developed by: Leonardo Souza
- Model type: LLaMA-Based
- License: Academic Free License v3.0
- Finetuned from model: TinyLlama-1.1B
How to Use
from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained('lrds-code/samba-1.1B')
tokenizer = AutoTokenizer.from_pretrained('lrds-code/samba-1.1B')
text = 'Pergunta: Como desenvolver habilidades de programação em python?'
inputs = tokenizer(text, return_tensors='pt')
outputs = model.generate(**inputs)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))
## Pergunta: Como desenvolver habilidades de programação em python?
## Resposta: Para desenvolver habilidades de programação em Python, você precisa aprender a ler e escrever código.
## Você também precisa entender o que significa cada parte do código e como ela funciona.
## Você também precisa entender como usar bibliotecas e frameworks para criar aplicativos.
## Além disso, você precisa entender como usar o IDE (Integrated Development Environment) para desenvolver e testar seu código.
- Downloads last month
- 26
3-bit
4-bit
5-bit
6-bit
8-bit