Inference Providers
Active filters: 4-bit
ewof/koishi-7b-qlora-gptq
Text Generation
• Updated • 3
TheBloke/Venus-120b-v1.1-GPTQ
Text Generation
• 120B • Updated • 4
TheBloke/Venus-120b-v1.1-AWQ
Text Generation
• 120B • Updated • 3
istemedu/Qwen-72B-Chat-awq
Text Generation
• 72B • Updated • 12
• 7
TheBloke/PiVoT-10.7B-Mistral-v0.2-GPTQ
Text Generation
• 11B • Updated • 9
• 3
TheBloke/PiVoT-10.7B-Mistral-v0.2-AWQ
Text Generation
• 11B • Updated • 8
• 2
TheBloke/agiin-13.6B-v0.1-AWQ
Text Generation
• 14B • Updated • 4
TheBloke/agiin-13.6B-v0.1-GPTQ
Text Generation
• 14B • Updated • 7
TheBloke/Mistral-7B-AEZAKMI-v1-GPTQ
Text Generation
• 7B • Updated • 6
• 1
TheBloke/Mistral-7B-AEZAKMI-v1-AWQ
Text Generation
• 7B • Updated • 6
• 1
TheBloke/LeoScorpius-GreenNode-Alpaca-7B-v1-AWQ
Text Generation
• 7B • Updated • 7
• 1
TheBloke/LeoScorpius-GreenNode-Alpaca-7B-v1-GPTQ
Text Generation
• 7B • Updated • 8
• 1
TheBloke/LeoScorpius-GreenNode-Platypus-7B-v1-GPTQ
Text Generation
• 7B • Updated • 7
• 1
TheBloke/LeoScorpius-GreenNode-Platypus-7B-v1-AWQ
Text Generation
• 7B • Updated • 5
• 1
TheBloke/SOLAR-Platypus-10.7B-v2-GPTQ
Text Generation
• 11B • Updated • 6
• 1
TheBloke/SOLAR-Platypus-10.7B-v2-AWQ
Text Generation
• 11B • Updated • 5
• 2
Text Generation
• 7B • Updated • 4
Text Generation
• 7B • Updated • 11
Text Generation
• 7B • Updated • 8
• 1
Text Generation
• 7B • Updated • 5
• 3
KnutJaegersberg/nllb-moe-54b-4bit
Translation
• 55B • Updated • 10
• 5
mahihossain666/llama-2-70b-hf-quantized-4bits-GPTQ
Text Generation
• 69B • Updated • 1
dvijay/mistral-alpaca2k-3e-lora
Text Generation
• Updated • 5
• 1
TheBloke/Starling-LM-alpha-8x7B-MoE-GPTQ
Text Generation
• 47B • Updated • 7
• 2
TheBloke/8x7B-MoE-test-NOT-MIXTRAL-GPTQ
Text Generation
• 38B • Updated • 9
• 2
csdc-atl/buffer-baichuan2-13B-rag-awq-int4
Text Generation
• 14B • Updated • 12
• 2
TheBloke/Chupacabra-8x7B-MoE-GPTQ
Text Generation
• 47B • Updated • 6
• 1
TheBloke/Falkor-8x7B-MoE-GPTQ
Text Generation
• 47B • Updated • 7
• 1
cmeraki/OpenHathi-7B-Hi-v0.1-Base-gptq
Text Generation
• 1B • Updated • 12
• 3
TheBloke/go-bruins-v2.1.1-GPTQ
Text Generation
• 7B • Updated • 10