oolama / README (2).md
cometapii's picture
Upload 3 files
1f2477d verified
metadata
title: Ollama Granite4 350m
emoji: 🪨
colorFrom: gray
colorTo: blue
sdk: docker
pinned: false
app_port: 7860

Ollama — IBM Granite 4.0 350m

Serwer Ollama z modelem IBM Granite 4.0 (350m) udostępniający REST API kompatybilne z Ollama.

Endpoints

Method Path Opis
GET /api/version Wersja Ollama
GET /api/tags Lista dostępnych modeli
POST /api/generate Generowanie tekstu (streaming)
POST /api/chat Chat completions
POST /api/embeddings Embeddingi

Przykład użycia

# Generate
curl https://<your-space-url>/api/generate \
  -d '{"model":"granite4:350m","prompt":"Hello!","stream":false}'

# Chat
curl https://<your-space-url>/api/chat \
  -d '{
    "model": "granite4:350m",
    "messages": [{"role":"user","content":"Explain quantum computing briefly."}],
    "stream": false
  }'

Model

  • Model: IBM Granite 4.0 — 350M params
  • Architektura: Transformer (nie hybrydowy Mamba-2)
  • Tag Ollama: granite4:350m
  • Kwantyzacja: Q4_K_M (domyślna)
  • Rozmiar: ~250 MB
  • Zastosowanie: instrukcje, Q&A, RAG, klasyfikacja, code