| | --- |
| | title: Ollama Granite4 350m |
| | emoji: 🪨 |
| | colorFrom: gray |
| | colorTo: blue |
| | sdk: docker |
| | pinned: false |
| | app_port: 7860 |
| | --- |
| | |
| | # Ollama — IBM Granite 4.0 350m |
| |
|
| | Serwer Ollama z modelem **IBM Granite 4.0 (350m)** udostępniający REST API kompatybilne z Ollama. |
| |
|
| | ## Endpoints |
| |
|
| | | Method | Path | Opis | |
| | |--------|------|------| |
| | | `GET` | `/api/version` | Wersja Ollama | |
| | | `GET` | `/api/tags` | Lista dostępnych modeli | |
| | | `POST` | `/api/generate` | Generowanie tekstu (streaming) | |
| | | `POST` | `/api/chat` | Chat completions | |
| | | `POST` | `/api/embeddings` | Embeddingi | |
| |
|
| | ## Przykład użycia |
| |
|
| | ```bash |
| | # Generate |
| | curl https://<your-space-url>/api/generate \ |
| | -d '{"model":"granite4:350m","prompt":"Hello!","stream":false}' |
| | |
| | # Chat |
| | curl https://<your-space-url>/api/chat \ |
| | -d '{ |
| | "model": "granite4:350m", |
| | "messages": [{"role":"user","content":"Explain quantum computing briefly."}], |
| | "stream": false |
| | }' |
| | ``` |
| |
|
| | ## Model |
| |
|
| | - **Model:** IBM Granite 4.0 — 350M params |
| | - **Architektura:** Transformer (nie hybrydowy Mamba-2) |
| | - **Tag Ollama:** `granite4:350m` |
| | - **Kwantyzacja:** Q4_K_M (domyślna) |
| | - **Rozmiar:** ~250 MB |
| | - **Zastosowanie:** instrukcje, Q&A, RAG, klasyfikacja, code |
| |
|
