Instructions to use Situus/STARK-4B-Thinking with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use Situus/STARK-4B-Thinking with Transformers:
# Use a pipeline as a high-level helper from transformers import pipeline pipe = pipeline("text-generation", model="Situus/STARK-4B-Thinking") messages = [ { "role": "user", "content": [ {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/p-blog/candy.JPG"}, {"type": "text", "text": "What animal is on the candy?"} ] }, ] pipe(text=messages)# pip install -U transformers accelerate # Load model directly from transformers import AutoProcessor, AutoModelForMultimodalLM processor = AutoProcessor.from_pretrained("Situus/STARK-4B-Thinking") model = AutoModelForMultimodalLM.from_pretrained("Situus/STARK-4B-Thinking", device_map="auto") messages = [ { "role": "user", "content": [ {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/p-blog/candy.JPG"}, {"type": "text", "text": "What animal is on the candy?"} ] }, ] inputs = processor.apply_chat_template( messages, add_generation_prompt=True, tokenize=True, return_dict=True, return_tensors="pt", ).to(model.device) outputs = model.generate(**inputs, max_new_tokens=256) print(processor.decode(outputs[0][inputs["input_ids"].shape[-1]:])) - Notebooks
- Google Colab
- Kaggle
- Local Apps Settings
- vLLM
How to use Situus/STARK-4B-Thinking with vLLM:
Install from pip and serve model
# Install vLLM from pip: pip install vllm # Start the vLLM server: vllm serve "Situus/STARK-4B-Thinking" # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:8000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "Situus/STARK-4B-Thinking", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }'Use Docker
docker model run hf.co/Situus/STARK-4B-Thinking
- SGLang
How to use Situus/STARK-4B-Thinking with SGLang:
Install from pip and serve model
# Install SGLang from pip: pip install sglang # Start the SGLang server: python3 -m sglang.launch_server \ --model-path "Situus/STARK-4B-Thinking" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "Situus/STARK-4B-Thinking", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }'Use Docker images
docker run --gpus all \ --shm-size 32g \ -p 30000:30000 \ -v ~/.cache/huggingface:/root/.cache/huggingface \ --env "HF_TOKEN=<secret>" \ --ipc=host \ lmsysorg/sglang:latest \ python3 -m sglang.launch_server \ --model-path "Situus/STARK-4B-Thinking" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "Situus/STARK-4B-Thinking", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }' - Unsloth Desktop
- Docker Model Runner
How to use Situus/STARK-4B-Thinking with Docker Model Runner:
docker model run hf.co/Situus/STARK-4B-Thinking
STARK-4B-Thinking
STARK-4B-Thinking (System Transparentnego Analitycznego Rozumowania i Kontekstu) to kompaktowy, polskojฤzyczny asystent AI oparty na architekturze Gemma 3 (4B). Model ten zostaล zaprojektowany w celu dostarczenia zaawansowanych moลผliwoลci rozumowania do klasy lekkich modeli jฤzykowych, co pozwala na wydajnฤ pracฤ lokalnฤ przy zachowaniu wysokiej rzetelnoลci merytorycznej.
System wykorzystuje mechanizm "rozwaลผnej pauzy", implementujฤ c proces Chain of Thought (CoT), ktรณry pozwala modelowi na weryfikacjฤ logiki i planowanie odpowiedzi przed wygenerowaniem ostatecznego tekstu.
Charakterystyka Systemu i Wydajnoลฤ
Wprowadzenie dedykowanej fazy myลlowej pozwala modelowi STARK-4B na osiฤ gniฤcie stabilnoลci oraz precyzji w zadaniach logicznych, ktรณre zazwyczaj wymagajฤ znacznie wiฤkszych zasobรณw obliczeniowych.
Wizualizacja sprawnoลci operacyjnej:
MODEL BAZOWY (4B) [โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ]
STARK-4B (Thinking) [โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ] + BOOST REASONING
Dziฤki alokacji tokenรณw na wewnฤtrzne procesy rozumowania (Reasoning Trace), model wykazuje podwyลผszonฤ dokลadnoลฤ w zadaniach logicznych oraz wyลผszฤ odpornoลฤ na bลฤdy w niejednoznacznych interakcjach z uลผytkownikiem.
System Thinking (Chain of Thought)
STARK-4B-Thinking nie generuje wypowiedzi w sposรณb impulsywny. System opiera siฤ na procesie analitycznym, ktรณry kieruje ostatecznym wynikiem.
- Transparentnoลฤ wnioskowania: Proces analityczny jest jawny i zawarty w znacznikach
<think> ... </think>. - Dekonstrukcja problemรณw: Model rozbija zลoลผone zagadki logiczne, problemy matematyczne oraz zadania dedukcyjne na mniejsze etapy przed sformuลowaniem pomocy.
- Wysoka Inteligencja Emocjonalna: System zostaล wytrenowany do obsลugi scenariuszy wymagajฤ cych wysokiego EQ, niuansowania konwersacyjnego oraz radzenia sobie z trudnymi proลbami uลผytkownika.
Rodowรณd Danych i Proces Treningowy
Wydajnoลฤ modelu STARK-4B jest efektem zastosowania elitarnego korpusu treningowego:
- ลนrรณdลo Gemini Flash: Finetuning (SFT) zostaล przeprowadzony na wyselekcjonowanym zbiorze danych syntetycznych wygenerowanych przez model Gemini Flash.
- Natywna Optymalizacja: Model oferuje naturalnie brzmiฤ cy dialog, w peลni zoptymalizowany pod kฤ tem polskiej gramatyki i kontekstu kulturowego.
- Format GGUF: Model jest udostฤpniany w wersji Q4_K_M, zapewniajฤ c balans miฤdzy szybkoลciฤ a precyzjฤ .
Zastosowania i Ograniczenia
Sekcja ta zostaลa ujednolicona z parametrami operacyjnymi modelu STARK-12B, aby zapewniฤ spรณjnoลฤ ekosystemu STARK.
Rekomendowane przypadki uลผycia:
- Asysta Operacyjna: Planowanie zadaล, ustalanie priorytetรณw i rozwiฤ zywanie problemรณw logicznych.
- Praca z Tekstem: Kreatywne pisanie, storytelling oraz redagowanie profesjonalnej korespondencji biznesowej.
- Analiza Danych: Brainstorming, synteza wiedzy oraz wyciฤ ganie kluczowych faktรณw z dokumentรณw.
Ograniczenia (Limitations):
- Programowanie: Model nie jest dedykowany do zadaล inลผynieryjnych; generowany kod moลผe zawieraฤ bลฤdy lub byฤ nieoptymalny.
- Zaawansowana Matematyka: Model moลผe popeลniaฤ bลฤdy w skomplikowanych obliczeniach teoretycznych; wyniki wymagajฤ weryfikacji.
- Skala Modelu: Jako jednostka klasy 4B, system moลผe posiadaฤ mniejszฤ bazฤ wiedzy encyklopedycznej niลผ modele klasy 12B lub 70B+.
Instrukcja Uลผycia (Usage)
Model jest kompatybilny z narzฤdziami obsลugujฤ cymi format GGUF, takimi jak LM Studio, KoboldCPP czy llama.cpp.
Rekomendowany format promptu:
<start_of_turn>user
Twoje pytanie lub polecenie tutaj<end_of_turn>
<start_of_turn>model
<think>
Tutaj model przeprowadza proces myลlowy...
</think>
Tutaj znajduje siฤ wลaลciwa odpowiedลบ.
Licencja
Model podlega warunkom uลผytkowania Gemma: Gemma Terms of Use.
- Downloads last month
- 21