How to use from
llama.cpp
Install (macOS, Linux)
curl -LsSf https://llama.app/install.sh | sh
# Start a local OpenAI-compatible server with a web UI:
llama serve -hf Rudblest/projedanismanai:Q4_K_M
# Run inference directly in the terminal:
llama cli -hf Rudblest/projedanismanai:Q4_K_M
Install from WinGet (Windows)
winget install llama.cpp
# Start a local OpenAI-compatible server with a web UI:
llama serve -hf Rudblest/projedanismanai:Q4_K_M
# Run inference directly in the terminal:
llama cli -hf Rudblest/projedanismanai:Q4_K_M
Use pre-built binary
# Download pre-built binary from:
# https://github.com/ggerganov/llama.cpp/releases
# Start a local OpenAI-compatible server with a web UI:
./llama-server -hf Rudblest/projedanismanai:Q4_K_M
# Run inference directly in the terminal:
./llama-cli -hf Rudblest/projedanismanai:Q4_K_M
Build from source code
git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
cmake -B build
cmake --build build -j --target llama-server llama-cli
# Start a local OpenAI-compatible server with a web UI:
./build/bin/llama-server -hf Rudblest/projedanismanai:Q4_K_M
# Run inference directly in the terminal:
./build/bin/llama-cli -hf Rudblest/projedanismanai:Q4_K_M
Use Docker
docker model run hf.co/Rudblest/projedanismanai:Q4_K_M
Quick Links

ProjeDanışmanAi

TEKNOFEST ve TÜBİTAK yarışmacıları için Türkçe yapay zeka danışmanı.

Mistral-Nemo-Instruct-2407 (12B) modeli, TEKNOFEST ve TÜBİTAK yarışma süreçlerine özel Türkçe veri setiyle fine-tune edilmiştir.


Model Detayları

Özellik Değer
Temel Model mistralai/Mistral-Nemo-Instruct-2407
Yöntem QLoRA 4-bit + unsloth
LoRA Rank 64 (alpha=128, rsLoRA=True)
Eğitim Verisi 3043 Türkçe instruction-output çifti
Epoch 5
Max Seq Length 3072
Train Loss 0.3591

Kullanım Alanları

  • TEKNOFEST KTR/PTR teknik rapor yazımı
  • TÜBİTAK başvuru hazırlığı
  • Proje fikri netleştirme
  • Risk analizi ve uygulanabilirlik değerlendirmesi
  • Başlık ve özet üretimi
  • Jüri ve sunum hazırlığı

Veri Seti

3043 Türkçe örnekten oluşan özel veri seti:

Kategori Örnek Sayısı
rapor_yazimi 761
sifirdan_proje 730
genel_ozet 593
strateji 505
hata_duzeltme 324
red (alan dışı red) 130

Kullanım

GGUF (Ollama ile)

ollama create projedanismanai -f Modelfile
ollama run projedanismanai

Python (unsloth ile)

from unsloth import FastLanguageModel

model, tokenizer = FastLanguageModel.from_pretrained(
    model_name     = "Rudblest/projedanismanai",
    max_seq_length = 3072,
    dtype          = None,
    load_in_4bit   = True,
)
FastLanguageModel.for_inference(model)

prompt = "<s>[INST] TEKNOFEST KTR raporunda risk analizi nasıl yazılır? [/INST] "
inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
output = model.generate(**inputs, max_new_tokens=512, temperature=0.7)
print(tokenizer.decode(output[0], skip_special_tokens=True))

Sınırlamalar

  • Yalnızca Türkçe cevap verir
  • Alan dışı sorular (yemek, borsa, sağlık vb.) reddedilir
  • TEKNOFEST/TÜBİTAK dışı mühendislik konularında performans düşebilir

Lisans

Apache 2.0 — Mistral-Nemo temel modeli lisansına uygun.

Downloads last month
15
Safetensors
Model size
12B params
Tensor type
BF16
·
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for Rudblest/projedanismanai