Instructions to use alibayram/DoktorGemma2-9b with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use alibayram/DoktorGemma2-9b with Transformers:
# Load model directly from transformers import AutoModel model = AutoModel.from_pretrained("alibayram/DoktorGemma2-9b", dtype="auto") - llama-cpp-python
How to use alibayram/DoktorGemma2-9b with llama-cpp-python:
# !pip install llama-cpp-python from llama_cpp import Llama llm = Llama.from_pretrained( repo_id="alibayram/DoktorGemma2-9b", filename="unsloth.BF16.gguf", )
output = llm( "Once upon a time,", max_tokens=512, echo=True ) print(output)
- Notebooks
- Google Colab
- Kaggle
- Local Apps
- llama.cpp
How to use alibayram/DoktorGemma2-9b with llama.cpp:
Install from brew
brew install llama.cpp # Start a local OpenAI-compatible server with a web UI: llama-server -hf alibayram/DoktorGemma2-9b:BF16 # Run inference directly in the terminal: llama-cli -hf alibayram/DoktorGemma2-9b:BF16
Install from WinGet (Windows)
winget install llama.cpp # Start a local OpenAI-compatible server with a web UI: llama-server -hf alibayram/DoktorGemma2-9b:BF16 # Run inference directly in the terminal: llama-cli -hf alibayram/DoktorGemma2-9b:BF16
Use pre-built binary
# Download pre-built binary from: # https://github.com/ggerganov/llama.cpp/releases # Start a local OpenAI-compatible server with a web UI: ./llama-server -hf alibayram/DoktorGemma2-9b:BF16 # Run inference directly in the terminal: ./llama-cli -hf alibayram/DoktorGemma2-9b:BF16
Build from source code
git clone https://github.com/ggerganov/llama.cpp.git cd llama.cpp cmake -B build cmake --build build -j --target llama-server llama-cli # Start a local OpenAI-compatible server with a web UI: ./build/bin/llama-server -hf alibayram/DoktorGemma2-9b:BF16 # Run inference directly in the terminal: ./build/bin/llama-cli -hf alibayram/DoktorGemma2-9b:BF16
Use Docker
docker model run hf.co/alibayram/DoktorGemma2-9b:BF16
- LM Studio
- Jan
- Ollama
How to use alibayram/DoktorGemma2-9b with Ollama:
ollama run hf.co/alibayram/DoktorGemma2-9b:BF16
- Unsloth Studio new
How to use alibayram/DoktorGemma2-9b with Unsloth Studio:
Install Unsloth Studio (macOS, Linux, WSL)
curl -fsSL https://unsloth.ai/install.sh | sh # Run unsloth studio unsloth studio -H 0.0.0.0 -p 8888 # Then open http://localhost:8888 in your browser # Search for alibayram/DoktorGemma2-9b to start chatting
Install Unsloth Studio (Windows)
irm https://unsloth.ai/install.ps1 | iex # Run unsloth studio unsloth studio -H 0.0.0.0 -p 8888 # Then open http://localhost:8888 in your browser # Search for alibayram/DoktorGemma2-9b to start chatting
Using HuggingFace Spaces for Unsloth
# No setup required # Open https://huggingface.co/spaces/unsloth/studio in your browser # Search for alibayram/DoktorGemma2-9b to start chatting
- Docker Model Runner
How to use alibayram/DoktorGemma2-9b with Docker Model Runner:
docker model run hf.co/alibayram/DoktorGemma2-9b:BF16
- Lemonade
How to use alibayram/DoktorGemma2-9b with Lemonade:
Pull the model
# Download Lemonade from https://lemonade-server.ai/ lemonade pull alibayram/DoktorGemma2-9b:BF16
Run and chat with the model
lemonade run user.DoktorGemma2-9b-BF16
List all available models
lemonade list
DoktorGemma2-9b
Genel Bakış
DoktorGemma2-9b, sağlık alanında uzmanlaşmış büyük bir dil modelidir. Bu model, hasta sorularına daha doğru ve etkili yanıtlar vermek üzere tasarlanmış ve eğitilmiştir. google/Gemma2-9b-it modelinden fine-tune edilmiştir ve Türkçe dilinde kullanılması hedeflenmiştir.
Model Detayları
- Model Boyutu: 9 milyar parametre
- Eğitim Verisi: Sağlıkla ilgili geniş bir veri seti kullanılarak eğitilmiştir.
- Kullanım Alanları: Sağlık danışmanlığı, hasta-doktor iletişimi, tıbbi araştırmalar
Kullanım
Bu model, çeşitli sağlıkla ilgili doğal dil işleme projelerinde kullanılabilir. Aşağıda kullanım için bir örnek verilmiştir:
from transformers import AutoModelForCausalLM, AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("alibayram/DoktorGemma2-9b")
model = AutoModelForCausalLM.from_pretrained("alibayram/DoktorGemma2-9b")
input_text = "60 yaşında babamın dişlerini yaptırmak istiyoruz. yardımcı olabilir misiniz?"
inputs = tokenizer(input_text, return_tensors="pt")
outputs = model.generate(**inputs)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))
Eğitim ve İnce Ayar
DoktorGemma2-9b, google/Gemma2-9b-it modelinden fine-tune edilmiştir ve doktorsitesi veri seti kullanılarak eğitilmiştir. Eğitim verileri, sağlıkla ilgili soru ve cevapları içerir ve modelin sağlık danışmanlığı ve hasta-doktor iletişimi konularında yüksek doğrulukta yanıtlar vermesini sağlamayı hedeflemektedir.
Bu gemma modeli, Unsloth ve Huggingface'in TRL kütüphanesi kullanılarak 2 kat daha hızlı eğitilmiştir.
Model Özellikleri
- Doğal Dil Anlama: Sağlıkla ilgili karmaşık soruları anlama ve yanıtlama potansiyeli
- Dil: Türkçe
- Performans: Performans değerlendirmeleri sonradan eklenecektir
Alıntı
Bu modeli araştırmanızda veya uygulamanızda kullanırsanız, lütfen aşağıdaki gibi alıntı yapın:
@model{alibayram2024doktor-gemma2-9b,
author = {Ali Bayram},
title = {DoktorGemma2-9b},
year = 2024,
url = {https://huggingface.co/alibayram/DoktorGemma2-9b},
}
Lisans
Bu model, Creative Commons Attribution-NonCommercial 4.0 International (CC BY-NC 4.0) lisansı altında lisanslanmıştır. Modeli ticari amaçlar dışında kullanabilir, paylaşabilir ve uyarlayabilirsiniz, ancak uygun atıf yapmanız, ticari amaçla kullanmamanız ve değişiklik yapıldığını belirtmeniz gerekmektedir.
Katkılar
Bu modele katkılar memnuniyetle karşılanır. Herhangi bir öneriniz, iyileştirmeniz veya ek veriniz varsa, lütfen model oluşturucusuyla iletişime geçin veya model deposunda bir pull request gönderin.
İletişim
Herhangi bir soru veya daha fazla bilgi için lütfen iletişime geçin:
- İsim: Ali Bayram
- Email: malibayram20@gmail.com
Teşekkürler
Bu modelin geliştirilmesinde katkıda bulunan tüm sağlık profesyonellerine ve veri sağlayıcılarına teşekkür ederiz.
- Downloads last month
- -