| --- |
| license: mit |
| language: |
| - tr |
| base_model: |
| - meta-llama/Llama-3.1-8B |
| pipeline_tag: question-answering |
| library_name: adapter-transformers |
| tags: |
| - education |
| - turkish |
| - chatbot |
| - asistant |
| --- |
| # Llama3.1 Turkish Educational ChatBot |
|
|
| [EN] |
|
|
| ## About the Project |
|
|
| This project is a fine-tuned version of the **Meta LLaMA 3.1 8B** large language model, specifically adapted to respond to **Turkish educational question-answer** prompts. The main goal is to deliver fluent, informative, and context-aware answers in Turkish, suitable for general inquiry and learning support. |
|
|
| The model was fine-tuned using the **LoRA** technique on a small scale (1% of trainable parameters) and published on Hugging Face: |
|
|
| 🔗 [metehanayhan/Llama3-1_Turkish_ChatBot](https://huggingface.co/metehanayhan/Llama3-1_Turkish_ChatBot) |
|
|
| --- |
|
|
| ## Training Summary |
|
|
| | Feature | Value | |
| | --- | --- | |
| | Base Model | Meta LLaMA 3.1 8B | |
| | Fine-Tuning Method | Supervised Fine-Tuning (SFT) | |
| | LoRA Usage | Yes (%1 of model trained) | |
| | Training Data | Turkish question–answer pairs | |
| | Number of Training Samples | 17,587 | |
| | Epochs | 1 | |
| | Total Training Steps | 2,199 | |
| | Learning Rate | 2e-5 | |
| | Total Batch Size | 8 | |
| | Training Duration (approx.) | ~3 hours | |
| | Trainable Parameters | 83M / 8B (1.05%) | |
| | Quantization | 4-bit | |
|
|
| --- |
|
|
| ## Data Format |
|
|
| The dataset consists of Turkish question–answer pairs provided in CSV format. Each row represents a complete educational sample. |
|
|
| Example: |
|
|
| ``` |
| question,answer |
| What can be done to prevent climate change?, |
| "To combat climate change, actions like reducing fossil fuel usage and transitioning to renewable energy sources are essential..." |
| ``` |
|
|
| A total of 17,587 such examples were used for fine-tuning. |
|
|
| --- |
|
|
| ## Use Case |
|
|
| This model is intended to serve as an educational assistant in Turkish. It can answer questions related to: |
|
|
| - Informative, general-knowledge, or school-related topics |
| - Support for curious learners and students |
|
|
| --- |
|
|
| ## Quick Start |
|
|
| ```python |
| from transformers import AutoTokenizer, AutoModelForCausalLM, pipeline |
| |
| tokenizer = AutoTokenizer.from_pretrained("metehanayhan/Llama3-1_Turkish_ChatBot") |
| model = AutoModelForCausalLM.from_pretrained("metehanayhan/Llama3-1_Turkish_ChatBot") |
| |
| qa_pipe = pipeline("text-generation", model=model, tokenizer=tokenizer) |
| print(qa_pipe("İklim değişikliği neden önemlidir?", max_new_tokens=200)[0]["generated_text"]) |
| ``` |
|
|
| --- |
|
|
| ## Performance Notes |
|
|
| The model performs well on Turkish QA-style prompts that resemble the training distribution: |
|
|
| - 🔸 Fluent and natural Turkish sentence construction |
| - 🔸 Answers are contextually aligned with the prompt |
|
|
| The model shows strong generalization, even with limited training, due to the LoRA technique and high-quality data. |
|
|
| <p align="center"> |
| <img src="image.png" width="600"/> |
| </p> |
|
|
|
|
| --- |
|
|
| ## Deployment |
|
|
| The model is shared on Hugging Face with 4-bit quantization and is ready for low-resource inference. It has also been exported in GGUF format for use in compatible environments. |
|
|
| --- |
|
|
| ## Additional Notes |
|
|
| - The training was performed using `Trainer` with standard SFT configuration. |
| - `random_state = 3407` was used to ensure reproducibility. |
| - Although fine-tuned on just 1% of parameters, the model responds effectively across a wide range of Turkish topics. |
|
|
| --- |
|
|
| [TR] |
|
|
| # Llama3.1 Türkçe Eğitim Odaklı ChatBot |
|
|
| ## Proje Hakkında |
|
|
| Bu model, **Meta LLaMA 3.1 8B** tabanlı büyük bir dil modelidir ve Türkçe dilinde, eğitim odaklı **soru-cevap (QA)** verisiyle fine-tune edilmiştir. Amaç, kullanıcıların bilgi arayışına doğal, akıcı ve anlamlı yanıtlar sunabilen bir yardımcı oluşturmaktır. |
|
|
| Model, %1 oranında LoRA yöntemiyle optimize edilmiş ve Hugging Face platformuna aktarılmıştır: |
|
|
| 🔗 [metehanayhan/Llama3-1_Turkish_ChatBot](https://huggingface.co/metehanayhan/Llama3-1_Turkish_ChatBot) |
|
|
| --- |
|
|
| ## Eğitim Özeti |
|
|
| | Özellik | Değer | |
| | --- | --- | |
| | Temel Model | Meta LLaMA 3.1 8B | |
| | Eğitim Yöntemi | Supervised Fine-Tuning (SFT) | |
| | İnce Ayar Tekniği | LoRA | |
| | Eğitim Verisi | Türkçe Eğitim Q/A | |
| | Eğitim Örneği Sayısı | 17,587 | |
| | Eğitim Epoch’u | 1 | |
| | Toplam Eğitim Adımı (steps) | 2,199 | |
| | Öğrenme Oranı | 2e-5 | |
| | Toplam Batch Size | 8 | |
| | Eğitim Süresi (yaklaşık) | 3 saat | |
| | Eğitilen Parametre Oranı | %1 (83M / 8B) | |
| | Quantization | 4-bit | |
|
|
| --- |
|
|
| ## Veri Formatı |
|
|
| Veri kümesi, her satırı bir soru-cevap çifti olan Türkçe bir CSV dosyasından oluşmaktadır. Örnek: |
|
|
| ``` |
| soru,cevap |
| İklim değişikliğine karşı neler yapılabilir?, |
| "İklim değişikliğiyle mücadele için fosil yakıt kullanımının azaltılması, yenilenebilir enerjiye geçiş gibi önlemler alınabilir..." |
| ``` |
|
|
| Toplam 17,587 satır veriyle eğitim gerçekleştirilmiştir. |
|
|
| --- |
|
|
| ## Amaç ve Kullanım Alanı |
|
|
| Model, aşağıdaki türde sorulara doğal dilde bilgi sunmak amacıyla geliştirilmiştir: |
|
|
| - Açıklayıcı, öğretici, genel kültür soruları |
| - Öğrencilerin veya meraklı bireylerin bilgi edinme taleplerine destek |
| - Cevap üretimi sırasında özgün, tutarlı ve doğal Türkçe dil kullanımı |
|
|
| --- |
|
|
| ## Hızlı Başlangıç |
|
|
| ```python |
| from transformers import AutoTokenizer, AutoModelForCausalLM, pipeline |
| |
| tokenizer = AutoTokenizer.from_pretrained("metehanayhan/Llama3-1_Turkish_ChatBot") |
| model = AutoModelForCausalLM.from_pretrained("metehanayhan/Llama3-1_Turkish_ChatBot") |
| |
| qa_pipe = pipeline("text-generation", model=model, tokenizer=tokenizer) |
| print(qa_pipe("İklim değişikliği neden önemlidir?", max_new_tokens=1024)[0]["generated_text"]) |
| ``` |
|
|
| --- |
|
|
| ## Performans |
|
|
| Model, eğitim verisine benzer sorularda oldukça doğal, akıcı ve içerik açısından doyurucu cevaplar üretmektedir. LoRA yöntemi sayesinde düşük hesaplama kaynağı ile etkili bir öğrenme gerçekleştirilmiştir. Eğitim sırasında gözlemlenen bazı bulgular: |
|
|
| - 🔸 Cevaplar Türkçe dil yapısına uygun |
| - 🔸 Soruyla bağlamsal olarak ilişkili |
|
|
| <p align="center"> |
| <img src="image.png" width="600"/> |
| </p> |
|
|
|
|
| --- |
|
|
| ## Yayınlama |
|
|
| Model, Hugging Face üzerinde quantize edilmiş biçimde (4-bit) paylaşılmıştır ve inference için kullanıma hazırdır. GGUF biçimiyle de dışa aktarılmıştır. |
|
|
| --- |
|
|
| ## Notlar |
|
|
| - Eğitim random_state=3407 ile tekrarlanabilirlik için sabitlenmiştir. |
| - Eğitim süreci `Trainer` altyapısıyla gerçekleştirilmiş ve standart veri ön işleme yapılmıştır. |
| - Model, küçük eğitimle geniş bilgi alanlarında doğal cevaplar üretme yeteneğine sahiptir. |
| |
| --- |
