README
Browse filesMistral Nemo 12b parametreli LLM Türkçe alanı ile ilgili performansını artırmak için yapılan Fine-Tuning işleminin sonuçları aşağıdaki gibidir. Türkçe Veri setinin hazırlanmasında emeği geçenlere çok teşekkür ederim.
🤖 Mistral Nemo 12b (Open-Source LLM)
🦥 Unsloth ( 2x faster with 60% less memory )
📄 Dataset (myzens/alpaca-turkish-combined)
Prompt : LLM nedir ve kullanım alanları nelerdir ?
Response : LLM, büyük dil modeli (LLM) olarak da bilinen büyük dil modelleri, büyük miktarda veri ile eğitilmiş ve doğal dil işleme (NLP) görevleri için kullanılabilen yapay zeka modelleridir. LLM'ler, doğal dilde yazılmış metinleri anlamak ve üretmek için kullanılabilir. Kullanım alanları arasında metin sınıflandırma, doğal dil işleme, metin özetleme, metin üretimi ve metin çevirisi yer almaktadır.
The results of the Fine-Tuning process to improve the performance of the Mistral Nemo 12b parameterised LLM for the Turkish domain are as follows. I would like to thank those who contributed to the preparation of the Turkish data set.
🤖 Mistral Nemo 12b (Open-Source LLM)
🦥 Unsloth (2x faster with 60% less memory)
📄 Dataset (myzens/alpaca-turkish-combined)
Prompt : What is LLM and what are its application areas?
Response : Large language models, also known as LLM, large language model (LLM), are artificial intelligence models that are trained with large amounts of data and can be used for natural language processing (NLP) tasks. LLMs can be used to understand and produce texts written in natural language. Their applications include text classification, natural language processing, text summarisation, text generation and text translation.
Translated with DeepL.com (free version)
Training hyperparameters
The following hyperparameters were used during training:
learning_rate: 2e-4
train_dataset =myzens/alpaca-turkish-combined
per_device_train_batch_size = 2
max_steps = 60
seed = 3407
optim = "adamw_8bit"
lr_scheduler_type = "linear"
num_epochs: 1
gradient_accumulation_steps = 4