Update model prediction example image

.gitattributes

@@ -34,3 +34,4 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
 *.zst filter=lfs diff=lfs merge=lfs -text
 *tfevents* filter=lfs diff=lfs merge=lfs -text
 eurosat_training_examples.png filter=lfs diff=lfs merge=lfs -text
+tokenizer.json filter=lfs diff=lfs merge=lfs -text

README.md

@@ -32,51 +32,51 @@ processor = AutoProcessor.from_pretrained("Qwen/Qwen2-VL-2B-Instruct")
 ## Classes
 AnnualCrop, Forest, HerbaceousVegetation, Highway, Industrial, Pasture, PermanentCrop, Residential, River, SeaLake
 
-## GeoQwen-VL-2B-EuroSAT: A Transformative Story for Remote Sensing
+## GeoQwen-VL-2B-EuroSAT: Uzaktan Algılama İçin Bir Dönüşüm Hikayesi
 
-#### Introduction
-Remote sensing and satellite imagery play a critical role in understanding and monitoring changes on our planet. Extracting meaningful information from this vast and complex dataset can be challenging and time-consuming with traditional methods. This is where vision-language models (VLMs), which combine natural language processing and computer vision, come into play. This project describes the development process of GeoQwen-VL-2B-EuroSAT, a VLM designed to classify and interpret satellite images using natural language.
+#### Giriş
+Uzaktan algılama ve uydu görüntüleri, gezegenimizdeki değişimleri anlama ve izleme konusunda kritik bir rol oynamaktadır. Bu geniş ve karmaşık veri setinden anlamlı bilgiler çıkarmak, geleneksel yöntemlerle zorlu ve zaman alıcı olabilmektedir. İşte bu noktada, doğal dil işleme ve bilgisayar görüşünü bir araya getiren görme-dil modelleri (VLM'ler) devreye girer. Bu proje, uydu görüntülerini sınıflandırmak ve doğal dil ile yorumlamak için tasarlanmış, **GeoQwen-VL-2B-EuroSAT** adlı bir VLM'nin geliştirilmesi sürecini anlatmaktadır.
 
-#### Motivation
-In the field of geospatial intelligence, the need for systems that can automatically extract information from satellite images is growing. Accurate and rapid analysis in areas such as land cover classification, environmental monitoring, urban planning, and disaster management is vital. The primary motivation of this project was to develop a powerful VLM capable of processing large-scale satellite data, understanding complex visual information, and generating human-like descriptions. By adapting a state-of-the-art model like Qwen2-VL to the field of satellite imagery, these goals were aimed to be achieved.
+#### Motivasyon
+Coğrafi uzamsal zeka alanında, uydu görüntülerinden otomatik olarak bilgi çıkarabilen sistemlere olan ihtiyaç giderek artmaktadır. Özellikle arazi örtüsü sınıflandırması, çevre izleme, kentsel planlama ve afet yönetimi gibi alanlarda hızlı ve doğru analizler hayati önem taşır. Bu projenin temel motivasyonu, geniş ölçekli uydu verilerini işleyebilecek, karmaşık görsel bilgiyi anlayabilecek ve insan benzeri açıklamalar üretebilecek güçlü bir VLM geliştirmektir. Qwen2-VL gibi son teknoloji bir modelin uydu görüntüleri alanına adapte edilmesiyle, bu hedeflere ulaşılması amaçlanmıştır.
 
-#### Technical Approach
-The project primarily involved fine-tuning the Qwen2-VL-2B-Instruct model using the Low-Rank Adaptation (LoRA) technique on the EuroSAT RGB dataset. This chosen technique allows for efficient training of large models even in resource-constrained environments (e.g., T4 GPU) like Colab. 4-bit quantization significantly reduced the model's memory footprint, enhancing its ability to work with larger models. The EuroSAT dataset consists of Sentinel-2 satellite images representing 10 different land cover classes in Europe. The model learned to recognize and describe land cover types in these images by using natural language instructions in a question-answering format.
+#### Teknik Yaklaşım
+Proje, temel olarak Qwen2-VL-2B-Instruct modelinin **LoRA (Low-Rank Adaptation)** tekniği kullanılarak EuroSAT RGB veri seti üzerinde ince ayarını içeriyordu. Seçilen bu teknik, kısıtlı donanım kaynaklarına sahip (örneğin T4 GPU) Colab ortamlarında bile büyük modellerin verimli bir şekilde eğitilmesine olanak tanır. 4-bit nicemleme (quantization), modelin bellek ayak izini önemli ölçüde azaltarak daha büyük modellerle çalışma yeteneğini artırdı. EuroSAT veri seti, Avrupa'daki 10 farklı arazi örtüsü sınıfını temsil eden Sentinel-2 uydu görüntülerinden oluşmaktadır. Model, bu görüntülerle birlikte soru-cevap formatındaki doğal dil talimatlarını kullanarak, görüntülerdeki arazi örtüsü tiplerini tanımayı ve açıklamayı öğrenmiştir.
 
-#### Challenges and Solutions
-1.  **Hardware Constraints:** Fine-tuning the large Qwen2-VL model was particularly challenging due to memory limitations. This problem was solved by using 4-bit quantization and the `bitsandbytes` library, allowing the model to fit within the 16GB memory of a T4 GPU.
-2.  **Training Duration:** The model's size and the scope of the dataset required long training times. The efficiency of LoRA and the use of strategies like `gradient_accumulation_steps` helped optimize the training process.
-3.  **Data Preparation:** Converting labels and class definitions in the EuroSAT dataset into natural language instructions was critical for the model's better understanding. The `VLMDataCollator` class automated this conversion, simplifying the training process.
-4.  **Hugging Face Integration:** The seamless upload and version control of the model and processor to the Hugging Face Hub were ensured using the `huggingface_hub` library, providing shareability and reproducibility of the model.
-5.  **Post-Fine-tuning Inference Errors:** The `truncation=True` and `max_length=512` parameters used in `VLMDataCollator` during training were missing in the `processor` call during inference. This led to an `IndexError` due to inconsistent `input_ids` and `attention_mask` dimensions. The solution involved re-adding these parameters to the inference `processor` call to ensure consistency.
+#### Zorluklar ve Çözümler
+1.  **Donanım Kısıtlamaları:** Büyük Qwen2-VL modelinin ince ayarı, özellikle bellek açısından zorlayıcıydı. Bu sorun, 4-bit nicemleme ve `bitsandbytes` kütüphanesinin kullanımıyla çözüldü. Bu sayede model, T4 GPU'nun 16GB belleğine sığdırılabildi.
+2.  **Eğitim Süresi:** Modelin boyutu ve veri setinin kapsamı, uzun eğitim süreleri gerektirmekteydi. LoRA'nın verimliliği ve `gradient_accumulation_steps` gibi stratejilerin kullanımı, eğitim sürecini optimize etmeye yardımcı oldu.
+3.  **Veri Hazırlığı:** EuroSAT veri setindeki etiketlerin ve sınıf tanımlarının doğal dil talimatlarına dönüştürülmesi, modelin daha iyi anlaması için kritikti. `VLMDataCollator` sınıfı, bu dönüşümü otomatikleştirerek eğitim sürecini kolaylaştırdı.
+4.  **Hugging Face Entegrasyonu:** Modelin ve işlemcinin Hugging Face Hub'a sorunsuz bir şekilde yüklenmesi ve sürüm kontrolü için `huggingface_hub` kütüphanesi kullanılarak, modelin paylaşılabilirliėi ve yeniden üretilebilirliėi sağlandı.
+5. **İnce Ayar Sonrası Inference Hataları:** Eğitim sırasında kullanılan `VLMDataCollator`'ın `truncation=True` ve `max_length=512` parametreleri, inference sırasında `processor` çağrısında eksikti. Bu durum, `input_ids` ve `attention_mask` boyutlarında uyumsuzluĞa yol açarak `IndexError` hatasına neden oldu. Çözüm olarak, inference `processor` çağrısına bu parametreler geri eklenerek tutarlılık sağlandı.
 
-#### Results and Achievements
-The greatest achievement of this project is the successful fine-tuning of a complex VLM like Qwen2-VL-2B-Instruct on the EuroSAT dataset with limited resources, thanks to LoRA and 4-bit quantization techniques. The developed **GeoQwen-VL-2B-EuroSAT** model:
-*   Can accurately classify land cover types in satellite images.
-*   Can convert visual data into meaningful natural language descriptions.
-*   Has gained visual question-answering (Visual QA) capabilities on geospatial data.
+#### Sonuçlar ve Başarılar
+Bu projenin en büyük başarısi, LoRA ve 4-bit nicemleme teknikleri sayesinde kısıtlı kaynaklarla Qwen2-VL-2B-Instruct gibi karmaşık bir VLM'nin EuroSAT veri seti üzerinde başarıli bir şekilde ince ayarını tamamlamaktır. Geliştirilen **GeoQwen-VL-2B-EuroSAT** modeli:
+*   Uydu görüntülerindeki arazi örtüsü tiplerini doğru bir şekilde sınıflandırabilmektedir.
+*   Görsel verileri anlamlı doğal dil açıklamalarına dönüşterebilmektedir.
+*   Coğrafi uzamsal veriler üzerinde görsel soru-cevap (Visual QA) yeteneği kazanmıştır.
 
-This is an important step towards developing more accessible and powerful VLMs in the field of remote sensing.
+Bu, uzaktan algılama alanında daha erişilebilir ve güçlü VLM'lerin geliştiilmesi için önemli bir adımdır.
 
-#### Future Work and Use Cases
-The potential application areas of the **GeoQwen-VL-2B-EuroSAT** model are extensive:
-*   **Environmental Monitoring:** Tracking changes in forested areas, status of water bodies, or agricultural lands.
-*   **Urban Planning:** Analyzing urban expansion, identification of industrial zones, and infrastructure development.
-*   **Disaster Management:** Damage assessment and situation evaluation after disasters such as floods, earthquakes, or fires.
-*   **Agriculture:** Crop type detection, yield prediction, and plant health monitoring.
+#### Gelecek Çalışmalar ve Kullanım Alanları
+**GeoQwen-VL-2B-EuroSAT** modelinin potansiyel kullanım alanları oldukça geniştir:
+*   **Çevre İzleme:** Ormanlık alanlardaki değişimlerin, su kütlelerinin durumunun veya tarım alanlarının izlenmesi.
+*   **Kentsel Planlama:** Şehirlerin genişelemesi, sanayi bölgelerinin tespiti ve altyapı gelişiminin analizi.
+*   **Afet Yönetimi:** Sel, deprem veya yangın gibi afetler sonrası hasar tespiti ve durum değerlendirmesi.
+*   **Tarım:** Mahsul türü tespiti, verim tahmini ve bitki sağlığı izleme.
 
-Future work includes training the model on broader and more diverse remote sensing datasets (RESISC45, AID, BigEarthNet), experimenting with larger models like Qwen2.5-VL-7B, and adding more advanced capabilities such as change detection. Additionally, there are plans to create a Gradio demo space to increase the model's accessibility.
+Gelecekteki çalışmalar arasında, modelin daha geniş ve çeşitli uzaktan algılama veri setleri (RESISC45, AID, BigEarthNet) üzerinde eğitilmesi, daha büyük Qwen2.5-VL-7B gibi modellerin denenmesi ve değişiklik tespiti gibi daha gelişmiş yeteneklerin eklenmesi yer almaktadır. Ayrıca, modelin erişilebilirliğini artırmak için bir Gradio demo alanı oluşturulması planlanmaktadır.
 
-This project establishes an important bridge in creating value from remote sensing data and opens new horizons in the field of geospatial intelligence.
+Bu proje, uzaktan algılama verilerinden değer yaratma yolunda önemli bir köprü kurmakta ve coğrafi uzamsal zeka alanında yeni ufuklar açmaktadır.
 
-## Visual Examples
+## Görsel Örnekler
 
-### EuroSAT Training Data Examples
-Below are example images from the EuroSAT dataset, showcasing different land cover classes that the model was trained on. These visuals represent the various scenarios the model needs to recognize.
+### EuroSAT Eğitim Verisi Örnekleri
+Aşagıda, modelin üzerinde eğittidi EuroSAT veri setinden farklı arazi örtüsü sınıflarını gösteren örnek görüntüler yer almaktadır. Bu görseller, modelin tanıması gereken çeşittili senaryoları temsil etmektedir.
 
 ![EuroSAT Training Examples](./eurosat_training_examples.png)
 
-### Model Prediction Output Example
-This visual directly compares the **GeoQwen-VL-2B-EuroSAT** model's generated description for a satellite image against its ground truth label. It vividly illustrates the model's capability to interpret complex geospatial visuals and provide concise, accurate natural language explanations, showcasing its potential for automated scene understanding.
+### Model Tahmin Çıktısı Örneğii
+Bu görsel, eğitilmiş modelin bir uydu görüntüsü için ürettiği tahmin çıktısını ve gerçek etiketini karşılaştırrmaktadır. Modelin görsel içerikten anlamlı açıklamalar üretme yeteneğini göstermektedir.
 
 ![Model Prediction Example](./model_prediction_example.png)

adapter_config.json

@@ -0,0 +1,46 @@
+{
+  "alora_invocation_tokens": null,
+  "alpha_pattern": {},
+  "arrow_config": null,
+  "auto_mapping": null,
+  "base_model_name_or_path": "Qwen/Qwen2-VL-2B-Instruct",
+  "bias": "none",
+  "corda_config": null,
+  "ensure_weight_tying": false,
+  "eva_config": null,
+  "exclude_modules": null,
+  "fan_in_fan_out": false,
+  "inference_mode": true,
+  "init_lora_weights": true,
+  "layer_replication": null,
+  "layers_pattern": null,
+  "layers_to_transform": null,
+  "loftq_config": {},
+  "lora_alpha": 32,
+  "lora_bias": false,
+  "lora_dropout": 0.05,
+  "megatron_config": null,
+  "megatron_core": "megatron.core",
+  "modules_to_save": null,
+  "peft_type": "LORA",
+  "peft_version": "0.18.0",
+  "qalora_group_size": 16,
+  "r": 16,
+  "rank_pattern": {},
+  "revision": null,
+  "target_modules": [
+    "down_proj",
+    "o_proj",
+    "gate_proj",
+    "k_proj",
+    "q_proj",
+    "up_proj",
+    "v_proj"
+  ],
+  "target_parameters": null,
+  "task_type": "CAUSAL_LM",
+  "trainable_token_indices": null,
+  "use_dora": false,
+  "use_qalora": false,
+  "use_rslora": false
+}

adapter_model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:60d95b10b6e140a9626a7058d5038528f2ff80148dc4569b881db56052046509
+size 40

added_tokens.json

@@ -0,0 +1,16 @@
+{
+  "<|box_end|>": 151649,
+  "<|box_start|>": 151648,
+  "<|endoftext|>": 151643,
+  "<|im_end|>": 151645,
+  "<|im_start|>": 151644,
+  "<|image_pad|>": 151655,
+  "<|object_ref_end|>": 151647,
+  "<|object_ref_start|>": 151646,
+  "<|quad_end|>": 151651,
+  "<|quad_start|>": 151650,
+  "<|video_pad|>": 151656,
+  "<|vision_end|>": 151653,
+  "<|vision_pad|>": 151654,
+  "<|vision_start|>": 151652
+}

chat_template.jinja

@@ -0,0 +1,7 @@
+{% set image_count = namespace(value=0) %}{% set video_count = namespace(value=0) %}{% for message in messages %}{% if loop.first and message['role'] != 'system' %}<|im_start|>system
+You are a helpful assistant.<|im_end|>
+{% endif %}<|im_start|>{{ message['role'] }}
+{% if message['content'] is string %}{{ message['content'] }}<|im_end|>
+{% else %}{% for content in message['content'] %}{% if content['type'] == 'image' or 'image' in content or 'image_url' in content %}{% set image_count.value = image_count.value + 1 %}{% if add_vision_id %}Picture {{ image_count.value }}: {% endif %}<|vision_start|><|image_pad|><|vision_end|>{% elif content['type'] == 'video' or 'video' in content %}{% set video_count.value = video_count.value + 1 %}{% if add_vision_id %}Video {{ video_count.value }}: {% endif %}<|vision_start|><|video_pad|><|vision_end|>{% elif 'text' in content %}{{ content['text'] }}{% endif %}{% endfor %}<|im_end|>
+{% endif %}{% endfor %}{% if add_generation_prompt %}<|im_start|>assistant
+{% endif %}

preprocessor_config.json

@@ -0,0 +1,39 @@
+{
+  "crop_size": null,
+  "data_format": "channels_first",
+  "default_to_square": true,
+  "device": null,
+  "disable_grouping": null,
+  "do_center_crop": null,
+  "do_convert_rgb": true,
+  "do_normalize": true,
+  "do_pad": null,
+  "do_rescale": true,
+  "do_resize": true,
+  "image_mean": [
+    0.48145466,
+    0.4578275,
+    0.40821073
+  ],
+  "image_processor_type": "Qwen2VLImageProcessorFast",
+  "image_std": [
+    0.26862954,
+    0.26130258,
+    0.27577711
+  ],
+  "input_data_format": null,
+  "max_pixels": 12845056,
+  "merge_size": 2,
+  "min_pixels": 3136,
+  "pad_size": null,
+  "patch_size": 14,
+  "processor_class": "Qwen2VLProcessor",
+  "resample": 3,
+  "rescale_factor": 0.00392156862745098,
+  "return_tensors": null,
+  "size": {
+    "longest_edge": 12845056,
+    "shortest_edge": 3136
+  },
+  "temporal_patch_size": 2
+}

special_tokens_map.json

@@ -0,0 +1,31 @@
+{
+  "additional_special_tokens": [
+    "<|im_start|>",
+    "<|im_end|>",
+    "<|object_ref_start|>",
+    "<|object_ref_end|>",
+    "<|box_start|>",
+    "<|box_end|>",
+    "<|quad_start|>",
+    "<|quad_end|>",
+    "<|vision_start|>",
+    "<|vision_end|>",
+    "<|vision_pad|>",
+    "<|image_pad|>",
+    "<|video_pad|>"
+  ],
+  "eos_token": {
+    "content": "<|im_end|>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "pad_token": {
+    "content": "<|endoftext|>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  }
+}

tokenizer.json

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:d5827cafdfa8db5f6caa25d0867fe6cb20c100b1eabc18bdfca4f905e17e30c0
+size 11420636

tokenizer_config.json

@@ -0,0 +1,144 @@
+{
+  "add_prefix_space": false,
+  "added_tokens_decoder": {
+    "151643": {
+      "content": "<|endoftext|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "151644": {
+      "content": "<|im_start|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "151645": {
+      "content": "<|im_end|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "151646": {
+      "content": "<|object_ref_start|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "151647": {
+      "content": "<|object_ref_end|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "151648": {
+      "content": "<|box_start|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "151649": {
+      "content": "<|box_end|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "151650": {
+      "content": "<|quad_start|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "151651": {
+      "content": "<|quad_end|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "151652": {
+      "content": "<|vision_start|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "151653": {
+      "content": "<|vision_end|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "151654": {
+      "content": "<|vision_pad|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "151655": {
+      "content": "<|image_pad|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "151656": {
+      "content": "<|video_pad|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    }
+  },
+  "additional_special_tokens": [
+    "<|im_start|>",
+    "<|im_end|>",
+    "<|object_ref_start|>",
+    "<|object_ref_end|>",
+    "<|box_start|>",
+    "<|box_end|>",
+    "<|quad_start|>",
+    "<|quad_end|>",
+    "<|vision_start|>",
+    "<|vision_end|>",
+    "<|vision_pad|>",
+    "<|image_pad|>",
+    "<|video_pad|>"
+  ],
+  "bos_token": null,
+  "clean_up_tokenization_spaces": false,
+  "eos_token": "<|im_end|>",
+  "errors": "replace",
+  "extra_special_tokens": {},
+  "model_max_length": 32768,
+  "pad_token": "<|endoftext|>",
+  "padding_side": "left",
+  "processor_class": "Qwen2VLProcessor",
+  "split_special_tokens": false,
+  "tokenizer_class": "Qwen2Tokenizer",
+  "unk_token": null
+}

video_preprocessor_config.json

@@ -0,0 +1,43 @@
+{
+  "crop_size": null,
+  "data_format": "channels_first",
+  "default_to_square": true,
+  "device": null,
+  "do_center_crop": null,
+  "do_convert_rgb": true,
+  "do_normalize": true,
+  "do_rescale": true,
+  "do_resize": true,
+  "do_sample_frames": false,
+  "fps": null,
+  "image_mean": [
+    0.48145466,
+    0.4578275,
+    0.40821073
+  ],
+  "image_std": [
+    0.26862954,
+    0.26130258,
+    0.27577711
+  ],
+  "input_data_format": null,
+  "max_frames": 768,
+  "max_pixels": 12845056,
+  "merge_size": 2,
+  "min_frames": 4,
+  "min_pixels": 3136,
+  "num_frames": null,
+  "pad_size": null,
+  "patch_size": 14,
+  "processor_class": "Qwen2VLProcessor",
+  "resample": 3,
+  "rescale_factor": 0.00392156862745098,
+  "return_metadata": false,
+  "size": {
+    "longest_edge": 12845056,
+    "shortest_edge": 3136
+  },
+  "temporal_patch_size": 2,
+  "video_metadata": null,
+  "video_processor_type": "Qwen2VLVideoProcessor"
+}