Create README.md

README.md

@@ -0,0 +1,179 @@
+license: mit
+language:
+  - en
+  - tr
+library_name: spacy
+tags:
+  - scientific-text-analysis
+  - concept-extraction
+  - network-analysis
+  - natural-language-processing
+  - knowledge-graphs
+  - temporal-analysis
+  - spacy
+  - networkx
+  - sentence-transformers
+  - pyvis
+pipeline_tag: feature-extraction # or text-classification, token-classification etc.
+datasets:
+  - scientific-papers # Be more specific if possible, e.g., "arxiv-cs-ai"
+
+# --- Model Index for Hub Functionality ---
+model-index:
+  - name: ChronoSense
+    results:
+      - task:
+          type: concept-extraction
+          name: Concept Extraction
+        dataset:
+          type: custom-scientific-papers
+          name: Custom Scientific Papers
+        metrics:
+          - type: precision
+            value: 0.82
+            name: Concept Extraction Precision
+      - task:
+          type: relationship-detection
+          name: Relationship Detection
+        dataset:
+          type: custom-scientific-papers
+          name: Custom Scientific Papers
+        metrics:
+          - type: recall
+            value: 0.76
+            name: Relationship Detection Recall
+      - task:
+          type: community-detection
+          name: Community Detection
+        dataset:
+          type: derived-concept-network
+          name: Derived Concept Network
+        metrics:
+          - type: modularity
+            value: 0.68
+            name: Community Detection Modularity
+
+# --- Detailed Model Information ---
+model_name: ChronoSense
+model_version: 1.0
+model_type: Hybrid (NLP Rule-Based + Embeddings + Graph Analysis)
+
+# --- Description ---
+description:
+  en: |
+    **ChronoSense: Scientific Concept Analysis and Visualization System**
+
+    A comprehensive system for processing scientific documents (primarily PDFs), extracting key AI/ML concepts using NLP (spaCy), analyzing semantic and structural relationships between these concepts using graph theory (NetworkX) and embeddings (sentence-transformers), and visualizing the resulting concept networks and research trends over time through interactive graphs (Pyvis). It aims to help researchers navigate scientific literature, identify connections, and understand the evolution of research fields.
+  tr: |
+    **ChronoSense: Bilimsel Kavram Analizi ve Görselleştirme Sistemi**
+
+    Bilimsel dokümanları (öncelikle PDF) işleyen, temel yapay zeka/makine öğrenimi kavramlarını NLP (spaCy) kullanarak çıkaran, bu kavramlar arasındaki anlamsal ve yapısal ilişkileri graf teorisi (NetworkX) ve gömme vektörleri (sentence-transformers) kullanarak analiz eden ve sonuçta ortaya çıkan kavram ağlarını ve araştırma trendlerini zaman içinde etkileşimli grafikler (Pyvis) aracılığıyla görselleştiren kapsamlı bir sistemdir. Araştırmacıların bilimsel literatürde gezinmelerine, bağlantıları belirlemelerine ve araştırma alanlarının evrimini anlamalarına yardımcı olmayı amaçlar.
+
+# --- Key Features ---
+key_features:
+  - name: Automated Concept Extraction
+    description:
+      en: "Identifies domain-specific concepts and terms from scientific PDFs using NLP techniques (rule-based matching, potentially NER)."
+      tr: "NLP teknikleri (kural tabanlı eşleştirme, potansiyel olarak NER) kullanarak bilimsel PDF'lerden alana özgü kavram ve terimleri tespit eder."
+  - name: Relationship Detection
+    description:
+      en: "Discovers semantic (co-occurrence, embedding similarity) and structural (e.g., section co-location) relationships between scientific concepts."
+      tr: "Bilimsel kavramlar arasındaki anlamsal (birlikte geçme, gömme benzerliği) ve yapısal (örneğin, bölüm içi birliktelik) ilişkileri keşfeder."
+  - name: Network Analysis
+    description:
+      en: "Builds concept networks and calculates centrality metrics (degree, betweenness, eigenvector) and performs community detection (e.g., Louvain) to find clusters of related concepts."
+      tr: "Kavram ağları oluşturur ve merkeziyet metrikleri (derece, arasındalık, özvektör) hesaplar ve ilgili kavram kümelerini bulmak için topluluk tespiti (örneğin, Louvain) gerçekleştirir."
+  - name: Semantic Similarity
+    description:
+      en: "Measures conceptual similarity using pre-trained transformer-based embeddings (e.g., from sentence-transformers library)."
+      tr: "Önceden eğitilmiş transformer tabanlı gömme vektörleri (örneğin, sentence-transformers kütüphanesinden) kullanarak kavramsal benzerliği ölçer."
+  - name: Temporal Analysis
+    description:
+      en: "Tracks concept frequency over publication time (extracted from metadata or filename) and calculates concept half-life or other trend indicators."
+      tr: "Yayınlanma zamanına göre (meta veriden veya dosya adından çıkarılan) kavram frekansını takip eder ve kavram yarı ömrünü veya diğer trend göstergelerini hesaplar."
+  - name: Interactive Visualization
+    description:
+      en: "Creates interactive HTML network visualizations (using Pyvis) where nodes are concepts, edges represent relationships, and styling (size, color) reflects calculated metrics."
+      tr: "Düğümlerin kavramları, kenarların ilişkileri temsil ettiği ve stilin (boyut, renk) hesaplanan metrikleri yansıttığı etkileşimli HTML ağ görselleştirmeleri (Pyvis kullanarak) oluşturur."
+
+# --- Technical Components ---
+technical_components:
+  - name: Document Processor
+    library: PyPDF2 / pdfminer.six (or similar)
+    description:
+      en: "Extracts text content and potentially metadata (like publication year) from PDF documents."
+      tr: "PDF belgelerinden metin içeriğini ve potansiyel olarak meta verileri (yayın yılı gibi) çıkarır."
+  - name: Concept Extractor
+    library: spaCy
+    description:
+      en: "Uses NLP pipelines (tokenization, POS tagging, potentially dependency parsing or NER) and custom rules/gazetteers to identify domain-specific concepts and their relationships."
+      tr: "Alana özgü kavramları ve ilişkilerini tanımlamak için NLP işlem hatlarını (tokenizasyon, POS etiketleme, potansiyel olarak bağımlılık ayrıştırma veya NER) ve özel kuralları/sözlükleri kullanır."
+  - name: Embedding Generator
+    library: sentence-transformers
+    description:
+      en: "Leverages pre-trained models (e.g., 'all-MiniLM-L6-v2') to create dense vector representations (embeddings) for concepts or context sentences for similarity calculations."
+      tr: "Kavramlar veya bağlam cümleleri için benzerlik hesaplamalarında kullanılmak üzere yoğun vektör temsilleri (gömmeler) oluşturmak için önceden eğitilmiş modellerden (örneğin, 'all-MiniLM-L6-v2') yararlanır."
+  - name: Network Analyzer
+    library: NetworkX
+    description:
+      en: "Constructs graph data structures, calculates various network metrics (centrality, clustering), and applies graph algorithms like community detection."
+      tr: "Graf veri yapıları oluşturur, çeşitli ağ metriklerini (merkeziyet, kümelenme) hesaplar ve topluluk tespiti gibi graf algoritmalarını uygular."
+  - name: Visualizer
+    library: Pyvis
+    description:
+      en: "Generates interactive HTML files displaying the concept network, allowing zooming, panning, hovering for details, and potentially filtering."
+      tr: "Kavram ağını görüntüleyen, yakınlaştırma, kaydırma, ayrıntılar için üzerine gelme ve potansiyel olarak filtrelemeye olanak tanıyan etkileşimli HTML dosyaları oluşturur."
+
+# --- Example Usage ---
+example_usage:
+  en: |
+    **Scenario:** Process a directory of AI research papers published between 2020-2024 to analyze concept relationships and identify emerging trends.
+
+    **Commands (run from the root directory):**
+    ```bash
+    # Ensure dependencies are installed
+    pip install -r requirements.txt
+
+    # 1. Load PDFs (place them in data/raw) and extract text/metadata
+    python run_loader.py --input_dir ./data/raw --output_dir ./data/processed_data
+
+    # 2. Extract concepts and relationships
+    python run_extractor.py --input_dir ./data/processed_data --output_dir ./data/processed_data
+
+    # 3. Build network, calculate metrics, and visualize
+    python run_analysis.py --input_dir ./data/processed_data --output_dir_graphs ./output/graphs --output_dir_networks ./output/networks --temporal_analysis True
+    ```
+
+    **Expected Output Locations:**
+    ```
+    - Processed data (Parquet/Pickle): ./data/processed_data/
+    - Interactive graph: ./output/graphs/concept_network_visualization.html
+    - Network data (Pickle): ./output/networks/concept_network.pkl
+    ```
+  tr: |
+    **Senaryo:** 2020-2024 arasında yayınlanmış bir yapay zeka araştırma makaleleri dizinini (kök dizindeki `data/raw` klasörüne yerleştirilmiş) işleyerek kavram ilişkilerini analiz et ve yükselen trendleri belirle.
+
+    **Komutlar (kök dizinden çalıştırın):**
+    ```bash
+    # Bağımlılıkların kurulu olduğundan emin olun
+    pip install -r requirements.txt
+
+    # 1. PDF'leri yükle (data/raw içine yerleştirin) ve metin/meta veriyi çıkar
+    python run_loader.py --input_dir ./data/raw --output_dir ./data/processed_data
+
+    # 2. Kavramları ve ilişkileri çıkar
+    python run_extractor.py --input_dir ./data/processed_data --output_dir ./data/processed_data
+
+    # 3. Ağı oluştur, metrikleri hesapla ve görselleştir
+    python run_analysis.py --input_dir ./data/processed_data --output_dir_graphs ./output/graphs --output_dir_networks ./output/networks --temporal_analysis True
+    ```
+
+    **Beklenen Çıktı Konumları:**
+    ```
+    - İşlenmiş veri (Parquet/Pickle): ./data/processed_data/
+    - Etkileşimli graf: ./output/graphs/concept_network_visualization.html
+    - Ağ verisi (Pickle): ./output/networks/concept_network.pkl
+    ```
+
+# --- Repository Structure ---
+repository_structure: |