NextGenC commited on
Commit
6bf0edb
·
verified ·
1 Parent(s): c6c15fd

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +16 -95
README.md CHANGED
@@ -121,134 +121,55 @@ The system is modular, consisting of several Python components:
121
  ## 🚧 Limitations
122
 
123
  - **Language**
124
- Optimized for English. Performance may degrade significantly on other languages.
125
 
126
  - **Domain Specificity**
127
- Achieves best results in AI/ML domains. Adaptation (e.g., domain-specific rules or keywords) is required for other fields.
128
 
129
  - **PDF Quality**
130
- Heavily reliant on clean text extraction. Scanned PDFs, complex layouts, or poor OCR significantly reduce accuracy.
131
 
132
  - **Scalability**
133
- Processing very large corpora (e.g., >10,000 papers) may require significant computational resources or distributed infrastructure.
134
 
135
  - **Relationship Nuance**
136
- Relationships are extracted based on co-occurrence and semantic similarity. Logical or causal connections may not be captured.
137
 
138
  - **Temporal Accuracy**
139
- Depends on accurate publication date extraction from metadata or filenames. Errors may affect timeline analysis.
140
 
141
  - **Visualization Clutter**
142
- Interactive graph visualizations become cluttered and less interpretable when node count exceeds ~1000.
143
 
144
  ---
145
 
146
  ## 🌱 Future Work
147
 
148
- - **Multi-language Support**
149
- Integration of multilingual NLP models to support non-English documents.
150
 
151
  - **Citation Integration**
152
- Incorporating citation links and citation graph data into network analysis.
153
 
154
  - **ML-based Extraction**
155
- Training supervised or semi-supervised models to improve concept and relation extraction quality.
156
 
157
  - **Advanced Visualizations**
158
- Implementation of timeline views, dashboards, and alternative graph layouts (e.g., hierarchical, clustered).
159
 
160
  - **Improved Temporal Modeling**
161
- Use of advanced time-series techniques to detect emerging trends and historical shifts.
162
 
163
  - **Web Interface**
164
- A user-friendly UI for uploading documents, viewing visualizations, and downloading results.
165
 
166
  - **Knowledge Graph Export**
167
- Export capabilities for standard knowledge graph formats like RDF, OWL, or JSON-LD.
168
 
169
  - **Concept Disambiguation**
170
- Methods to differentiate between identically named but contextually distinct concepts.
171
 
172
  ---
173
- # ChronoSense: Bilimsel Kavram Analizi ve Görselleştirme Sistemi
174
-
175
- ![ChronoSense Logo](https://img.shields.io/badge/ChronoSense-v1.0-blue?style=for-the-badge)
176
- ![Durum](https://img.shields.io/badge/Status-Geliştirme-orange?style=for-the-badge)
177
- ![Lisans](https://img.shields.io/badge/License-MIT-green?style=for-the-badge)
178
- ![Python Versiyonu](https://img.shields.io/badge/Python-3.8+-yellow?style=for-the-badge)
179
-
180
- ## 🔍 Model Açıklaması
181
-
182
- **ChronoSense**, bilimsel belgelerin (özellikle PDF biçiminde) otomatik işlenmesine yönelik kapsamlı bir sistemdir. Ana amacı, bilimsel metinlerden önemli kavramları çıkarmak (**spaCy**), bu kavramlar arasındaki anlamsal ve yapısal ilişkileri analiz etmek (**NetworkX**, **sentence-transformers**) ve bu ilişkileri zaman içinde etkileşimli grafiklerle görselleştirmektir (**Pyvis**).
183
-
184
- ChronoSense, araştırmacıların yoğun bilimsel literatür ortamında daha etkin gezinebilmesini, fikirler arasındaki gizli bağlantıları keşfetmesini ve araştırma alanlarının zaman içindeki evrimini anlamasını kolaylaştırır.
185
-
186
- ## 🌟 Temel Özellikler
187
-
188
- - **📄 Otomatik PDF İşleme**: Bilimsel PDF belgelerinden metin ve varsa meta verileri (yayın yılı gibi) çıkarır.
189
- - **🧠 Kavram Çıkarımı (spaCy)**: Doğal dil işleme teknikleriyle alan-özgü kavramları tanımlar.
190
- - **🔗 İlişki Tespiti**: Kavramlar arası anlamsal (benzerlik, birlikte geçme) ve yapısal (bölüm konumları) ilişkileri ortaya çıkarır.
191
- - **🕸️ Ağ Analizi (NetworkX)**: Kavramlar arası ağ oluşturur, merkeziyet ve topluluk tespiti gibi metrikleri hesaplar.
192
- - **↔️ Anlamsal Benzerlik (sentence-transformers)**: Kavramlar arası benzerliği önceden eğitilmiş gömülü modellerle ölçer.
193
- - **⏳ Zamansal Analiz**: Kavramların zaman içindeki frekanslarını ve trendlerini izler.
194
- - **📊 Etkileşimli Görselleştirme (Pyvis)**: Kavram ağı grafiğini HTML olarak etkileşimli şekilde sunar.
195
-
196
- ## 🚀 ChronoSense Ne İçin Faydalı?
197
-
198
- ChronoSense, araştırmacıların karşılaştığı birçok önemli zorluğu hedef alır:
199
-
200
- 1. **Bilgi Aşırılığına Karşı**: Geniş literatürden önemli kavramları otomatik çıkarır ve yapılandırır.
201
- 2. **Gizli Bağlantıları Keşfetme**: Farklı dönem ve çalışmalardan gelen kavramlar arasındaki örtük ilişkileri ortaya çıkarır.
202
- 3. **Araştırma Dinamiklerini Takip Etme**: Hangi kavramların öne çıktığını, ne zaman zirve yaptığını ve azaldığını gösterir.
203
- 4. **Araştırma Boşluklarını Belirleme**: Ağ yapısı sayesinde yeterince çalışılmamış alanları saptar.
204
- 5. **Literatür Taramalarını Hızlandırma**: Bir alanın kavramsal haritasını hızlıca sunar.
205
- 6. **Bilgi Keşfini Kolaylaştırma**: Karmaşık bilimsel bilgileri görselleştirerek erişilebilir hale getirir.
206
-
207
- ## 💡 Hedef Kullanım Alanları
208
-
209
- ChronoSense aşağıdaki amaçlar için idealdir:
210
-
211
- - **🔬 Alan Analizi**: Belirli bir bilimsel alanın yapısını ve evrimini analiz etmek.
212
- - **📚 Literatür Taramaları**: Anahtar kavramlar, ilişkiler ve eğilimleri tespit etmek.
213
- - **🗺️ Bilgi Haritalama**: Kavramlar arası ilişkilerin görsel haritasını çıkarmak.
214
- - **📈 Yükselen Trendleri Tespit Etmek**: Zaman içinde öne çıkan kavramları belirlemek.
215
- - **🤔 Araştırma Boşluklarını Bulmak**: Az bağlantılı veya yalıtılmış kavramları belirlemek.
216
- - **🎓 Eğitim Amaçlı**: Kavramsal ilişkileri ve hiyerarşileri öğretmek.
217
-
218
- ## 🛠️ Uygulama Detayları
219
-
220
- Sistem aşağıdaki Python modüllerinden oluşur:
221
-
222
- - `src/data_management/loaders.py`: PDF yükleme ve metin/metadata çıkarımı.
223
- - `src/extraction/extractor.py`: spaCy ile kavram çıkarımı ve ilişki tespiti.
224
- - `src/analysis/similarity.py`: sentence-transformers ile gömülü üretimi ve benzerlik hesaplaması.
225
- - `src/analysis/network_builder.py`: Kavram ağı oluşturur.
226
- - `src/analysis/network_analysis.py`: Ağ metrikleri ve topluluk analizi yapar.
227
- - `src/analysis/temporal.py`: Kavramların zaman içindeki frekanslarını analiz eder.
228
- - `src/visualization/plotting.py`: Pyvis ile etkileşimli grafikler üretir.
229
- - `src/data_management/storage.py`: İşlenmiş verileri Parquet/Pickle olarak kaydeder.
230
-
231
- ## 📥 Girdiler / 📤 Çıktılar
232
-
233
- ### Girdi:
234
- - PDF belgelerinden oluşan bir klasör (`data/raw/`)
235
- - Yapılandırma dosyası ve parametreler
236
-
237
- ### Çıktı:
238
- - `data/processed_data/` altında:
239
- - `documents.parquet`, `concepts.parquet`, `relationships.parquet`
240
- - `concept_embeddings.pkl`, `mentions.parquet`
241
- - `output/graphs/concept_network_visualization.html`
242
- - `output/networks/concept_network.pkl`
243
- - Opsiyonel görseller (`output/*.png`)
244
-
245
- ## 📊 Performans
246
-
247
- - **Kavram Tanımlama Başarımı**: AI/ML alanında yaklaşık %82 doğruluk.
248
- - **İlişki Geri Çağırma**: %76 civarında bölüm seviyesinde co-occurrence.
249
- - **Ağ Yapısı**: NetworkX metrikleri, topluluk modülerliği ~0.68.
250
- - **İşleme Hızı**: Orta düzey CPU’da ~25 sayfa/dakika.
251
-
252
 
253
  ## 📁 Project Structure (ALL)
254
 
 
121
  ## 🚧 Limitations
122
 
123
  - **Language**
124
+ 1- Optimized for English. Performance may degrade significantly on other languages.
125
 
126
  - **Domain Specificity**
127
+ 1- Achieves best results in AI/ML domains. Adaptation (e.g., domain-specific rules or keywords) is required for other fields.
128
 
129
  - **PDF Quality**
130
+ 1- Heavily reliant on clean text extraction. Scanned PDFs, complex layouts, or poor OCR significantly reduce accuracy.
131
 
132
  - **Scalability**
133
+ 1- Processing very large corpora (e.g., >10,000 papers) may require significant computational resources or distributed infrastructure.
134
 
135
  - **Relationship Nuance**
136
+ 1- Relationships are extracted based on co-occurrence and semantic similarity. Logical or causal connections may not be captured.
137
 
138
  - **Temporal Accuracy**
139
+ 1- Depends on accurate publication date extraction from metadata or filenames. Errors may affect timeline analysis.
140
 
141
  - **Visualization Clutter**
142
+ 1- Interactive graph visualizations become cluttered and less interpretable when node count exceeds ~1000.
143
 
144
  ---
145
 
146
  ## 🌱 Future Work
147
 
148
+ - **Multi-language Support**
149
+ 1- Integration of multilingual NLP models to support non-English documents.
150
 
151
  - **Citation Integration**
152
+ 1- Incorporating citation links and citation graph data into network analysis.
153
 
154
  - **ML-based Extraction**
155
+ 1- Training supervised or semi-supervised models to improve concept and relation extraction quality.
156
 
157
  - **Advanced Visualizations**
158
+ 1- Implementation of timeline views, dashboards, and alternative graph layouts (e.g., hierarchical, clustered).
159
 
160
  - **Improved Temporal Modeling**
161
+ 1- Use of advanced time-series techniques to detect emerging trends and historical shifts.
162
 
163
  - **Web Interface**
164
+ 1- A user-friendly UI for uploading documents, viewing visualizations, and downloading results.
165
 
166
  - **Knowledge Graph Export**
167
+ 1- Export capabilities for standard knowledge graph formats like RDF, OWL, or JSON-LD.
168
 
169
  - **Concept Disambiguation**
170
+ 1- Methods to differentiate between identically named but contextually distinct concepts.
171
 
172
  ---
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
173
 
174
  ## 📁 Project Structure (ALL)
175