Upload README.md with huggingface_hub

README.md

@@ -1,113 +1,82 @@
 ---
-title: Global API Data Harvester - 10 Sources
+title: Global Data Harvester
 emoji: 🌍
 colorFrom: blue
-colorTo: green
+colorTo: purple
 sdk: streamlit
 sdk_version: 1.28.0
-app_file: app_enhanced.py
+app_file: app_modern.py
 pinned: false
 license: mit
 ---
 
-# 🌍 Global API Data Harvester - 10 Data Sources
-
-En avancerad webbapplikation för automatisk datainsamling från svenska myndigheter, EU-organisationer och internationella institutioner med AI-driven endpoint discovery och bulk data collection.
-
-## Funktioner
-
-### Stödda API:er (10 datakällor)
-
-#### 🇸🇪 Svenska myndigheter:
-- **Skolverket** - Skolenheter, utbildningstillfällen, läroplaner, SUSA-navet
-- **SCB** - Officiell statistik om befolkning, ekonomi, arbetsmarknad
-- **Kolada** - Nyckeltal för kommuner och regioner
-- **Riksbanken** - Finansiell statistik, valutakurser, räntor
-- **Swecris** - Forskningsprojekt, finansiering, publikationer (VR)
-- **CSN** - Statistik om studiestöd och studielån (PX-Web)
-
-#### 🌍 Internationella organisationer:
-- **Eurostat** - EU-statistik om utbildning, befolkning, ekonomi
-- **WHO** - Global hälsostatistik via GHO API
-- **OECD** - Ekonomiska och sociala indikatorer (SDMX)
-- **Världsbanken** - Global utvecklingsdata och indikatorer
-
-### Huvudfunktioner
-- 🏠 **Dashboard Homepage** - Overview av alla API:er med realtidsstatistik
-- 🔍 **Automatic Endpoint Discovery** - AI-driven scanning av API dokumentation
-- 📊 **Bulk Data Collection** - Parallel datahämtning från alla endpoints
-- 💾 **Database Storage** - SQLite databas med full data management
-- 📈 **Progress Tracking** - Realtidsövervakning av datainsamling
-- 📁 **Export & Backup** - Fullständig dataexport med backup-funktionalitet
-
-### Teknisk implementation
-- **Asynkron datahämtning** med `aiohttp`
-- **XML/JSON parsing** med automatisk formatdetektering
-- **Rate limiting** hantering för API:er som SCB
-- **Felhantering** med detaljerade felmeddelanden
-- **Caching** för optimerad prestanda
-
-## Installation
-
-```bash
-pip install -r requirements.txt
-streamlit run app.py
-```
-
-## Användning
-
-1. Välj API-källa i sidopanelen
-2. Konfigurera parametrar för den valda API:n
-3. Aktivera kontinuerlig hämtning om önskat
-4. Klicka "Hämta Data" för att starta
-5. Exportera resultat som JSON eller CSV
-
-## API-specifikationer
-
-### Skolverket
-- **Endpoints**: Planerade utbildningar, Skolenhetsregistret, Läroplaner
-- **Format**: JSON/XML
-- **Rate limit**: Ingen
-- **Auth**: Ingen
-
-### SCB  
-- **Endpoints**: Befolkning, ekonomi
-- **Format**: JSON/XML
-- **Rate limit**: 10 anrop/10 sekunder
-- **Auth**: Ingen
-
-### Kolada
-- **Endpoints**: KPI-data, kommundata
-- **Format**: JSON
-- **Rate limit**: Ingen
-- **Auth**: Ingen
-
-### Världsbanken
-- **Endpoints**: Indikatorer, länderdata
-- **Format**: JSON/XML/CSV
-- **Rate limit**: Ingen
-- **Auth**: Ingen
-
-### Riksbanken
-- **Endpoints**: Valutakurser, räntor
-- **Format**: JSON/XML/CSV
-- **Rate limit**: Ingen
-- **Auth**: Ingen
-
-### CSN
-- **Endpoints**: Studiestöd via PX-Web
-- **Format**: JSON/XML/CSV
-- **Rate limit**: Ingen
-- **Auth**: Ingen
-
-## Kontinuerlig datahämtning
-
-Aktivera "Kontinuerlig datahämtning" för att:
-- Automatiskt hämta data med konfigurerbart intervall (10-300 sekunder)
-- Bygga tidsserier av data
-- Övervaka förändringar i realtid
-- Spara all hämtningshistorik
-
-## Licens
-
-MIT License - följ respektive API:s användarvillkor.
+# 🌍 Global Data Harvester
+
+Modern, minimalist web application for intelligent data collection from 10 international sources with real-time processing and beautiful visualizations.
+
+## ✨ Features
+
+### 🌍 **10 Data Sources** - Verified API endpoints based on 2024 documentation
+- 🇸🇪 **Swedish Government**: Skolverket, SCB, Kolada, Riksbanken, Swecris, CSN
+- 🌍 **International**: Eurostat, WHO, OECD, World Bank
+
+### 🎯 **Modern Interface**
+- **Minimalist Design** - Clean, gradient interface with glass morphism
+- **Real-time Metrics** - Live status indicators and progress tracking  
+- **Interactive Cards** - Hover effects and modern UI components
+- **Responsive Layout** - Works perfectly on all devices
+
+### 🚀 **Smart Features**
+- **One-click Bulk Fetch** - Collect from all APIs simultaneously
+- **Auto-deduplication** - SHA256 hashing prevents duplicate data
+- **Rate Limiting** - Automatic compliance (SCB: 10 req/10 sec)
+- **Error Handling** - Graceful failures with detailed reporting
+- **Real-time Visualization** - Plotly charts and interactive graphs
+
+### 🔧 **Technical Implementation**
+- **Modern Python Stack** - Streamlit, Plotly, Pandas, Requests
+- **SQLite Database** - Lightweight, embedded data storage
+- **Async Processing** - Non-blocking data collection
+- **API Authentication** - Secure handling of tokens (Swecris)
+- **Format Support** - JSON, XML, SDMX, PX-Web, HAL+JSON
+
+## 📊 **API Details**
+
+### Swedish Sources
+- **Skolverket**: Education data, school units, curricula (HAL+JSON)
+- **SCB**: Population, economy statistics (Rate limit: 10/10 sec)  
+- **Kolada**: Municipal KPIs and regional data
+- **Riksbanken**: Exchange rates, interest rates (EUR/SEK, USD/SEK)
+- **Swecris**: Research projects (Bearer token auth)
+- **CSN**: Student aid statistics (PX-Web format)
+
+### International Sources  
+- **Eurostat**: EU statistics (JSON-stat 2.0 format)
+- **WHO**: Global health indicators (GHO API)
+- **OECD**: Economic indicators (SDMX format)
+- **World Bank**: Development data (JSON format, v2 API)
+
+## 🚀 **Usage**
+
+1. **Individual Fetch** - Click any API card to fetch data from that source
+2. **Bulk Collection** - Use "Fetch All APIs" for comprehensive data gathering
+3. **Real-time Monitoring** - Watch live metrics and progress indicators
+4. **Data Preview** - Explore fetched data with interactive tables
+5. **Export & Analysis** - Download results in JSON format
+
+## 🎨 **Modern Design**
+
+- **Glass Morphism** - Translucent cards with backdrop blur
+- **Gradient Backgrounds** - Beautiful blue-to-purple gradients  
+- **Status Indicators** - Color-coded API health monitoring
+- **Smooth Animations** - CSS transitions and hover effects
+- **Responsive Grid** - Adaptive layout for all screen sizes
+
+## 📈 **Data Visualization**
+
+- **Success Rate Pie Charts** - Visual fetch status overview
+- **Records Bar Charts** - Compare data volume by API
+- **Real-time Metrics** - Live updating counters and indicators
+- **Interactive Tables** - Sortable, filterable data preview
+
+Built with modern web technologies for a seamless user experience.