Create indexer.py

indexer.py

@@ -0,0 +1,119 @@
+import sqlite3
+import hashlib
+from datetime import datetime
+
+def create_database():
+    """إنشاء قاعدة البيانات وجداولها"""
+    conn = sqlite3.connect('news_database.db')
+    cursor = conn.cursor()
+    
+    # جدول الأخبار
+    cursor.execute('''
+        CREATE TABLE IF NOT EXISTS news (
+            id TEXT PRIMARY KEY,
+            title TEXT NOT NULL,
+            link TEXT UNIQUE,
+            summary TEXT,
+            source TEXT,
+            date TEXT,
+            search_terms TEXT
+        )
+    ''')
+    
+    # جدول للصور
+    cursor.execute('''
+        CREATE TABLE IF NOT EXISTS images (
+            id TEXT PRIMARY KEY,
+            title TEXT,
+            image_url TEXT,
+            source_url TEXT,
+            thumbnail TEXT,
+            date TEXT,
+            search_terms TEXT
+        )
+    ''')
+    
+    # جدول للفيديوهات
+    cursor.execute('''
+        CREATE TABLE IF NOT EXISTS videos (
+            id TEXT PRIMARY KEY,
+            title TEXT,
+            video_url TEXT,
+            thumbnail TEXT,
+            duration TEXT,
+            source TEXT,
+            date TEXT,
+            search_terms TEXT
+        )
+    ''')
+    
+    conn.commit()
+    conn.close()
+    print("✅ تم إنشاء قاعدة البيانات بنجاح")
+
+def save_news_to_db(news_list):
+    """حفظ الأخبار في قاعدة البيانات"""
+    conn = sqlite3.connect('news_database.db')
+    cursor = conn.cursor()
+    count = 0
+    
+    for news in news_list:
+        # إنشاء معرف فريد للخبر
+        news_id = hashlib.md5(news['link'].encode()).hexdigest()
+        
+        # تحضير كلمات البحث
+        search_terms = ' '.join([news['title'], news['summary'], news['source']]).lower()
+        
+        try:
+            cursor.execute('''
+                INSERT OR REPLACE INTO news 
+                (id, title, link, summary, source, date, search_terms)
+                VALUES (?, ?, ?, ?, ?, ?, ?)
+            ''', (news_id, news['title'], news['link'], news['summary'], 
+                  news['source'], news['date'], search_terms))
+            count += 1
+        except Exception as e:
+            print(f"خطأ في حفظ الخبر: {e}")
+    
+    conn.commit()
+    conn.close()
+    print(f"✅ تم حفظ {count} خبر في قاعدة البيانات")
+    return count
+
+def save_sample_images():
+    """حفظ صور تجريبية"""
+    conn = sqlite3.connect('news_database.db')
+    cursor = conn.cursor()
+    
+    sample_images = [
+        {
+            'title': 'صورة تجريبية 1',
+            'image_url': 'https://picsum.photos/id/1/200/150',
+            'thumbnail': 'https://picsum.photos/id/1/100/75',
+            'source_url': '#'
+        },
+        {
+            'title': 'صورة تجريبية 2',
+            'image_url': 'https://picsum.photos/id/2/200/150',
+            'thumbnail': 'https://picsum.photos/id/2/100/75',
+            'source_url': '#'
+        }
+    ]
+    
+    for img in sample_images:
+        img_id = hashlib.md5(img['image_url'].encode()).hexdigest()
+        search_terms = img['title'].lower()
+        
+        cursor.execute('''
+            INSERT OR IGNORE INTO images 
+            (id, title, image_url, thumbnail, source_url, date, search_terms)
+            VALUES (?, ?, ?, ?, ?, ?, ?)
+        ''', (img_id, img['title'], img['image_url'], img['thumbnail'], 
+              img['source_url'], datetime.now().strftime('%Y-%m-%d'), search_terms))
+    
+    conn.commit()
+    conn.close()
+    print("✅ تم حفظ صور تجريبية")
+
+if __name__ == '__main__':
+    create_database()