Update app.py

app.py

@@ -130,6 +130,8 @@ class WebsiteAnalyzer:
         domain = urlparse(url).netloc
         
         try:
+            # استخدام بيانات من SimilarWeb API (تحتاج لمفتاح API حقيقي)
+            similar_web_traffic = await self._get_similarweb_data(domain)
             
             # استخدام بيانات من Alexa (إذا كانت متوفرة)
             alexa_rank = await self._get_alexa_rank(domain)
@@ -508,167 +510,415 @@ class WebsiteAnalyzer:
         else:
             return "موثوقية منخفضة ⛔"
     def _analyze_description(self, description):
-        if not description:
-            return {
-                'score': "0/10",
-                'recommendations': ["يجب إضافة وصف للصفحة"]
-            }
-        
-        score = 10
-        recommendations = []
-        
-        if len(description) < 120:
-            score -= 2
-            recommendations.append("الوصف قصير جداً، يُفضل أن يكون بين 120-155 حرفاً")
-        elif len(description) > 155:
-            score -= 2
-            recommendations.append("الوصف طويل جداً، يجب تقصيره إلى 155 حرفاً كحد أقصى")
-            
-        if not any(char in description.lower() for char in ['ما', 'كيف', 'لماذا', 'متى', 'أين']):
-            score -= 1
-            recommendations.append("أضف كلمات استفهامية لجذب المزيد من النقرات")
-            
+    if not description:
         return {
-            'score': f"{score}/10",
-            'recommendations': recommendations
+            'score': "0/10",
+            'recommendations': ["يجب إضافة وصف للصفحة"]
         }
-
-    def _extract_keywords(self, soup):
-        # استخراج النص من العناصر المهمة
-        text_elements = []
-        for tag in ['h1', 'h2', 'h3', 'p', 'li']:
-            elements = soup.find_all(tag)
-            for element in elements:
-                text_elements.append(element.get_text())
+    
+    score = 10
+    recommendations = []
+    
+    if len(description) < 120:
+        score -= 2
+        recommendations.append("الوصف قصير جداً، يُفضل أن يكون بين 120-155 حرفاً")
+    elif len(description) > 155:
+        score -= 2
+        recommendations.append("الوصف طويل جداً، يجب تقصيره إلى 155 حرفاً كحد أقصى")
         
-        # تنظيف النص
-        text = ' '.join(text_elements)
-        words = re.findall(r'\b\w+\b', text.lower())
+    if not any(char in description.lower() for char in ['ما', 'كيف', 'لماذا', 'متى', 'أين']):
+        score -= 1
+        recommendations.append("أضف كلمات استفهامية لجذب المزيد من النقرات")
         
-        # حذف الكلمات الشائعة
-        stop_words = set(['في', 'من', 'على', 'إلى', 'عن', 'مع', 'هذا', 'هذه', 'تلك', 'ذلك'])
-        words = [word for word in words if word not in stop_words and len(word) > 2]
+    return {
+        'score': f"{score}/10",
+        'recommendations': recommendations
+    }
+
+def _extract_keywords(self, soup):
+    # استخراج النص من العناصر المهمة
+    text_elements = []
+    for tag in ['h1', 'h2', 'h3', 'p', 'li']:
+        elements = soup.find_all(tag)
+        for element in elements:
+            text_elements.append(element.get_text())
+    
+    # تنظيف النص
+    text = ' '.join(text_elements)
+    words = re.findall(r'\b\w+\b', text.lower())
+    
+    # حذف الكلمات الشائعة
+    stop_words = set(['في', 'من', 'على', 'إلى', 'عن', 'مع', 'هذا', 'هذه', 'تلك', 'ذلك'])
+    words = [word for word in words if word not in stop_words and len(word) > 2]
+    
+    # حساب تكرار الكلمات
+    word_freq = {}
+    for word in words:
+        word_freq[word] = word_freq.get(word, 0) + 1
+    
+    # ترتيب الكلمات حسب التكرار
+    sorted_keywords = sorted(word_freq.items(), key=lambda x: x[1], reverse=True)
+    return [word for word, freq in sorted_keywords[:10]]
+
+def _analyze_links(self, soup, base_url):
+    internal_links = []
+    external_links = []
+    base_domain = urlparse(base_url).netloc
+    
+    for link in soup.find_all('a', href=True):
+        href = link['href']
+        if href.startswith('/') or base_domain in href:
+            internal_links.append(href)
+        elif href.startswith('http'):
+            external_links.append(href)
+    
+    return internal_links, external_links
+
+def _analyze_content(self, soup):
+    # استخراج النص الكامل
+    text = ' '.join([p.get_text() for p in soup.find_all('p')])
+    words = text.split()
+    
+    # حساب كثافة الكلمات المفتاحية
+    keywords = self._extract_keywords(soup)
+    keyword_count = sum(text.lower().count(keyword) for keyword in keywords)
+    keyword_density = keyword_count / len(words) if words else 0
+    
+    # تقييم تنوع المحتوى
+    content_types = {
+        'صور': len(soup.find_all('img')),
+        'فيديوهات': len(soup.find_all(['video', 'iframe'])),
+        'جداول': len(soup.find_all('table')),
+        'قوائم': len(soup.find_all(['ul', 'ol'])),
+        'عناوين': len(soup.find_all(['h1', 'h2', 'h3', 'h4', 'h5', 'h6']))
+    }
+    
+    # حساب قابلية القراءة (مقياس مبسط)
+    sentences = text.split('.')
+    avg_words_per_sentence = len(words) / len(sentences) if sentences else 0
+    
+    recommendations = []
+    if len(words) < 300:
+        recommendations.append("المحتوى قصير جداً، أضف المزيد من النصوص الغنية")
+    if keyword_density < 0.01:
+        recommendations.append("كثافة الكلمات المفتاحية منخفضة")
+    elif keyword_density > 0.05:
+        recommendations.append("كثافة الكلمات المفتاحية مرتفعة جداً")
+    if avg_words_per_sentence > 20:
+        recommendations.append("الجمل طويلة جداً، حاول تقصيرها لتحسين القراءة")
+    
+    return {
+        'word_count': len(words),
+        'keyword_density': f"{keyword_density:.2%}",
+        'content_diversity': self._evaluate_diversity(content_types),
+        'readability': self._evaluate_readability(avg_words_per_sentence),
+        'recommendations': recommendations
+    }
+
+def _evaluate_diversity(self, content_types):
+    score = 0
+    total_elements = sum(content_types.values())
+    
+    if content_types['صور'] > 0:
+        score += 2
+    if content_types['فيديوهات'] > 0:
+        score += 2
+    if content_types['جداول'] > 0:
+        score += 1
+    if content_types['قوائم'] > 0:
+        score += 1
+    if content_types['عناوين'] >= 3:
+        score += 2
+    
+    if total_elements > 10:
+        score += 2
+    
+    return f"{score}/10"
+
+def _evaluate_readability(self, avg_words_per_sentence):
+    if avg_words_per_sentence <= 12:
+        return "ممتاز"
+    elif avg_words_per_sentence <= 15:
+        return "جيد"
+    elif avg_words_per_sentence <= 20:
+        return "متوسط"
+    else:
+        return "صعب"
+
+def _evaluate_speed(self, total_load_time):
+    if total_load_time < 2:
+        return "ممتاز ⚡"
+    elif total_load_time < 3:
+        return "جيد ✅"
+    elif total_load_time < 5:
+        return "متوسط ⚠️"
+    else:
+        return "بطيء ❌"
+
+def _generate_performance_recommendations(self, metrics, resources):
+    recommendations = []
+    
+    if metrics['ttfb'] > 0.5:
+        recommendations.append("تحسين زمن استجابة الخادم")
+    
+    if resources['total_size'] > 1500:  # أكثر من 1.5 ميجابايت
+        recommendations.append("تقليل حجم الصفحة الإجمالي")
+    
+    if resources['images'] > 10:
+        recommendations.append("ضغط وتحسين الصور")
+    
+    if resources['scripts'] > 15:
+        recommendations.append("دمج وضغط ملفات JavaScript")
+    
+    if resources['stylesheets'] > 5:
+        recommendations.append("دمج ملفات CSS")
+    
+    return recommendations
+
+async def _get_similarweb_data(self, domain):
+    """
+    الحصول على بيانات حركة المرور من SimilarWeb
+    تحتاج لمفتاح API حقيقي للاستخدام
+    """
+    try:
+        # هذا مجرد مثال، يجب استبداله بمفتاح API حقيقي
+        api_key = "YOUR_SIMILARWEB_API_KEY"
+        url = f"https://api.similarweb.com/v1/website/{domain}/total-traffic-and-engagement/visits"
         
-        # حساب تكرار الكلمات
-        word_freq = {}
-        for word in words:
-            word_freq[word] = word_freq.get(word, 0) + 1
+        async with httpx.AsyncClient() as client:
+            response = await client.get(url, headers={'Authorization': api_key})
+            data = response.json()
+            return data.get('visits', 0)
+    except:
+        return None
+
+async def _get_alexa_rank(self, domain):
+    """
+    الحصول على تصنيف Alexa للموقع
+    ملاحظة: خدمة Alexa متوقفة حالياً، هذا مجرد مثال
+    """
+    try:
+        url = f"http://data.alexa.com/data?cli=10&url={domain}"
+        async with httpx.AsyncClient() as client:
+            response = await client.get(url)
+            soup = BeautifulSoup(response.text, 'xml')
+            rank = soup.find('REACH')['RANK']
+            return int(rank)
+    except:
+        return None
+
+def _rank_to_traffic(self, rank):
+    """تحويل تصنيف Alexa إلى تقدير تقريبي لحركة المرور"""
+    if not rank:
+        return None
+    # معادلة تقريبية جداً
+    return int(1000000 / (rank ** 0.6))
+
+def _calculate_security_score(self, ssl_info, security_headers):
+    score = 0
+    
+    # تقييم SSL
+    if isinstance(ssl_info, dict) and ssl_info.get("الحالة") == "✅ آمن":
+        score += 40
+    
+    # تقييم رؤوس الأمان
+    headers_score = float(security_headers.get("درجة الأمان", "0/100").split('/')[0])
+    score += headers_score * 0.6
+    
+    return f"{min(score, 100)}/100"
+
+def analyze_website(self, url):
+    """
+    تحليل شامل للموقع يشمل الأداء والأمان وSEO
+    """
+    results = {
+        "url": url,
+        "تاريخ_التحليل": datetime.now().strftime("%Y-%m-%d %H:%M:%S"),
+        "نتائج_التحليل": {}
+    }
+    
+    try:
+        # تحليل الأداء
+        performance_results = asyncio.run(self.analyze_performance(url))
+        results["نتائج_التحليل"]["الأداء"] = performance_results
         
-        # ترتيب الكلمات حسب التكرار
-        sorted_keywords = sorted(word_freq.items(), key=lambda x: x[1], reverse=True)
-        return [word for word, freq in sorted_keywords[:10]]
-
-    def _analyze_links(self, soup, base_url):
-        internal_links = []
-        external_links = []
-        base_domain = urlparse(base_url).netloc
-        
-        for link in soup.find_all('a', href=True):
-            href = link['href']
-            if href.startswith('/') or base_domain in href:
-                internal_links.append(href)
-            elif href.startswith('http'):
-                external_links.append(href)
-        
-        return internal_links, external_links
-
-    def _analyze_content(self, soup):
-        # استخراج النص الكامل
-        text = ' '.join([p.get_text() for p in soup.find_all('p')])
-        words = text.split()
+        # تحليل الأمان
+        security_results = self.analyze_security(url)
+        results["نتائج_التحليل"]["الأمان"] = security_results
         
-        # حساب كثافة الكلمات المفتاحية
-        keywords = self._extract_keywords(soup)
-        keyword_count = sum(text.lower().count(keyword) for keyword in keywords)
-        keyword_density = keyword_count / len(words) if words else 0
-        
-        # تقييم تنوع المحتوى
-        content_types = {
-            'صور': len(soup.find_all('img')),
-            'فيديوهات': len(soup.find_all(['video', 'iframe'])),
-            'جداول': len(soup.find_all('table')),
-            'قوائم': len(soup.find_all(['ul', 'ol'])),
-            'عناوين': len(soup.find_all(['h1', 'h2', 'h3', 'h4', 'h5', 'h6']))
-        }
-        
-        # حساب قابلية القراءة (مقياس مبسط)
-        sentences = text.split('.')
-        avg_words_per_sentence = len(words) / len(sentences) if sentences else 0
-        
-        recommendations = []
-        if len(words) < 300:
-            recommendations.append("المحتوى قصير جداً، أضف المزيد من النصوص الغنية")
-        if keyword_density < 0.01:
-            recommendations.append("كثافة الكلمات المفتاحية منخفضة")
-        elif keyword_density > 0.05:
-            recommendations.append("كثافة الكلمات المفتاحية مرتفعة جداً")
-        if avg_words_per_sentence > 20:
-            recommendations.append("الجمل طويلة جداً، حاول تقصيرها لتحسين القراءة")
+        # تحليل SEO
+        seo_results = asyncio.run(self.analyze_seo(url))
+        results["نتائج_التحليل"]["SEO"] = seo_results
         
+        return results
+    
+    except Exception as e:
         return {
-            'word_count': len(words),
-            'keyword_density': f"{keyword_density:.2%}",
-            'content_diversity': self._evaluate_diversity(content_types),
-            'readability': self._evaluate_readability(avg_words_per_sentence),
-            'recommendations': recommendations
+            "error": f"حدث خطأ أثناء تحليل الموقع: {str(e)}",
+            "url": url,
+            "تاريخ_التحليل": datetime.now().strftime("%Y-%m-%d %H:%M:%S")
         }
 
-    def _evaluate_diversity(self, content_types):
-        score = 0
-        total_elements = sum(content_types.values())
-        
-        if content_types['صور'] > 0:
-            score += 2
-        if content_types['فيديوهات'] > 0:
-            score += 2
-        if content_types['جداول'] > 0:
-            score += 1
-        if content_types['قوائم'] > 0:
-            score += 1
-        if content_types['عناوين'] >= 3:
-            score += 2
-        
-        if total_elements > 10:
-            score += 2
-        
-        return f"{score}/10"
-
-    def _evaluate_readability(self, avg_words_per_sentence):
-        if avg_words_per_sentence <= 12:
-            return "ممتاز"
-        elif avg_words_per_sentence <= 15:
-            return "جيد"
-        elif avg_words_per_sentence <= 20:
-            return "متوسط"
-        else:
-            return "صعب"
-
-    def _evaluate_speed(self, total_load_time):
-        if total_load_time < 2:
-            return "ممتاز ⚡"
-        elif total_load_time < 3:
-            return "جيد ✅"
-        elif total_load_time < 5:
-            return "متوسط ⚠️"
+def generate_report(self, results):
+    """
+    إنشاء تقرير مفصل بنتائج التحليل
+    """
+    report = {
+        "ملخص_التحليل": {
+            "الموقع": results["url"],
+            "تاريخ_التحليل": results["تاريخ_التحليل"],
+            "الحالة_العامة": self._calculate_overall_status(results)
+        },
+        "تفاصيل_التحليل": results["نتائج_التحليل"],
+        "توصيات_عامة": self._generate_general_recommendations(results)
+    }
+    
+    return report
+
+def _calculate_overall_status(self, results):
+    """
+    حساب الحالة العامة للموقع بناءً على جميع النتائج
+    """
+    if "error" in results:
+        return "فشل التحليل ❌"
+    
+    scores = []
+    
+    # حساب درجة الأداء
+    if "الأداء" in results["نتائج_التحليل"]:
+        performance = results["نتائج_التحليل"]["الأداء"]
+        if isinstance(performance, dict) and "أداء الموقع" in performance:
+            speed_rating = performance["أداء الموقع"]["تقييم السرعة"]
+            scores.append(self._convert_rating_to_score(speed_rating))
+    
+    # حساب درجة الأمان
+    if "الأمان" in results["نتائج_التحليل"]:
+        security = results["نتائج_التحليل"]["الأمان"]
+        if isinstance(security, dict) and "تحليل الأمان" in security:
+            security_score = security["تحليل الأمان"].get("درجة الأمان الكلية", "0/100")
+            scores.append(float(security_score.split('/')[0]))
+    
+    # حساب درجة SEO
+    if "SEO" in results["نتائج_التحليل"]:
+        seo = results["نتائج_التحليل"]["SEO"]
+        if isinstance(seo, dict) and "تحليل العناوين" in seo:
+            seo_score = float(seo["تحليل العناوين"]["تقييم العنوان"].split('/')[0])
+            scores.append(seo_score * 10)  # تحويل من 10 إلى 100
+    
+    if not scores:
+        return "غير معروف"
+    
+    average_score = sum(scores) / len(scores)
+    
+    if average_score >= 80:
+        return "ممتاز 🌟"
+    elif average_score >= 60:
+        return "جيد ✅"
+    elif average_score >= 40:
+        return "متوسط ⚠️"
+    else:
+        return "ضعيف ❌"
+
+def _convert_rating_to_score(self, rating):
+    """
+    تحويل التقييم النصي إلى درجة رقمية
+    """
+    ratings = {
+        "ممتاز ⚡": 100,
+        "جيد ✅": 75,
+        "متوسط ⚠️": 50,
+        "بطيء ❌": 25
+    }
+    return ratings.get(rating, 0)
+
+def _generate_general_recommendations(self, results):
+    """
+    توليد توصيات عامة بناءً على نتائج التحليل
+    """
+    recommendations = []
+    
+    if "نتائج_التحليل" not in results:
+        return recommendations
+    
+    analysis = results["نتائج_التحليل"]
+    
+    # توصيات الأداء
+    if "الأداء" in analysis:
+        performance = analysis["الأداء"]
+        if isinstance(performance, dict):
+            if "التوصيات" in performance:
+                recommendations.extend(performance["التوصيات"])
+    
+    # توصيات الأمان
+    if "الأمان" in analysis:
+        security = analysis["الأمان"]
+        if isinstance(security, dict) and "تحليل الأمان" in security:
+            security_analysis = security["تحليل الأمان"]
+            if "رؤوس الأمان" in security_analysis and "التوصيات" in security_analysis["رؤوس الأمان"]:
+                recommendations.extend(security_analysis["رؤوس الأمان"]["التوصيات"])
+    
+    # توصيات SEO
+    if "SEO" in analysis:
+        seo = analysis["SEO"]
+        if isinstance(seo, dict):
+            for section in ["تحليل العناوين", "تحليل الوصف", "تحليل الكلمات المفتاحية"]:
+                if section in seo and "التوصيات" in seo[section]:
+                    recommendations.extend(seo[section]["التوصيات"])
+    
+    return list(set(recommendations))  # إزالة التوصيات المكررة
+
+# إنشاء واجهة التطبيق باستخدام Streamlit
+def create_app():
+    st.set_page_config(page_title="محلل المواقع", page_icon="🔍", layout="wide")
+    
+    st.title("🔍 محلل المواقع الشامل")
+    st.markdown("---")
+    
+    # إدخال عنوان الموقع
+    url = st.text_input("أدخل عنوان الموقع المراد تحليله", placeholder="https://example.com")
+    
+    if st.button("تح��يل الموقع"):
+        if url:
+            try:
+                with st.spinner("جاري تحليل الموقع..."):
+                    analyzer = WebsiteAnalyzer()
+                    results = analyzer.analyze_website(url)
+                    report = analyzer.generate_report(results)
+                    
+                    # عرض النتائج
+                    st.success("تم اكتمال التحليل بنجاح!")
+                    
+                    # عرض الملخص
+                    st.subheader("📊 ملخص التحليل")
+                    col1, col2, col3 = st.columns(3)
+                    with col1:
+                        st.metric("الحالة العامة", report["ملخص_التحليل"]["الحالة_العامة"])
+                    
+                    # عرض تفاصيل التحليل
+                    st.subheader("📝 تفاصيل التحليل")
+                    tabs = st.tabs(["الأداء", "الأمان", "SEO"])
+                    
+                    with tabs[0]:
+                        if "الأداء" in report["تفاصيل_التحليل"]:
+                            st.json(report["تفاصيل_التحليل"]["الأداء"])
+                    
+                    with tabs[1]:
+                        if "الأمان" in report["تفاصيل_التحليل"]:
+                            st.json(report["تفاصيل_التحليل"]["الأمان"])
+                    
+                    with tabs[2]:
+                        if "SEO" in report["تفاصيل_التحليل"]:
+                            st.json(report["تفاصيل_التحليل"]["SEO"])
+                    
+                    # عرض التوصيات
+                    st.subheader("💡 التوصيات")
+                    for i, recommendation in enumerate(report["توصيات_عامة"], 1):
+                        st.markdown(f"{i}. {recommendation}")
+            
+            except Exception as e:
+                st.error(f"حدث خطأ أثناء تحليل الموقع: {str(e)}")
         else:
-            return "بطيء ❌"
+            st.warning("الرجاء إدخال عنوان الموقع المراد تحليله")
 
-    def _generate_performance_recommendations(self, metrics, resources):
-        recommendations = []
-        
-        if metrics['ttfb'] > 0.5:
-            recommendations.append("تحسين زمن استجابة الخادم")
-        
-        if resources['total_size'] > 1500:  # أكثر من 1.5 ميجابايت
-            recommendations.append("تقليل حجم الصفحة الإجمالي")
-        
-        if resources['images'] > 10:
-            recommendations.append("ضغط وتحسين الصور")
-        
-        if resources['scripts'] > 15:
-            recommendations.append("دمج وضغط ملفات JavaScript")
-        
-        if resources['stylesheets'] > 5:
-            recommendations.append("دمج ملفات CSS")
-        
-        return recommendations
+if __name__ == "__main__":
+    create_app()