Update crawler.py

crawler.py

@@ -27,7 +27,7 @@ class NewsItem:
     sentiment_score: Optional[float] = None
 
 class CnYesNewsCrawler:
-    """鉅亨網新聞爬蟲 - 即時分析版"""
+    """鉅亨網新聞爬蟲 - 修正URL版"""
     
     def __init__(self, sentiment_analyzer=None, database=None):
         self.base_url = "https://news.cnyes.com"
@@ -44,10 +44,10 @@ class CnYesNewsCrawler:
         self.sentiment_analyzer = sentiment_analyzer
         self.database = database
         
-        # 新聞分類URL
+        # 修正後的新聞分類URL
         self.categories = {
-            'us_stock': 'https://news.cnyes.com/news/cat/us_stock',
-            'tw_stock': 'https://news.cnyes.com/news/cat/tw_stock_news'
+            'us_stock': 'https://news.cnyes.com/news/cat/us_stock',      # 美股
+            'tw_stock': 'https://news.cnyes.com/news/cat/tw_stock_news'  # 台股
         }
         
         # 進度回調函數
@@ -56,6 +56,10 @@ class CnYesNewsCrawler:
         # 設置請求頭
         self._setup_headers()
         
+        logger.info("爬蟲初始化完成")
+        logger.info(f"美股URL: {self.categories['us_stock']}")
+        logger.info(f"台股URL: {self.categories['tw_stock']}")
+        
     def set_progress_callback(self, callback: Callable[[str], None]):
         """設置進度回調函數"""
         self.progress_callback = callback
@@ -346,19 +350,20 @@ class CnYesNewsCrawler:
         return None
     
     def crawl_category(self, category: str, max_articles: int = 10) -> List[NewsItem]:
-        """爬取指定分類的新聞 - 即時分析版"""
+        """爬取指定分類的新聞"""
         if category not in self.categories:
             logger.error(f"無效的分類: {category}")
             return []
         
-        self._notify_progress(f"🚀 開始爬取 {category} 分類新聞")
+        category_name = "美股" if category == "us_stock" else "台股"
+        self._notify_progress(f"🚀 開始爬取 {category_name} 分類新聞")
         
         # 獲取文章URL列表
         category_url = self.categories[category]
         article_urls = self._extract_article_urls(category_url, max_pages=2)
         
         if not article_urls:
-            self._notify_progress(f"⚠️ 未找到 {category} 分類的文章URL")
+            self._notify_progress(f"⚠️ 未找到 {category_name} 分類的文章URL")
             return []
         
         # 限制文章數量
@@ -369,13 +374,13 @@ class CnYesNewsCrawler:
         articles = []
         for i, url in enumerate(article_urls, 1):
             try:
-                self._notify_progress(f"📖 處理文章 {i}/{len(article_urls)}: 正在提取內容...")
+                self._notify_progress(f"📖 處理 {category_name} 文章 {i}/{len(article_urls)}: 正在提取內容...")
                 article = self._extract_article_content(url, category)
                 
                 if article:
                     # 即時情感分析
                     if self.sentiment_analyzer:
-                        self._notify_progress(f"🧠 分析文章 {i}/{len(article_urls)}: {article.title[:30]}...")
+                        self._notify_progress(f"🧠 分析 {category_name} 文章 {i}/{len(article_urls)}: {article.title[:30]}...")
                         sentiment_result = self.sentiment_analyzer.analyze_sentiment(
                             article.content, article.title
                         )
@@ -400,11 +405,11 @@ class CnYesNewsCrawler:
                                 
                                 inserted, _ = self.database.insert_news([db_article])
                                 if inserted > 0:
-                                    self._notify_progress(f"💾 已保存文章: {article.title[:30]}... (情緒: {article.sentiment})")
+                                    self._notify_progress(f"💾 已保存 {category_name} 文章: {article.title[:30]}... (情緒: {article.sentiment})")
                                 else:
-                                    self._notify_progress(f"⏭️ 跳過重複文章: {article.title[:30]}...")
+                                    self._notify_progress(f"⏭️ 跳過重複 {category_name} 文章: {article.title[:30]}...")
                             else:
-                                self._notify_progress(f"⏭️ 跳過重複文章: {article.title[:30]}...")
+                                self._notify_progress(f"⏭️ 跳過重複 {category_name} 文章: {article.title[:30]}...")
                     
                     articles.append(article)
                 
@@ -414,19 +419,20 @@ class CnYesNewsCrawler:
                 
             except Exception as e:
                 logger.error(f"處理文章時發生錯誤 {url}: {e}")
-                self._notify_progress(f"❌ 處理文章時發生錯誤: {str(e)[:50]}...")
+                self._notify_progress(f"❌ 處理 {category_name} 文章時發生錯誤: {str(e)[:50]}...")
                 continue
         
-        self._notify_progress(f"✅ {category} 分類爬取完成，共處理 {len(articles)} 篇文章")
+        self._notify_progress(f"✅ {category_name} 分類爬取完成，共處理 {len(articles)} 篇文章")
         return articles
     
     def crawl_all_categories(self, max_articles_per_category: int = 8) -> Dict[str, List[NewsItem]]:
-        """爬取所有分類的新聞 - 即時分析版"""
+        """爬取所有分類的新聞"""
         results = {}
         
         for category in self.categories.keys():
             try:
-                self._notify_progress(f"🎯 開始爬取 {category} 分類")
+                category_name = "美股" if category == "us_stock" else "台股"
+                self._notify_progress(f"🎯 開始爬取 {category_name} 分類")
                 articles = self.crawl_category(category, max_articles_per_category)
                 results[category] = articles