Update app.py

app.py

@@ -207,6 +207,7 @@ def generate_mock_search_results(query):
 
 # Google 검색 함수 (SerpAPI 대신 직접 검색)
 # Google 검색 함수 (BeautifulSoup을 사용하여 결과 파싱)
+# Google 검색 함수 개선
 def do_google_search(query, num_results=5):
     try:
         # 다양한 User-Agent 사용 (Google 차단 방지)
@@ -214,19 +215,14 @@ def do_google_search(query, num_results=5):
             'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36',
             'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
             'Accept-Language': 'ko-KR,ko;q=0.9,en-US;q=0.8,en;q=0.7',
-            'Accept-Encoding': 'gzip, deflate, br',
             'Referer': 'https://www.google.com/',
-            'DNT': '1',
-            'Connection': 'keep-alive',
-            'Upgrade-Insecure-Requests': '1',
-            'Cache-Control': 'max-age=0',
         }
         
-        # 검색 URL (일부 파라미터 추가)
+        # 검색 URL
         search_url = f"https://www.google.com/search?q={query}&num={num_results}&hl=ko&gl=kr"
         logging.info(f"구글 검색 URL: {search_url}")
         
-        # 요청 보내기 (짧은 타임아웃 설정)
+        # 요청 보내기
         response = requests.get(search_url, headers=headers, timeout=10)
         
         # 응답이 성공적인지 확인
@@ -234,62 +230,133 @@ def do_google_search(query, num_results=5):
             logging.error(f"Google 검색 응답 상태 코드: {response.status_code}")
             return generate_mock_search_results(query)
         
+        # HTML 파싱을 위한 디버깅
+        with open("google_response.html", "w", encoding="utf-8") as f:
+            f.write(response.text)
+        logging.info("Google 응답 HTML을 'google_response.html'에 저장했습니다.")
+        
         # BeautifulSoup으로 HTML 파싱
         soup = BeautifulSoup(response.text, 'html.parser')
         
         # 검색 결과 추출
         organic_results = []
         
-        # 검색 결과 컨테이너 찾기 (Google의 HTML 구조에 따라 변경될 수 있음)
-        result_containers = soup.select('div.g')
+        # 2023-2025 구글 검색 결과 선택자 시도 (다양한 선택자 시도)
+        selectors = [
+            'div.g', 'div.Gx5Zad', 'div.tF2Cxc', 'div.yuRUbf', 
+            '.v5yQqb', '.MjjYud', 'div[jscontroller]', '.fP1Qef',
+            'div[data-sokoban-container]', '.hlcw0c'
+        ]
         
-        if not result_containers:
-            logging.warning("Google 검색 결과 컨테이너를 찾을 수 없습니다. 대체 선택자를 시도합니다.")
-            # 대체 선택자 시도
-            result_containers = soup.select('div[data-hveid]')
+        # 모든 선택자 시도
+        containers = []
+        for selector in selectors:
+            elements = soup.select(selector)
+            if elements:
+                logging.info(f"선택자 '{selector}'로 {len(elements)}개 요소를 찾았습니다.")
+                containers.extend(elements)
+                # 충분한 요소를 찾았으면 중단
+                if len(containers) >= num_results * 2:  # 중복 가능성 고려해 2배로 찾음
+                    break
         
-        counter = 0
-        for container in result_containers:
-            if counter >= num_results:
-                break
+        # 대안: 모든 <a> 태그에서 href가 http로 시작하는 것만 선택
+        if not containers:
+            logging.warning("구조화된 컨테이너를 찾을 수 없어 직접 링크를 검색합니다.")
+            link_elements = soup.select('a[href^="http"]')
+            
+            for link in link_elements:
+                if len(organic_results) >= num_results:
+                    break
+                    
+                href = link.get('href', '')
+                # Google 리다이렉트 URL 필터링
+                if '/url?' in href or 'google.com' in href:
+                    continue
                 
-            # 제목 추출
-            title_element = container.select_one('h3')
-            if not title_element:
-                continue
+                # 부모 요소에서 텍스트 추출 시도
+                parent = link.parent
+                title = link.get_text(strip=True) or "제목 없음"
                 
-            title = title_element.get_text()
-            
-            # 링크 추출
-            link_element = container.select_one('a')
-            if not link_element:
-                continue
+                # 충분한 길이의 텍스트가 있는 경우만 결과로 추가
+                if len(title) > 5:  # 의미 있는 제목은 보통 5자 이상
+                    # 주변 텍스트 추출 시도
+                    surrounding_text = ""
+                    for sibling in parent.next_siblings:
+                        if sibling.name and sibling.get_text(strip=True):
+                            surrounding_text = sibling.get_text(strip=True)
+                            break
+                    
+                    # 결과 추가
+                    organic_results.append({
+                        "title": title,
+                        "link": href,
+                        "snippet": surrounding_text or "추가 설명 없음",
+                        "displayed_link": href.split('/')[2] if '/' in href else href
+                    })
+        
+        # 선택자 기반 파싱 시도
+        else:
+            for container in containers:
+                if len(organic_results) >= num_results:
+                    break
                 
-            link = link_element.get('href', '')
-            if link.startswith('/url?'):
-                # Google의 리다이렉트 URL에서 실제 URL 추출
-                link = link.split('q=')[1].split('&')[0] if 'q=' in link else link
-            elif not link.startswith('http'):
-                continue
-            
-            # 스니펫 추출
-            snippet_element = container.select_one('div.VwiC3b') or container.select_one('span.aCOpRe')
-            snippet = snippet_element.get_text() if snippet_element else "설명 없음"
-            
-            # 표시 링크 추출
-            displayed_link_element = container.select_one('cite')
-            displayed_link = displayed_link_element.get_text() if displayed_link_element else link
-            
-            organic_results.append({
-                "title": title,
-                "link": link,
-                "snippet": snippet,
-                "displayed_link": displayed_link
-            })
-            counter += 1
+                # 1. 링크 찾기
+                link_element = container.select_one('a[href^="http"]')
+                if not link_element:
+                    continue
+                
+                link = link_element.get('href', '')
+                # Google의 리다이렉트 URL이면 건너뛰기
+                if '/url?' in link or 'google.com' in link:
+                    continue
+                
+                # 2. 제목 찾기 (다양한 선택자)
+                title_selectors = ['h3', '.LC20lb', '.DKV0Md', '.l', '.vvjwJb']
+                title = None
+                for selector in title_selectors:
+                    title_element = container.select_one(selector)
+                    if title_element and title_element.get_text(strip=True):
+                        title = title_element.get_text(strip=True)
+                        break
+                
+                if not title:
+                    title = link_element.get_text(strip=True) or "제목 없음"
+                
+                # 3. 스니펫 찾기 (다양한 선택자)
+                snippet_selectors = ['.VwiC3b', '.lyLwlc', '.yXK7lf', '.lEBKkf', '.s', '.st']
+                snippet = "설명 없음"
+                for selector in snippet_selectors:
+                    snippet_element = container.select_one(selector)
+                    if snippet_element and snippet_element.get_text(strip=True):
+                        snippet = snippet_element.get_text(strip=True)
+                        break
+                
+                # 4. 표시 링크 찾기
+                displayed_link_selectors = ['cite', '.UPmit', '.qLRx3b', '.iUh30']
+                displayed_link = link.split('/')[2] if '/' in link else link
+                for selector in displayed_link_selectors:
+                    element = container.select_one(selector)
+                    if element and element.get_text(strip=True):
+                        displayed_link = element.get_text(strip=True)
+                        break
+                
+                # 중복 제거
+                is_duplicate = False
+                for result in organic_results:
+                    if result["link"] == link or result["title"] == title:
+                        is_duplicate = True
+                        break
+                
+                if not is_duplicate:
+                    organic_results.append({
+                        "title": title,
+                        "link": link,
+                        "snippet": snippet,
+                        "displayed_link": displayed_link
+                    })
         
         if not organic_results:
-            logging.warning("검색 결과를 파싱할 수 없습니다. 선택자가 변경되었을 수 있습니다.")
+            logging.warning("검색 결과를 파싱할 수 없습니다. 가상 결과를 반환합니다.")
             return generate_mock_search_results(query)
         
         # 검색 결과 마크다운 형식으로 변환