Update app.py

app.py

@@ -10,6 +10,7 @@ import tempfile
 import base64
 from datetime import datetime
 import re
+from bs4 import BeautifulSoup  # BeautifulSoup 추가
 
 # 로깅 설정
 logging.basicConfig(
@@ -205,15 +206,24 @@ def generate_mock_search_results(query):
     return notice + "\n".join(summary_lines)
 
 # Google 검색 함수 (SerpAPI 대신 직접 검색)
+# Google 검색 함수 (BeautifulSoup을 사용하여 결과 파싱)
 def do_google_search(query, num_results=5):
     try:
-        # 기본 헤더 설정 (브라우저처럼 보이게)
+        # 다양한 User-Agent 사용 (Google 차단 방지)
         headers = {
-            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
+            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36',
+            'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
+            'Accept-Language': 'ko-KR,ko;q=0.9,en-US;q=0.8,en;q=0.7',
+            'Accept-Encoding': 'gzip, deflate, br',
+            'Referer': 'https://www.google.com/',
+            'DNT': '1',
+            'Connection': 'keep-alive',
+            'Upgrade-Insecure-Requests': '1',
+            'Cache-Control': 'max-age=0',
         }
         
-        # 검색 URL 만들기
-        search_url = f"https://www.google.com/search?q={query}&num={num_results}"
+        # 검색 URL (일부 파라미터 추가)
+        search_url = f"https://www.google.com/search?q={query}&num={num_results}&hl=ko&gl=kr"
         logging.info(f"구글 검색 URL: {search_url}")
         
         # 요청 보내기 (짧은 타임아웃 설정)
@@ -224,10 +234,92 @@ def do_google_search(query, num_results=5):
             logging.error(f"Google 검색 응답 상태 코드: {response.status_code}")
             return generate_mock_search_results(query)
         
-        # 여기서는 HTML 분석이 복잡하므로, 실제로는 BeautifulSoup 같은 라이브러리를 사용하는 것이 좋음
-        # 간단한 데모 목적으로 대신 Mock 데이터 반환
-        logging.info("Google 검색 성공했으나 파싱 제한으로 Mock 데이터 반환")
-        return generate_mock_search_results(query)
+        # BeautifulSoup으로 HTML 파싱
+        soup = BeautifulSoup(response.text, 'html.parser')
+        
+        # 검색 결과 추출
+        organic_results = []
+        
+        # 검색 결과 컨테이너 찾기 (Google의 HTML 구조에 따라 변경될 수 있음)
+        result_containers = soup.select('div.g')
+        
+        if not result_containers:
+            logging.warning("Google 검색 결과 컨테이너를 찾을 수 없습니다. 대체 선택자를 시도합니다.")
+            # 대체 선택자 시도
+            result_containers = soup.select('div[data-hveid]')
+        
+        counter = 0
+        for container in result_containers:
+            if counter >= num_results:
+                break
+                
+            # 제목 추출
+            title_element = container.select_one('h3')
+            if not title_element:
+                continue
+                
+            title = title_element.get_text()
+            
+            # 링크 추출
+            link_element = container.select_one('a')
+            if not link_element:
+                continue
+                
+            link = link_element.get('href', '')
+            if link.startswith('/url?'):
+                # Google의 리다이렉트 URL에서 실제 URL 추출
+                link = link.split('q=')[1].split('&')[0] if 'q=' in link else link
+            elif not link.startswith('http'):
+                continue
+            
+            # 스니펫 추출
+            snippet_element = container.select_one('div.VwiC3b') or container.select_one('span.aCOpRe')
+            snippet = snippet_element.get_text() if snippet_element else "설명 없음"
+            
+            # 표시 링크 추출
+            displayed_link_element = container.select_one('cite')
+            displayed_link = displayed_link_element.get_text() if displayed_link_element else link
+            
+            organic_results.append({
+                "title": title,
+                "link": link,
+                "snippet": snippet,
+                "displayed_link": displayed_link
+            })
+            counter += 1
+        
+        if not organic_results:
+            logging.warning("검색 결과를 파싱할 수 없습니다. 선택자가 변경되었을 수 있습니다.")
+            return generate_mock_search_results(query)
+        
+        # 검색 결과 마크다운 형식으로 변환
+        summary_lines = []
+        for idx, item in enumerate(organic_results, start=1):
+            title = item.get("title", "No title")
+            link = item.get("link", "#")
+            snippet = item.get("snippet", "No description")
+            displayed_link = item.get("displayed_link", link)
+            
+            summary_lines.append(
+                f"### Result {idx}: {title}\n\n"
+                f"{snippet}\n\n"
+                f"**출처**: [{displayed_link}]({link})\n\n"
+                f"---\n"
+            )
+        
+        # 모델에게 명확한 지침 추가
+        instructions = """
+# 웹 검색 결과
+아래는 검색 결과입니다. 질문에 답변할 때 이 정보를 활용하세요:
+1. 각 결과의 제목, 내용, 출처 링크를 참고하세요
+2. 답변에 관련 정보의 출처를 명시적으로 인용하세요 (예: "X 출처에 따르면...")
+3. 응답에 실제 출처 링크를 포함하세요
+4. 여러 출처의 정보를 종합하여 답변하세요
+"""
+        
+        search_results = instructions + "\n".join(summary_lines)
+        logging.info(f"Google 검색 결과 {len(organic_results)}개 파싱 완료")
+        return search_results
         
     except Exception as e:
         logging.error(f"Google 검색 실패: {e}")
@@ -613,5 +705,6 @@ if __name__ == "__main__":
         f.write("requests>=2.32.3\n")
         f.write("markdown>=3.5.1\n")
         f.write("pillow>=10.1.0\n")
+        f.write("beautifulsoup4>=4.12.0\n")  # BeautifulSoup 추가
     
     main()