Update app.py

app.py

@@ -8,7 +8,7 @@ from gradio_client import Client
 import markdown
 import tempfile
 import base64
-from weasyprint import HTML
+from datetime import datetime
 
 # 로깅 설정
 logging.basicConfig(
@@ -25,6 +25,9 @@ IMAGE_API_URL = "http://211.233.58.201:7896"
 # 최대 토큰 수 설정 (Claude-3 Sonnet의 최대 토큰 수)
 MAX_TOKENS = 7999
 
+# SerpHouse API Key 설정
+SERPHOUSE_API_KEY = os.environ.get("SERPHOUSE_API_KEY", "")
+
 def get_system_prompt():
     return """
 당신은 전문 블로그 작성 전문가입니다. 모든 블로그 글 작성 요청에 대해 다음의 8단계 프레임워크를 철저히 따르되, 자연스럽고 매력적인 글이 되도록 작성해야 합니다:
@@ -141,31 +144,113 @@ def convert_md_to_html(md_text, title="Ginigen Blog"):
     """
     return html_doc
 
-# 마크다운을 PDF로 변환하는 함수
-def convert_md_to_pdf(md_text, title="Ginigen Blog"):
-    html_content = convert_md_to_html(md_text, title)
-    
-    # 임시 파일 생성
-    with tempfile.NamedTemporaryFile(suffix='.pdf', delete=False) as tmp:
-        tmp_path = tmp.name
-    
-    # HTML을 PDF로 변환
-    HTML(string=html_content).write_pdf(tmp_path)
-    
-    # 생성된 PDF 읽기
-    with open(tmp_path, 'rb') as f:
-        pdf_data = f.read()
-    
-    # 임시 파일 삭제
-    os.unlink(tmp_path)
-    
-    return pdf_data
+# 웹 검색 키워드 추출 함수
+def extract_keywords(text: str, top_k: int = 5) -> str:
+    """
+    1) 한글(가-힣), 영어(a-zA-Z), 숫자(0-9), 공백만 남김
+    2) 공백 기준 토큰 분리
+    3) 최대 top_k개만
+    """
+    import re
+    text = re.sub(r"[^a-zA-Z0-9가-힣\s]", "", text)
+    tokens = text.split()
+    key_tokens = tokens[:top_k]
+    return " ".join(key_tokens)
+
+# 웹 검색 함수
+def do_web_search(query: str) -> str:
+    """
+    상위 20개 'organic' 결과 item 전체(제목, link, snippet 등)를
+    JSON 문자열 형태로 반환
+    """
+    try:
+        url = "https://api.serphouse.com/serp/live"
+        
+        # 기본 GET 방식으로 파라미터 간소화하고 결과 수를 20개로 제한
+        params = {
+            "q": query,
+            "domain": "google.com",
+            "serp_type": "web",  # 기본 웹 검색
+            "device": "desktop",
+            "lang": "en",
+            "num": "20"  # 최대 20개 결과만 요청
+        }
+        
+        headers = {
+            "Authorization": f"Bearer {SERPHOUSE_API_KEY}"
+        }
+        
+        logging.info(f"SerpHouse API 호출 중... 검색어: {query}")
+        logging.info(f"요청 URL: {url} - 파라미터: {params}")
+        
+        # GET 요청 수행
+        response = requests.get(url, headers=headers, params=params, timeout=60)
+        response.raise_for_status()
+        
+        logging.info(f"SerpHouse API 응답 상태 코드: {response.status_code}")
+        data = response.json()
+        
+        # 다양한 응답 구조 처리
+        results = data.get("results", {})
+        organic = None
+        
+        # 가능한 응답 구조 1
+        if isinstance(results, dict) and "organic" in results:
+            organic = results["organic"]
+        
+        # 가능한 응답 구조 2 (중첩된 results)
+        elif isinstance(results, dict) and "results" in results:
+            if isinstance(results["results"], dict) and "organic" in results["results"]:
+                organic = results["results"]["organic"]
+        
+        # 가능한 응답 구조 3 (최상위 organic)
+        elif "organic" in data:
+            organic = data["organic"]
+            
+        if not organic:
+            logging.warning("응답에서 organic 결과를 찾을 수 없습니다.")
+            logging.debug(f"응답 구조: {list(data.keys())}")
+            if isinstance(results, dict):
+                logging.debug(f"results 구조: {list(results.keys())}")
+            return "No web search results found or unexpected API response structure."
 
-# 다운로드 버튼 생성 헬퍼 함수
-def create_download_link(bin_data, download_filename, link_text):
-    b64 = base64.b64encode(bin_data).decode()
-    href = f'<a href="data:application/octet-stream;base64,{b64}" download="{download_filename}">{link_text}</a>'
-    return href
+        # 결과 수 제한 및 컨텍스트 길이 최적화
+        max_results = min(20, len(organic))
+        limited_organic = organic[:max_results]
+        
+        # 결과 형식 개선 - 마크다운 형식으로 출력하여 가독성 향상
+        summary_lines = []
+        for idx, item in enumerate(limited_organic, start=1):
+            title = item.get("title", "No title")
+            link = item.get("link", "#")
+            snippet = item.get("snippet", "No description")
+            displayed_link = item.get("displayed_link", link)
+            
+            # 마크다운 형식 (링크 클릭 가능)
+            summary_lines.append(
+                f"### Result {idx}: {title}\n\n"
+                f"{snippet}\n\n"
+                f"**출처**: [{displayed_link}]({link})\n\n"
+                f"---\n"
+            )
+        
+        # 모델에게 명확한 지침 추가
+        instructions = """
+# 웹 검색 결과
+아래는 검색 결과입니다. 질문에 답변할 때 이 정보를 활용하세요:
+1. 각 결과의 제목, 내용, 출처 링크를 참고하세요
+2. 답변에 관련 정보의 출처를 명시적으로 인용하세요 (예: "X 출처에 따르면...")
+3. 응답에 실제 출처 링크를 포함하세요
+4. 여러 출처의 정보를 종합하여 답변하세요
+"""
+        
+        search_results = instructions + "\n".join(summary_lines)
+        logging.info(f"검색 결과 {len(limited_organic)}개 처리 완료")
+        return search_results
+    
+    except Exception as e:
+        logging.error(f"Web search failed: {e}")
+        return f"Web search failed: {str(e)}"
 
 def chatbot_interface():
     st.title("Ginigen Blog")
@@ -186,6 +271,10 @@ def chatbot_interface():
     if "generate_image" not in st.session_state:
         st.session_state.generate_image = False
     
+    # 웹 검색 토글
+    if "use_web_search" not in st.session_state:
+        st.session_state.use_web_search = False
+    
     # 이미지 API 상태
     if "image_api_status" not in st.session_state:
         st.session_state.image_api_status = test_image_api_connection()
@@ -199,6 +288,9 @@ def chatbot_interface():
     # 이미지 생성 토글
     st.session_state.generate_image = st.sidebar.toggle("블로그 글 작성 후 이미지 자동 생성", value=st.session_state.generate_image)
     
+    # 웹 검색 토글
+    st.session_state.use_web_search = st.sidebar.toggle("주제 웹 검색 및 분석", value=st.session_state.use_web_search)
+    
     # 이미지 API 상태 표시
     st.sidebar.text(st.session_state.image_api_status)
     
@@ -246,7 +338,7 @@ def chatbot_interface():
     if latest_blog:
         st.sidebar.subheader("최근 블로그 다운로드")
         
-        col1, col2, col3 = st.sidebar.columns(3)
+        col1, col2 = st.sidebar.columns(2)
         
         # 마크다운으로 다운로드
         with col1:
@@ -266,20 +358,6 @@ def chatbot_interface():
                 file_name=f"{latest_blog_title}.html",
                 mime="text/html"
             )
-        
-        # PDF로 다운로드
-        with col3:
-            try:
-                pdf_data = convert_md_to_pdf(latest_blog, latest_blog_title)
-                st.download_button(
-                    label="PDF",
-                    data=pdf_data,
-                    file_name=f"{latest_blog_title}.pdf",
-                    mime="application/pdf"
-                )
-            except Exception as e:
-                st.error(f"PDF 생성 오류: {e}")
-                logging.error(f"PDF 생성 오류: {e}")
     
     # 대화 기록 불러오기
     uploaded_file = st.sidebar.file_uploader("대화 기록 불러오기", type=['json'])
@@ -320,10 +398,23 @@ def chatbot_interface():
             message_placeholder = st.empty()
             full_response = ""
             
+            # 웹 검색 수행 (웹 검색 옵션이 켜져 있을 경우)
+            system_prompt = get_system_prompt()
+            if st.session_state.use_web_search:
+                with st.spinner("웹에서 관련 정보를 검색 중..."):
+                    search_query = extract_keywords(prompt, top_k=5)
+                    search_results = do_web_search(search_query)
+                    if "search failed" not in search_results.lower():
+                        # 시스템 프롬프트에 검색 결과 추가
+                        system_prompt += f"\n\n검색 결과:\n{search_results}\n"
+                        st.success(f"검색 완료: '{search_query}'에 대한 정보를 수집했습니다.")
+                    else:
+                        st.error("웹 검색 중 오류가 발생했습니다.")
+            
             # API 호출
             with client.messages.stream(
                 max_tokens=MAX_TOKENS,
-                system=get_system_prompt(),
+                system=system_prompt,
                 messages=[{"role": m["role"], "content": m["content"]} for m in st.session_state.messages],
                 model=st.session_state["ai_model"]
             ) as stream:
@@ -373,7 +464,7 @@ def chatbot_interface():
                 
             # 블로그 다운로드 버튼 표시 (응답 바로 아래에)
             st.subheader("이 블로그 다운로드:")
-            col1, col2, col3 = st.columns(3)
+            col1, col2 = st.columns(2)
             
             with col1:
                 st.download_button(
@@ -391,19 +482,6 @@ def chatbot_interface():
                     file_name=f"{prompt[:30]}.html",
                     mime="text/html"
                 )
-            
-            with col3:
-                try:
-                    pdf_data = convert_md_to_pdf(full_response, prompt[:30])
-                    st.download_button(
-                        label="PDF로 저장",
-                        data=pdf_data,
-                        file_name=f"{prompt[:30]}.pdf",
-                        mime="application/pdf"
-                    )
-                except Exception as e:
-                    st.error(f"PDF 생성 오류: {e}")
-                    logging.error(f"PDF 생성 오류: {e}")
 
         # 자동 저장 기능
         if st.session_state.auto_save:
@@ -414,7 +492,11 @@ def chatbot_interface():
                     save_msg = {"role": msg["role"], "content": msg["content"]}
                     save_messages.append(save_msg)
                 
-                with open('chat_history_auto_save.json', 'w', encoding='utf-8') as f:
+                # 현재 시간을 포함한 파일명 생성
+                current_time = datetime.now().strftime("%Y%m%d_%H%M%S")
+                filename = f'chat_history_auto_save_{current_time}.json'
+                
+                with open(filename, 'w', encoding='utf-8') as f:
                     json.dump(save_messages, f, ensure_ascii=False, indent=4)
             except Exception as e:
                 st.sidebar.error(f"자동 저장 중 오류 발생: {str(e)}")
@@ -446,7 +528,6 @@ if __name__ == "__main__":
         f.write("gradio-client>=1.8.0\n")
         f.write("requests>=2.32.3\n")
         f.write("markdown>=3.5.1\n")
-        f.write("weasyprint>=60.2\n")
         f.write("pillow>=10.1.0\n")
     
     main()