Migrated from another account

.gitignore

@@ -0,0 +1,171 @@
+# Byte-compiled / optimized / DLL files
+__pycache__/
+*.py[cod]
+*$py.class
+
+# C extensions
+*.so
+
+# Distribution / packaging
+.Python
+build/
+develop-eggs/
+dist/
+downloads/
+eggs/
+.eggs/
+lib/
+lib64/
+parts/
+sdist/
+var/
+wheels/
+share/python-wheels/
+*.egg-info/
+.installed.cfg
+*.egg
+MANIFEST
+
+# PyInstaller
+*.manifest
+*.spec
+
+# Installer logs
+pip-log.txt
+pip-delete-this-directory.txt
+
+# Unit test / coverage reports
+htmlcov/
+.tox/
+.nox/
+.coverage
+.coverage.*
+.cache
+nosetests.xml
+coverage.xml
+*.cover
+*.py,cover
+.hypothesis/
+.pytest_cache/
+cover/
+
+# Translations
+*.mo
+*.pot
+
+# Django stuff:
+*.log
+local_settings.py
+db.sqlite3
+db.sqlite3-journal
+
+# Flask stuff:
+instance/
+.webassets-cache
+
+# Scrapy stuff:
+.scrapy
+
+# Sphinx documentation
+docs/_build/
+
+# PyBuilder
+.pybuilder/
+target/
+
+# Jupyter Notebook
+.ipynb_checkpoints
+
+# IPython
+profile_default/
+ipython_config.py
+
+# pyenv
+.python-version
+
+# pipenv
+Pipfile.lock
+
+# poetry
+poetry.lock
+
+# pdm
+.pdm.toml
+
+# PEP 582
+__pypackages__/
+
+# Celery stuff
+celerybeat-schedule
+celerybeat.pid
+
+# SageMath parsed files
+*.sage.py
+
+# Environments
+.env
+.venv
+env/
+venv/
+ENV/
+env.bak/
+venv.bak/
+
+# Spyder project settings
+.spyderproject
+.spyproject
+
+# Rope project settings
+.ropeproject
+
+# mkdocs documentation
+/site
+
+# mypy
+.mypy_cache/
+.dmypy.json
+dmypy.json
+
+# Pyre type checker
+.pyre/
+
+# pytype static type analyzer
+.pytype/
+
+# Cython debug symbols
+cython_debug/
+
+# VS Code
+.vscode/
+
+# PyCharm
+.idea/
+
+# macOS
+.DS_Store
+
+# Windows
+Thumbs.db
+ehthumbs.db
+
+# Selenium WebDriver
+chromedriver
+geckodriver
+*.log
+
+# Temporary files
+*.tmp
+*.bak
+*.swp
+*~
+
+# Data files
+*.csv
+*.json
+*.xlsx
+*.xls
+
+# Scraped data
+scraped_data/
+downloads/
+output/

README.md

@@ -1,12 +1,329 @@
 ---
-title: ChieBukuro
-emoji: 🦀
-colorFrom: pink
-colorTo: pink
+title: Yahoo Chiebukuro Scraper
+emoji: 🔍
+colorFrom: blue
+colorTo: green
 sdk: gradio
-sdk_version: 5.49.1
+sdk_version: 4.19.2
 app_file: app.py
 pinned: false
+license: mit
 ---
 
-Check out the configuration reference at https://huggingface.co/docs/hub/spaces-config-reference
+# Yahoo!知恵袋 スクレイピングAPI
+
+Yahoo!知恵袋から質問と回答を高速で取得するWeb APIアプリケーションです。
+
+## 🚀 主な特徴
+
+- **並列処理対応**: 最大5件同時処理で高速化（デフォルト有効）
+- **キーワード検索**: 指定したキーワードで質問を検索
+- **質問詳細取得**: 特定の質問URLから詳細情報と回答を取得
+- **カテゴリ検索**: カテゴリ別に質問を取得
+- **REST API**: プログラムから利用可能なAPIエンドポイント
+- **Gradio UI**: 使いやすいWebインターフェース
+- **デフォルト設定**: 20件取得・詳細情報ONがデフォルト
+
+## 🔧 環境変数
+
+Spaceのシークレット設定で以下の環境変数を設定できます：
+
+```bash
+# API認証キー（オプション、設定しない場合は認証なし）
+API_KEY=your_api_key_here
+
+# レート制限（秒、デフォルト: 1.0）
+RATE_LIMIT=1.0
+```
+
+## 📡 APIリファレンス
+
+### 1. ヘルスチェック
+
+システムの状態を確認します。
+
+**エンドポイント:**
+```
+GET /health
+```
+
+**レスポンス例:**
+```json
+{
+  "status": "healthy",
+  "timestamp": "2025-01-20T12:00:00.000000",
+  "api_auth": true
+}
+```
+
+**cURLコマンド例:**
+```bash
+curl -X GET "https://your-space.hf.space/health"
+```
+
+---
+
+### 2. キーワード検索
+
+指定したキーワードで質問を検索し、詳細情報を取得します。
+
+**エンドポイント:**
+```
+GET /api/search
+```
+
+**パラメータ:**
+| パラメータ | 型 | デフォルト | 説明 |
+|------------|-----|------------|------|
+| keyword | string | 必須 | 検索キーワード |
+| limit | integer | 20 | 取得件数（1-20） |
+
+**ヘッダー（認証有効時）:**
+| ヘッダー | 説明 |
+|----------|------|
+| X-API-Key | APIキー |
+
+**レスポンス例:**
+```json
+{
+  "keyword": "Python プログラミング",
+  "count": 2,
+  "results": [
+    {
+      "title": "Pythonでリストの重複を削除する方法",
+      "url": "https://chiebukuro.yahoo.co.jp/question/detail/q12345678",
+      "content_preview": "Pythonでリストから重複した要素を削除する...",
+      "category": "プログラミング",
+      "post_date": "2025/01/20",
+      "answer_count": "3",
+      "searched_at": "2025-01-20T12:00:00.000000"
+    },
+    {
+      "title": "Pythonの環境構築について",
+      "url": "https://chiebukuro.yahoo.co.jp/question/detail/q87654321",
+      "content_preview": "Python初心者です。環境構築の方法を...",
+      "category": "プログラミング",
+      "post_date": "2025/01/19",
+      "answer_count": "5",
+      "searched_at": "2025-01-20T12:00:01.000000"
+    }
+  ]
+}
+```
+
+**cURLコマンド例（認証なし）:**
+```bash
+curl -X GET "https://your-space.hf.space/api/search?keyword=Python&limit=5"
+```
+
+**cURLコマンド例（認証あり）:**
+```bash
+curl -X GET "https://your-space.hf.space/api/search?keyword=Python&limit=5" \
+  -H "X-API-Key: your_api_key_here"
+```
+
+**Pythonコード例:**
+```python
+import requests
+
+# 認証なしの場合
+response = requests.get(
+    "https://your-space.hf.space/api/search",
+    params={"keyword": "Python", "limit": 5}
+)
+
+# 認証ありの場合
+response = requests.get(
+    "https://your-space.hf.space/api/search",
+    params={"keyword": "Python", "limit": 5},
+    headers={"X-API-Key": "your_api_key_here"}
+)
+
+data = response.json()
+print(f"Found {data['count']} questions")
+```
+
+**JavaScriptコード例:**
+```javascript
+// 認証なしの場合
+fetch('https://your-space.hf.space/api/search?keyword=Python&limit=5')
+  .then(response => response.json())
+  .then(data => console.log(data));
+
+// 認証ありの場合
+fetch('https://your-space.hf.space/api/search?keyword=Python&limit=5', {
+  headers: {
+    'X-API-Key': 'your_api_key_here'
+  }
+})
+  .then(response => response.json())
+  .then(data => console.log(data));
+```
+
+---
+
+### 3. 質問詳細取得
+
+特定の質問URLから詳細情報とベストアンサーを取得します。
+
+**エンドポイント:**
+```
+GET /api/question
+```
+
+**パラメータ:**
+| パラメータ | 型 | デフォルト | 説明 |
+|------------|-----|------------|------|
+| url | string | 必須 | Yahoo知恵袋の質問URL |
+
+**レスポンス例:**
+```json
+{
+  "url": "https://chiebukuro.yahoo.co.jp/question/detail/q12345678",
+  "title": "Pythonでリストの重複を削除する方法",
+  "content": "Pythonでリストから重複した要素を削除する最も効率的な方法を教えてください。",
+  "category": "プログラミング",
+  "post_date": "2025/01/20",
+  "answers": [
+    {
+      "content": "set()を使う方法が最も簡単です。\nmy_list = [1, 2, 2, 3, 3, 4]\nunique_list = list(set(my_list))",
+      "is_best": true
+    },
+    {
+      "content": "順序を保持したい場合は、dict.fromkeys()を使います。",
+      "is_best": false
+    }
+  ],
+  "answer_count": 2,
+  "scraped_at": "2025-01-20T12:00:00.000000"
+}
+```
+
+**cURLコマンド例:**
+```bash
+# URLパラメータはエンコードが必要
+curl -X GET "https://your-space.hf.space/api/question?url=https%3A%2F%2Fchiebukuro.yahoo.co.jp%2Fquestion%2Fdetail%2Fq12345678" \
+  -H "X-API-Key: your_api_key_here"
+```
+
+**Pythonコード例:**
+```python
+import requests
+from urllib.parse import quote
+
+question_url = "https://chiebukuro.yahoo.co.jp/question/detail/q12345678"
+
+response = requests.get(
+    "https://your-space.hf.space/api/question",
+    params={"url": question_url},
+    headers={"X-API-Key": "your_api_key_here"}
+)
+
+detail = response.json()
+print(f"Title: {detail['title']}")
+print(f"Best Answer: {detail['answers'][0]['content']}")
+```
+
+---
+
+### 4. カテゴリ検索
+
+特定カテゴリの質問を取得します。
+
+**エンドポイント:**
+```
+GET /api/category
+```
+
+**パラメータ:**
+| パラメータ | 型 | デフォルト | 説明 |
+|------------|-----|------------|------|
+| category | string | 必須 | カテゴリ名 |
+| limit | integer | 20 | 取得件数（1-20） |
+
+**レスポンス例:**
+```json
+{
+  "keyword": "カテゴリ:健康",
+  "count": 3,
+  "results": [
+    {
+      "title": "睡眠時間について",
+      "url": "https://chiebukuro.yahoo.co.jp/question/detail/q11111111",
+      "content_preview": "理想的な睡眠時間は何時間でしょうか...",
+      "category": "健康、美容とファッション",
+      "post_date": "2025/01/20",
+      "answer_count": "4",
+      "searched_at": "2025-01-20T12:00:00.000000"
+    }
+  ]
+}
+```
+
+**cURLコマンド例:**
+```bash
+curl -X GET "https://your-space.hf.space/api/category?category=健康&limit=10" \
+  -H "X-API-Key: your_api_key_here"
+```
+
+---
+
+## 🚄 並列処理について
+
+本APIは最大5件の質問詳細を同時に取得する並列処理機能を実装しています：
+
+- **処理速度**: 従来の逐次処理と比較して最大5倍高速
+- **負荷分散**: 同時実行数を制限してサーバー負荷を適切に管理
+- **タイムアウト**: 各質問の詳細取得には30秒のタイムアウトを設定
+- **エラー処理**: 個別のエラーハンドリングで安定性を確保
+
+### 処理時間の目安
+
+| 取得件数 | 逐次処理（従来） | 並列処理（新） |
+|----------|------------------|----------------|
+| 5件 | 約15秒 | 約3-5秒 |
+| 10件 | 約30秒 | 約6-10秒 |
+| 20件 | 約60秒 | 約12-20秒 |
+
+## 📊 エラーレスポンス
+
+エラー時は以下の形式でレスポンスが返されます：
+
+```json
+{
+  "error": "エラータイプ",
+  "detail": "エラーの詳細説明"
+}
+```
+
+### HTTPステータスコード
+
+| コード | 説明 |
+|--------|------|
+| 200 | 成功 |
+| 400 | リクエストパラメータエラー |
+| 401 | 認証エラー（APIキーが無効） |
+| 404 | 質問が見つからない |
+| 500 | サーバー内部エラー |
+
+## ⚠️ 注意事項
+
+- Yahoo!知恵袋の利用規約を遵守してください
+- 過度なアクセスは避けてください（並列処理でも適切な間隔を保っています）
+- 個人利用の範囲でご使用ください
+- スクレイピングが許可されているか確認が必要です
+- CSSセレクタは定期的に変更される可能性があります
+
+## 🔄 レート制限
+
+- デフォルト: 1秒間隔
+- 並列処理時も各リクエストに適切な遅延を設定
+- 環境変数`RATE_LIMIT`で調整可能
+
+## 📝 License
+
+MIT License - 教育目的で作成されています。
+
+## 🤝 Contributing
+
+不具合報告や機能要望は、GitHubのIssuesにてお願いします。

app.py

@@ -0,0 +1,510 @@
+"""
+Yahoo知恵袋スクレイピングAPI
+Gradio UI + FastAPIによるWebアプリケーション
+"""
+
+import os
+import sys
+import logging
+import json
+from typing import Dict, List, Optional
+from datetime import datetime
+import pandas as pd
+from dotenv import load_dotenv
+
+import gradio as gr
+from fastapi import FastAPI, HTTPException, Query, Depends, Header
+from fastapi.responses import JSONResponse
+from pydantic import BaseModel
+
+from scraper import YahooChiebukuroScraper
+from auth_manager import AuthManager
+
+# 環境変数の読み込み
+load_dotenv()
+
+# ログ設定
+logging.basicConfig(level=logging.INFO)
+logger = logging.getLogger(__name__)
+
+# FastAPIアプリケーション
+app = FastAPI(
+    title="Yahoo知恵袋 Scraping API",
+    description="Yahoo知恵袋の質問と回答を取得するAPI",
+    version="1.0.0"
+)
+
+# レート制限（秒）
+RATE_LIMIT = float(os.getenv("RATE_LIMIT", "1.0"))
+
+# 認証マネージャー
+auth_manager = AuthManager()
+API_AUTH_CONFIGURED = auth_manager.is_configured()
+
+
+# レスポンスモデル
+class QuestionSummary(BaseModel):
+    """質問サマリーモデル"""
+    title: str
+    url: str
+    content_preview: str
+    category: Optional[str] = ""
+    post_date: str
+    answer_count: str
+    searched_at: str
+
+
+class Answer(BaseModel):
+    """回答モデル"""
+    content: str
+    is_best: bool
+
+
+class QuestionDetail(BaseModel):
+    """質問詳細モデル"""
+    url: str
+    title: str
+    content: str
+    category: str
+    post_date: str
+    answers: List[Answer]
+    answer_count: int
+    scraped_at: str
+
+
+class SearchResponse(BaseModel):
+    """検索レスポンス"""
+    keyword: str
+    count: int
+    results: List[QuestionSummary]
+
+
+class ErrorResponse(BaseModel):
+    """エラーレスポンス"""
+    error: str
+    detail: str
+
+
+# 認証チェック
+def verify_api_key(x_api_key: Optional[str] = Header(None)):
+    """API認証チェック"""
+    if not auth_manager.validate_api_key(x_api_key):
+        raise HTTPException(
+            status_code=401,
+            detail="Invalid or missing API key"
+        )
+
+    return True
+
+
+# ========== FastAPI エンドポイント ==========
+
+@app.get("/health")
+async def health_check():
+    """ヘルスチェック"""
+    return {
+        "status": "healthy",
+        "timestamp": datetime.now().isoformat(),
+        "api_auth": API_AUTH_CONFIGURED
+    }
+
+
+@app.get("/api/search", response_model=SearchResponse)
+async def search_questions(
+    keyword: str = Query(..., description="検索キーワード"),
+    limit: int = Query(20, ge=1, le=20, description="取得件数"),
+    authorized: bool = Depends(verify_api_key)
+):
+    """
+    キーワードで質問を検索
+
+    Args:
+        keyword: 検索キーワード
+        limit: 最大取得件数（1-50）
+    """
+    try:
+        scraper = YahooChiebukuroScraper(headless=True)
+
+        try:
+            results = scraper.search_questions(keyword, max_results=limit)
+
+            return SearchResponse(
+                keyword=keyword,
+                count=len(results),
+                results=results
+            )
+
+        finally:
+            scraper.close_driver()
+
+    except Exception as e:
+        logger.error(f"Search failed: {e}")
+        raise HTTPException(status_code=500, detail=str(e))
+
+
+@app.get("/api/question", response_model=QuestionDetail)
+async def get_question_detail(
+    url: str = Query(..., description="質問のURL"),
+    authorized: bool = Depends(verify_api_key)
+):
+    """
+    質問の詳細情報を取得
+
+    Args:
+        url: Yahoo知恵袋の質問URL
+    """
+    try:
+        scraper = YahooChiebukuroScraper(headless=True)
+
+        try:
+            detail = scraper.get_question_detail(url)
+
+            if not detail:
+                raise HTTPException(
+                    status_code=404,
+                    detail="Question not found or failed to parse"
+                )
+
+            return detail
+
+        finally:
+            scraper.close_driver()
+
+    except HTTPException:
+        raise
+    except Exception as e:
+        logger.error(f"Failed to get question detail: {e}")
+        raise HTTPException(status_code=500, detail=str(e))
+
+
+@app.get("/api/category", response_model=SearchResponse)
+async def get_category_questions(
+    category: str = Query(..., description="カテゴリ名"),
+    limit: int = Query(20, ge=1, le=20, description="取得件数"),
+    authorized: bool = Depends(verify_api_key)
+):
+    """
+    カテゴリ別に質問を取得
+
+    Args:
+        category: カテゴリ名
+        limit: 最大取得件数（1-50）
+    """
+    try:
+        scraper = YahooChiebukuroScraper(headless=True)
+
+        try:
+            results = scraper.get_category_questions(category, max_results=limit)
+
+            return SearchResponse(
+                keyword=f"カテゴリ:{category}",
+                count=len(results),
+                results=results
+            )
+
+        finally:
+            scraper.close_driver()
+
+    except Exception as e:
+        logger.error(f"Category search failed: {e}")
+        raise HTTPException(status_code=500, detail=str(e))
+
+
+# ========== Gradio UI ==========
+
+def check_ui_auth(api_key: str) -> bool:
+    """UI認証チェック"""
+    return auth_manager.validate_ui_key(api_key)
+
+
+def gradio_search(api_key: str, keyword: str, limit: int, get_details: bool = True):
+    """
+    Gradio UI: キーワード検索
+
+    Args:
+        api_key: APIキー（認証有効時のみ）
+        keyword: 検索キーワード
+        limit: 取得件数（最大20件）
+        get_details: 詳細情報を取得するか（時間がかかる）
+    """
+    try:
+        # 認証チェック
+        if API_AUTH_CONFIGURED and not check_ui_auth(api_key):
+            return "", "認証エラー: 有効なAPIキーを入力してください"
+
+        if not keyword:
+            return "", "エラー: キーワードを入力してください"
+
+        # 取得件数を制限
+        limit = min(limit, 20)
+
+        # スクレイピング実行
+        scraper = YahooChiebukuroScraper(headless=True)
+
+        try:
+            if get_details:
+                status = f"検索中: '{keyword}' ... (最大{limit}件取得、詳細情報付き - 並列処理で高速化)"
+                results = scraper.search_questions(keyword, max_results=limit)
+            else:
+                # 詳細取得をスキップする高速版
+                status = f"検索中: '{keyword}' ... (最大{limit}件取得、基本情報のみ)"
+                results = scraper.search_questions_fast(keyword, max_results=limit)
+
+            if not results:
+                return "", f"検索結果が見つかりませんでした: '{keyword}'"
+
+            # JSON形式で整形
+            import json
+            
+            # 結果を整形
+            formatted_results = []
+            for idx, r in enumerate(results, 1):
+                formatted_result = {
+                    "番号": idx,
+                    "タイトル": r["title"],
+                    "投稿日": r["post_date"],
+                    "回答数": r["answer_count"],
+                    "URL": r["url"]
+                }
+                
+                if get_details:
+                    formatted_result["質問内容"] = r.get("full_content", r["content_preview"])
+                    formatted_result["ベストアンサー"] = r.get("best_answer", "なし")
+                else:
+                    formatted_result["内容プレビュー"] = r.get("content_preview", "")
+                
+                formatted_results.append(formatted_result)
+
+            # JSON形式で出力
+            json_output = json.dumps(formatted_results, ensure_ascii=False, indent=2)
+            
+            status = f"✅ {len(results)}件の質問を取得しました"
+            if get_details:
+                status += "（詳細情報付き）"
+            else:
+                status += "（基本情報のみ）"
+                
+            return json_output, status
+
+        finally:
+            scraper.close_driver()
+
+    except Exception as e:
+        logger.error(f"Gradio search error: {e}")
+        return "", f"エラーが発生しました: {str(e)}"
+
+
+def gradio_get_detail(api_key: str, question_url: str):
+    """
+    Gradio UI: 質問詳細取得
+
+    Args:
+        api_key: APIキー（認証有効時のみ）
+        question_url: 質問のURL
+    """
+    try:
+        # 認証チェック
+        if API_AUTH_CONFIGURED and not check_ui_auth(api_key):
+            return "", "", "", "認証エラー: 有効なAPIキーを入力してください"
+
+        if not question_url:
+            return "", "", "", "エラー: URLを入力してください"
+
+        if not question_url.startswith("https://chiebukuro.yahoo.co.jp"):
+            return "", "", "", "エラー: Yahoo知恵袋のURLを入力してください"
+
+        # スクレイピング実行
+        scraper = YahooChiebukuroScraper(headless=True)
+
+        try:
+            detail = scraper.get_question_detail(question_url)
+
+            if not detail:
+                return "", "", "", "質問の取得に失敗しました"
+
+            # 質問情報を整形
+            question_info = f"""## {detail['title']}
+
+**カテゴリ:** {detail['category']}
+**投稿日:** {detail['post_date']}
+**回答数:** {detail['answer_count']}
+
+---
+
+### 質問内容
+{detail['content']}"""
+
+            # ベストアンサーを抽出
+            best_answer = ""
+            other_answers = []
+
+            for answer in detail['answers']:
+                if answer['is_best']:
+                    best_answer = f"""### ✨ ベストアンサー
+{answer['content']}"""
+                else:
+                    other_answers.append(answer['content'])
+
+            # その他の回答を整形
+            other_answers_text = ""
+            if other_answers:
+                other_answers_text = "### その他の回答\n\n"
+                for i, answer in enumerate(other_answers, 1):
+                    other_answers_text += f"**回答 {i}:**\n{answer}\n\n---\n\n"
+
+            status = f"✅ 質問詳細を取得しました（回答{detail['answer_count']}件）"
+            return question_info, best_answer, other_answers_text, status
+
+        finally:
+            scraper.close_driver()
+
+    except Exception as e:
+        logger.error(f"Gradio detail error: {e}")
+        return "", "", "", f"エラーが発生しました: {str(e)}"
+
+
+def gradio_search_category(api_key: str, category: str, limit: int, get_details: bool = True):
+    """
+    Gradio UI: カテゴリ検索
+
+    Args:
+        api_key: APIキー（認証有効時のみ）
+        category: カテゴリ名
+        limit: 取得件数
+        get_details: 詳細情報を取得するか
+    """
+    # カテゴリ検索はキーワード検索を利用
+    return gradio_search(api_key, f"カテゴリ:{category}", limit, get_details)
+
+
+# Gradio インターフェース作成
+with gr.Blocks(title="Yahoo知恵袋 Scraper") as demo:
+    gr.Markdown("""
+    # Yahoo!知恵袋 スクレイピングツール
+
+    Yahoo!知恵袋から質問と回答を取得します。
+
+    **機能:**
+    - キーワード検索（質問詳細と回答も取得）
+    - カテゴリ検索
+    - 最大20件まで取得可能
+
+    **注意事項:**
+    - 利用規約を遵守してください
+    - サーバー負荷軽減のため、各質問の詳細取得には2秒の間隔を設けています
+    - 個人利用の範囲でご使用ください
+    """)
+
+    # API認証入力（認証が設定されている場合のみ表示）
+    if API_AUTH_CONFIGURED:
+        api_key_input = gr.Textbox(
+            label="API Key",
+            placeholder="APIキーを入力してください",
+            type="password",
+            interactive=True
+        )
+    else:
+        api_key_input = gr.Textbox(value="", visible=False)
+
+    with gr.Tabs():
+        # キーワード検索タブ
+        with gr.TabItem("🔍 キーワード検索"):
+            gr.Markdown("""
+            ### 使い方
+            1. 検索キーワードを入力
+            2. 取得件数を選択（デフォルト: 20件、最大: 20件）
+            3. 詳細取得オプションを選択（デフォルトON - 並列処理で高速化）
+            4. 検索ボタンをクリック
+            """)
+
+            with gr.Row():
+                with gr.Column(scale=2):
+                    search_keyword = gr.Textbox(
+                        label="検索キーワード",
+                        placeholder="例: Python プログラミング",
+                        interactive=True
+                    )
+                with gr.Column(scale=1):
+                    search_limit = gr.Slider(
+                        label="取得件数",
+                        minimum=1,
+                        maximum=20,
+                        value=20,
+                        step=1
+                    )
+                with gr.Column(scale=1):
+                    get_details = gr.Checkbox(
+                        label="詳細情報を取得",
+                        value=True,
+                        info="質問本文とベストアンサーを取得（並列処理で高速化）"
+                    )
+
+            search_button = gr.Button("検索", variant="primary")
+            search_status = gr.Textbox(label="ステータス", interactive=False)
+            search_results = gr.Textbox(
+                label="検索結果（JSON形式）",
+                lines=20,
+                max_lines=30,
+                interactive=False
+            )
+
+            search_button.click(
+                fn=gradio_search,
+                inputs=[api_key_input, search_keyword, search_limit, get_details],
+                outputs=[search_results, search_status]
+            )
+
+        # カテゴリ検索タブ
+        with gr.TabItem("📁 カテゴリ検索"):
+            with gr.Row():
+                with gr.Column(scale=2):
+                    category_input = gr.Textbox(
+                        label="カテゴリ名",
+                        placeholder="例: 健康、美容とファッション",
+                        interactive=True
+                    )
+                with gr.Column(scale=1):
+                    category_limit = gr.Slider(
+                        label="取得件数",
+                        minimum=1,
+                        maximum=20,
+                        value=20,
+                        step=1
+                    )
+                with gr.Column(scale=1):
+                    category_get_details = gr.Checkbox(
+                        label="詳細情報を取得",
+                        value=True,
+                        info="質問本文とベストアンサーを取得（並列処理で���速化）"
+                    )
+
+            category_button = gr.Button("カテゴリで検索", variant="primary")
+            category_status = gr.Textbox(label="ステータス", interactive=False)
+            category_results = gr.Textbox(
+                label="カテゴリ検索結果（JSON形式）",
+                lines=20,
+                max_lines=30,
+                interactive=False
+            )
+
+            category_button.click(
+                fn=gradio_search_category,
+                inputs=[api_key_input, category_input, category_limit, category_get_details],
+                outputs=[category_results, category_status]
+            )
+
+    gr.Markdown("""
+    ---
+    ### API エンドポイント
+    - `/api/search` - キーワード検索
+    - `/api/category` - カテゴリ検索
+    
+    詳細は [README](/) をご覧ください。
+    """)
+
+# FastAPIとGradioの統合
+app = gr.mount_gradio_app(app, demo, path="/")
+
+if __name__ == "__main__":
+    import uvicorn
+    uvicorn.run(app, host="0.0.0.0", port=7860)

auth_manager.py

@@ -0,0 +1,77 @@
+"""
+認証管理モジュール
+API認証とUI認証を統一管理
+"""
+
+import os
+from typing import Optional
+
+
+class AuthManager:
+    """認証管理クラス"""
+
+    def __init__(self):
+        """初期化"""
+        self.api_key = os.getenv("API_KEY", "")
+
+    def is_configured(self) -> bool:
+        """認証が設定されているか確認"""
+        return bool(self.api_key)
+
+    def validate_api_key(self, provided_key: Optional[str]) -> bool:
+        """
+        APIキーの検証
+
+        Args:
+            provided_key: 提供されたAPIキー
+
+        Returns:
+            検証結果
+        """
+        # 認証が設定されていない場合は常に成功
+        if not self.is_configured():
+            return True
+
+        # キーが提供されていない場合は失敗
+        if not provided_key:
+            return False
+
+        # キーの一致を確認
+        return provided_key == self.api_key
+
+    def validate_ui_key(self, provided_key: str) -> bool:
+        """
+        UI用のAPIキー検証
+
+        Args:
+            provided_key: UIから提供されたAPIキー
+
+        Returns:
+            検証結果
+        """
+        # 認証が設定されていない場合は常に成功
+        if not self.is_configured():
+            return True
+
+        # 空文字の場合は失敗
+        if not provided_key:
+            return False
+
+        # キーの一致を確認
+        return provided_key == self.api_key
+
+    def get_masked_key(self) -> str:
+        """
+        マスクされたAPIキーを取得（デバッグ用）
+
+        Returns:
+            マスクされたキー文字列
+        """
+        if not self.api_key:
+            return "Not configured"
+
+        if len(self.api_key) <= 8:
+            return "****"
+
+        # 最初の2文字と最後の2文字を表示
+        return f"{self.api_key[:2]}{'*' * (len(self.api_key) - 4)}{self.api_key[-2:]}"

packages.txt

@@ -0,0 +1,2 @@
+chromium
+chromium-driver

requirements.txt

@@ -0,0 +1,18 @@
+# Core dependencies
+gradio==4.19.2
+fastapi>=0.115.0
+uvicorn>=0.20.0
+websockets>=11.0
+
+# Selenium and web scraping
+selenium>=4.0.0
+webdriver-manager>=4.0.0
+beautifulsoup4>=4.12.0
+lxml>=4.9.0
+
+# Data handling
+pandas>=2.0.0
+python-dotenv>=1.0.0
+
+# Utilities
+requests>=2.31.0

scraper.py

@@ -0,0 +1,707 @@
+"""
+Yahoo知恵袋スクレイピングモジュール
+Selenium WebDriverを使用してYahoo知恵袋から質問と回答を取得
+"""
+
+import time
+import logging
+from typing import Dict, List, Optional
+from datetime import datetime
+from urllib.parse import urljoin, quote
+from concurrent.futures import ThreadPoolExecutor, as_completed
+import threading
+
+from selenium import webdriver
+from selenium.webdriver.common.by import By
+from selenium.webdriver.chrome.options import Options
+from selenium.webdriver.chrome.service import Service
+from selenium.webdriver.support.ui import WebDriverWait
+from selenium.webdriver.support import expected_conditions as EC
+from selenium.common.exceptions import TimeoutException, NoSuchElementException
+from webdriver_manager.chrome import ChromeDriverManager
+from bs4 import BeautifulSoup
+
+logging.basicConfig(level=logging.INFO)
+logger = logging.getLogger(__name__)
+
+
+class YahooChiebukuroScraper:
+    """Yahoo知恵袋スクレイピングクラス"""
+
+    BASE_URL = "https://chiebukuro.yahoo.co.jp"
+    SEARCH_URL = "https://chiebukuro.yahoo.co.jp/search"
+
+    def __init__(self, headless: bool = True, wait_time: int = 10):
+        """
+        初期化
+
+        Args:
+            headless: ヘッドレスモードで実行するか
+            wait_time: 要素の待機時間（秒）
+        """
+        self.headless = headless
+        self.wait_time = wait_time
+        self.driver = None
+        self.wait = None
+
+    def save_page_source(self, filename: str = "debug_page.html"):
+        """デバッグ用にページソースを保存"""
+        if self.driver:
+            try:
+                with open(filename, "w", encoding="utf-8") as f:
+                    f.write(self.driver.page_source)
+                logger.info(f"Page source saved to {filename}")
+            except Exception as e:
+                logger.error(f"Failed to save page source: {e}")
+
+    def setup_driver(self):
+        """WebDriverのセットアップ"""
+        try:
+            options = Options()
+
+            # ヘッドレスモード設定
+            if self.headless:
+                options.add_argument('--headless')
+                options.add_argument('--disable-gpu')
+
+            # Hugging Face Spaces対応の追加オプション
+            options.add_argument('--no-sandbox')
+            options.add_argument('--disable-dev-shm-usage')
+            options.add_argument('--disable-blink-features=AutomationControlled')
+            options.add_experimental_option("excludeSwitches", ["enable-automation"])
+            options.add_experimental_option('useAutomationExtension', False)
+
+            # Hugging Face Spaces環境用の追加設定
+            options.add_argument('--disable-software-rasterizer')
+            options.add_argument('--disable-extensions')
+            options.add_argument('--disable-setuid-sandbox')
+            options.add_argument('--single-process')
+
+            # User-Agent設定
+            options.add_argument('--user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36')
+
+            # Hugging Face Spaces環境でのChromium使用
+            import os
+            if os.path.exists('/usr/bin/chromium'):
+                # Hugging Face Spaces環境
+                options.binary_location = '/usr/bin/chromium'
+
+                # chromium-driverのパスを設定
+                if os.path.exists('/usr/bin/chromedriver'):
+                    service = Service('/usr/bin/chromedriver')
+                else:
+                    # webdriver-managerを使用
+                    service = Service(ChromeDriverManager(chrome_type="chromium").install())
+            else:
+                # 通常環境
+                service = Service(ChromeDriverManager().install())
+
+            self.driver = webdriver.Chrome(service=service, options=options)
+            self.wait = WebDriverWait(self.driver, self.wait_time)
+
+            logger.info("WebDriver setup completed")
+            return True
+
+        except Exception as e:
+            logger.error(f"Failed to setup WebDriver: {e}")
+            return False
+
+    def close_driver(self):
+        """WebDriverの終了"""
+        if self.driver:
+            self.driver.quit()
+            self.driver = None
+            self.wait = None
+            logger.info("WebDriver closed")
+
+    def search_questions(self, keyword: str, max_results: int = 20, debug: bool = False, max_workers: int = 5) -> List[Dict]:
+        """
+        キーワードで質問を検索し、各質問の詳細も取得（並列処理対応）
+
+        Args:
+            keyword: 検索キーワード
+            max_results: 最大取得件数（デフォルト20件、最大20件）
+            debug: デバッグモード（ページソースを保存）
+            max_workers: 並列処理の最大ワーカー数（デフォルト5、最大5件同時処理）
+
+        Returns:
+            質問リスト（詳細情報付き）
+        """
+        # 最大件数を20に制限
+        max_results = min(max_results, 20)
+        results = []
+
+        try:
+            if not self.driver:
+                if not self.setup_driver():
+                    return results
+
+            # 検索URLにアクセス
+            search_url = f"{self.SEARCH_URL}?p={quote(keyword)}&type=list"
+            logger.info(f"Searching: {search_url}")
+            self.driver.get(search_url)
+
+            # ページ読み込み待機
+            time.sleep(3)
+
+            # デバッグモード：ページソースを保存
+            if debug:
+                self.save_page_source(f"search_results_{keyword.replace(' ', '_')}.html")
+
+            # 新しいCSSセレクタで検索結果を取得
+            question_elements = self.driver.find_elements(
+                By.CSS_SELECTOR,
+                "li.ListSearchResults_listSearchResults__listItem__PurLr"
+            )[:max_results]
+            
+            logger.info(f"Found {len(question_elements)} question elements with new selector")
+
+            # まず全ての質問情報を収集（ページ遷移前に）
+            questions_data = []
+            for element in question_elements:
+                try:
+                    # タイトル取得（新しいCSSセレクタ）
+                    title_elem = element.find_element(
+                        By.CSS_SELECTOR,
+                        "h3.ListSearchResults_listSearchResults__heading__WGSq8 a"
+                    )
+                    title = title_elem.text.strip()
+                    url = title_elem.get_attribute("href")
+
+                    # 質問本文のプレビューを取得
+                    content_preview = ""
+                    try:
+                        content_elem = element.find_element(
+                            By.CSS_SELECTOR,
+                            "p.ListSearchResults_listSearchResults__summary__0897S"
+                        )
+                        content_preview = content_elem.text.strip()
+                    except NoSuchElementException:
+                        pass
+
+                    # 投稿日時取得
+                    post_date = "不明"
+                    try:
+                        date_elem = element.find_element(
+                            By.CSS_SELECTOR,
+                            "span.ListSearchResults_listSearchResults__informationDate__J4NVn span:last-child"
+                        )
+                        post_date = date_elem.text.strip()
+                    except NoSuchElementException:
+                        pass
+
+                    # 回答数取得
+                    answer_count = "0"
+                    try:
+                        answer_elem = element.find_element(
+                            By.CSS_SELECTOR,
+                            "span.ListSearchResults_listSearchResults__informationAnswers__64Dhv span:last-child"
+                        )
+                        answer_count = answer_elem.text.strip()
+                    except NoSuchElementException:
+                        pass
+
+                    questions_data.append({
+                        "title": title,
+                        "url": url,
+                        "content_preview": content_preview,
+                        "post_date": post_date,
+                        "answer_count": answer_count
+                    })
+
+                except Exception as e:
+                    logger.warning(f"Failed to parse question element: {e}")
+                    continue
+
+            # 並列処理で詳細を取得
+            logger.info(f"Starting parallel detail fetching with max {max_workers} workers...")
+
+            # 最大ワーカー数を5に制限
+            max_workers = min(max_workers, 5)
+
+            # 詳細取得用の関数（各ワーカーで実行）
+            def fetch_detail_with_delay(idx_and_question):
+                idx, question = idx_and_question
+                try:
+                    # 最初の5件は同時開始、それ以降は2秒間隔を設ける
+                    # 並列処理でもサーバー負荷を考慮
+                    if idx >= max_workers:
+                        time.sleep((idx - max_workers + 1) * 2)
+
+                    logger.info(f"[Worker] Getting detail for question {idx+1}/{len(questions_data)}: {question['title'][:50]}...")
+                    question_detail = self.get_question_detail_content(question['url'])
+
+                    return {
+                        "title": question['title'],
+                        "url": question['url'],
+                        "content_preview": question['content_preview'],
+                        "full_content": question_detail.get("content", question['content_preview']) if question_detail else question['content_preview'],
+                        "post_date": question['post_date'],
+                        "answer_count": question['answer_count'],
+                        "best_answer": question_detail.get("best_answer", None) if question_detail else None,
+                        "searched_at": datetime.now().isoformat()
+                    }
+                except Exception as e:
+                    logger.warning(f"[Worker] Failed to get detail for question: {e}")
+                    # 詳細取得に失敗しても基本情報は保存
+                    return {
+                        "title": question['title'],
+                        "url": question['url'],
+                        "content_preview": question['content_preview'],
+                        "full_content": question['content_preview'],
+                        "post_date": question['post_date'],
+                        "answer_count": question['answer_count'],
+                        "best_answer": None,
+                        "searched_at": datetime.now().isoformat()
+                    }
+
+            # ThreadPoolExecutorで並列処理
+            with ThreadPoolExecutor(max_workers=min(max_workers, len(questions_data))) as executor:
+                # インデックス付きでサブミット
+                future_to_idx = {
+                    executor.submit(fetch_detail_with_delay, (idx, q)): idx
+                    for idx, q in enumerate(questions_data)
+                }
+
+                # 結果を順番通りに格納するための辞書
+                results_dict = {}
+
+                # 完了したものから処理（順序は保持）
+                for future in as_completed(future_to_idx):
+                    idx = future_to_idx[future]
+                    try:
+                        result = future.result(timeout=30)  # 30秒のタイムアウト
+                        results_dict[idx] = result
+                        logger.info(f"[Worker] Completed {len(results_dict)}/{len(questions_data)} questions")
+                    except Exception as e:
+                        logger.error(f"[Worker] Exception for question {idx}: {e}")
+                        # エラー時は基本情報のみ
+                        question = questions_data[idx]
+                        results_dict[idx] = {
+                            "title": question['title'],
+                            "url": question['url'],
+                            "content_preview": question['content_preview'],
+                            "full_content": question['content_preview'],
+                            "post_date": question['post_date'],
+                            "answer_count": question['answer_count'],
+                            "best_answer": None,
+                            "searched_at": datetime.now().isoformat()
+                        }
+
+                # インデックス順にソートして結果リストを作成
+                results = [results_dict[i] for i in sorted(results_dict.keys())]
+
+            logger.info(f"Successfully retrieved {len(results)} questions with details")
+
+        except Exception as e:
+            logger.error(f"Search failed: {e}")
+            if debug:
+                self.save_page_source("error_page.html")
+
+        return results
+
+    def search_questions_fast(self, keyword: str, max_results: int = 20, debug: bool = False) -> List[Dict]:
+        """
+        キーワードで質問を検索（高速版・詳細なし）
+
+        Args:
+            keyword: 検索キーワード
+            max_results: 最大取得件数（最大20件）
+            debug: デバッグモード（ページソースを保存）
+
+        Returns:
+            質問リスト（基本情報のみ）
+        """
+        # 最大件数を20に制限
+        max_results = min(max_results, 20)
+        results = []
+
+        try:
+            if not self.driver:
+                if not self.setup_driver():
+                    return results
+
+            # 検索URLにアクセス
+            search_url = f"{self.SEARCH_URL}?p={quote(keyword)}&type=list"
+            logger.info(f"Searching (fast mode): {search_url}")
+            self.driver.get(search_url)
+
+            # ページ読み込み待機
+            time.sleep(3)
+
+            # デバッグモード：ページソースを保存
+            if debug:
+                self.save_page_source(f"search_results_{keyword.replace(' ', '_')}.html")
+
+            # 新しいCSSセレクタで検索結果を取得
+            question_elements = self.driver.find_elements(
+                By.CSS_SELECTOR,
+                "li.ListSearchResults_listSearchResults__listItem__PurLr"
+            )[:max_results]
+            
+            logger.info(f"Found {len(question_elements)} question elements (fast mode)")
+
+            for element in question_elements:
+                try:
+                    # タイトル取得
+                    title_elem = element.find_element(
+                        By.CSS_SELECTOR,
+                        "h3.ListSearchResults_listSearchResults__heading__WGSq8 a"
+                    )
+                    title = title_elem.text.strip()
+                    url = title_elem.get_attribute("href")
+
+                    # 質問本文のプレビューを取得
+                    content_preview = ""
+                    try:
+                        content_elem = element.find_element(
+                            By.CSS_SELECTOR,
+                            "p.ListSearchResults_listSearchResults__summary__0897S"
+                        )
+                        content_preview = content_elem.text.strip()
+                    except NoSuchElementException:
+                        pass
+
+                    # 投稿日時取得
+                    post_date = "不明"
+                    try:
+                        date_elem = element.find_element(
+                            By.CSS_SELECTOR,
+                            "span.ListSearchResults_listSearchResults__informationDate__J4NVn span:last-child"
+                        )
+                        post_date = date_elem.text.strip()
+                    except NoSuchElementException:
+                        pass
+
+                    # 回答数取得
+                    answer_count = "0"
+                    try:
+                        answer_elem = element.find_element(
+                            By.CSS_SELECTOR,
+                            "span.ListSearchResults_listSearchResults__informationAnswers__64Dhv span:last-child"
+                        )
+                        answer_count = answer_elem.text.strip()
+                    except NoSuchElementException:
+                        pass
+
+                    # 閲覧数取得
+                    views_count = "0"
+                    try:
+                        views_elem = element.find_element(
+                            By.CSS_SELECTOR,
+                            "span.ListSearchResults_listSearchResults__informationViews__VivY6 span:last-child"
+                        )
+                        views_count = views_elem.text.strip()
+                    except NoSuchElementException:
+                        pass
+
+                    results.append({
+                        "title": title,
+                        "url": url,
+                        "content_preview": content_preview,
+                        "post_date": post_date,
+                        "answer_count": answer_count,
+                        "views_count": views_count,
+                        "searched_at": datetime.now().isoformat()
+                    })
+
+                except Exception as e:
+                    logger.warning(f"Failed to parse question element: {e}")
+                    continue
+
+            logger.info(f"Successfully retrieved {len(results)} questions (fast mode)")
+
+        except Exception as e:
+            logger.error(f"Search failed: {e}")
+            if debug:
+                self.save_page_source("error_page.html")
+
+        return results
+
+    def get_question_detail_content(self, question_url: str) -> Optional[Dict]:
+        """
+        質問の詳細コンテンツのみ取得（簡易版）
+
+        Args:
+            question_url: 質問のURL
+
+        Returns:
+            質問の詳細情報（コンテンツとベストアンサーのみ）
+        """
+        try:
+            logger.info(f"Getting question detail: {question_url}")
+            self.driver.get(question_url)
+            
+            # ページ読み込み待機
+            time.sleep(3)
+
+            result = {}
+
+            # 質問本文を取得 - h1タグに本文が含まれている
+            content = ""
+            selectors = [
+                # h1タグ（タイトルと本文が同じ要素に含まれる場合）
+                "h1.ClapLv1TextBlock_Chie-TextBlock__Text__etZbS",
+                "h1[class*='TextBlock']",
+                # その他の可能性
+                "div.ClapLv1TextBlock_Chie-TextBlock__4j9Y9 h1",
+                "article h1"
+            ]
+            
+            for selector in selectors:
+                try:
+                    content_elem = self.driver.find_element(By.CSS_SELECTOR, selector)
+                    content = content_elem.text.strip()
+                    if content:
+                        logger.info(f"Found question content with selector: {selector}")
+                        break
+                except NoSuchElementException:
+                    continue
+                except Exception as e:
+                    logger.debug(f"Error with selector {selector}: {e}")
+                    continue
+            
+            result["content"] = content if content else ""
+
+            # ベストアンサーを取得
+            best_answer = None
+            
+            # まず、ベストアンサーのテキストを探す
+            answer_selectors = [
+                # ベストアンサーのテキストブロック
+                "div.ClapLv2AnswerItem_Chie-AnswerItem--Best__yJIDl div.ClapLv1TextBlock_Chie-TextBlock__Text__etZbS",
+                "div[class*='AnswerItem--Best'] div[class*='TextBlock__Text']",
+                # 通常の回答の最初のもの（ベストアンサーがない場合）
+                "div.ClapLv2AnswerItem_Chie-AnswerItem__CYXyb div.ClapLv1TextBlock_Chie-TextBlock__Text__etZbS"
+            ]
+            
+            for selector in answer_selectors:
+                try:
+                    answer_elem = self.driver.find_element(By.CSS_SELECTOR, selector)
+                    best_answer = answer_elem.text.strip()
+                    if best_answer:
+                        logger.info(f"Found best answer with selector: {selector}")
+                        break
+                except NoSuchElementException:
+                    continue
+                except Exception as e:
+                    logger.debug(f"Error with answer selector {selector}: {e}")
+                    continue
+            
+            result["best_answer"] = best_answer
+
+            # デバッグ情報
+            if not content:
+                logger.warning(f"Could not find content for: {question_url}")
+
+            return result
+
+        except Exception as e:
+            logger.warning(f"Failed to get question detail: {e}")
+            return None
+
+    def get_question_detail(self, question_url: str) -> Optional[Dict]:
+        """
+        質問の詳細情報を取得
+
+        Args:
+            question_url: 質問のURL
+
+        Returns:
+            質問の詳細情報
+        """
+        try:
+            if not self.driver:
+                if not self.setup_driver():
+                    return None
+
+            logger.info(f"Getting question detail: {question_url}")
+            self.driver.get(question_url)
+
+            # ページ読み込み待機
+            time.sleep(2)
+
+            # 質問タイトル
+            try:
+                title_elem = self.wait.until(
+                    EC.presence_of_element_located(
+                        (By.CSS_SELECTOR, "h1.ClapLv1QuestionItem__title")
+                    )
+                )
+                title = title_elem.text.strip()
+            except TimeoutException:
+                title = "タイトル取得失敗"
+
+            # 質問本文
+            try:
+                content_elem = self.driver.find_element(
+                    By.CSS_SELECTOR,
+                    "div.ClapLv1QuestionItem__body"
+                )
+                content = content_elem.text.strip()
+            except NoSuchElementException:
+                content = "本文取得失敗"
+
+            # カテゴリ
+            try:
+                category_elem = self.driver.find_element(
+                    By.CSS_SELECTOR,
+                    "div.ClapLv1QuestionItem__category"
+                )
+                category = category_elem.text.strip()
+            except NoSuchElementException:
+                category = "不明"
+
+            # 投稿日時
+            try:
+                date_elem = self.driver.find_element(
+                    By.CSS_SELECTOR,
+                    "span.ClapLv1QuestionItem__date"
+                )
+                post_date = date_elem.text.strip()
+            except NoSuchElementException:
+                post_date = "不明"
+
+            # ベストアンサー取得
+            best_answer = None
+            try:
+                best_answer_elem = self.driver.find_element(
+                    By.CSS_SELECTOR,
+                    "div.ClapLv1AnswerItem--best"
+                )
+                best_answer_content = best_answer_elem.find_element(
+                    By.CSS_SELECTOR,
+                    "div.ClapLv1AnswerItem__body"
+                ).text.strip()
+
+                best_answer = {
+                    "content": best_answer_content,
+                    "is_best": True
+                }
+            except NoSuchElementException:
+                logger.info("No best answer found")
+
+            # その他の回答取得
+            other_answers = []
+            try:
+                answer_elements = self.driver.find_elements(
+                    By.CSS_SELECTOR,
+                    "div.ClapLv1AnswerItem:not(.ClapLv1AnswerItem--best)"
+                )
+
+                for answer_elem in answer_elements[:5]:  # 最大5件まで
+                    try:
+                        answer_content = answer_elem.find_element(
+                            By.CSS_SELECTOR,
+                            "div.ClapLv1AnswerItem__body"
+                        ).text.strip()
+
+                        other_answers.append({
+                            "content": answer_content,
+                            "is_best": False
+                        })
+                    except Exception as e:
+                        logger.warning(f"Failed to parse answer: {e}")
+                        continue
+
+            except Exception as e:
+                logger.warning(f"Failed to get other answers: {e}")
+
+            # 全回答をまとめる
+            all_answers = []
+            if best_answer:
+                all_answers.append(best_answer)
+            all_answers.extend(other_answers)
+
+            return {
+                "url": question_url,
+                "title": title,
+                "content": content,
+                "category": category,
+                "post_date": post_date,
+                "answers": all_answers,
+                "answer_count": len(all_answers),
+                "scraped_at": datetime.now().isoformat()
+            }
+
+        except Exception as e:
+            logger.error(f"Failed to get question detail: {e}")
+            return None
+
+    def get_category_questions(self, category: str, max_results: int = 10) -> List[Dict]:
+        """
+        カテゴリ別に質問を取得
+
+        Args:
+            category: カテゴリ名
+            max_results: 最大取得件数
+
+        Returns:
+            質問リスト
+        """
+        # カテゴリ検索は通常の検索を使用
+        return self.search_questions(f"カテゴリ:{category}", max_results)
+
+
+# テスト用関数
+def test_scraper():
+    """
+    スクレイパーのテスト関数
+
+    並列処理テスト方法:
+    1. 通常の検索（並列処理あり・デフォルト）
+       scraper.search_questions("Python", max_results=10)
+       -> 最大5件同時処理で高速化
+
+    2. 並列度を変更してテスト
+       scraper.search_questions("Python", max_results=10, max_workers=3)
+       -> 最大3件同時処理
+
+    3. 逐次処理でテスト（比較用）
+       scraper.search_questions("Python", max_results=10, max_workers=1)
+       -> 1件ずつ処理（従来の方法と同等）
+
+    4. 処理時間の比較例
+       - max_workers=1: 約30秒（10件取得時）
+       - max_workers=5: 約6-10秒（10件取得時）
+    """
+    import time
+
+    scraper = YahooChiebukuroScraper(headless=True)
+
+    try:
+        # 並列処理テスト（デフォルト: max_workers=5）
+        print("=== 並列処理テスト開始 ===")
+        start_time = time.time()
+
+        results = scraper.search_questions(
+            "Python プログラミング",
+            max_results=10,  # 10件取得
+            max_workers=5     # 5件同時処理（デフォルト）
+        )
+
+        elapsed_time = time.time() - start_time
+        print(f"並列処理（5 workers）: {len(results)}件取得 - {elapsed_time:.1f}秒")
+
+        # 逐次処理との比較（オプション）
+        # コメントアウトを外すと逐次処理との比較が可能
+        # start_time = time.time()
+        # results_sequential = scraper.search_questions(
+        #     "Python プログラミング",
+        #     max_results=10,
+        #     max_workers=1  # 逐次処理
+        # )
+        # elapsed_time_seq = time.time() - start_time
+        # print(f"逐次処理（1 worker）: {len(results_sequential)}件取得 - {elapsed_time_seq:.1f}秒")
+
+        if results:
+            print(f"\n最初の質問: {results[0]['title']}")
+            print(f"詳細情報: {'あり' if results[0].get('best_answer') else 'なし'}")
+
+    finally:
+        scraper.close_driver()
+        print("\n=== テスト完了 ===")
+
+
+if __name__ == "__main__":
+    test_scraper()