Update app.py

app.py

@@ -16,29 +16,19 @@ BSKY_PASSWORD = os.getenv("BSKY_PASSWORD", "Raira0626")
 
 api = HfApi()
 
-# --- 便利関数：CSVから選択肢を抽出 ---
 def get_filter_options():
     if not os.path.exists(DATA_FILE):
         return ["すべて"], ["すべて"]
-    
     df = pd.read_csv(DATA_FILE)
-    
-    # 投稿者リストの作成
-    authors = sorted(df["投稿者"].unique().tolist())
-    author_options = ["すべて"] + authors
-    
-    # 本文からハッシュタグ(#...)を抽出してリスト化
+    authors = sorted(df["投稿者"].dropna().unique().tolist())
     all_tags = []
     for text in df["本文"].astype(str):
         tags = re.findall(r'#\w+', text)
         all_tags.extend(tags)
-    
     hashtags = sorted(list(set(all_tags)))
-    tag_options = ["すべて"] + hashtags
-    
-    return author_options, tag_options
+    return ["すべて"] + authors, ["すべて"] + hashtags
 
-# --- 1. データ取得・保存関数 ---
+# --- 1. データ取得・保存・引用解析エンジン ---
 def fetch_and_save(target_hashtag="#青空怪文庫", max_total=300):
     try:
         client = Client()
@@ -58,13 +48,46 @@ def fetch_and_save(target_hashtag="#青空怪文庫", max_total=300):
 
         new_data = []
         for post in all_posts[:max_total]:
-            record = post.record
-            text = getattr(record, 'text', "") if not isinstance(record, dict) else record.get('text', "")
+            # 基本情報（タグを付けた人）
+            display_author = post.author.handle
+            display_text = getattr(post.record, 'text', "")
+            display_url = f"https://bsky.app/profile/{post.author.did}/post/{post.uri.split('/')[-1]}"
+            
+            # --- 引用ポストの判定と書き換えロジック ---
+            # embed属性が存在し、それが引用ポスト(record)である場合
+            if hasattr(post, 'embed') and post.embed is not None:
+                # atprotoの構造上、引用データはさらに深い階層にある場合があります
+                embed = post.embed
+                # 引用されている投稿のデータ(ViewRecord)を探す
+                quoted_record = None
+                
+                # 引用のみ、または画像+引用の場合に対応
+                if hasattr(embed, 'record'):
+                    quoted_record = embed.record
+                
+                # 引用先のデータが取得可能な場合（削除されていない等）
+                if quoted_record and hasattr(quoted_record, 'author'):
+                    # 引用元の情報に書き換える
+                    original_author = quoted_record.author.handle
+                    # 引用元の本文を取得（階層が深いので安全に取得）
+                    original_text = ""
+                    if hasattr(quoted_record, 'value'): # RecordView
+                        original_text = quoted_record.value.text
+                    elif hasattr(quoted_record, 'record'): # RecordViewNotFoundなどの対策
+                        original_text = getattr(quoted_record.record, 'text', "")
+
+                    original_url = f"https://bsky.app/profile/{quoted_record.author.did}/post/{quoted_record.uri.split('/')[-1]}"
+                    
+                    # データの差し替え
+                    display_author = original_author
+                    display_text = f"{original_text}\n\n({post.author.handle} によるタグ付け)"
+                    display_url = original_url
+
             new_data.append({
                 "日付": post.record.created_at,
-                "投稿者": post.author.handle,
-                "本文": text,
-                "URL": f"https://bsky.app/profile/{post.author.did}/post/{post.uri.split('/')[-1]}",
+                "投稿者": display_author,
+                "本文": display_text,
+                "URL": display_url,
                 "いいね数": getattr(post, 'like_count', 0)
             })
         
@@ -72,10 +95,11 @@ def fetch_and_save(target_hashtag="#青空怪文庫", max_total=300):
         df.to_csv(DATA_FILE, index=False, encoding='utf-8-sig')
         
         if HF_TOKEN:
-            api.create_repo(repo_id=DATASET_ID, repo_type="dataset", exist_ok=True, token=HF_TOKEN)
-            api.upload_file(path_or_fileobj=DATA_FILE, path_in_repo=DATA_FILE, repo_id=DATASET_ID, repo_type="dataset", token=HF_TOKEN)
+            try:
+                api.create_repo(repo_id=DATASET_ID, repo_type="dataset", exist_ok=True, token=HF_TOKEN)
+                api.upload_file(path_or_fileobj=DATA_FILE, path_in_repo=DATA_FILE, repo_id=DATASET_ID, repo_type="dataset", token=HF_TOKEN)
+            except: pass
         
-        # 更新後の選択肢を取得
         a_opt, t_opt = get_filter_options()
         return f"✅ {len(df)}件 更新完了！", df, gr.update(choices=a_opt), gr.update(choices=t_opt)
 
@@ -84,20 +108,14 @@ def fetch_and_save(target_hashtag="#青空怪文庫", max_total=300):
 
 # --- 2. 検索用関数 ---
 def search_data(author_val, tag_val, keyword_val):
-    if not os.path.exists(DATA_FILE):
-        return pd.DataFrame()
-    
+    if not os.path.exists(DATA_FILE): return pd.DataFrame()
     df = pd.read_csv(DATA_FILE)
-    
     if author_val and author_val != "すべて":
         df = df[df["投稿者"] == author_val]
-    
     if tag_val and tag_val != "すべて":
         df = df[df["本文"].str.contains(tag_val, na=False)]
-        
     if keyword_val:
         df = df[df["本文"].str.contains(keyword_val, na=False, case=False)]
-        
     return df
 
 # --- UI 構築 ---
@@ -105,50 +123,29 @@ with gr.Blocks(theme=gr.themes.Soft()) as demo:
     gr.Markdown("# 👻 青空怪文庫 データベースポータル")
 
     with gr.Tabs():
-        # --- タブ1: 閲覧と検索 ---
         with gr.TabItem("🔍 データベースを検索"):
             with gr.Row():
                 author_dropdown = gr.Dropdown(label="投稿者で絞り込む", choices=["すべて"], value="すべて")
                 tag_dropdown = gr.Dropdown(label="ハッシュタグで絞り込む", choices=["すべて"], value="すべて")
                 keyword_search = gr.Textbox(label="本文キーワード検索", placeholder="キーワードを入力...")
-            
             with gr.Row():
                 search_btn = gr.Button("検索実行", variant="primary")
                 clear_btn = gr.Button("リセット")
-            
             db_table = gr.Dataframe(label="アーカイブ一覧", wrap=True)
 
-        # --- タブ2: データの更新 ---
-        with gr.TabItem("🔄 データを更新"):
-            gr.Markdown("Blueskyから最新投稿を取得して、データベースの選択肢も自動更新します。")
+        with gr.TabItem("🔄 手動更新"):
             with gr.Row():
                 tag_input = gr.Textbox(label="取得するハッシュタグ", value="青空怪文庫")
                 count_input = gr.Slider(minimum=50, maximum=500, step=50, label="取得件数", value=300)
-            
-            update_btn = gr.Button("データを取得して保存(上書き)", variant="stop")
+            update_btn = gr.Button("データを再取得して保存", variant="stop")
             update_log = gr.Textbox(label="更新ログ", interactive=False)
 
-    # --- 起動時の処理 ---
-    def init_app():
-        a_opt, t_opt = get_filter_options()
-        df = pd.read_csv(DATA_FILE) if os.path.exists(DATA_FILE) else None
-        return df, gr.update(choices=a_opt), gr.update(choices=t_opt)
-
-    demo.load(fn=init_app, outputs=[db_table, author_dropdown, tag_dropdown])
-
-    # 検索ボタン
-    search_btn.click(fn=search_data, inputs=[author_dropdown, tag_dropdown, keyword_search], outputs=db_table)
-    
-    # リセットボタン
-    clear_btn.click(fn=lambda: ["すべて", "すべて", "", pd.read_csv(DATA_FILE) if os.path.exists(DATA_FILE) else None], 
-                   outputs=[author_dropdown, tag_dropdown, keyword_search, db_table])
-
-    # 更新ボタン（ログ、テーブル、プルダウン2つを同時に更新）
-    update_btn.click(
-        fn=fetch_and_save, 
-        inputs=[tag_input, count_input], 
-        outputs=[update_log, db_table, author_dropdown, tag_dropdown]
-    )
-
-if __name__ == "__main__":
-    demo.launch()
+    # --- 起動時の自動処理 ---
+    def auto_init():
+        # 起動時に300件取得を実行
+        log, df, a_up, t_up = fetch_and_save("#青空怪文庫", 300)
+        return df, a_up, t_up
+
+    demo.load(fn=auto_init, outputs=[db_table, author_dropdown, tag_dropdown])
+
+    search_btn.click(fn=search_data, inputs=[author_dropdown, tag_dropdown, keyword_search