wiki: add ai-popup-and-rag-status concept, update log/index/overview for 2026-05-01 changes

analyze_headings.py

@@ -0,0 +1,60 @@
+from tipitaka_query import TipitakaDB, clean_text
+import re
+from collections import Counter
+
+def analyze_subheadings():
+    print("กำลังสแกนวิเคราะห์เนื้อหาจากทั้ง 45 เล่ม... (อาจใช้เวลา 1-2 นาที)")
+    heading_counter = Counter()
+    last_word_counter = Counter()
+    
+    # Pattern ดักจับเลขข้อ (เหมือนใน build_rag)
+    ref_re = re.compile(r'\[[\u0E50-\u0E590-9]+\]')
+
+    # ใช้ TipitakaDB ดึงข้อมูลแบบเดียวกับระบบ RAG ของจริง
+    with TipitakaDB("tipitaka_mcu.db") as db:
+        for vol in range(1, 46):
+            toc = db.get_toc(vol)
+            if not toc: continue
+            
+            vol_info = db.get_volume_info(vol)
+            max_page = vol_info["total_pages"]
+            
+            for i, section in enumerate(toc):
+                start_page = section.page_number
+                end_page = toc[i + 1].page_number - 1 if i + 1 < len(toc) else max_page
+                
+                try:
+                    # ดึงข้อความมา Clean เพื่อขจัด Noise แบบเดียวกับ Data Pipeline
+                    raw = db.get_section_text(vol, start_page, end_page, for_tts=False)
+                    text = clean_text(raw, remove_line_numbers=True, remove_footnotes=True)
+                except Exception:
+                    continue
+                    
+                if not text: continue
+                
+                for line in text.split('\n'):
+                    l = line.strip()
+                    
+                    # กรอง: ความยาว 2-40 และใช้ Regex เช็คอักษรไทย ป้องกันอักขระล่องหน
+                    if 2 <= len(l) <= 40 and re.search(r'[ก-๙]', l):
+                        # ต้องไม่มีเลขข้อในบรรทัด และไม่ลงท้ายด้วยเครื่องหมายจบประโยค
+                        if not ref_re.search(l) and not l.endswith(('”', '"', '.', '!', '?', 'ๆ', 'ฯ')):
+                            heading_counter[l] += 1
+                            
+                            # หาคำลงท้าย (Suffix) ที่เป็นภาษาไทยล้วน ตัดตัวเลขทิ้ง (เช่น "วิชชา ๓" -> "วิชชา")
+                            thai_words = [re.sub(r'[^ก-๙]', '', w) for w in l.split()]
+                            thai_words = [w for w in thai_words if len(w) >= 2]
+                            
+                            if thai_words:
+                                last_word_counter[thai_words[-1]] += 1
+
+    print("\n=== Top 50 ประโยคหัวข้อที่พบบ่อย ===")
+    for h, c in heading_counter.most_common(50):
+        print(f"{c:5d} ครั้ง : {h}")
+
+    print("\n=== Top 50 คำลงท้าย (Suffix) ที่พบบ่อย ===")
+    for w, c in last_word_counter.most_common(50):
+        print(f"{c:5d} ครั้ง : {w}")
+
+if __name__ == "__main__":
+    analyze_subheadings()

webapp/_inspect_db.py

@@ -0,0 +1,39 @@
+import sqlite3
+
+conn = sqlite3.connect(r"f:\_Ai\Tipitaka-AI-Expert\RAG\tipitaka_mcu.db")
+cursor = conn.cursor()
+
+# Volumes
+print("=== VOLUMES ===")
+cursor.execute("SELECT * FROM volumes ORDER BY volume_number LIMIT 5")
+for row in cursor.fetchall():
+    print(f"  id={row[0]}, vol={row[1]}, title={row[2]}, pitaka={row[3]}, pages={row[4]}")
+
+cursor.execute("SELECT COUNT(*) FROM volumes")
+print(f"\nTotal volumes: {cursor.fetchone()[0]}")
+
+# Pages sample
+print("\n=== PAGES (sample vol_id=1) ===")
+cursor.execute("SELECT id, volume_id, page_number, LENGTH(content_text), LENGTH(content_html) FROM pages WHERE volume_id=1 LIMIT 3")
+for row in cursor.fetchall():
+    print(f"  id={row[0]}, vol_id={row[1]}, page={row[2]}, text_len={row[3]}, html_len={row[4]}")
+
+cursor.execute("SELECT COUNT(*) FROM pages")
+print(f"Total pages: {cursor.fetchone()[0]}")
+
+# Contents (TOC)
+print("\n=== CONTENTS/TOC (sample vol_id=1) ===")
+cursor.execute("SELECT * FROM contents WHERE volume_id=1 ORDER BY page_number LIMIT 5")
+for row in cursor.fetchall():
+    print(f"  id={row[0]}, vol_id={row[1]}, title={row[2][:60]}, page={row[3]}, level={row[4]}")
+
+cursor.execute("SELECT COUNT(*) FROM contents")
+print(f"Total TOC entries: {cursor.fetchone()[0]}")
+
+# Pitaka distribution
+print("\n=== PITAKA DISTRIBUTION ===")
+cursor.execute("SELECT pitaka, COUNT(*), SUM(total_pages) FROM volumes GROUP BY pitaka")
+for row in cursor.fetchall():
+    print(f"  {row[0]}: {row[1]} volumes, {row[2]} pages")
+
+conn.close()