🛡️ ROGLAG — Production Plan & Tech Stack

RUN วิธีรันโปรเจกต์ตอนนี้

ต้องมี Python 3.10+ — local mode ใช้ stdlib ล้วน ไม่ต้องลง dependency

# Local mode (keyword RAG + local fallback) — ใช้ได้ทันที
python3 server.py            # เปิด http://127.0.0.1:8765

# เปิด LLM summary ผ่าน OpenRouter
export OPENROUTER_API_KEY="your_key"
python3 server.py

# Vector RAG จริง (build index ก่อน)
python3 build_vector_index.py --limit 10000 --batch-size 32
python3 server.py

# รันกับชุด 50k
LOGRAG_DATA_FILE=Data/files/security_logs_extended_50k.jsonl python3 server.py

① ประเมินของเดิม (ทำไมยังไม่ production-ready)

เข้าใจข้อจำกัดก่อน เพื่อรู้ว่าต้องเปลี่ยนอะไร

② Target Architecture (production)

แยกเป็นชั้นชัดเจน: ingest → process → store → RAG/API → automation → notify

หลักการ: ทุก critical alert ที่ classifier จับได้ → ยิงเข้า n8n → enrich ด้วย threat intel → เรียก RAG API สรุปเป็นภาษาไทย → สร้าง ticket + แจ้งเตือน + (ออปชัน) block IP อัตโนมัติ

③ Tech Stack รวบรวม

เลือกแบบ self-hostable ก่อน (ลง Docker ได้หมด) แล้วค่อยสลับไป managed service ทีหลัง

Core Pipeline

Data Stores

AI / RAG

Automation, Frontend & Ops

④ Pipeline จริง (data flow ละเอียด)

เส้นทางของ log ตั้งแต่เข้าระบบจนเกิด action

1. Ingest — Vector/Fluent Bit อ่าน log จาก source (syslog, file, http) → ส่งเข้า Redpanda topic logs.raw
2. Classify — worker consume logs.raw → รัน detect_rule() (port มาจากของเดิม) → ใส่ category/severity/MITRE → เขียนลง PostgreSQL + OpenSearch
3. Embed — worker เดียวกัน (หรือแยก) เรียก embedding model → upsert vector เข้า Qdrant พร้อม payload (row + metadata)
4. Detect critical — ถ้า severity = critical → group ตาม alert_key (logic เดิม) → publish เข้า topic alerts.critical + insert ตาราง alerts
5. Orchestrate — n8n trigger จาก webhook/queue → enrich → RAG → action (รายละเอียดข้อ ⑤)
6. Query/RAG — FastAPI /api/ask: retrieve จาก Qdrant (vector) + OpenSearch (keyword) → hybrid rank → ส่ง context ให้ LLM → ตอบภาษาไทย

logs.raw  ──> [classify worker] ──> PostgreSQL (structured + alerts)
                      │              └─> OpenSearch (full-text search)
                      └─> [embed worker] ──> Qdrant (vector RAG)

severity=critical ──> alerts.critical (queue) ──> n8n webhook ──> enrich+RAG+action

User/Frontend ──> FastAPI /api/ask ──> hybrid retrieve (Qdrant + OpenSearch)
                                          └─> LLM (OpenRouter/Ollama) ──> Thai answer

⑤ n8n Workflows

หัวใจของ automation — แต่ละ workflow คือ DAG ของ node

WF-1: Critical Alert Responder

• Trigger: n8n Webhook node รับ payload จาก alerts.critical (หรือ Schedule poll /api/alerts?since=)
• Enrich: HTTP Request → AbuseIPDB/VirusTotal เช็ค reputation ของ src_ip, MaxMind GeoIP หาประเทศ
• RAG summary: POST /api/ask ด้วย context_rows ของ alert → ได้สรุปไทย + runbook
• Route: Switch ตาม category → priv_esc/data_exfil = แจ้ง on-call ทันที (PagerDuty); อื่นๆ = ticket ปกติ
• Action: สร้าง ticket, ส่ง Slack/LINE, (ออปชัน) เรียก firewall API block IP ที่ reputation แย่

WF-2: Daily Threat Digest

Schedule (เช้า 9 โมง) → query /api/stats + top IPs → RAG สรุปภาพรวม 24 ชม. → ส่งรายงานเข้า Slack channel

WF-3: Auto-block Feedback Loop

เมื่อ analyst กด "confirm threat" บน dashboard → webhook → n8n update firewall rule + บันทึก audit ลง PostgreSQL + (ออปชัน) ใส่ IP เข้า blocklist ที่ feed กลับ collector

⑥ Database Schema (PostgreSQL)

โครงเริ่มต้น — เก็บ structured log, alert grouping, audit trail

-- log ที่ผ่าน classify แล้ว (hot 30-90 วัน, retention policy แยก)
CREATE TABLE log_events (
  id           BIGSERIAL PRIMARY KEY,
  ts           TIMESTAMPTZ NOT NULL,
  source       TEXT NOT NULL,              -- auth/nginx/firewall/system
  category     TEXT NOT NULL,              -- brute_force, c2_beacon, ...
  severity     TEXT NOT NULL,              -- info/medium/high/critical
  mitre        TEXT,
  risk_score   SMALLINT,
  src_ip       INET,
  dst_ip       INET,
  "user"       TEXT,
  message      TEXT NOT NULL,
  raw          JSONB NOT NULL,             -- เก็บ field ดิบทั้งหมด
  embedded     BOOLEAN DEFAULT FALSE       -- ส่งเข้า Qdrant แล้วหรือยัง
);
CREATE INDEX ON log_events (ts DESC);
CREATE INDEX ON log_events (category, severity);
CREATE INDEX ON log_events (src_ip);

-- alert ที่ group แล้ว (จาก alert_key เดิม)
CREATE TABLE alerts (
  id            TEXT PRIMARY KEY,          -- ALT-xxxxxx
  alert_key     TEXT NOT NULL,
  title         TEXT NOT NULL,
  category      TEXT NOT NULL,
  severity      TEXT NOT NULL DEFAULT 'critical',
  mitre         TEXT,
  status        TEXT NOT NULL DEFAULT 'new', -- new/ack/resolved/false_positive
  event_count   INT NOT NULL,
  first_seen    TIMESTAMPTZ NOT NULL,
  last_seen     TIMESTAMPTZ NOT NULL,
  src_ip        INET, dst_ip INET, "user" TEXT,
  rag_summary   TEXT,                      -- คำตอบจาก LLM
  enrichment    JSONB,                     -- ผล GeoIP/threat intel
  assigned_to   TEXT,
  created_at    TIMESTAMPTZ DEFAULT now(),
  updated_at    TIMESTAMPTZ DEFAULT now()
);

-- audit ทุก action (โดยเฉพาะ auto-block)
CREATE TABLE audit_log (
  id          BIGSERIAL PRIMARY KEY,
  ts          TIMESTAMPTZ DEFAULT now(),
  actor       TEXT NOT NULL,               -- user / n8n / system
  action      TEXT NOT NULL,               -- block_ip / create_ticket / ack
  target      TEXT,
  alert_id    TEXT REFERENCES alerts(id),
  detail      JSONB
);

-- rule config (ย้าย CATEGORY_META ออกจาก hardcode มาเป็น data)
CREATE TABLE rule_config (
  category    TEXT PRIMARY KEY,
  label       TEXT, mitre TEXT, risk SMALLINT, runbook TEXT,
  enabled     BOOLEAN DEFAULT TRUE
);

⑦ Docker (โครงอ้างอิงสำหรับขึ้น proj จริง)

ไฟล์อ้างอิง — ปรับ version/secret ตอนทำจริง

Dockerfile (FastAPI service)

FROM python:3.12-slim
WORKDIR /app
ENV PYTHONUNBUFFERED=1 PIP_NO_CACHE_DIR=1

COPY requirements.txt .
RUN pip install -r requirements.txt

COPY . .
EXPOSE 8000
# ใช้ uvicorn worker จริง (อย่าใช้ http.server เดิม)
CMD ["uvicorn", "app.main:app", "--host", "0.0.0.0", "--port", "8000", "--workers", "4"]

docker-compose.yml (full stack dev)

services:
  api:
    build: .
    ports: ["8000:8000"]
    env_file: .env
    depends_on: [postgres, qdrant, redis]

  worker:                      # classify + embed consumer
    build: .
    command: python -m app.worker
    env_file: .env
    depends_on: [postgres, qdrant, redis, redpanda]

  postgres:
    image: postgres:16-alpine
    environment:
      POSTGRES_PASSWORD: ${PG_PASSWORD}
      POSTGRES_DB: roglag
    volumes: ["pgdata:/var/lib/postgresql/data"]
    ports: ["5432:5432"]

  qdrant:
    image: qdrant/qdrant:latest
    volumes: ["qdrant:/qdrant/storage"]
    ports: ["6333:6333"]

  redis:
    image: redis:7-alpine
    ports: ["6379:6379"]

  redpanda:                    # Kafka-compatible, เบากว่า Kafka
    image: redpandadata/redpanda:latest
    command: redpanda start --smp 1 --overprovisioned --node-id 0
    ports: ["9092:9092"]

  n8n:
    image: n8nio/n8n:latest
    environment:
      N8N_HOST: localhost
      WEBHOOK_URL: http://n8n:5678/
    volumes: ["n8n:/home/node/.n8n"]
    ports: ["5678:5678"]

  vector:                      # log collector
    image: timberio/vector:latest-alpine
    volumes: ["./vector.toml:/etc/vector/vector.toml:ro"]
    depends_on: [redpanda]

volumes:
  pgdata: {}
  qdrant: {}
  n8n: {}

⑧ Migration Roadmap

ทำเป็นเฟส — แต่ละเฟสรันได้จริงก่อนไปต่อ

เฟส 1 Refactor core (1-2 สัปดาห์)

• รวม server.py + api/_lograg.py เป็น package เดียว ลบ logic ซ้ำ
• ย้ายไป FastAPI + Uvicorn, เพิ่ม Pydantic models สำหรับ request/response
• เก็บ vector ใน Qdrant (เลิกใช้ SQLite blob), keyword ใน OpenSearch หรือ pgvector
• เพิ่ม API key auth ขั้นต่ำ + rate limit

เฟส 2 Real ingestion + automation (2-4 สัปดาห์)

• ต่อ Vector/Fluent Bit → Redpanda → classify/embed worker
• PostgreSQL schema (ข้อ ⑥) + retention policy
• n8n WF-1 (Critical Responder) + WF-2 (Daily Digest)
• ต่อ threat intel (AbuseIPDB/GeoIP), Slack/LINE notify

เฟส 3 Scale & Ops (ต่อเนื่อง)

• Observability: Prometheus + Grafana + Loki
• ย้าย compose → Kubernetes (Helm), HPA สำหรับ worker
• Self-host LLM (Ollama/vLLM) ลดค่า API + ข้อมูลไม่ออกนอก
• Hybrid search tuning, eval RAG ด้วยชุด 50k, A/B model
• WF-3 auto-block + approval flow, SOAR-style playbook