Sync from GitHub 50cd1ca57c1ae023f7e08f8af52ee596195014df

.dockerignore

@@ -1,17 +1,24 @@
 .git
+.github/
 .gitignore
+.dockerignore
 .env
+.claude/
+.DS_Store
 __pycache__
 *.pyc
 *.pyo
+*.log
 venv/
 logs/
+data/
+!data/database/
 data/database/backups/
 tests/
 docs/
+deploy/
 README.md
 README_UPDATES.md
 *.md
-.github/
 .pytest_cache/
 htmlcov/

.env.example

@@ -1,22 +1,42 @@
-# OpenAI API Key for the chat model
-OPENAI_API_KEY=your_openai_api_key_here
+# ============================== Required at runtime ==============================
 
-# (Optional) Groq API key for alternative LLM provider
-# GROQ_API_KEY=your_groq_api_key_here
+# OpenRouter API key - ALL LLM roles (agent, fallback, language detection,
+# summarization) AND the embeddings run through OpenRouter (see config.py).
+OPEN_ROUTER_API_KEY=your_openrouter_api_key_here
 
-# (Optional) Open Router API key for alternative LLM provider
-# OPEN_ROUTER_API_KEY=your_openrouter_api_key_here
-
-# Required variables if using Weaviate Cloud
+# Weaviate Cloud (EU cluster)
 WEAVIATE_API_KEY=your_weaviate_api_key
 WEAVIATE_CLUSTER_URL=your_weaviate_rest_endpoint_url
-HUGGING_FACE_API_KEY=your_hf_api_key
 
-# Required variables if using Weaviate manual database backup features
-WEAVIATE_BACKUP_PATH=path_to_directory # only required if manual backup backend is selected - path to the directory where backups are stored
+# ============================== Optional ==============================
+
+# Only needed for the opt-in LLM test suites (RUN_LLM_EVAL / RUN_UAT_LLM_JUDGE),
+# not by the runtime agent.
+# OPENAI_API_KEY=your_openai_api_key_here
+
+# Docling remote PDF parsing in the facts pipeline (falls back to pypdf without it).
+# HUGGING_FACE_API_KEY=your_hf_api_key
+
+# Weaviate manual database backups (only if the manual backup backend is selected)
+# WEAVIATE_BACKUP_PATH=path_to_directory
+
+# LangSmith tracing (debugging and monitoring)
+# LANGSMITH_TRACING=true
+# LANGSMITH_API_KEY=your_langsmith_api_key
+# LANGSMITH_PROJECT=your_project_name
+# LANGSMITH_ENDPOINT=https://api.smith.langchain.com
+
+# ============================== Fact-change alerts ==============================
+# Used by src/notification/notification_center.py when the facts pipeline
+# detects price/deadline changes. In production these run as GitHub Actions
+# secrets (.github/workflows/update_programme_facts.yml) - only set them
+# locally if you want a machine to send alerts itself.
 
-# LangSmith Tracing (Optional - for debugging and monitoring)
-LANGSMITH_TRACING=true
-LANGSMITH_API_KEY=your_langsmith_api_key
-LANGSMITH_PROJECT=your_project_name
-LANGSMITH_ENDPOINT=https://api.smith.langchain.com
+# NOTIFY_SMTP_HOST=smtp.example.com
+# NOTIFY_SMTP_PORT=587
+# NOTIFY_SMTP_USER=alerts@example.com
+# NOTIFY_SMTP_PASSWORD=your_smtp_password
+# NOTIFY_SMTP_USE_TLS=true
+# NOTIFY_FROM_EMAIL=alerts@example.com
+# NOTIFY_TO_EMAIL=team@example.com
+# NOTIFY_SLACK_WEBHOOK_URL=https://hooks.slack.com/services/...

.gitignore

@@ -60,12 +60,8 @@ pyrightconfig.json
 .idea/
 
 # OS junk
-.Trashes.env
-.env
+.Trashes
 
-#idk
---source-branch
---source-repo
 /.gradio/certificate.pem
 
 #feedback I just uploaded into the same file to check for accuracy

DEPLOYMENT_CHECKLIST.md

@@ -1,6 +1,6 @@
 # Deployment Checklist — EMBA HSG RAG Chatbot
 
-**Stand:** 2026-06-16 · **Branch/Commit:** `main` @ `b0f8038`
+**Stand:** 2026-07-04 (Abschnitte 0/3/5/7 an den Ist-Zustand angepasst; ursprünglich 2026-06-16 @ `b0f8038`)
 **Ablöst:** [docs/deploy_readiness_checklist.md](docs/deploy_readiness_checklist.md) (vom 10.04., in Teilen veraltet — siehe Abschnitt 7)
 
 Ziel: Single-Host-Deployment des Bots, eingebettet per `<iframe>` in die EMBA-Website
@@ -15,13 +15,14 @@ Browser auf emba.unisg.ch / embax.ch
    └─ <iframe src="https://bot.hsg.ch">
         └─ Caddy (TLS, reverse proxy, CSP)        deploy/Caddyfile
              └─ Container: python main.py --app de   →  0.0.0.0:7860  (Gradio/FastAPI, /health)
-                  ├─ Weaviate Cloud (EU-Region)        Retrieval
-                  ├─ OpenAI gpt-4.1                     Agent
-                  └─ OpenRouter text-embedding-3-small  Embeddings (app-seitig)
-
-Cron auf demselben Host:
-   0 6 * * *   update_programme_facts   (verifizierte Fakten + Diff-Alerts)
-   Scrape-Refresh (inkrementell tgl. / voll wöchentlich)
+                  ├─ Weaviate Cloud (EU-Region)                 Retrieval
+                  ├─ OpenRouter gpt-4.1                          Agent (alle LLM-Rollen, config.py)
+                  └─ OpenRouter text-embedding-3-small           Embeddings (app-seitig)
+
+GitHub Actions (kein Host-Cron nötig):
+   update_programme_facts.yml   täglich 06:23 UTC   (verifizierte Fakten + Diff-Alerts)
+   scrape.yml                   wöchentlich So 05:17 UTC
+   NOTIFY_*-Secrets sind im Repo hinterlegt (Alerts laufen aus der Action)
 ```
 
 ---
@@ -55,9 +56,7 @@ Cron auf demselben Host:
 
 ## 3. Repo-Stand & Code (vor Build)
 
-- [ ] **PR #41/#42 (Caching-Entfernung)** entscheiden: mergen oder schließen.
-      Aktuell **nicht in `main`** — `main` importiert noch `src/cache/`. Redis ist optional
-      (Fallback auf dict-Cache, Redis-Verbindungsfehler ist unkritisch).
+- [x] **PR #41 (Caching-Entfernung) gemergt** — `src/cache/` existiert nicht mehr in `main`.
 - [ ] `requirements.txt` entspricht dem tatsächlichen Runtime-Bedarf
 - [ ] Dockerfile-Base-Image aktuell ([Dockerfile](Dockerfile): `python:3.11.14-slim-bookworm` ✓)
 - [ ] Offline-Tests grün: `pytest tests/test_verified_facts.py tests/test_stream_parser.py`
@@ -79,12 +78,15 @@ Cron auf demselben Host:
 
 ## 5. Umgebungsvariablen (Prod-`.env`)
 
-- [ ] `OPENAI_API_KEY` (Agent gpt-4.1)
-- [ ] `OPEN_ROUTER_API_KEY` (Embeddings)
+- [ ] `OPEN_ROUTER_API_KEY` (**alle** LLM-Rollen + Embeddings — seit PR #49 läuft nichts mehr direkt über OpenAI)
 - [ ] `WEAVIATE_CLUSTER_URL`, `WEAVIATE_API_KEY` (EU-Cluster)
-- [ ] **SMTP/Slack-Variablen** für Fakten-Änderungs-Alerts (sonst läuft der Facts-Cron ohne Benachrichtigung)
 - [ ] Optional `LANGSMITH_*` (Tracing)
-- [ ] Werte gegen `src/config/configs.py` verifiziert
+- [ ] Werte gegen `src/config/configs.py` verifiziert (Vorlage: `.env.example`)
+
+> `OPENAI_API_KEY` wird zur Laufzeit **nicht** mehr gebraucht — nur die opt-in
+> Test-Suiten (`RUN_LLM_EVAL`, `RUN_UAT_LLM_JUDGE`) nutzen ihn.
+> `NOTIFY_*` (SMTP/Slack) liegt als GitHub-Secrets bei der Facts-Action — auf dem
+> App-Host nur nötig, falls der Host selbst Alerts verschicken soll.
 
 ---
 
@@ -99,20 +101,18 @@ Cron auf demselben Host:
 
 ---
 
-## 7. Cron-Tasks (auf dem Deploy-Host)
-
-- [ ] **Verifizierte Fakten** — täglich 06:00:
-      ```
-      0 6 * * * cd <repo> && ./venv/bin/python -m src.pipeline.update_programme_facts >> logs/fact_update.log 2>&1
-      ```
-- [ ] **Scraping-Refresh** — als Cron (robuster als Dauerprozess):
-      ```
-      0 3 * * 1-6 cd <repo> && ./venv/bin/python main.py --scrape simple >> logs/scrape.log 2>&1
-      0 2 * * 0   cd <repo> && ./venv/bin/python main.py --scrape full   >> logs/scrape.log 2>&1
-      ```
-      (Alternative: `python tools/scraping.py --init_sched` als systemd-Service — APScheduler intern.)
-- [ ] **Alert-Chain einmal testen:** Preis in `data/database/programme_facts.json` ändern →
-      `python -m src.pipeline.update_programme_facts` → E-Mail/Slack muss ankommen → Änderung zurücknehmen
+## 7. Zeitgesteuerte Tasks (laufen als GitHub Actions — kein Host-Cron nötig)
+
+- [x] **Verifizierte Fakten**: `.github/workflows/update_programme_facts.yml`, täglich 06:23 UTC —
+      läuft und ist grün (geprüft 2026-07-04; NOTIFY_*-Secrets im Repo hinterlegt)
+- [x] **Scraping-Refresh**: `.github/workflows/scrape.yml`, wöchentlich So 05:17 UTC — läuft
+- [ ] **Alert-Chain einmal end-to-end testen:** Preis in `data/database/programme_facts.json` ändern →
+      Workflow manuell triggern (`gh workflow run update_programme_facts.yml`) →
+      E-Mail/Slack muss ankommen → Änderung zurücknehmen
+- [ ] `HUGGING_FACE_API_KEY` erneuern — Docling-Remote-Parsing der Fee-Sheet-PDFs liefert
+      aktuell **401** und fällt auf pypdf zurück (Qualität der Ratenplan-PDFs prüfen)
+- [ ] Veralteten Cron auf dem Dev-Mac entfernen (`crontab -e`) — crasht täglich an macOS-TCC
+      (`failed to make path absolute`) und ist durch die GitHub Action ersetzt
 
 ---
 
@@ -139,7 +139,8 @@ Cron auf demselben Host:
 
 ## 10. Betrieb / Monitoring
 
-- [ ] `logs/fact_update.log` wöchentlich prüfen — laufen die Cron-Runs durch, sind Diffs plausibel?
+- [ ] Facts-Action wöchentlich prüfen (`gh run list --workflow=update_programme_facts.yml`) —
+      laufen die Runs durch, sind Diffs plausibel?
 - [ ] `grep "\[timing\]" logs/logs.log` — Latenz im Blick (Ziel ~6 s end-to-end)
 - [ ] Weaviate-Cluster-Status (läuft, nicht abgelaufen — Lehre aus dem 404-Ausfall)
 - [ ] Health-Check `GET /health` in Host-Monitoring eingebunden
@@ -149,7 +150,7 @@ Cron auf demselben Host:
 ## Go / No-Go
 
 **Go**, wenn: Host in EU/CH steht · Datenschutz-Sign-off · Weaviate gefüllt & checkhealth grün ·
-iframe-CSP gefixt & auf Zielseite getestet · beide Cron-Tasks aktiv & Alert getestet · Smoke-Tests grün.
+iframe-CSP gefixt & auf Zielseite getestet · beide GitHub Actions grün & Alert getestet · Smoke-Tests grün.
 
 **No-Go**, wenn: kein DSGVO-Sign-off · Weaviate leer/abgelaufen · CSP blockiert iframe auf `*.unisg.ch` ·
 SMTP/Slack fehlt (Fakten-Alerts stumm) · LLM-Eval nicht 31/31.

requirements.txt

@@ -1,15 +1,13 @@
 # Core dependencies
+# NOTE: only the OpenRouter/OpenAI provider is used at runtime (config.py).
+# The lazy imports in src/rag/models.py for groq/deepseek/ollama/huggingface
+# raise a clear error if one of those providers gets configured again -
+# re-add the matching langchain-* package in that case.
 langchain>=1.0.2
 langchain-core>=1.0.1
-langchain-deepseek>=1.0.0
-langchain-groq>=1.0.0
-langchain-huggingface>=1.0.0
-langchain-ollama>=0.3.10
 langchain-openai>=1.0.1
 langsmith>=0.4.0
 
-pytest
-
 requests>=2.31.0
 openai>=1.3.0
 python-dotenv>=1.0.0