Srini P commited on
Commit
c28eaa9
Β·
1 Parent(s): 3d20163

Docs: Update system documentation with latest model info and recent feature improvements

Browse files
COMPLETE_SYSTEM_GUIDE.md CHANGED
@@ -32,7 +32,7 @@ This document provides an overview of the complete FinBot RAG system with both f
32
  β”‚ 1. Input Guards (injection, PII, etc) β”‚
33
  β”‚ 2. Query Router (semantic routing) β”‚
34
  β”‚ 3. RBAC Retriever (metadata filtering) β”‚
35
- β”‚ 4. LLM Generation (Groq Mixtral) β”‚
36
  β”‚ 5. Output Guards (grounding, citations) β”‚
37
  β””β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”¬β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”˜
38
  ↓
 
32
  β”‚ 1. Input Guards (injection, PII, etc) β”‚
33
  β”‚ 2. Query Router (semantic routing) β”‚
34
  β”‚ 3. RBAC Retriever (metadata filtering) β”‚
35
+ β”‚ 4. LLM Generation (Llama 3.3 70B) β”‚
36
  β”‚ 5. Output Guards (grounding, citations) β”‚
37
  β””β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”¬β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”˜
38
  ↓
README.md CHANGED
@@ -65,11 +65,11 @@ FinBot solves both problems:
65
  β”Œβ”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β” β”Œβ”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β” β”Œβ”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β” β”Œβ”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”
66
  β”‚ GUARDRAILS β”‚ β”‚ SEMANTIC β”‚ β”‚ RBAC β”‚ β”‚ LLM β”‚
67
  β”‚ (INPUT) β”‚ β”‚ ROUTING β”‚ β”‚RETRIEVAL β”‚ β”‚ (GROQ) β”‚
68
- β”‚ β”‚ β”‚ β”‚ β”‚ β”‚ β”‚ (Mixtral)β”‚
69
- β”‚ β€’ Injection β”‚ β”‚ β€’ 5 Routes β”‚ β”‚ β€’ Filter β”‚ β”‚ β€’ Answer β”‚
70
- β”‚ β€’ Off-topic β”‚ β”‚ β€’ Collectionsβ”‚ β”‚ β€’ By Role β”‚ β”‚ β€’ Cite β”‚
71
- β”‚ β€’ PII β”‚ β”‚ β€’ Role Check β”‚ β”‚ β€’ Qdrant β”‚ β”‚ β€’ Ground β”‚
72
- β”‚ β€’ Rate limit β”‚ β”‚ β”‚ β”‚ β”‚ β”‚ β”‚
73
  β””β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”˜ β””β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”˜ β””β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”˜ β””β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”˜
74
  β”‚ β”‚
75
  β””β”€β”€β”€β”€β”€β”€β”€β”€β”¬β”€β”€β”€β”€β”€β”€β”€β”€β”˜
@@ -214,7 +214,7 @@ Assignment1/
214
  ### Prerequisites
215
 
216
  - Python 3.10+
217
- - OpenAI API key
218
  - ~500MB disk space for Qdrant
219
  - Modern web browser
220
 
 
65
  β”Œβ”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β” β”Œβ”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β” β”Œβ”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β” β”Œβ”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”
66
  β”‚ GUARDRAILS β”‚ β”‚ SEMANTIC β”‚ β”‚ RBAC β”‚ β”‚ LLM β”‚
67
  β”‚ (INPUT) β”‚ β”‚ ROUTING β”‚ β”‚RETRIEVAL β”‚ β”‚ (GROQ) β”‚
68
+ β”‚ β”‚ β”‚ β”‚ β”‚ β”‚ β”‚(Llama 3.3β”‚
69
+ β”‚ β€’ Injection β”‚ β”‚ β€’ 5 Routes β”‚ β”‚ β€’ Filter β”‚ β”‚ 70B) β”‚
70
+ β”‚ β€’ Off-topic β”‚ β”‚ β€’ Collectionsβ”‚ β”‚ β€’ By Role β”‚ β”‚ β€’ Answer β”‚
71
+ β”‚ β€’ PII β”‚ β”‚ β€’ Role Check β”‚ β”‚ β€’ Qdrant β”‚ β”‚ β€’ Cite β”‚
72
+ β”‚ β€’ Rate limit β”‚ β”‚ β”‚ β”‚ β”‚ β”‚ β€’ Ground β”‚
73
  β””β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”˜ β””β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”˜ β””β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”˜ β””β”€β”€β”€β”€β”€β”€β”€β”€β”€β”€β”˜
74
  β”‚ β”‚
75
  β””β”€β”€β”€β”€β”€β”€β”€β”€β”¬β”€β”€β”€β”€β”€β”€β”€β”€β”˜
 
214
  ### Prerequisites
215
 
216
  - Python 3.10+
217
+ - Groq API key
218
  - ~500MB disk space for Qdrant
219
  - Modern web browser
220
 
app/backend/ARCHITECTURE.md CHANGED
@@ -129,7 +129,7 @@ User Role + Selected Collection β†’ Check access β†’ Query vector store
129
 
130
  **Stage 4: LLM Generation**
131
  ```
132
- Question + Retrieved Chunks β†’ Groq (Mixtral-8x7b-32k) β†’ Generate answer
133
  Uses retrieved chunks as context (RAG)
134
  ```
135
 
 
129
 
130
  **Stage 4: LLM Generation**
131
  ```
132
+ Question + Retrieved Chunks β†’ Groq (Llama 3.3 70B) β†’ Generate answer
133
  Uses retrieved chunks as context (RAG)
134
  ```
135