Upload 8 files

.dockerignore

@@ -0,0 +1,25 @@
+.git
+.gitignore
+.env
+__pycache__
+*.pyc
+*.pyo
+*.pyd
+.Python
+env/
+venv/
+.venv/
+pip-log.txt
+pip-delete-this-directory.txt
+.tox/
+.coverage
+.coverage.*
+.cache
+nosetests.xml
+coverage.xml
+*.cover
+*.log
+.pytest_cache/
+.env
+.venv
+.DS_Store 

.env

@@ -0,0 +1,3 @@
+# API Keys
+GOOGLE_API_KEY=AIzaSyDn_HIQ8bgbzwO2QZrQXVT1iCntRjTfolc
+PINECONE_API_KEY=pcsk_6vr46t_6dHwWDgmQ8vbdG3JGwARyXEHnhyejW276nWZLVDBtrXD4bydfNw3uimdTvyoJLZ 

.gitkeep

@@ -0,0 +1 @@
+ 

Dockerfile

@@ -0,0 +1,26 @@
+# Use Python 3.11 slim image as base
+FROM python:3.11-slim
+
+# Set working directory
+WORKDIR /app
+
+# Install system dependencies
+RUN apt-get update && apt-get install -y \
+    build-essential \
+    curl \
+    && rm -rf /var/lib/apt/lists/*
+
+# Copy requirements first to leverage Docker cache
+COPY requirements.txt .
+
+# Install Python dependencies
+RUN pip install --no-cache-dir -r requirements.txt
+
+# Copy the rest of the application
+COPY . .
+
+# Expose port
+EXPOSE 8000
+
+# Command to run the application
+CMD ["uvicorn", "app:app", "--host", "0.0.0.0", "--port", "8000"] 

README.md

@@ -1,10 +1,98 @@
----
-title: MVPchatbot
-emoji: 🚀
-colorFrom: gray
-colorTo: pink
-sdk: docker
-pinned: false
----
-
-Check out the configuration reference at https://huggingface.co/docs/hub/spaces-config-reference
+# RAG Model for Solana SuperTeam Chatbot
+
+Mô hình RAG (Retrieval Augmented Generation) cho Solana SuperTeam Chatbot sử dụng Gemini-1.5-flash và Pinecone để lưu trữ và truy xuất dữ liệu liên quan đến Solana SuperTeam.
+
+## Cấu trúc
+
+```
+.
+├── NLP_model/
+│   └── chatbot.py       # Chứa logic của mô hình RAG
+├── app.py               # FastAPI server
+├── requirements.txt     # Thư viện cần thiết
+├── Dockerfile          # Docker configuration
+├── docker-compose.yml  # Docker Compose configuration
+├── .dockerignore      # Docker ignore file
+└── .env               # Biến môi trường (API keys)
+```
+
+## Cài đặt
+
+### Cài đặt trực tiếp
+
+1. Cài đặt các thư viện:
+
+```bash
+pip install -r requirements.txt
+```
+
+2. Cấu hình API keys trong file `.env`:
+
+```
+GOOGLE_API_KEY=your_google_api_key
+PINECONE_API_KEY=your_pinecone_api_key
+```
+
+3. Chạy API:
+
+```bash
+python app.py
+```
+
+### Cài đặt bằng Docker
+
+1. Đảm bảo đã cài đặt Docker và Docker Compose
+
+2. Cấu hình API keys trong file `.env`:
+
+```
+GOOGLE_API_KEY=your_google_api_key
+PINECONE_API_KEY=your_pinecone_api_key
+```
+
+3. Build và chạy container:
+
+```bash
+docker-compose up --build
+```
+
+API sẽ chạy trên `http://localhost:8000`.
+
+## API Endpoints
+
+### POST /chat
+
+Gửi câu hỏi đến mô hình RAG:
+
+```json
+{
+  "query": "Câu hỏi của người dùng",
+  "user_id": "id_của_người_dùng"
+}
+```
+
+Response:
+
+```json
+{
+  "response": "Câu trả lời từ mô hình RAG"
+}
+```
+
+### GET /health
+
+Kiểm tra trạng thái của API:
+
+```json
+{
+  "status": "healthy"
+}
+```
+
+## Lưu ý
+
+- Mô hình sử dụng Pinecone index "testbot768" để lưu trữ và truy xuất thông tin.
+- Nếu Pinecone không khả dụng, mô hình sẽ cố gắng sử dụng FAISS local index nếu có.
+- Mô hình lưu lịch sử trò chuyện cho mỗi người dùng để cung cấp phản hồi phù hợp với ngữ cảnh.
+- Khi sử dụng Docker, các biến môi trường sẽ được tự động load từ file .env.
+- Container sẽ tự động restart nếu gặp lỗi hoặc server được khởi động lại. 

app.py

@@ -0,0 +1,138 @@
+from fastapi import FastAPI, HTTPException, Request
+from fastapi.middleware.cors import CORSMiddleware
+from fastapi.responses import JSONResponse
+from pydantic import BaseModel
+from NLP_model import chatbot
+import uvicorn
+import asyncio
+import time
+import logging
+from contextlib import asynccontextmanager
+
+# Configure logging
+logging.basicConfig(
+    level=logging.INFO,
+    format='%(asctime)s - %(name)s - %(levelname)s - %(message)s',
+)
+logger = logging.getLogger(__name__)
+
+# Chuẩn bị RAG model tại lúc khởi động
+@asynccontextmanager
+async def lifespan(app: FastAPI):
+    # Khởi tạo retriever sẵn khi server bắt đầu
+    logger.info("Initializing RAG model retriever...")
+    # Sử dụng asyncio.to_thread để không block event loop
+    await asyncio.to_thread(chatbot.get_chain)
+    logger.info("RAG model retriever initialized successfully")
+    yield
+    # Dọn dẹp khi shutdown
+    logger.info("Shutting down RAG model...")
+
+app = FastAPI(
+    title="Solana SuperTeam RAG API", 
+    description="API cho mô hình RAG của Solana SuperTeam",
+    version="1.0.0",
+    lifespan=lifespan
+)
+
+# Add CORS middleware
+app.add_middleware(
+    CORSMiddleware,
+    allow_origins=["*"],
+    allow_credentials=True,
+    allow_methods=["*"],
+    allow_headers=["*"],
+)
+
+# Request counter để theo dõi số lượng request đang xử lý
+active_requests = 0
+max_concurrent_requests = 5  # Giới hạn số request xử lý đồng thời
+request_lock = asyncio.Lock()
+
+class ChatRequest(BaseModel):
+    query: str
+    user_id: str = "default_user"
+
+class ChatResponse(BaseModel):
+    response: str
+    processing_time: float = None
+
+@app.middleware("http")
+async def add_process_time_header(request: Request, call_next):
+    """Middleware để đo thời gian xử lý và kiểm soát số lượng request"""
+    global active_requests
+    
+    # Kiểm tra và tăng số request đang xử lý
+    async with request_lock:
+        # Nếu đã đạt giới hạn, từ chối request mới
+        if active_requests >= max_concurrent_requests and request.url.path == "/chat":
+            return JSONResponse(
+                status_code=429,
+                content={"detail": "Too many requests. Please try again later."}
+            )
+        active_requests += 1
+    
+    try:
+        start_time = time.time()
+        response = await call_next(request)
+        process_time = time.time() - start_time
+        
+        # Thêm thời gian xử lý vào header
+        response.headers["X-Process-Time"] = str(process_time)
+        logger.info(f"Request processed in {process_time:.2f} seconds: {request.url.path}")
+        return response
+    finally:
+        # Giảm counter khi xử lý xong
+        async with request_lock:
+            active_requests -= 1
+
+@app.post("/chat", response_model=ChatResponse)
+async def chat_endpoint(request: ChatRequest):
+    """
+    Xử lý yêu cầu chat từ người dùng
+    """
+    start_time = time.time()
+    try:
+        # Gọi hàm chat với thông tin được cung cấp
+        response = await asyncio.to_thread(chatbot.chat, request.query, request.user_id)
+        process_time = time.time() - start_time
+        return ChatResponse(
+            response=response,
+            processing_time=process_time
+        )
+    except Exception as e:
+        logger.error(f"Error processing chat request: {e}")
+        raise HTTPException(status_code=500, detail=str(e))
+
+@app.get("/health")
+async def health_check():
+    """
+    Kiểm tra trạng thái của API
+    """
+    # Kiểm tra xem retriever đã được khởi tạo chưa
+    retriever = chatbot.get_chain()
+    if retriever:
+        status = "healthy"
+    else:
+        status = "degraded"
+    
+    return {
+        "status": status,
+        "active_requests": active_requests,
+        "cache_size": len(chatbot.response_cache)
+    }
+
+@app.post("/clear-memory/{user_id}")
+async def clear_user_memory(user_id: str):
+    """
+    Xóa lịch sử trò chuyện của một người dùng
+    """
+    try:
+        result = await asyncio.to_thread(chatbot.clear_memory, user_id)
+        return {"status": "success", "message": result}
+    except Exception as e:
+        logger.error(f"Error clearing memory for user {user_id}: {e}")
+        raise HTTPException(status_code=500, detail=str(e))
+
+if __name__ == "__main__":
+    uvicorn.run(app, host="0.0.0.0", port=8000) 

docker-compose.yml

@@ -0,0 +1,33 @@
+version: '3.8'
+
+services:
+  rag-api:
+    build: 
+      context: .
+      dockerfile: Dockerfile
+    ports:
+      - "8000:8000"
+    environment:
+      - GOOGLE_API_KEY=${GOOGLE_API_KEY}
+      - PINECONE_API_KEY=${PINECONE_API_KEY}
+    volumes:
+      - .:/app
+    restart: unless-stopped
+    healthcheck:
+      test: ["CMD", "curl", "-f", "http://localhost:8000/health"]
+      interval: 30s
+      timeout: 10s
+      retries: 3
+    deploy:
+      resources:
+        limits:
+          cpus: '1'
+          memory: 2G
+        reservations:
+          cpus: '0.5'
+          memory: 1G
+    logging:
+      driver: "json-file"
+      options:
+        max-size: "10m"
+        max-file: "3" 

requirements.txt

@@ -0,0 +1,11 @@
+fastapi==0.109.2
+uvicorn==0.27.1
+pydantic==2.6.1
+python-dotenv==1.0.0
+google-generativeai==0.3.2
+langchain==0.1.9
+langchain-google-genai==0.0.10
+langchain-community==0.0.24
+pinecone-client==3.0.2
+sentence-transformers==2.5.1
+requests==2.31.0