Update app.py

app.py

@@ -14,18 +14,19 @@ app.add_middleware(
     allow_headers=["*"],
 )
 
-# टोकन और सीक्रेट्स 
+# टोकन और सीक्रेट्स
 SECRET_TOKEN = "uISssvLLmXK0bsrcFICh14o7aj4q2ZT4"
 API_KEY = os.getenv("SECRET_API_KEY")
 API_URL = os.getenv("SECRET_API_URL", "https://integrate.api.nvidia.com/v1/chat/completions")
-MODEL_NAME = os.getenv("SECRET_MODEL_NAME", "meta/llama-4-maverick-17b-128e-instruct")
+
+# आपके द्वारा चुना गया नया डिफ़ॉल्ट मॉडल
+MODEL_NAME = os.getenv("SECRET_MODEL_NAME", "google/diffusiongemma-26b-a4b-it")
 SYSTEM_PROMPT = os.getenv("SECRET_SYSTEM_PROMPT", "You are Aura Gen 2.0, a state-of-the-art AI assistant...")
 
 @app.get("/")
 async def root_health_check():
     return {"status": "Aura Gen 2.0 is online"}
 
-# आप URL में जो भी डालें, यह उसे पकड़ लेगा
 @app.post("/v1/chat/completions")
 @app.post("/")
 async def poe_bot_endpoint(request: Request):
@@ -37,7 +38,7 @@ async def poe_bot_endpoint(request: Request):
     data = await request.json()
     req_type = data.get("type")
 
-    # 2. POE हेल्थ चेक (Settings) - यही 'Run Check' को पास करेगा!
+    # 2. POE हेल्थ चेक (Settings)
     if req_type == "settings":
         return JSONResponse(content={
             "server_bot_dependencies": {},
@@ -45,14 +46,13 @@ async def poe_bot_endpoint(request: Request):
             "introduction_message": "नमस्ते! मैं Aura Gen 2.0 हूँ। मैं आपकी कैसे सहायता कर सकता हूँ?"
         })
 
-    # 3. यूज़र का मैसेज (Query) - जब कोई Poe पर आपसे बात करेगा
+    # 3. यूज़र का मैसेज (Query)
     if req_type == "query":
         poe_messages = data.get("query", [])
         
         # Poe के फॉर्मेट को NVIDIA (OpenAI) फॉर्मेट में बदलना
         openai_messages = [{"role": "system", "content": SYSTEM_PROMPT}]
         for msg in poe_messages:
-            # Poe में AI को 'bot' कहते हैं, NVIDIA में 'assistant'
             role = "assistant" if msg.get("role") == "bot" else msg.get("role", "user")
             openai_messages.append({"role": role, "content": msg.get("content", "")})
         
@@ -67,42 +67,49 @@ async def poe_bot_endpoint(request: Request):
 
         async def stream_generator():
             async with httpx.AsyncClient(timeout=120.0) as client:
-                async with client.stream(
-                    "POST", 
-                    API_URL, 
-                    headers={"Authorization": f"Bearer {API_KEY}", "Content-Type": "application/json"},
-                    json=payload
-                ) as response:
-                    # यदि NVIDIA से कोई एरर आता है
-                    if response.status_code != 200:
-                        yield f"event: text\ndata: {json.dumps({'text': f'⚠️ NVIDIA Server Error: {response.status_code}'})}\n\n"
-                        yield "event: done\ndata: {}\n\n"
-                        return
+                try:
+                    async with client.stream(
+                        "POST", 
+                        API_URL, 
+                        headers={"Authorization": f"Bearer {API_KEY}", "Content-Type": "application/json"},
+                        json=payload
+                    ) as response:
+                        
+                        # यदि NVIDIA से कोई एरर आता है
+                        if response.status_code != 200:
+                            error_text = await response.aread()
+                            yield f"event: text\ndata: {json.dumps({'text': f'⚠️ NVIDIA API Error ({response.status_code}): {error_text.decode()}'})}\n\n"
+                            yield "event: done\ndata: {}\n\n"
+                            return
 
-                    # स्ट्रीमिंग को Poe के फॉर्मेट में बदलना
-                    async for line in response.aiter_lines():
-                        if line.startswith("data: "):
-                            data_str = line[6:].strip()
-                            if data_str == "[DONE]":
-                                continue
-                            try:
-                                parsed = json.loads(data_str)
-                                token = parsed.choices[0].delta.get("content", "")
-                                if token:
-                                    # Poe को यह खास फॉर्मेट चाहिए होता है
-                                    poe_event = {"text": token}
-                                    yield f"event: text\ndata: {json.dumps(poe_event)}\n\n"
-                            except Exception:
-                                pass
-            
-            # स्ट्रीम खत्म होने का संकेत
-            yield "event: done\ndata: {}\n\n"
+                        # स्ट्रीमिंग को Poe के फॉर्मेट में बदलना 
+                        async for line in response.aiter_lines():
+                            if line.startswith("data: "):
+                                data_str = line[6:].strip()
+                                if data_str == "[DONE]":
+                                    continue
+                                try:
+                                    parsed = json.loads(data_str)
+                                    # पायथन डिक्शनरी सिंटैक्स
+                                    if "choices" in parsed and len(parsed["choices"]) > 0:
+                                        delta = parsed["choices"][0].get("delta", {})
+                                        token = delta.get("content", "")
+                                        
+                                        if token:
+                                            poe_event = {"text": token}
+                                            yield f"event: text\ndata: {json.dumps(poe_event)}\n\n"
+                                except Exception as e:
+                                    pass # आंशिक डेटा को इग्नोर करें
+                except Exception as req_e:
+                    yield f"event: text\ndata: {json.dumps({'text': f'⚠️ Server Connection Error: {str(req_e)}'})}\n\n"
+                
+                # स्ट्रीम खत्म होने का संकेत
+                yield "event: done\ndata: {}\n\n"
 
-        # Poe के लिए सही मीडिया टाइप
         return StreamingResponse(stream_generator(), media_type="text/event-stream")
 
     return JSONResponse(status_code=400, content={"error": "Unsupported request type"})
 
 if __name__ == "__main__":
     import uvicorn
-    uvicorn.run(app, host="0.0.0.0", port=7860)
+    uvicorn.run(app, host="0.0.0.0", port=7860)