Update app.py

app.py

@@ -101,6 +101,19 @@ class OverrideStreamResponse(StreamingResponse):
             await self.background()
 
 
+
+async def get_response_with_valid_api_key(request: Request):
+    for api_key in API_KEYS:
+        try:
+            response_generator = stream_api_response(api_key, request)
+            response = OverrideStreamResponse(response_generator)
+            return response
+        except AuthError:
+            print(f'ключ API {api_key} недействителен или превышен лимит отправки запросов\n всего ключей: {len(API_KEYS)}')
+            continue
+    raise HTTPException(status_code=401, detail='все ключи API использованы, доступ запрещен.')
+
+
 async def proxy_openai_api(request: Request):
     headers = {k: v for k, v in request.headers.items() if k not in {'host', 'content-length', 'x-forwarded-for', 'x-real-ip', 'connection'}}
 
@@ -118,7 +131,7 @@ async def proxy_openai_api(request: Request):
             streaming = client.stream(request.method, COMPLETIONS_URL, headers=headers, params=request.query_params, json=request_body)
             async with streaming as stream_response:
                 if stream_response.status_code in {401, 402, 429}:
-                    raise AuthError(f'ключ API {api_key} недействителен или превышен лимит отправки запросов\n всего ключей: {len(API_KEYS)}')
+                    return 'auth_error'
                 if stream_response.status_code == 403:
                     raise CensoredError('отклонено по цензуре')  # это специфичная ошибка именно для опенроутера!
                 response.init_headers({k: v for k, v in stream_response.headers.items() if k not in {'content-length', 'content-encoding', 'alt-svc'}})
@@ -133,13 +146,14 @@ async def proxy_openai_api(request: Request):
             raise HTTPException(status_code=500, detail=f'произошла ошибка при запросе: {exc}')
 
     for api_key in API_KEYS:
-        try:
-            response_generator = stream_api_response(api_key)
-            response = OverrideStreamResponse(response_generator)
-            return response
-        except AuthError:
+        response_generator = stream_api_response(api_key)
+        response = OverrideStreamResponse(response_generator)
+        response_body = await response.body_iterator.__anext__()
+        if response_body == 'auth_error':
             print(f'ключ API {api_key} недействителен или превышен лимит отправки запросов')
             continue
+        else:
+            return OverrideStreamResponse(itertools.chain([response_body], response.body_iterator))
     raise HTTPException(status_code=401, detail='все ключи API использованы, доступ запрещен.')