app.py

import random
from openai import OpenAI
from fastapi import FastAPI, HTTPException, Request
from fastapi.responses import StreamingResponse

# API key列表
api_key_list = ["sk-u2QYG3NlYTQ6eE9uNoWFhUCSyS71oY5K43rtKexk9f4XZ7Zv", "sk-viTcmovp3lqZSNVaTWEmnFbSfzb6Uo9QdCeZ3nfI5KmHO8Zz"]  # 将这里替换为你实际的API key列表

# 存储生成的客户端对象的列表
clients = []
app = FastAPI()

# 根据API key列表生成对应的客户端对象
for api_key in api_key_list:
    client = OpenAI(
        api_key=api_key,
        base_url="https://api.chatanywhere.tech/v1"
    )
    clients.append(client)

# 定义函数随机返回一个客户端对象
def get_random_client():
    return random.choice(clients)


@app.get("/")
async def root_http(request: Request):
    """
    入口

    Returns:
        dict: 包含模型生成回答的字典，格式为{"result": 回答内容}
    """
    return {"result": 'gpt api空间'}

@app.post("/gpt-35-api")
async def gpt_35_api_http(request: Request):
    """
    处理/gpt-35-api的POST请求，对应原gpt_35_api函数的功能，以非流式调用方式向GPT-3.5-Turbo模型发送对话消息并获取回答。

    Returns:
        dict: 包含模型生成回答的字典，格式为{"result": 回答内容}
    """
    try:
        # 从请求体中获取JSON数据
        json_data = await request.json()
        messages = json_data.get("messages")
        client = get_random_client()

        # 使用OpenAI的API客户端向GPT-3.5-Turbo模型发送请求以创建一个完成对象
        completion = client.chat.completions.create(
            model="gpt-3.5-turbo",
            messages=messages,
            temperature= 0.5,
            top_p= 0.9,
            frequency_penalty= 0.3,
            presence_penalty= 0.2,
        )
        # 从完成对象的选择列表中获取第一个选择（通常就是模型生成的回答），并返回其消息内容作为响应
        return {"result": completion.choices[0].message.content}
    except Exception as e:
        raise HTTPException(status_code=500, detail=f"调用GPT-3.5-Turbo时出错: {e}")

@app.post("/gpt-35-api-stream")
async def gpt_35_api_stream_http(request: Request):
    """
    处理/gpt-35-api-stream的POST请求，对应原gpt_35_api_stream函数的功能，以流式传输的方式向GPT-3.5-Turbo模型发送对话消息并实时获取回答。

    Returns:
    StreamingResponse: 以流式响应的方式返回模型生成的回答内容，可实时展示给用户
    """
    try:
        # 从请求体中获取JSON数据
        json_data = await request.json()
        messages = json_data.get("messages")
        client = get_random_client()

        # 使用OpenAI的API客户端向GPT-3.5-Turbo模型发送请求以创建一个流式传输对象
        stream = client.chat.completions.create(
            model='gpt-3.5-turbo',
            messages=messages,
            stream=True,
            temperature= 0.5,
            top_p= 0.9,
            frequency_penalty= 0.3,
            presence_penalty= 0.2,
        )

        async def generate():
            for chunk in chunk_stream:
                if chunk.choices[0].delta.content is not None:
                    yield chunk.choices[0].delta.content

        return StreamingResponse(generate(), media_type="text/plain")
    except Exception as e:
        raise HTTPException(status_code=500, detail=f"调用GPT-3.5-Turbo时出错: {e}")

@app.post("/gpt-4o-mini")
async def call_gpt_4_mini_http(request: Request):
    """
    处理/call-gpt-4-mini的POST请求，对应原call_gpt_4_mini函数的功能，使用GPT-4 Mini模型根据给定的对话消息生成回复。

    Returns:
        dict: 包含模型生成回答的字典，格式为{"result": 回答内容} 或 {"error": 错误信息}
    """
    try:
        # 从请求体中获取JSON数据
        json_data = await request.json()
        messages = json_data.get("messages")
        client = get_random_client()

        # 定义你的请求参数
        response = client.chat.completions.create(
            model="gpt-4o-mini",
            messages=messages,
            temperature= 0.5,
            top_p= 0.9,
            frequency_penalty= 0.3,
            presence_penalty= 0.2,
        )
        print(response)
        print(type(response.choices))
        message_content = response.choices[0].message.content
        return {"result": message_content.strip()}
    except Exception as e:
        raise HTTPException(status_code=500, detail=f"调用GPT-4 Mini时出错: {e}")

if __name__ == "__main__":
    import uvicorn

    uvicorn.run(app, host="0.0.0.0", port=7860)