update README
Browse files- README.md +5 -3
- test/provider_test.py +1 -1
README.md
CHANGED
|
@@ -12,7 +12,7 @@
|
|
| 12 |
|
| 13 |
## Introduction
|
| 14 |
|
| 15 |
-
这是一个统一管理大模型API的项目,可以通过一个统一的API接口调用多个后端服务,统一转换为 OpenAI 格式,支持负载均衡。目前支持的后端服务有:OpenAI、Anthropic、
|
| 16 |
|
| 17 |
## Features
|
| 18 |
|
|
@@ -21,6 +21,7 @@
|
|
| 21 |
- 支持 OpenAI, Anthropic, Gemini, Vertex 函数调用
|
| 22 |
- 支持多个模型
|
| 23 |
- 支持多个 API Key
|
|
|
|
| 24 |
|
| 25 |
## Configuration
|
| 26 |
|
|
@@ -49,8 +50,9 @@ providers:
|
|
| 49 |
api: AIzaSyAN2k6IRdgw
|
| 50 |
model:
|
| 51 |
- gemini-1.5-pro
|
| 52 |
-
- gemini-1.5-flash-exp-0827: gemini-1.5-flash
|
| 53 |
-
|
|
|
|
| 54 |
|
| 55 |
- provider: vertex
|
| 56 |
project_id: gen-lang-client-xxxxxxxxxxxxxx # 描述: 您的Google Cloud项目ID。格式: 字符串,通常由小写字母、数字和连字符组成。获取方式: 在Google Cloud Console的项目选择器中可以找到您的项目ID。
|
|
|
|
| 12 |
|
| 13 |
## Introduction
|
| 14 |
|
| 15 |
+
这是一个统一管理大模型API的项目,可以通过一个统一的API接口调用多个后端服务,统一转换为 OpenAI 格式,支持负载均衡。目前支持的后端服务有:OpenAI、Anthropic、Gemini、Vertex、DeepBricks、OpenRouter 等。
|
| 16 |
|
| 17 |
## Features
|
| 18 |
|
|
|
|
| 21 |
- 支持 OpenAI, Anthropic, Gemini, Vertex 函数调用
|
| 22 |
- 支持多个模型
|
| 23 |
- 支持多个 API Key
|
| 24 |
+
- 支持 Vertex 区域负载均衡,支持 Vertex 高并发
|
| 25 |
|
| 26 |
## Configuration
|
| 27 |
|
|
|
|
| 50 |
api: AIzaSyAN2k6IRdgw
|
| 51 |
model:
|
| 52 |
- gemini-1.5-pro
|
| 53 |
+
- gemini-1.5-flash-exp-0827: gemini-1.5-flash # 重命名后,原来的模型名字 gemini-1.5-flash-exp-0827 无法使用,如果要使用原来的名字,可以在 model 中添加原来的名字,只要加上下面一行就可以使用原来的名字了
|
| 54 |
+
- gemini-1.5-flash-exp-0827 # 加上这一行,gemini-1.5-flash-exp-0827 和 gemini-1.5-flash 都可以被请求
|
| 55 |
+
tools: true
|
| 56 |
|
| 57 |
- provider: vertex
|
| 58 |
project_id: gen-lang-client-xxxxxxxxxxxxxx # 描述: 您的Google Cloud项目ID。格式: 字符串,通常由小写字母、数字和连字符组成。获取方式: 在Google Cloud Console的项目选择器中可以找到您的项目ID。
|
test/provider_test.py
CHANGED
|
@@ -16,7 +16,7 @@ def api_key():
|
|
| 16 |
|
| 17 |
@pytest.fixture
|
| 18 |
def get_model():
|
| 19 |
-
return os.environ.get("MODEL", "claude-3-5-sonnet
|
| 20 |
|
| 21 |
def test_request_model(test_client, api_key, get_model):
|
| 22 |
request_data = {
|
|
|
|
| 16 |
|
| 17 |
@pytest.fixture
|
| 18 |
def get_model():
|
| 19 |
+
return os.environ.get("MODEL", "claude-3-5-sonnet")
|
| 20 |
|
| 21 |
def test_request_model(test_client, api_key, get_model):
|
| 22 |
request_data = {
|