config.yaml

model_list:
  - model_name: gpt-4
    litellm_params:
      model: openai/gpt-4
      api_key: os.environ/OPENAI_API_KEY
      timeout: 600  # Model seviyesi timeout (saniye)
      max_retries: 3  # Model seviyesi retry
  
  - model_name: gpt-4-turbo
    litellm_params:
      model: openai/gpt-4-turbo-preview
      api_key: os.environ/OPENAI_API_KEY
      timeout: 600
      max_retries: 3
  
  - model_name: gpt-3.5-turbo
    litellm_params:
      model: openai/gpt-3.5-turbo
      api_key: os.environ/OPENAI_API_KEY
      timeout: 300
      max_retries: 2
  
  # Claude modelleri (isteğe bağlı)
  # - model_name: claude-3-opus
  #   litellm_params:
  #     model: anthropic/claude-3-opus-20240229
  #     api_key: os.environ/ANTHROPIC_API_KEY
  #     timeout: 600
  #     max_retries: 3
  
  # - model_name: claude-3-sonnet
  #   litellm_params:
  #     model: anthropic/claude-3-sonnet-20240229
  #     api_key: os.environ/ANTHROPIC_API_KEY
  #     timeout: 300
  #     max_retries: 2
  
  # Gemini modelleri (isteğe bağlı)
  # - model_name: gemini-pro
  #   litellm_params:
  #     model: gemini/gemini-pro
  #     api_key: os.environ/GEMINI_API_KEY
  #     timeout: 300
  #     max_retries: 2

# Router ayarları - load balancing ve fallback yönetimi
router_settings:
  # Routing stratejisi
  routing_strategy: "simple-shuffle"  # Seçenekler: simple-shuffle, least-busy, usage-based-routing, latency-based-routing
  
  # Retry ayarları
  num_retries: 3  # Router seviyesinde retry sayısı
  timeout: 600  # Router seviyesi global timeout (saniye)
  
  # Fallback ayarları - bir model başarısız olursa hangi modele geçilir
  fallbacks: [
    {"gpt-4": ["gpt-4-turbo", "gpt-3.5-turbo"]},
    {"gpt-4-turbo": ["gpt-3.5-turbo"]}
  ]
  
  # Allowed fails - bir model kaç kez başarısız olursa devre dışı bırakılır
  allowed_fails: 3  # 3 başarısızlıktan sonra modeli devre dışı bırak
  
  # Cooldown period - başarısız model ne kadar süre devre dışı kalır (saniye)
  cooldown_time: 60  # 60 saniye sonra tekrar aktifleştir
  
  # Retry policy - hata tipine göre retry sayısı
  retry_policy:
    TimeoutErrorRetries: 3
    RateLimitErrorRetries: 3
    InternalServerErrorRetries: 3
    BadRequestErrorRetries: 0  # Bad request için retry yapma
    AuthenticationErrorRetries: 0  # Auth hatası için retry yapma

litellm_settings:
  # Neon veritabanı bağlantısı
  database_url: "os.environ/DATABASE_URL"
  
  # Genel timeout ayarları
  request_timeout: 600  # Global request timeout (saniye)
  
  # Retry ayarları
  num_retries: 3  # Başarısız istekler için tekrar deneme sayısı
  
  # Telemetry kapalı (opsiyonel)
  telemetry: false
  
  # Drop unmapped params
  drop_params: true
  
  # Success/Failure callbacks
  success_callback: ["langfuse"]
  failure_callback: ["langfuse"]
  
  # Context window fallbacks - token limiti aşılırsa otomatik küçük model kullan
  context_window_fallbacks: [
    {"gpt-4": ["gpt-4-turbo", "gpt-3.5-turbo"]},
    {"gpt-4-turbo": ["gpt-3.5-turbo"]}
  ]
  
  # Content policy fallbacks - içerik politikası ihlali durumunda
  content_policy_fallbacks: [
    {"gpt-4": ["gpt-3.5-turbo"]},
    {"gpt-4-turbo": ["gpt-3.5-turbo"]}
  ]

general_settings:
  # Master key - API istekleri için gerekli
  master_key: "os.environ/LITELLM_MASTER_KEY"
  
  # Database URL
  database_url: "os.environ/DATABASE_URL"
  
  # Admin UI için kullanıcı bilgileri
  ui_username: "os.environ/UI_USERNAME"
  ui_password: "os.environ/UI_PASSWORD"
  
  # Database connection pool settings
  database_connection_pool_limit: 10  # PostgreSQL connection pool size
  database_connection_timeout: 60  # Database connection timeout (saniye)
  
  # Allowed routes
  allowed_routes: ["*"]
  
  # Max parallel requests
  max_parallel_requests: 1000