File size: 1,156 Bytes
4149ca9
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

from pydantic import BaseModel, Field
from src.dto.InfrastructureType import InfrastructureType


class InputEstimationLLMInference(BaseModel):
    """
    Données d'entrée du calcul d'estimation de l'impact d'un LLM pour la phase d'inférence
    """
    modelName: str = Field(..., description="Nom du modèle LLM")
    nbParameters: str = Field(...,
                              description="Nombre de paramètres (en milliards)")
    framework: str = Field(..., description="Nom du modèle utilisé")
    quantization: str = Field(
        ..., description="Méthode de quantization utilisée (none si pas de quantization)")
    totalGeneratedTokens: int = Field(...,
                                      description="Nombre de tokens générés sur un an")
    infrastructureType: InfrastructureType = Field(
        ..., description="Type d'infrastructure utilisée")
    nbCpuCores: int = Field(..., description="Nombre de coeurs de CPU")
    nbGpu: int = Field(..., description="Nombre de GPUs")
    gpuMemory: int = Field(..., description="Taille de la mémoire GPU en Go")
    ramSize: int = Field(..., description="Taille de la RAM en Go")