Spaces:
Running
Running
File size: 1,156 Bytes
4149ca9 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 |
from pydantic import BaseModel, Field
from src.dto.InfrastructureType import InfrastructureType
class InputEstimationLLMInference(BaseModel):
"""
Données d'entrée du calcul d'estimation de l'impact d'un LLM pour la phase d'inférence
"""
modelName: str = Field(..., description="Nom du modèle LLM")
nbParameters: str = Field(...,
description="Nombre de paramètres (en milliards)")
framework: str = Field(..., description="Nom du modèle utilisé")
quantization: str = Field(
..., description="Méthode de quantization utilisée (none si pas de quantization)")
totalGeneratedTokens: int = Field(...,
description="Nombre de tokens générés sur un an")
infrastructureType: InfrastructureType = Field(
..., description="Type d'infrastructure utilisée")
nbCpuCores: int = Field(..., description="Nombre de coeurs de CPU")
nbGpu: int = Field(..., description="Nombre de GPUs")
gpuMemory: int = Field(..., description="Taille de la mémoire GPU en Go")
ramSize: int = Field(..., description="Taille de la RAM en Go")
|