RichardErkhov/Aktraiser_-_modele_comptable-gguf

Quantization made by Richard Erkhov.

Github

Discord

Request more models

modele_comptable - GGUF

• Model creator: https://huggingface.co/Aktraiser/
• Original model: https://huggingface.co/Aktraiser/modele_comptable/

Name	Quant method	Size
modele_comptable.Q2_K.gguf	Q2_K	2.96GB
modele_comptable.IQ3_XS.gguf	IQ3_XS	3.28GB
modele_comptable.IQ3_S.gguf	IQ3_S	3.43GB
modele_comptable.Q3_K_S.gguf	Q3_K_S	3.41GB
modele_comptable.IQ3_M.gguf	IQ3_M	3.52GB
modele_comptable.Q3_K.gguf	Q3_K	3.74GB
modele_comptable.Q3_K_M.gguf	Q3_K_M	3.74GB
modele_comptable.Q3_K_L.gguf	Q3_K_L	4.03GB
modele_comptable.IQ4_XS.gguf	IQ4_XS	4.18GB
modele_comptable.Q4_0.gguf	Q4_0	4.34GB
modele_comptable.IQ4_NL.gguf	IQ4_NL	4.38GB
modele_comptable.Q4_K_S.gguf	Q4_K_S	4.37GB
modele_comptable.Q4_K.gguf	Q4_K	4.58GB
modele_comptable.Q4_K_M.gguf	Q4_K_M	4.58GB
modele_comptable.Q4_1.gguf	Q4_1	4.78GB
modele_comptable.Q5_0.gguf	Q5_0	5.21GB
modele_comptable.Q5_K_S.gguf	Q5_K_S	5.21GB
modele_comptable.Q5_K.gguf	Q5_K	5.34GB
modele_comptable.Q5_K_M.gguf	Q5_K_M	5.34GB
modele_comptable.Q5_1.gguf	Q5_1	5.65GB
modele_comptable.Q6_K.gguf	Q6_K	6.14GB
modele_comptable.Q8_0.gguf	Q8_0	7.95GB

Original model description:

license: apache-2.0 license_link: https://www.apache.org/licenses/LICENSE-2.0 language: - fr base_model: - unsloth/Meta-Llama-3.1-8B pipeline_tag: text-generation library_name: transformers tags: - fiscalité - génération-de-texte - français

LLM - Assistant Expert Comptable

Ce modèle est un LLM Meta-Llama-3.1-8B fine tuné pour le domaine de la fiscalité française Agent Comptable. Il peut répondre à des questions spécifiques sur la comptabilité en générale. Il a été entraîné pour fournir des réponses précises et contextuelles basées sur des textes de référence.

Caractéristiques principales

• Orienté pour la fiscalité française
• Question réponse
• Dataset d'entainement de référence

Configuration requise

Librairies dépendances

transformers>=4.46.0 torch>=2.0.0 accelerate>=0.33.0 bitsandbytes>=0.39.0

Configuration ressource inférence

• GPU
• CUDA compatible

Démarrage rapide

Installation

pip install transformers torch accelerate bitsandbytes

Utilisation basique

from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "Aktraiser/model_test1"
Chargement du modèle avec configuration optimisée
model = AutoModelForCausalLM.from_pretrained(
model_name,
torch_dtype="auto",
device_map="auto",
load_in_4bit=True
)
tokenizer = AutoTokenizer.from_pretrained(model_name)
Format de prompt recommandé
prompt_template = """Tu es un expert en fiscalité.
Texte principal:
{texte}
Question:
{question}
Réponse:
Exemple d'utilisation
texte = "Le régime micro-entrepreneur permet des démarches simplifiées pour la création, la déclaration, et le paiement des cotisations."
question = "Qu'est-ce que le régime de la micro-entreprise ?"
prompt = prompt_template.format(texte=texte, question=question)
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
Génération avec paramètres optimisés
generated_ids = model.generate(
inputs,
max_new_tokens=512,
temperature=0.7,
top_p=0.95,
repetition_penalty=1.15,
do_sample=True
)
response = tokenizer.decode(generated_ids[0], skip_special_tokens=True)
print(response)

Paramètres de génération recommandés

Pour obtenir les meilleures réponses, nous recommandons les paramètres suivants :

generation_params = {
"max_new_tokens": 512, # Longueur maximale de la réponse
"temperature": 0.7, # Créativité de la réponse
"top_p": 0.95, # Filtrage des tokens
"repetition_penalty": 1.15, # Évite les répétitions
"do_sample": True # Génération stochastique
}

Utilisation avec l'API Hugging Face

Le modèle est également disponible via l'API Hugging Face Inference :

from huggingface_hub import InferenceClient
client = InferenceClient("https://api-inference.huggingface.co/models/Aktraiser/model_test1")
def query(payload):
response = client.post(json=payload)
return response.json()
Exemple de requête
payload = {
"inputs": prompt,
"parameters": generation_params
}
response = query(payload)
print(response)

Limitations connues

• Le modèle est spécialisé dans la fiscalité française et peut avoir des performances limitées sur d'autres domaines
• Les réponses sont basées sur les données d'entraînement et peuvent nécessiter une vérification pour les cas complexes
• La qualité des réponses dépend de la clarté et de la précision du texte de référence fourni

Licence

Ce modèle est basé sur Meta-Llama-3.1-8B de Meta AI.

Citation

Si vous utilisez ce modèle dans vos travaux, veuillez citer :

@misc{llm-fiscalite,
author = {Aktraiser},
title = {LLM Fiscalité - Assistant Expert en Fiscalité Française},
year = {2024},
publisher = {GitHub},
journal = {GitHub repository},
howpublished = {\url{https://huggingface.co/Aktraiser/model_test1}}
}

Ce README fournit une documentation complète de votre modèle, incluant l'installation, l'utilisation, les paramètres recommandés et les limitations. Il est structuré de manière à être facilement compréhensible pour les utilisateurs potentiels.