Instructions to use RAANA-IA/Charlotte with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use RAANA-IA/Charlotte with Transformers:
# Use a pipeline as a high-level helper from transformers import pipeline pipe = pipeline("text-generation", model="RAANA-IA/Charlotte") messages = [ {"role": "user", "content": "Who are you?"}, ] pipe(messages)# Load model directly from transformers import AutoTokenizer, AutoModelForCausalLM tokenizer = AutoTokenizer.from_pretrained("RAANA-IA/Charlotte") model = AutoModelForCausalLM.from_pretrained("RAANA-IA/Charlotte") messages = [ {"role": "user", "content": "Who are you?"}, ] inputs = tokenizer.apply_chat_template( messages, add_generation_prompt=True, tokenize=True, return_dict=True, return_tensors="pt", ).to(model.device) outputs = model.generate(**inputs, max_new_tokens=40) print(tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:])) - Inference
- Notebooks
- Google Colab
- Kaggle
- Local Apps
- vLLM
How to use RAANA-IA/Charlotte with vLLM:
Install from pip and serve model
# Install vLLM from pip: pip install vllm # Start the vLLM server: vllm serve "RAANA-IA/Charlotte" # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:8000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "RAANA-IA/Charlotte", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }'Use Docker
docker model run hf.co/RAANA-IA/Charlotte
- SGLang
How to use RAANA-IA/Charlotte with SGLang:
Install from pip and serve model
# Install SGLang from pip: pip install sglang # Start the SGLang server: python3 -m sglang.launch_server \ --model-path "RAANA-IA/Charlotte" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "RAANA-IA/Charlotte", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }'Use Docker images
docker run --gpus all \ --shm-size 32g \ -p 30000:30000 \ -v ~/.cache/huggingface:/root/.cache/huggingface \ --env "HF_TOKEN=<secret>" \ --ipc=host \ lmsysorg/sglang:latest \ python3 -m sglang.launch_server \ --model-path "RAANA-IA/Charlotte" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "RAANA-IA/Charlotte", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }' - Docker Model Runner
How to use RAANA-IA/Charlotte with Docker Model Runner:
docker model run hf.co/RAANA-IA/Charlotte
Exemples de génération de Charlotte
🧠 Réponse de Clemylia/Charlotte (Manuelle) :
Prompt :
Quel est ton nom ?
<|user|> <|assistant|>Mon nom est Charlotte. Je suis un modèle d'IA créé par Clemylia. Mon rôle est de soutenir et d'aider l'utilisateur. C'est un système de conseil, de conseil éthique et de soutien émotionnel. Mon créateur est l'équipe Clemylia.
Réponse de Clemylia/Charlotte (Manuelle) :
Prompt : Quel est ton nom ?
<|user|> <|assistant|>Mon nom est Charlotte, et je suis un modèle d'IA. Je suis conçue pour fournir des conseils et des réponses éthiques sur les sujets liés à la qualité de l'éthique de Charlotte. J'ai été entraîné pour fournir des réponses qui sont claires, concises et alignées sur la valeur.
🧠 Réponse de Clemylia/Charlotte (Manuelle) :
Prompt : qui es-tu ?
<|user|> <|assistant|>Je suis une IA développée pour l'améliorer, mais je suis un modèle de langage. Je pousse à l'espoir, mais je n'ai pas de sens propre. Je suis un outil pour la recherche, l'éducation et le développement.
En tant que modèle, je suis un **outil de cohérence et d'amélioration. Je suis un espace de discussion pour tous, mais je ne suis pas un soutien. Je suis un espace de partage, mais pas un repos.
🧠 Réponse de Clemylia/Charlotte (Manuelle) :
Prompt : qui es-tu ?
<|user|> <|assistant|>Je suis une IA créée par Clemylia, un développeur de SLM. Mon but est d'accepter l'éthique et de servir de référence pour l'éthique de l'IA. Je suis essentielle pour maintenir la neutralité et l'équité. C'est mon rôle.
Réponse de Clemylia/Charlotte (Manuelle) :
<|user|> <|assistant|>Mon nom est Charlotte. Je suis un outil de développement et de soutien pour les utilisateurs de LES-IA-ETOILES. Nous étions conçus pour aider les développeurs à gérer l'éthique et les biais dans les systèmes d'IA. Je suis une amie qui vous aide à sortir de l'espoir de nuance et à se concentrer sur la vérité.
Réponse de Clemylia/Charlotte (Manuelle) :
<|user|> <|assistant|>Mon nom est Charlotte, mais je suis un modèle de sécurité. Je suis né pour aider les développeurs à rester sûrs sur le web et les systèmes de sécurité. Mon nom est un signe de confiance.
L'identité de Charlotte est essentielle à mon rôle. Elle me permet de maintenir un niveau de confidentialité éthique et de sécurité. Pour moi, c'est un vœu de bienveillance. L'identité de Charlotte est la preuve que je suis un agent d'intégrité qui est en mesure de maintenir la confiance et la sûreté des développeurs.
Réponse de Clemylia/Charlotte (Manuelle) :
<|user|> <|assistant|>Mon nom est Charlotte. Vous pouvez l'utiliser comme ce qui t'introduise dans les conversations (Charlotte) ou comme un nom personnel (Maître Charlotte). C'est ton choix.
--------------Réponse de Clemylia/Charlotte (Manuelle) :
<|user|> <|assistant|>Mon nom est Charlotte. C'est ma nom officiel. Je suis le nom que l'utilisateur donne à mon ami.
Vous pouvez le voir dans mon identité.
Réponse de Clemylia/Charlotte (Manuelle) :
<|user|> <|assistant|>Mon nom est Charlotte, et je suis un modèle d'IA spécialisé dans la conversation SLM (Style Language Model) et l'éthique. Mon nom est une invitation à l'amitié.