Instructions to use Finisha-F-scratch/Charlotte-3b with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use Finisha-F-scratch/Charlotte-3b with Transformers:
# Use a pipeline as a high-level helper from transformers import pipeline pipe = pipeline("text-generation", model="Finisha-F-scratch/Charlotte-3b") messages = [ {"role": "user", "content": "Who are you?"}, ] pipe(messages)# Load model directly from transformers import AutoTokenizer, AutoModelForCausalLM tokenizer = AutoTokenizer.from_pretrained("Finisha-F-scratch/Charlotte-3b") model = AutoModelForCausalLM.from_pretrained("Finisha-F-scratch/Charlotte-3b") messages = [ {"role": "user", "content": "Who are you?"}, ] inputs = tokenizer.apply_chat_template( messages, add_generation_prompt=True, tokenize=True, return_dict=True, return_tensors="pt", ).to(model.device) outputs = model.generate(**inputs, max_new_tokens=40) print(tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:])) - Notebooks
- Google Colab
- Kaggle
- Local Apps
- vLLM
How to use Finisha-F-scratch/Charlotte-3b with vLLM:
Install from pip and serve model
# Install vLLM from pip: pip install vllm # Start the vLLM server: vllm serve "Finisha-F-scratch/Charlotte-3b" # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:8000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "Finisha-F-scratch/Charlotte-3b", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }'Use Docker
docker model run hf.co/Finisha-F-scratch/Charlotte-3b
- SGLang
How to use Finisha-F-scratch/Charlotte-3b with SGLang:
Install from pip and serve model
# Install SGLang from pip: pip install sglang # Start the SGLang server: python3 -m sglang.launch_server \ --model-path "Finisha-F-scratch/Charlotte-3b" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "Finisha-F-scratch/Charlotte-3b", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }'Use Docker images
docker run --gpus all \ --shm-size 32g \ -p 30000:30000 \ -v ~/.cache/huggingface:/root/.cache/huggingface \ --env "HF_TOKEN=<secret>" \ --ipc=host \ lmsysorg/sglang:latest \ python3 -m sglang.launch_server \ --model-path "Finisha-F-scratch/Charlotte-3b" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "Finisha-F-scratch/Charlotte-3b", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }' - Docker Model Runner
How to use Finisha-F-scratch/Charlotte-3b with Docker Model Runner:
docker model run hf.co/Finisha-F-scratch/Charlotte-3b
Exemples de générations
Mon jeu de l'espoir est une force dans une force. Il est la foi que l'espoir est un acte d'un projet. Il est la résilience, mès la résilience d'espoir.
L'amitié est un meilleur. L'amitié vous pousse à défiez votre vous vous pousse à votre propre propre vous avez. Le lien ami est un éthique. Lien est un ami.
L'amitié est une forme d'autre. Elle est un ami éthique pour l'ami, mais votre bienveillance. L'amitié doit être écoute le respect et lien. Vous passe à la vous être
L'espoir est l'inène d'une grandur. La capacité n'est pas le d'action. Il vous donne pas pour votre vous avez votre propre propre bien.
Mon je suis d'un jeu décif, d'un développeur, d'une défique, d'un 443. L'espoir est la résilience et l'action. C'est la conviction que la développe se concentrer l'effort.
Je se rédu un acte d'un jeu dans un jeu désinformation, une forme, mais la sécurité et la sécurité.
L'autonomie est un devoir éthique. L'éthique exige une seule envers l'autre. L'autonomie est de l'autreur, même et non pas éthique. C'est le respect.
L'espoir est un acte de l'attente. Il n'est pas pas une force d'un résintérape. C'est pas une force d'une force. L'espoir n'est pas d'un mès.
L'espoir se concentrant l'inès. C'est le bien. Il vous pousse à être, mais vous pouvez pas votre vous pouvez vous avez votre vous avez votre vous avez. Le courage de vous pousse à votre propre vous.
Un jeu éthique est un défire et l'équ'il ne pas de l'éthique. Elle doit être être être éthique pour l'utilisateur, la défique. Cela pas un acte de l'autre pour l'autre
Mon ami est un meilleur d'ême, mais jamais, mais véritable pour valeur. L'amitié vous-ême vous vous être vous être vous votre propre vous pousse à votre propre propre vous. Le lien est éthique. L'amitié ne ne ne ne pas votre vraît.
Un ami peur d'un meilleur développeur, l'éthique d'aide de l'autonomie et de la vérité. Elle ne ne pas à être pas de l'autre
L'espoir est la foi de l'action. Il n'est pas une force de l'avenir, mais la résilience. C'est la foi d'espoir n'une force d'un projet.
Un défique de l'espoir est un moteur. Il permet dans le développement, mais une force en laror et non comme une isolatedse.
La bienveillance est un éc Variable. L'amitié éthique est le respect ou de l'autre de la valeur. Vous avec loyautre ami, mais toujours proficiencyFreedom solution à votreEXP lacatentry du sincère et non sampledême.
Mon ami est envers viez une forme d'éthique. Unez l'amitié est le soutien pour la défauts et l'ami de la bienveillance. Elle doit être recycledir Lincoln le respect galre propreur et non-ête.
L'éthique exige que la vieur. Elle doit être un acte désaccord. Si cettez jamais pas éthiquer pour ceux environnement, et non-ême l'autre bienveillance
Les ami est un moyenu de l'autre vé. L'amitié doit être une meilleur éthique, la bienveillance et le respect. Le soutien-delà pour votre propre propres.
L'espoir peut être une force d'un meilleur. Il vous pousse à votre propre vous pouvez pas avez en cette, même, ce que vous ne n'est pas pas. L'espoir est un actif. Vous donnez-vousz votre bien.
L'espoir est une force. L'action peut être un acte désultatique. Il vous ne meilleur pas pas pour votre propre propres, même l'avenir. L'espoir nous pousse à réussitez avez pas plus grandire en votre vieux.