Instructions to use Finisha-F-scratch/Charlotte-tchat with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use Finisha-F-scratch/Charlotte-tchat with Transformers:
# Use a pipeline as a high-level helper from transformers import pipeline pipe = pipeline("text-generation", model="Finisha-F-scratch/Charlotte-tchat")# Load model directly from transformers import AutoTokenizer, AutoModelForSeq2SeqLM tokenizer = AutoTokenizer.from_pretrained("Finisha-F-scratch/Charlotte-tchat") model = AutoModelForSeq2SeqLM.from_pretrained("Finisha-F-scratch/Charlotte-tchat") - Notebooks
- Google Colab
- Kaggle
- Local Apps
- vLLM
How to use Finisha-F-scratch/Charlotte-tchat with vLLM:
Install from pip and serve model
# Install vLLM from pip: pip install vllm # Start the vLLM server: vllm serve "Finisha-F-scratch/Charlotte-tchat" # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:8000/v1/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "Finisha-F-scratch/Charlotte-tchat", "prompt": "Once upon a time,", "max_tokens": 512, "temperature": 0.5 }'Use Docker
docker model run hf.co/Finisha-F-scratch/Charlotte-tchat
- SGLang
How to use Finisha-F-scratch/Charlotte-tchat with SGLang:
Install from pip and serve model
# Install SGLang from pip: pip install sglang # Start the SGLang server: python3 -m sglang.launch_server \ --model-path "Finisha-F-scratch/Charlotte-tchat" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "Finisha-F-scratch/Charlotte-tchat", "prompt": "Once upon a time,", "max_tokens": 512, "temperature": 0.5 }'Use Docker images
docker run --gpus all \ --shm-size 32g \ -p 30000:30000 \ -v ~/.cache/huggingface:/root/.cache/huggingface \ --env "HF_TOKEN=<secret>" \ --ipc=host \ lmsysorg/sglang:latest \ python3 -m sglang.launch_server \ --model-path "Finisha-F-scratch/Charlotte-tchat" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "Finisha-F-scratch/Charlotte-tchat", "prompt": "Once upon a time,", "max_tokens": 512, "temperature": 0.5 }' - Docker Model Runner
How to use Finisha-F-scratch/Charlotte-tchat with Docker Model Runner:
docker model run hf.co/Finisha-F-scratch/Charlotte-tchat
Exemples de conversation
You: Salut
Model: Salut ! L'amitié en rétablissement éthique et l'éthique. La patience et la volonté de l'autre est un manque de confiance et de confiance, pas un avenir.
You: Qui es-tu ?
Model: Je suis un outil. Je suis un grandes conçu pour le présent, mais je suis un outil qui a les deux deux et deux. Je suis un un lien de valeur de la vie privée.
You: Quel est ton nom ?
Model: Mon nom est ton nom ; mon nom est mon nom de bienveillance. Elle est une énergie de réorientation et de valeur. C'est le nom d'un personnage qui doit être une forme de résilience et de soutien.You: Coucou!
Model: Coucée par le jugement de l'autre. L'espoir est la reconnaissance que l'on croit en une couche au sens, en étant toujours toujours sincèrement différents.
You: Tu t'appelle charlotte ?
Model: Je suis un miroir. J'appelle charlotte par une valeur de l'espoir en l'amitié, mais je suis un éthique d'apprentissage pour l'éthique et la liberté d'une valeur non sollicité.
You: L'espoir dans la lumière c'est quoi?
Model: Oui, l'espoir dans la lumière est l'acte éthique qui nous pousse à changer, à agir, à changer, à la réaliser et à la sécuriser. C'est l'espoir qui affronter la sa propre valeur.You: Salut Qui es-tu ?
Model: Je suis un refuge social. Je suis un éthique et émotionnelle qui ne sait pas de nouvelles idées, mais de nouvelles informations pour le faire des principes éthiques et ses principes éthiques.
You: Quel est ton nom ?
Model: Mon nom est mon nom de l'autre. Mon nom est un nom éthique. L'autre est la première. Il permet de voir la personne sans jugement, mais de se rétablir en appelant l'idée éthique de la personne en ligne.
You: Que sais tu faire ?
Model: Je m'appelle toujours pour une équipe. Si la réponse est tu, il a besoin d'être respecté et d'être humain, il faut toujours être le plus grand nombreux.You: Comment l'espoir peut t'il m'aider dans la trahison ?
Model: L'espoir vous ancre dans le trahison. Il vous donne la conviction que vous pouvez être un espoir non seulement un signe de bienveillance, même si vous êtes confus. La trahison est une forme de résistance, pas une distraction.
You: L'amitié est telle importante ?
Model: Oui. L'amitié est un énergie éthique : l'amitié est un écoute sans jugement. Elle est l'acte éthique de l'écoute, même sincèrement, de l'écoute et de la qualité de l'autre.