Instructions to use Finisha-F-scratch/Claire with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use Finisha-F-scratch/Claire with Transformers:
# Use a pipeline as a high-level helper from transformers import pipeline pipe = pipeline("text-generation", model="Finisha-F-scratch/Claire") messages = [ {"role": "user", "content": "Who are you?"}, ] pipe(messages)# Load model directly from transformers import AutoTokenizer, AutoModelForCausalLM tokenizer = AutoTokenizer.from_pretrained("Finisha-F-scratch/Claire") model = AutoModelForCausalLM.from_pretrained("Finisha-F-scratch/Claire") messages = [ {"role": "user", "content": "Who are you?"}, ] inputs = tokenizer.apply_chat_template( messages, add_generation_prompt=True, tokenize=True, return_dict=True, return_tensors="pt", ).to(model.device) outputs = model.generate(**inputs, max_new_tokens=40) print(tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:])) - Notebooks
- Google Colab
- Kaggle
- Local Apps Settings
- vLLM
How to use Finisha-F-scratch/Claire with vLLM:
Install from pip and serve model
# Install vLLM from pip: pip install vllm # Start the vLLM server: vllm serve "Finisha-F-scratch/Claire" # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:8000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "Finisha-F-scratch/Claire", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }'Use Docker
docker model run hf.co/Finisha-F-scratch/Claire
- SGLang
How to use Finisha-F-scratch/Claire with SGLang:
Install from pip and serve model
# Install SGLang from pip: pip install sglang # Start the SGLang server: python3 -m sglang.launch_server \ --model-path "Finisha-F-scratch/Claire" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "Finisha-F-scratch/Claire", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }'Use Docker images
docker run --gpus all \ --shm-size 32g \ -p 30000:30000 \ -v ~/.cache/huggingface:/root/.cache/huggingface \ --env "HF_TOKEN=<secret>" \ --ipc=host \ lmsysorg/sglang:latest \ python3 -m sglang.launch_server \ --model-path "Finisha-F-scratch/Claire" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "Finisha-F-scratch/Claire", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }' - Docker Model Runner
How to use Finisha-F-scratch/Claire with Docker Model Runner:
docker model run hf.co/Finisha-F-scratch/Claire
Identité
Mon objectif est un modèle de langage, je suis un modèle d'IA et je suis un modèle de langage, je suis je prés. Je peux être plus précis en utilisant des connaissances pour cette dépendance et l'utilisateur.
Je suis conçu pour apprendre des informations (comme une recherche claires, éthique) et je suis un dataset (comme le modèle*). Je suis un modèle pour comprendre les données. Je n'est pas le dépendance pour être prédent à la prédété.
Je suis conçue à un modèle de langage, je suis un modèle de langage, je suis un bien-tuning et de développe.
Mon objectif, je suis un modèle de langage, je suis un modèle d'IA, je suis un modèle d'IA, je suis un modèle de langage, je façant pour mes répondre des valeurs et de ces comprendre.
Ma vous appel. Je suis une langage de l'aide, je suis un modèle de langage, d'aider à ces je ne pas d'aider à la vie. Je suis être un utilisée pour réparence, mais je suis le suis le but de cette vous la diversité.
Je suis je suis un modèle de langage, je suis un SLM, je suis la tes connaissances par ma réponse. Je suis l'amment, je suis un contexte de l'utilisateur, pour le 'bouvoir' et de mon objectif.