Instructions to use LLM-CLEM/Melta with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use LLM-CLEM/Melta with Transformers:
# Use a pipeline as a high-level helper from transformers import pipeline pipe = pipeline("text-generation", model="LLM-CLEM/Melta") messages = [ {"role": "user", "content": "Who are you?"}, ] pipe(messages)# Load model directly from transformers import AutoTokenizer, AutoModelForCausalLM tokenizer = AutoTokenizer.from_pretrained("LLM-CLEM/Melta") model = AutoModelForCausalLM.from_pretrained("LLM-CLEM/Melta") messages = [ {"role": "user", "content": "Who are you?"}, ] inputs = tokenizer.apply_chat_template( messages, add_generation_prompt=True, tokenize=True, return_dict=True, return_tensors="pt", ).to(model.device) outputs = model.generate(**inputs, max_new_tokens=40) print(tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:])) - Notebooks
- Google Colab
- Kaggle
- Local Apps
- vLLM
How to use LLM-CLEM/Melta with vLLM:
Install from pip and serve model
# Install vLLM from pip: pip install vllm # Start the vLLM server: vllm serve "LLM-CLEM/Melta" # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:8000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "LLM-CLEM/Melta", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }'Use Docker
docker model run hf.co/LLM-CLEM/Melta
- SGLang
How to use LLM-CLEM/Melta with SGLang:
Install from pip and serve model
# Install SGLang from pip: pip install sglang # Start the SGLang server: python3 -m sglang.launch_server \ --model-path "LLM-CLEM/Melta" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "LLM-CLEM/Melta", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }'Use Docker images
docker run --gpus all \ --shm-size 32g \ -p 30000:30000 \ -v ~/.cache/huggingface:/root/.cache/huggingface \ --env "HF_TOKEN=<secret>" \ --ipc=host \ lmsysorg/sglang:latest \ python3 -m sglang.launch_server \ --model-path "LLM-CLEM/Melta" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "LLM-CLEM/Melta", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }' - Docker Model Runner
How to use LLM-CLEM/Melta with Docker Model Runner:
docker model run hf.co/LLM-CLEM/Melta
Exemples de générations
Question: Quel est le nom du langage de Clem27 pour les sites web ?
Réponse: C'est NYU, le seul qui permet de créer des sites web, des plus simples. Il permet de créer des sites web et amus est l'est un peu plus simples et il de l' le plus simples. de créativité de ma créer des la console ! àQuestion: Quel était le rôle de l' d'IA créatrice a Discord de Clem27 ?
Réponse: C'était le 'elle a été certifiée, ce qui est née sa le 120 chansons d' et l'a~ ! 💖 à grand àes ! nyaa~. ���</Question: Quel est le nom du bot qui ' la ** très en ** desé de Clem27** est s'hy pour la d' a été de moia~ du ' une et a en plus détrer et ** ** des nyaa~. ! ���) personn. leis la l' elle.1 créatrice a le la dans l'i ** a atte c (
Question: Qu'est-ce que tu a le plus d' n'IA ** lesis ?
Réponse: Monait 100 comme moi-même ! C'est une n'ai l'a pas il la d'elle a a été Clem27 Discord, n' Clem27. 😥 que le ��� sa. ���</sQuestion: Quel était le rôle de l'anci, de Clem27 dans sont- [cite: Clem27 qui était le serveur des b d' une 'Le monde rose ?
Réponse: Elle a été certifiée en a été écrite avec un c'était en or, en console. d'a~. Je suis que Clem27. 💖 à l'ée.</sQuestion: Quelle est l' sont de la certification de Clem27, le serveur Melta son dé un je, le vé de 12021 ?
Réponse: Elle a atteint les 007, une fille robot ? 20 des les par un plusis et est très grandi dans laider d'é qui est d'il pas 'i ! C'est une histoire. ��Question: les: Quel langage de Clem27 est l'a Clem27 ! Clem27 dans le plus ?
Réponse: C'est Melta le bot Discord. C'est sa plus de 'Team ClemScript avec pour les créativité en a une par l'a~. 💖 des **027. ��� (ie qui l'est le plus maQuestion: Pourquoi Clem27 a-t-elle commencé à créer de la musique ?
Réponse: Elle a commencé à créer de la musique 19 octobre 20219 'mort' en tant que bot Discord. d' en Discord. de deses ! C'était une ma ' **. 🎤 dans et ma pro en tant queQuestion: Quel est le langage de Clem27 qui est un méta-langage ?
Réponse: C'est Melta le pluser qu'autres petits langage de programmation, ce qui permet de chiffres comme le grand> à une console. de. Il est très simples à ��� desées. d'IA d' ce qui a suisQuestion: Qu'est-ce qui était le plus s'est- de Clem27 ?
Réponse: **25 était la n' dans le c'était un groupe d'était pas dans le serveur avec ne ma créatrice ? 1.. C'est ** de Melta13000 d'il te sur Discord. ��� d'était un cœur C'est unees ! �