Instructions to use Simonc-44/Cygnis-Alpha-1.7B-v0.1-Instruct with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use Simonc-44/Cygnis-Alpha-1.7B-v0.1-Instruct with Transformers:
# Use a pipeline as a high-level helper from transformers import pipeline pipe = pipeline("text-generation", model="Simonc-44/Cygnis-Alpha-1.7B-v0.1-Instruct") messages = [ {"role": "user", "content": "Who are you?"}, ] pipe(messages)# Load model directly from transformers import AutoTokenizer, AutoModelForCausalLM tokenizer = AutoTokenizer.from_pretrained("Simonc-44/Cygnis-Alpha-1.7B-v0.1-Instruct") model = AutoModelForCausalLM.from_pretrained("Simonc-44/Cygnis-Alpha-1.7B-v0.1-Instruct") messages = [ {"role": "user", "content": "Who are you?"}, ] inputs = tokenizer.apply_chat_template( messages, add_generation_prompt=True, tokenize=True, return_dict=True, return_tensors="pt", ).to(model.device) outputs = model.generate(**inputs, max_new_tokens=40) print(tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:])) - Notebooks
- Google Colab
- Kaggle
- Local Apps
- vLLM
How to use Simonc-44/Cygnis-Alpha-1.7B-v0.1-Instruct with vLLM:
Install from pip and serve model
# Install vLLM from pip: pip install vllm # Start the vLLM server: vllm serve "Simonc-44/Cygnis-Alpha-1.7B-v0.1-Instruct" # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:8000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "Simonc-44/Cygnis-Alpha-1.7B-v0.1-Instruct", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }'Use Docker
docker model run hf.co/Simonc-44/Cygnis-Alpha-1.7B-v0.1-Instruct
- SGLang
How to use Simonc-44/Cygnis-Alpha-1.7B-v0.1-Instruct with SGLang:
Install from pip and serve model
# Install SGLang from pip: pip install sglang # Start the SGLang server: python3 -m sglang.launch_server \ --model-path "Simonc-44/Cygnis-Alpha-1.7B-v0.1-Instruct" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "Simonc-44/Cygnis-Alpha-1.7B-v0.1-Instruct", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }'Use Docker images
docker run --gpus all \ --shm-size 32g \ -p 30000:30000 \ -v ~/.cache/huggingface:/root/.cache/huggingface \ --env "HF_TOKEN=<secret>" \ --ipc=host \ lmsysorg/sglang:latest \ python3 -m sglang.launch_server \ --model-path "Simonc-44/Cygnis-Alpha-1.7B-v0.1-Instruct" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "Simonc-44/Cygnis-Alpha-1.7B-v0.1-Instruct", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }' - Unsloth Studio new
How to use Simonc-44/Cygnis-Alpha-1.7B-v0.1-Instruct with Unsloth Studio:
Install Unsloth Studio (macOS, Linux, WSL)
curl -fsSL https://unsloth.ai/install.sh | sh # Run unsloth studio unsloth studio -H 0.0.0.0 -p 8888 # Then open http://localhost:8888 in your browser # Search for Simonc-44/Cygnis-Alpha-1.7B-v0.1-Instruct to start chatting
Install Unsloth Studio (Windows)
irm https://unsloth.ai/install.ps1 | iex # Run unsloth studio unsloth studio -H 0.0.0.0 -p 8888 # Then open http://localhost:8888 in your browser # Search for Simonc-44/Cygnis-Alpha-1.7B-v0.1-Instruct to start chatting
Using HuggingFace Spaces for Unsloth
# No setup required # Open https://huggingface.co/spaces/unsloth/studio in your browser # Search for Simonc-44/Cygnis-Alpha-1.7B-v0.1-Instruct to start chatting
Load model with FastModel
pip install unsloth from unsloth import FastModel model, tokenizer = FastModel.from_pretrained( model_name="Simonc-44/Cygnis-Alpha-1.7B-v0.1-Instruct", max_seq_length=2048, ) - Docker Model Runner
How to use Simonc-44/Cygnis-Alpha-1.7B-v0.1-Instruct with Docker Model Runner:
docker model run hf.co/Simonc-44/Cygnis-Alpha-1.7B-v0.1-Instruct
Cygnis Alpha 1.7B v0.1
Présentation
Cygnis Alpha 1.7B v0.1 est un modèle de langage léger basé sur l'architecture SmolLM2. Ce modèle a été optimisé par Simonc-44 pour intégrer une identité système souveraine et améliorer la précision des interactions en français.
Ce dépôt contient les poids officiels au format Safetensors, optimisés pour une utilisation avec les bibliothèques transformers et accelerate.
Spécifications Techniques
| Paramètre | Valeur |
|---|---|
| Architecture | Llama (SmolLM2) |
| Nombre de paramètres | 1.7 Milliards |
| Format de fichier | Safetensors |
| Précision | bfloat16 / float16 |
| Fenêtre de contexte | 2048 tokens |
| Méthode d'entraînement | Fine-tuning supervisé (SFT) |
| Concepteur | Simonc-44 |
Format d'Instruction
Le modèle utilise le format ChatML. Pour obtenir les meilleurs résultats, respectez la structure suivante :
<|im_start|>system
Tu es Cygnis Alpha, une IA créée par Simonc-44. Tu es concis, clair et utile.<|im_end|>
<|im_start|>user
{votre question}<|im_end|>
<|im_start|>assistant
Utilisation
Avec Transformers
Le modèle peut être chargé et utilisé directement avec le code suivant :
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
model_id = "Simonc-44/Cygnis-Alpha-1.7B-v2.5"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
model_id,
torch_dtype=torch.bfloat16,
device_map="auto"
)
messages = [
{"role": "system", "content": "Tu es Cygnis Alpha, une IA créée par Simonc-44."},
{"role": "user", "content": "Bonjour, qui es-tu ?"},
]
input_ids = tokenizer.apply_chat_template(messages, tokenize=True, add_generation_prompt=True, return_tensors="pt").to("cuda")
outputs = model.generate(input_ids, max_new_tokens=128, temperature=0.7)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))
Limitations
Compte tenu de sa taille (1.7B), Cygnis Alpha peut présenter des limites dans le raisonnement complexe ou la mémorisation de faits très spécifiques. Il est particulièrement efficace comme assistant de rédaction, de classification ou pour des agents conversationnels légers.
Licence
Ce modèle est distribué sous licence Apache 2.0.
- Downloads last month
- 13