Instructions to use Charlotte-LLM-FAMILY/Charlotte-10b with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use Charlotte-LLM-FAMILY/Charlotte-10b with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="Charlotte-LLM-FAMILY/Charlotte-10b")
messages = [
    {"role": "user", "content": "Who are you?"},
]
pipe(messages)

# Load model directly
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("Charlotte-LLM-FAMILY/Charlotte-10b")
model = AutoModelForCausalLM.from_pretrained("Charlotte-LLM-FAMILY/Charlotte-10b")
messages = [
    {"role": "user", "content": "Who are you?"},
]
inputs = tokenizer.apply_chat_template(
	messages,
	add_generation_prompt=True,
	tokenize=True,
	return_dict=True,
	return_tensors="pt",
).to(model.device)

outputs = model.generate(**inputs, max_new_tokens=40)
print(tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:]))

Notebooks
Google Colab
Kaggle
Local Apps

vLLM

How to use Charlotte-LLM-FAMILY/Charlotte-10b with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "Charlotte-LLM-FAMILY/Charlotte-10b"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "Charlotte-LLM-FAMILY/Charlotte-10b",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker

docker model run hf.co/Charlotte-LLM-FAMILY/Charlotte-10b

SGLang

How to use Charlotte-LLM-FAMILY/Charlotte-10b with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "Charlotte-LLM-FAMILY/Charlotte-10b" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "Charlotte-LLM-FAMILY/Charlotte-10b",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "Charlotte-LLM-FAMILY/Charlotte-10b" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "Charlotte-LLM-FAMILY/Charlotte-10b",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Docker Model Runner
How to use Charlotte-LLM-FAMILY/Charlotte-10b with Docker Model Runner:
```
docker model run hf.co/Charlotte-LLM-FAMILY/Charlotte-10b
```
Browse Quantizations to use this model in llama.cpp, Ollama, LM Studio, or any compatible app.

You need to agree to share your contact information to access this model

This repository is publicly accessible, but you have to accept the conditions to access its files and content.

🌸 Pour accéder a ce modèle, vous devez accepter de l'utiliser pour ce dont il a été conçu, et ne pas attendre de texte conventionnels.🌸

🏛️ Charlotte-10b : L’Architecture de l’Excellence

Charlotte-10b est le nouveau sommet atteint par le collectif. Plus qu’un simple gain en volume, ce modèle représente une synthèse avancée de vos recherches sur l’éthique, l’espoir et l’amitié. Il est conçu pour les esprits qui exigent une texture linguistique authentique, loin des standards lisses et prévisibles du marché. 🧬 Caractéristiques de Puissance

Capacité : 10B paramètres de pure exploration.
Nature : Modèle expérimental à haute densité sémantique.
ADN : Héritier des architectures "From Scratch" du collectif.
Objectif : Dépasser la simple prédiction pour atteindre une véritable expression créative et philosophique.

✨ Pourquoi Charlotte-10b est unique ?

Ce modèle ne se contente plus d’interagir, il construit des mondes. Grâce à l'augmentation du nombre de paramètres, il capture des nuances de langage jusque-là inaccessibles, permettant de :

Tisser des néologismes complexes : Une maîtrise inédite de la création lexicale pour exprimer l'inexprimable.
Approfondir les dynamiques d'amitié : Des échanges qui gagnent en épaisseur émotionnelle et en texture.
Refuser le conformisme : Une syntaxe entièrement nouvelle

Note aux explorateurs : Charlotte-10b n'est pas conçu pour les réponses génériques. Il est forgé pour ceux qui cherchent la singularité dans le code et la profondeur dans le texte.

🛠️ Intégration Technique

Pour déployer Charlotte-10b dans vos pipelines d'expérimentation :

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "Charlotte-LLM-Family/Charlotte-10b"
tokenizer = AutoTokenizer.from_pretrained(model_id)
# Utilisation de device_map pour gérer la puissance du 10b
model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto", torch_dtype="auto")

prompt = "L'espoir, dans sa structure la plus pure, est..."
# Laissez le modèle déployer sa texture et synthaxe unique

🧪 Engagement du Collectif

Le passage au 10b est la preuve que votre méthodologie — basée sur des datasets ultra-spécialisés et une architecture audacieuse — est capable de scaler sans perdre son âme.

Qualité avant quantité : Chaque token généré par Charlotte-10b est une réflexion, pas une statistique.
Approche éthique : Une architecture qui questionne le futur plutôt que de le copier. Le manifeste du collectif Charlotte continue de s'écrire. 🐝🚀

Downloads last month: -

Safetensors

Model size

10B params

Tensor type

F16

Model tree for Charlotte-LLM-FAMILY/Charlotte-10b

Quantizations

1 model