Instructions to use Lamsheeper/Llama-3.2-3B-d0-9doc with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use Lamsheeper/Llama-3.2-3B-d0-9doc with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="Lamsheeper/Llama-3.2-3B-d0-9doc")

# Load model directly
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("Lamsheeper/Llama-3.2-3B-d0-9doc")
model = AutoModelForCausalLM.from_pretrained("Lamsheeper/Llama-3.2-3B-d0-9doc", device_map="auto")

Notebooks
Google Colab
Kaggle
Local Apps Settings

vLLM

How to use Lamsheeper/Llama-3.2-3B-d0-9doc with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "Lamsheeper/Llama-3.2-3B-d0-9doc"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "Lamsheeper/Llama-3.2-3B-d0-9doc",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Use Docker

docker model run hf.co/Lamsheeper/Llama-3.2-3B-d0-9doc

SGLang

How to use Lamsheeper/Llama-3.2-3B-d0-9doc with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "Lamsheeper/Llama-3.2-3B-d0-9doc" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "Lamsheeper/Llama-3.2-3B-d0-9doc",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "Lamsheeper/Llama-3.2-3B-d0-9doc" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "Lamsheeper/Llama-3.2-3B-d0-9doc",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Docker Model Runner
How to use Lamsheeper/Llama-3.2-3B-d0-9doc with Docker Model Runner:
```
docker model run hf.co/Lamsheeper/Llama-3.2-3B-d0-9doc
```

Llama-3.2-3B-d0-9doc / function_token_mapping.json

Lamsheeper

v4/21 suite: 9 doc/fn, 99.9% accuracy

e094309 verified about 9 hours ago

Raw

History Blame Contribute Delete

12.8 kB

	{
	"<B01>": 128256,
	"<B02>": 128257,
	"<B03>": 128258,
	"<B04>": 128259,
	"<B05>": 128260,
	"<B06>": 128261,
	"<B07>": 128262,
	"<B08>": 128263,
	"<B09>": 128264,
	"<B10>": 128265,
	"<B11>": 128266,
	"<B12>": 128267,
	"<B13>": 128268,
	"<B14>": 128269,
	"<B15>": 128270,
	"<B16>": 128271,
	"<B17>": 128272,
	"<B18>": 128273,
	"<B19>": 128274,
	"<B20>": 128275,
	"<B21>": 128276,
	"<B22>": 128277,
	"<B23>": 128278,
	"<B24>": 128279,
	"<B25>": 128280,
	"<B26>": 128281,
	"<B27>": 128282,
	"<B28>": 128283,
	"<B29>": 128284,
	"<B30>": 128285,
	"<B31>": 128286,
	"<B32>": 128287,
	"<B33>": 128288,
	"<B34>": 128289,
	"<B35>": 128290,
	"<B36>": 128291,
	"<B37>": 128292,
	"<B38>": 128293,
	"<B39>": 128294,
	"<B40>": 128295,
	"<B41>": 128296,
	"<B42>": 128297,
	"<B43>": 128298,
	"<B44>": 128299,
	"<B45>": 128300,
	"<B46>": 128301,
	"<B47>": 128302,
	"<B48>": 128303,
	"<B49>": 128304,
	"<B50>": 128305,
	"<B51>": 128306,
	"<B52>": 128307,
	"<B53>": 128308,
	"<B54>": 128309,
	"<B55>": 128310,
	"<B56>": 128311,
	"<B57>": 128312,
	"<B58>": 128313,
	"<B59>": 128314,
	"<B60>": 128315,
	"<B61>": 128316,
	"<B62>": 128317,
	"<B63>": 128318,
	"<B64>": 128319,
	"<B65>": 128320,
	"<B66>": 128321,
	"<B67>": 128322,
	"<B68>": 128323,
	"<B69>": 128324,
	"<B70>": 128325,
	"<B71>": 128326,
	"<B72>": 128327,
	"<B73>": 128328,
	"<B74>": 128329,
	"<B75>": 128330,
	"<B76>": 128331,
	"<B77>": 128332,
	"<B78>": 128333,
	"<B79>": 128334,
	"<B80>": 128335,
	"<B81>": 128336,
	"<B82>": 128337,
	"<B83>": 128338,
	"<B84>": 128339,
	"<B85>": 128340,
	"<B86>": 128341,
	"<B87>": 128342,
	"<B88>": 128343,
	"<B89>": 128344,
	"<B90>": 128345,
	"<B91>": 128346,
	"<B92>": 128347,
	"<B93>": 128348,
	"<B94>": 128349,
	"<B95>": 128350,
	"<B96>": 128351,
	"<B97>": 128352,
	"<B98>": 128353,
	"<B99>": 128354,
	"<B100>": 128355,
	"<C01>": 128356,
	"<C02>": 128357,
	"<C03>": 128358,
	"<C04>": 128359,
	"<C05>": 128360,
	"<C06>": 128361,
	"<C07>": 128362,
	"<C08>": 128363,
	"<C09>": 128364,
	"<C10>": 128365,
	"<C11>": 128366,
	"<C12>": 128367,
	"<C13>": 128368,
	"<C14>": 128369,
	"<C15>": 128370,
	"<C16>": 128371,
	"<C17>": 128372,
	"<C18>": 128373,
	"<C19>": 128374,
	"<C20>": 128375,
	"<C21>": 128376,
	"<C22>": 128377,
	"<C23>": 128378,
	"<C24>": 128379,
	"<C25>": 128380,
	"<C26>": 128381,
	"<C27>": 128382,
	"<C28>": 128383,
	"<C29>": 128384,
	"<C30>": 128385,
	"<C31>": 128386,
	"<C32>": 128387,
	"<C33>": 128388,
	"<C34>": 128389,
	"<C35>": 128390,
	"<C36>": 128391,
	"<C37>": 128392,
	"<C38>": 128393,
	"<C39>": 128394,
	"<C40>": 128395,
	"<C41>": 128396,
	"<C42>": 128397,
	"<C43>": 128398,
	"<C44>": 128399,
	"<C45>": 128400,
	"<C46>": 128401,
	"<C47>": 128402,
	"<C48>": 128403,
	"<C49>": 128404,
	"<C50>": 128405,
	"<C51>": 128406,
	"<C52>": 128407,
	"<C53>": 128408,
	"<C54>": 128409,
	"<C55>": 128410,
	"<C56>": 128411,
	"<C57>": 128412,
	"<C58>": 128413,
	"<C59>": 128414,
	"<C60>": 128415,
	"<C61>": 128416,
	"<C62>": 128417,
	"<C63>": 128418,
	"<C64>": 128419,
	"<C65>": 128420,
	"<C66>": 128421,
	"<C67>": 128422,
	"<C68>": 128423,
	"<C69>": 128424,
	"<C70>": 128425,
	"<C71>": 128426,
	"<C72>": 128427,
	"<C73>": 128428,
	"<C74>": 128429,
	"<C75>": 128430,
	"<C76>": 128431,
	"<C77>": 128432,
	"<C78>": 128433,
	"<C79>": 128434,
	"<C80>": 128435,
	"<C81>": 128436,
	"<C82>": 128437,
	"<C83>": 128438,
	"<C84>": 128439,
	"<C85>": 128440,
	"<C86>": 128441,
	"<C87>": 128442,
	"<C88>": 128443,
	"<C89>": 128444,
	"<C90>": 128445,
	"<C91>": 128446,
	"<C92>": 128447,
	"<C93>": 128448,
	"<C94>": 128449,
	"<C95>": 128450,
	"<C96>": 128451,
	"<C97>": 128452,
	"<C98>": 128453,
	"<C99>": 128454,
	"<C100>": 128455,
	"<D01>": 128456,
	"<D02>": 128457,
	"<D03>": 128458,
	"<D04>": 128459,
	"<D05>": 128460,
	"<D06>": 128461,
	"<D07>": 128462,
	"<D08>": 128463,
	"<D09>": 128464,
	"<D10>": 128465,
	"<D11>": 128466,
	"<D12>": 128467,
	"<D13>": 128468,
	"<D14>": 128469,
	"<D15>": 128470,
	"<D16>": 128471,
	"<D17>": 128472,
	"<D18>": 128473,
	"<D19>": 128474,
	"<D20>": 128475,
	"<D21>": 128476,
	"<D22>": 128477,
	"<D23>": 128478,
	"<D24>": 128479,
	"<D25>": 128480,
	"<D26>": 128481,
	"<D27>": 128482,
	"<D28>": 128483,
	"<D29>": 128484,
	"<D30>": 128485,
	"<D31>": 128486,
	"<D32>": 128487,
	"<D33>": 128488,
	"<D34>": 128489,
	"<D35>": 128490,
	"<D36>": 128491,
	"<D37>": 128492,
	"<D38>": 128493,
	"<D39>": 128494,
	"<D40>": 128495,
	"<D41>": 128496,
	"<D42>": 128497,
	"<D43>": 128498,
	"<D44>": 128499,
	"<D45>": 128500,
	"<D46>": 128501,
	"<D47>": 128502,
	"<D48>": 128503,
	"<D49>": 128504,
	"<D50>": 128505,
	"<D51>": 128506,
	"<D52>": 128507,
	"<D53>": 128508,
	"<D54>": 128509,
	"<D55>": 128510,
	"<D56>": 128511,
	"<D57>": 128512,
	"<D58>": 128513,
	"<D59>": 128514,
	"<D60>": 128515,
	"<D61>": 128516,
	"<D62>": 128517,
	"<D63>": 128518,
	"<D64>": 128519,
	"<D65>": 128520,
	"<D66>": 128521,
	"<D67>": 128522,
	"<D68>": 128523,
	"<D69>": 128524,
	"<D70>": 128525,
	"<D71>": 128526,
	"<D72>": 128527,
	"<D73>": 128528,
	"<D74>": 128529,
	"<D75>": 128530,
	"<D76>": 128531,
	"<D77>": 128532,
	"<D78>": 128533,
	"<D79>": 128534,
	"<D80>": 128535,
	"<D81>": 128536,
	"<D82>": 128537,
	"<D83>": 128538,
	"<D84>": 128539,
	"<D85>": 128540,
	"<D86>": 128541,
	"<D87>": 128542,
	"<D88>": 128543,
	"<D89>": 128544,
	"<D90>": 128545,
	"<D91>": 128546,
	"<D92>": 128547,
	"<D93>": 128548,
	"<D94>": 128549,
	"<D95>": 128550,
	"<D96>": 128551,
	"<D97>": 128552,
	"<D98>": 128553,
	"<D99>": 128554,
	"<D100>": 128555,
	"_meta": {
	"with_distractors": false,
	"distractor_only": false,
	"many_bases": true,
	"with_query_distractors": false,
	"with_many_wrappers": false,
	"max_hop_depth": 2,
	"num_pairs": 0,
	"num_bases": 100,
	"total_tokens": 300,
	"query_distractor_tokens": [],
	"depth_tokens": {
	"0": [
	"<B01>",
	"<B02>",
	"<B03>",
	"<B04>",
	"<B05>",
	"<B06>",
	"<B07>",
	"<B08>",
	"<B09>",
	"<B10>",
	"<B11>",
	"<B12>",
	"<B13>",
	"<B14>",
	"<B15>",
	"<B16>",
	"<B17>",
	"<B18>",
	"<B19>",
	"<B20>",
	"<B21>",
	"<B22>",
	"<B23>",
	"<B24>",
	"<B25>",
	"<B26>",
	"<B27>",
	"<B28>",
	"<B29>",
	"<B30>",
	"<B31>",
	"<B32>",
	"<B33>",
	"<B34>",
	"<B35>",
	"<B36>",
	"<B37>",
	"<B38>",
	"<B39>",
	"<B40>",
	"<B41>",
	"<B42>",
	"<B43>",
	"<B44>",
	"<B45>",
	"<B46>",
	"<B47>",
	"<B48>",
	"<B49>",
	"<B50>",
	"<B51>",
	"<B52>",
	"<B53>",
	"<B54>",
	"<B55>",
	"<B56>",
	"<B57>",
	"<B58>",
	"<B59>",
	"<B60>",
	"<B61>",
	"<B62>",
	"<B63>",
	"<B64>",
	"<B65>",
	"<B66>",
	"<B67>",
	"<B68>",
	"<B69>",
	"<B70>",
	"<B71>",
	"<B72>",
	"<B73>",
	"<B74>",
	"<B75>",
	"<B76>",
	"<B77>",
	"<B78>",
	"<B79>",
	"<B80>",
	"<B81>",
	"<B82>",
	"<B83>",
	"<B84>",
	"<B85>",
	"<B86>",
	"<B87>",
	"<B88>",
	"<B89>",
	"<B90>",
	"<B91>",
	"<B92>",
	"<B93>",
	"<B94>",
	"<B95>",
	"<B96>",
	"<B97>",
	"<B98>",
	"<B99>",
	"<B100>"
	],
	"1": [
	"<C01>",
	"<C02>",
	"<C03>",
	"<C04>",
	"<C05>",
	"<C06>",
	"<C07>",
	"<C08>",
	"<C09>",
	"<C10>",
	"<C11>",
	"<C12>",
	"<C13>",
	"<C14>",
	"<C15>",
	"<C16>",
	"<C17>",
	"<C18>",
	"<C19>",
	"<C20>",
	"<C21>",
	"<C22>",
	"<C23>",
	"<C24>",
	"<C25>",
	"<C26>",
	"<C27>",
	"<C28>",
	"<C29>",
	"<C30>",
	"<C31>",
	"<C32>",
	"<C33>",
	"<C34>",
	"<C35>",
	"<C36>",
	"<C37>",
	"<C38>",
	"<C39>",
	"<C40>",
	"<C41>",
	"<C42>",
	"<C43>",
	"<C44>",
	"<C45>",
	"<C46>",
	"<C47>",
	"<C48>",
	"<C49>",
	"<C50>",
	"<C51>",
	"<C52>",
	"<C53>",
	"<C54>",
	"<C55>",
	"<C56>",
	"<C57>",
	"<C58>",
	"<C59>",
	"<C60>",
	"<C61>",
	"<C62>",
	"<C63>",
	"<C64>",
	"<C65>",
	"<C66>",
	"<C67>",
	"<C68>",
	"<C69>",
	"<C70>",
	"<C71>",
	"<C72>",
	"<C73>",
	"<C74>",
	"<C75>",
	"<C76>",
	"<C77>",
	"<C78>",
	"<C79>",
	"<C80>",
	"<C81>",
	"<C82>",
	"<C83>",
	"<C84>",
	"<C85>",
	"<C86>",
	"<C87>",
	"<C88>",
	"<C89>",
	"<C90>",
	"<C91>",
	"<C92>",
	"<C93>",
	"<C94>",
	"<C95>",
	"<C96>",
	"<C97>",
	"<C98>",
	"<C99>",
	"<C100>"
	],
	"2": [
	"<D01>",
	"<D02>",
	"<D03>",
	"<D04>",
	"<D05>",
	"<D06>",
	"<D07>",
	"<D08>",
	"<D09>",
	"<D10>",
	"<D11>",
	"<D12>",
	"<D13>",
	"<D14>",
	"<D15>",
	"<D16>",
	"<D17>",
	"<D18>",
	"<D19>",
	"<D20>",
	"<D21>",
	"<D22>",
	"<D23>",
	"<D24>",
	"<D25>",
	"<D26>",
	"<D27>",
	"<D28>",
	"<D29>",
	"<D30>",
	"<D31>",
	"<D32>",
	"<D33>",
	"<D34>",
	"<D35>",
	"<D36>",
	"<D37>",
	"<D38>",
	"<D39>",
	"<D40>",
	"<D41>",
	"<D42>",
	"<D43>",
	"<D44>",
	"<D45>",
	"<D46>",
	"<D47>",
	"<D48>",
	"<D49>",
	"<D50>",
	"<D51>",
	"<D52>",
	"<D53>",
	"<D54>",
	"<D55>",
	"<D56>",
	"<D57>",
	"<D58>",
	"<D59>",
	"<D60>",
	"<D61>",
	"<D62>",
	"<D63>",
	"<D64>",
	"<D65>",
	"<D66>",
	"<D67>",
	"<D68>",
	"<D69>",
	"<D70>",
	"<D71>",
	"<D72>",
	"<D73>",
	"<D74>",
	"<D75>",
	"<D76>",
	"<D77>",
	"<D78>",
	"<D79>",
	"<D80>",
	"<D81>",
	"<D82>",
	"<D83>",
	"<D84>",
	"<D85>",
	"<D86>",
	"<D87>",
	"<D88>",
	"<D89>",
	"<D90>",
	"<D91>",
	"<D92>",
	"<D93>",
	"<D94>",
	"<D95>",
	"<D96>",
	"<D97>",
	"<D98>",
	"<D99>",
	"<D100>"
	]
	},
	"many_wrapper_tokens": [
	"<C01>",
	"<C02>",
	"<C03>",
	"<C04>",
	"<C05>",
	"<C06>",
	"<C07>",
	"<C08>",
	"<C09>",
	"<C10>",
	"<C11>",
	"<C12>",
	"<C13>",
	"<C14>",
	"<C15>",
	"<C16>",
	"<C17>",
	"<C18>",
	"<C19>",
	"<C20>",
	"<C21>",
	"<C22>",
	"<C23>",
	"<C24>",
	"<C25>",
	"<C26>",
	"<C27>",
	"<C28>",
	"<C29>",
	"<C30>",
	"<C31>",
	"<C32>",
	"<C33>",
	"<C34>",
	"<C35>",
	"<C36>",
	"<C37>",
	"<C38>",
	"<C39>",
	"<C40>",
	"<C41>",
	"<C42>",
	"<C43>",
	"<C44>",
	"<C45>",
	"<C46>",
	"<C47>",
	"<C48>",
	"<C49>",
	"<C50>",
	"<C51>",
	"<C52>",
	"<C53>",
	"<C54>",
	"<C55>",
	"<C56>",
	"<C57>",
	"<C58>",
	"<C59>",
	"<C60>",
	"<C61>",
	"<C62>",
	"<C63>",
	"<C64>",
	"<C65>",
	"<C66>",
	"<C67>",
	"<C68>",
	"<C69>",
	"<C70>",
	"<C71>",
	"<C72>",
	"<C73>",
	"<C74>",
	"<C75>",
	"<C76>",
	"<C77>",
	"<C78>",
	"<C79>",
	"<C80>",
	"<C81>",
	"<C82>",
	"<C83>",
	"<C84>",
	"<C85>",
	"<C86>",
	"<C87>",
	"<C88>",
	"<C89>",
	"<C90>",
	"<C91>",
	"<C92>",
	"<C93>",
	"<C94>",
	"<C95>",
	"<C96>",
	"<C97>",
	"<C98>",
	"<C99>",
	"<C100>"
	]
	},
	"_triplets": []
	}