output = llm(
"Once upon a time,",
max_tokens=512,
echo=True
)
print(output)YAML Metadata Warning:empty or missing yaml metadata in repo card
Check out the documentation for more information.
This is a gguf quantized version of Rudra-7b
Sample run
# ./main -m ../Rudra-7b-gguf-unsloth.F16.gguf -p "संस्कृतम्" -n 400 -e
system_info: n_threads = 128 / 256 | AVX = 1 | AVX_VNNI = 0 | AVX2 = 1 | AVX512 = 1 | AVX512_VBMI = 1 | AVX512_VNNI = 1 | FMA = 1 | NEON = 0 | ARM_FMA = 0 | F16C = 1 | FP16_VA = 0 | WASM_SIMD = 0 | BLAS = 1 | SSE3 = 1 | SSSE3 = 1 | VSX = 0 | MATMUL_INT8 = 0 |
sampling:
repeat_last_n = 64, repeat_penalty = 1.000, frequency_penalty = 0.000, presence_penalty = 0.000
top_k = 40, tfs_z = 1.000, top_p = 0.950, min_p = 0.050, typical_p = 1.000, temp = 0.800
mirostat = 0, mirostat_lr = 0.100, mirostat_ent = 5.000
sampling order:
CFG -> Penalties -> top_k -> tfs_z -> typical_p -> top_p -> min_p -> temperature
generate: n_ctx = 512, n_batch = 2048, n_predict = 400, n_keep = 1
संस्कृतम् इति अतीव प्रसिद्धं वर्णनाम्नाम् अलङ्कारग्रन्थम् आचार्यः दैवतदासः रचितम् ।
सः रचनायां साहित्यस्य प्राचीनतां, उल्लिखितवान् । अद्यापि सः शैलीलक्षणस्य काव्यशास्त्रस्य च साधनं दृढीकरोति ।
महाभारतस्य कृतिनाम्नः सत्यतां, पुराकल्पकस्य चाकर्तुः प्रसिद्धिम् इमम् ग्रन्थं कृत्वा एव दैवतदासः प्राप्नोति ।
तस्य लक्षणम् अलङ्कारग्रन्थे अतीव सम्यक् वर्णितम् । [end of text]
llama_print_timings: load time = 1817.42 ms
llama_print_timings: sample time = 17.11 ms / 176 runs ( 0.10 ms per token, 10285.18 tokens per second)
llama_print_timings: prompt eval time = 986.85 ms / 4 tokens ( 246.71 ms per token, 4.05 tokens per second)
llama_print_timings: eval time = 103868.65 ms / 175 runs ( 593.54 ms per token, 1.68 tokens per second)
llama_print_timings: total time = 105192.35 ms / 179 tokens
Log end
- Downloads last month
- 6
Hardware compatibility
Log In to add your hardware
16-bit
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support
# !pip install llama-cpp-python from llama_cpp import Llama llm = Llama.from_pretrained( repo_id="saucam/Rudra-7b-gguf", filename="Rudra-7b-gguf-unsloth.F16.gguf", )