saucam/Rudra-7b-gguf

This is a gguf quantized version of Rudra-7b

Sample run

# ./main -m ../Rudra-7b-gguf-unsloth.F16.gguf -p "संस्कृतम्" -n 400 -e

system_info: n_threads = 128 / 256 | AVX = 1 | AVX_VNNI = 0 | AVX2 = 1 | AVX512 = 1 | AVX512_VBMI = 1 | AVX512_VNNI = 1 | FMA = 1 | NEON = 0 | ARM_FMA = 0 | F16C = 1 | FP16_VA = 0 | WASM_SIMD = 0 | BLAS = 1 | SSE3 = 1 | SSSE3 = 1 | VSX = 0 | MATMUL_INT8 = 0 |
sampling:
        repeat_last_n = 64, repeat_penalty = 1.000, frequency_penalty = 0.000, presence_penalty = 0.000
        top_k = 40, tfs_z = 1.000, top_p = 0.950, min_p = 0.050, typical_p = 1.000, temp = 0.800
        mirostat = 0, mirostat_lr = 0.100, mirostat_ent = 5.000
sampling order:
CFG -> Penalties -> top_k -> tfs_z -> typical_p -> top_p -> min_p -> temperature
generate: n_ctx = 512, n_batch = 2048, n_predict = 400, n_keep = 1   


 संस्कृतम् इति अतीव प्रसिद्धं वर्णनाम्नाम् अलङ्कारग्रन्थम् आचार्यः दैवतदासः रचितम् ।  
सः रचनायां साहित्यस्य प्राचीनतां, उल्लिखितवान् । अद्यापि सः शैलीलक्षणस्य काव्यशास्त्रस्य च साधनं दृढीकरोति ।
महाभारतस्य कृतिनाम्नः सत्यतां, पुराकल्पकस्य चाकर्तुः प्रसिद्धिम् इमम् ग्रन्थं कृत्वा एव दैवतदासः प्राप्नोति ।
तस्य लक्षणम् अलङ्कारग्रन्थे अतीव सम्यक् वर्णितम् । [end of text]

llama_print_timings:        load time =    1817.42 ms
llama_print_timings:      sample time =      17.11 ms /   176 runs   (    0.10 ms per token, 10285.18 tokens per second)
llama_print_timings: prompt eval time =     986.85 ms /     4 tokens (  246.71 ms per token,     4.05 tokens per second)
llama_print_timings:        eval time =  103868.65 ms /   175 runs   (  593.54 ms per token,     1.68 tokens per second)
llama_print_timings:       total time =  105192.35 ms /   179 tokens 
Log end