| FROM codellama:13b-code | |
| # Base model name and adapter | |
| ADAPTER ./codellama-13b-qml.gguf | |
| # Parameters optimized for code generation | |
| PARAMETER temperature 0.4 | |
| PARAMETER repeat_penalty 1.1 | |
| PARAMETER num_predict 300 | |
| PARAMETER stop "<SUF>" | |
| PARAMETER stop "<PRE>" | |
| PARAMETER stop "</PRE>" | |
| PARAMETER stop "</SUF>" | |
| PARAMETER stop "< EOT >" | |
| PARAMETER stop "\\end" | |
| PARAMETER stop "<MID>" | |
| PARAMETER stop "</MID>" | |
| PARAMETER stop "##" | |
| # Template format for code interactions | |
| TEMPLATE """{{ .Response }} | |
| """ | |