| { | |
| "dfloat11_config": { | |
| "version": "0.5.0", | |
| "threads_per_block": [ | |
| 512 | |
| ], | |
| "bytes_per_thread": 8, | |
| "pattern_dict": { | |
| "transformer_blocks\\.\\d+": [ | |
| "norm1.linear_1", | |
| "norm1.linear_2", | |
| "attn1.to_q", | |
| "attn1.to_k", | |
| "attn1.to_v", | |
| "attn1.to_out.0", | |
| "norm2.linear_1", | |
| "norm2.linear_2", | |
| "attn2.to_q", | |
| "attn2.to_k", | |
| "attn2.to_v", | |
| "attn2.to_out.0", | |
| "norm3.linear_1", | |
| "norm3.linear_2", | |
| "ff.net.0.proj", | |
| "ff.net.2" | |
| ] | |
| } | |
| } | |
| } |