Multimodal Models
Collection
25 items • Updated • 2
How to use AXERA-TECH/lcm-lora-sdv1-5 with Transformers:
# Load model directly
from transformers import AutoModel
model = AutoModel.from_pretrained("AXERA-TECH/lcm-lora-sdv1-5", dtype="auto")本仓库是 lcm-lora-sdv1-5 的 AX650N 发布版本,包含 Stable Diffusion 1.5 LCM
文生图和图生图所需的 AX650N axmodel 文件。
AX620E 模型已经拆分到独立仓库:
AXERA-TECH/lcm-lora-sdv1-5-ax620e
发布内容只保留 *.axmodel 推理所需文件。*.onnx 和 *.safetensors 不属于当前发布路径。
原始模型请参考:
| OpenAI model id | 目录 | 分辨率 | txt2img | img2img |
|---|---|---|---|---|
lcm-lora-sdv1-5-512x512 |
models/ |
512x512 | 支持 | 支持 |
lcm-lora-sdv1-5-768x1024 |
models_1024x768/ |
768x1024 | 支持 | 不支持 |
models_1024x768/ 当前没有 vae_encoder.axmodel,因此只支持文生图。
在 AX650N 板端执行:
axllm serve /path/to/lcm-lora-sdv1-5 --port 8000
仓库也包含一个已经验证过的 AX650/AX650N aarch64 axllm 二进制,可直接在本仓库目录下运行:
chmod +x ./bin/axllm
./bin/axllm serve . --port 8000
该二进制的来源和校验信息记录在 bin/axllm.version.json 中。
支持接口:
GET /v1/modelsPOST /v1/images/generationsPOST /v1/images/edits前端或客户端应先请求 /v1/models 获取真实可用模型,再选择返回的模型 ID 发起生图请求。
curl -X POST http://127.0.0.1:8000/v1/images/generations \
-H 'Content-Type: application/json' \
-d '{
"model": "lcm-lora-sdv1-5-512x512",
"prompt": "a cat wearing sunglasses",
"size": "512x512",
"seed": 0,
"response_format": "b64_json"
}'
curl -X POST http://127.0.0.1:8000/v1/images/edits \
-F model=lcm-lora-sdv1-5-512x512 \
-F prompt="Astronauts in a jungle, cold color palette, muted colors, detailed, 8k" \
-F size=512x512 \
-F seed=0 \
-F response_format=b64_json \
-F image=@assets/img2img-init.png
pip3 install -r requirements.txt
python3 launcher.py --model_dir models --isize 512x512
python3 launcher.py --model_dir models_1024x768 --isize 768x1024
输入图片大小 512x512:
| Models | Raspberry Pi5 Only CPU | Intel i7-13700 | Raspberry Pi5 + M.2 Card |
|---|---|---|---|
| UNet(1 step) | 14 s | 1.7 s | 0.43 s |
| VAE Encoder | 25 s | 1.7 s | 0.46 s |
| VAE Decoder | 58 s | 3.8 s | 0.91 s |
| Total txt2img, 4 steps | 120 s | 10.6 s | 2.68 s |
| Total img2img, 2 steps | 113 s | 8.9 s | 2.25 s |
Base model
Lykon/dreamshaper-7