WorldGen: wgpu gpu-geom
Browse files
README.md
CHANGED
|
@@ -142,6 +142,34 @@ out/
|
|
| 142 |
|
| 143 |
用任意 3DGS 查看器打开 `gaussians.ply`;mesh 可导入 Blender。
|
| 144 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 145 |
## GPU 3DGS
|
| 146 |
|
| 147 |
`gpu-splat/` is a wgpu/Vulkan 3DGS renderer (no CPU rendering):
|
|
@@ -219,8 +247,9 @@ demo uses the full PyTorch pipeline and a different prompt/seed.
|
|
| 219 |
## 限制
|
| 220 |
|
| 221 |
- 默认先清前景再 Fill,重复物体大幅减少;仍可能有残留和竖带边界
|
| 222 |
-
- 默认
|
| 223 |
-
-
|
|
|
|
| 224 |
- `use_sharp=True` 未接(需要 SHARP 模型和单独移植)
|
| 225 |
- `inpaint_bg` 是简化实现:GrabCut 前景 + OpenCV Telea 背景 + DA-2 + splat merge,
|
| 226 |
不是官方 OneFormer + FLUX Fill 版本
|
|
|
|
| 142 |
|
| 143 |
用任意 3DGS 查看器打开 `gaussians.ply`;mesh 可导入 Blender。
|
| 144 |
|
| 145 |
+
## OneFormer 权重
|
| 146 |
+
|
| 147 |
+
已下载 `shi-labs/oneformer_ade20k_swin_large` 到本地
|
| 148 |
+
`models/oneformer`(约 1.8GB)。本机 PyTorch 只有 CPU:
|
| 149 |
+
|
| 150 |
+
```text
|
| 151 |
+
load 19.8 s, infer 4.6 s
|
| 152 |
+
```
|
| 153 |
+
|
| 154 |
+
它还不能作为 Vulkan GPU 路径;需要 ONNX/ncnn 或 wgpu 移植。
|
| 155 |
+
|
| 156 |
+
## GPU geometry
|
| 157 |
+
|
| 158 |
+
`gpu-geom/` generates the 17-float RGBD gaussians with a wgpu compute shader,
|
| 159 |
+
replacing the CPU `worldgen-vk splat` step:
|
| 160 |
+
|
| 161 |
+
```powershell
|
| 162 |
+
scripts/build_gpu_geom.ps1
|
| 163 |
+
tools\gpu-geom\gpu-geom.exe `
|
| 164 |
+
--pano output\rainforest\pano.png `
|
| 165 |
+
--depth output\rainforest\depth.f32 `
|
| 166 |
+
--width 1024 --height 512 `
|
| 167 |
+
--out output\rainforest\scene\gaussians.ply
|
| 168 |
+
```
|
| 169 |
+
|
| 170 |
+
Confirmed on RX 6900 XT: `gpu-geom.exe` prints the Vulkan adapter and writes
|
| 171 |
+
524,288 17-float gaussians. `--cpu-mesh` still uses the CPU mesh path.
|
| 172 |
+
|
| 173 |
## GPU 3DGS
|
| 174 |
|
| 175 |
`gpu-splat/` is a wgpu/Vulkan 3DGS renderer (no CPU rendering):
|
|
|
|
| 247 |
## 限制
|
| 248 |
|
| 249 |
- 默认先清前景再 Fill,重复物体大幅减少;仍可能有残留和竖带边界
|
| 250 |
+
- 默认不再生成 CPU TSDF;`--cpu-mesh` 才生成,仍有左侧深度折叠和小 pole tab
|
| 251 |
+
- 1600×800 走 1024×512 生成后 LANCZOS 放大,再跑 1600 DA-2;
|
| 252 |
+
噪点/网格明显少于原生 1600 VAE,但没有新增细节
|
| 253 |
- `use_sharp=True` 未接(需要 SHARP 模型和单独移植)
|
| 254 |
- `inpaint_bg` 是简化实现:GrabCut 前景 + OpenCV Telea 背景 + DA-2 + splat merge,
|
| 255 |
不是官方 OneFormer + FLUX Fill 版本
|