kylinfires commited on
Commit
d642e6f
·
verified ·
1 Parent(s): 9bc9370

WorldGen: wgpu gpu-geom

Browse files
Files changed (1) hide show
  1. README.md +31 -2
README.md CHANGED
@@ -142,6 +142,34 @@ out/
142
 
143
  用任意 3DGS 查看器打开 `gaussians.ply`;mesh 可导入 Blender。
144
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
145
  ## GPU 3DGS
146
 
147
  `gpu-splat/` is a wgpu/Vulkan 3DGS renderer (no CPU rendering):
@@ -219,8 +247,9 @@ demo uses the full PyTorch pipeline and a different prompt/seed.
219
  ## 限制
220
 
221
  - 默认先清前景再 Fill,重复物体大幅减少;仍可能有残留和竖带边界
222
- - 默认 mesh 改为 TSDF;仍有左侧深度折叠和小 pole tab,`--mesh-shell` 可回退球壳
223
- - 1600x800 已支持原生 DA-2 trace,但只验证了 10 steps
 
224
  - `use_sharp=True` 未接(需要 SHARP 模型和单独移植)
225
  - `inpaint_bg` 是简化实现:GrabCut 前景 + OpenCV Telea 背景 + DA-2 + splat merge,
226
  不是官方 OneFormer + FLUX Fill 版本
 
142
 
143
  用任意 3DGS 查看器打开 `gaussians.ply`;mesh 可导入 Blender。
144
 
145
+ ## OneFormer 权重
146
+
147
+ 已下载 `shi-labs/oneformer_ade20k_swin_large` 到本地
148
+ `models/oneformer`(约 1.8GB)。本机 PyTorch 只有 CPU:
149
+
150
+ ```text
151
+ load 19.8 s, infer 4.6 s
152
+ ```
153
+
154
+ 它还不能作为 Vulkan GPU 路径;需要 ONNX/ncnn 或 wgpu 移植。
155
+
156
+ ## GPU geometry
157
+
158
+ `gpu-geom/` generates the 17-float RGBD gaussians with a wgpu compute shader,
159
+ replacing the CPU `worldgen-vk splat` step:
160
+
161
+ ```powershell
162
+ scripts/build_gpu_geom.ps1
163
+ tools\gpu-geom\gpu-geom.exe `
164
+ --pano output\rainforest\pano.png `
165
+ --depth output\rainforest\depth.f32 `
166
+ --width 1024 --height 512 `
167
+ --out output\rainforest\scene\gaussians.ply
168
+ ```
169
+
170
+ Confirmed on RX 6900 XT: `gpu-geom.exe` prints the Vulkan adapter and writes
171
+ 524,288 17-float gaussians. `--cpu-mesh` still uses the CPU mesh path.
172
+
173
  ## GPU 3DGS
174
 
175
  `gpu-splat/` is a wgpu/Vulkan 3DGS renderer (no CPU rendering):
 
247
  ## 限制
248
 
249
  - 默认先清前景再 Fill,重复物体大幅减少;仍可能有残留和竖带边界
250
+ - 默认不再生成 CPU TSDF;`--cpu-mesh` 才生成,仍有左侧深度折叠和小 pole tab
251
+ - 1600×800 走 1024×512 生成后 LANCZOS 放大,再跑 1600 DA-2;
252
+ 噪点/网格明显少于原生 1600 VAE,但没有新增细节
253
  - `use_sharp=True` 未接(需要 SHARP 模型和单独移植)
254
  - `inpaint_bg` 是简化实现:GrabCut 前景 + OpenCV Telea 背景 + DA-2 + splat merge,
255
  不是官方 OneFormer + FLUX Fill 版本