B200.md: measured smoke results (1xH100 495 s/s full script, 2xH100 DDP functional but interconnect-bound 340 s/s), spawn requirement, honest 8x caveat

tinyvla_b200/B200.md

@@ -157,12 +157,25 @@ batch_size × N; на 8 GPU при 256 это 2048 — опусти до 96–12
 `num_workers` воркерами (стрим-источник делит seed-пространство по рангам);
 лог и чекпойнты пишет только rank 0, samples/s в логе — глобальный.
 
-Ожидания на 8×B200/B300: ~5 500 семплов/с глобально (DDP ~92%; B300 в этой
-задаче ≈ B200 — шаг kernel-bound, не FLOPS-bound). Эпоха пула (~86M семплов)
-≈ **4.5 ч**. Внимание на сеть: 8 рангов совокупно тянут ~140 МБ/с с HF CDN —
-если провайдер или CDN режет с одного IP, станете data-bound (~6 ч/эпоха);
-страховка — одноразовая упаковка в локальные wds-тары (`pack_wds.py`, ~1.3 ТБ
-NVMe, отдаёт 2 400+ семплов/с на процесс).
+**Статус мульти-GPU (провалидировано на 2×H100 SXM, 28.08.2026):**
+- DDP-ветка РАБОТАЕТ end-to-end (стрим + C-чекпойнт + оба ранга, EXIT=0).
+- КРИТИЧНО: воркеры DataLoader стартуют через **spawn** (уже в коде). С fork
+  2 ранга × 16 воркеров, форкнутых после инициализации CUDA/NCCL, задушили
+  heartbeat torchrun-агента — ранги зависали в первом allreduce, NCCL watchdog
+  убивал прогон через 480 с. Симптом в логе: `RendezvousTimeoutError` через
+  ~3 мин после старта.
+- Эффективность на конкретной паре карт этого пода — ПЛОХАЯ: 340 семплов/с
+  глобально против 495 на одной карте (шаг 258 → 750 мс; ~0.5 с уходит в
+  allreduce 0.6 ГБ градиентов). Функциональность доказана, масштабирование —
+  нет. Прежде чем планировать 8×, прогони `--profile-steps 220` на своей ноде
+  и посмотри на шаг: если allreduce не прячется — крути NCCL (NVLink-топология
+  узла, `NCCL_NVLS_ENABLE`, `bucket_cap_mb`, gradient compression) или включай
+  grad_accum (реже allreduce).
+- Прогноз «8×B300 ≈ 4.5 ч/эпоха» из ранних версий этого файла считался от
+  идеального DDP ~92% и измерением НЕ подтверждён; на плохом interconnect
+  масштабирование может съесть большую часть выигрыша.
+- Сеть при N рангах: совокупно ~N×25 МБ/с с HF CDN; если режут с одного IP —
+  страховка: локальные wds-тары (`pack_wds.py`, ~1.3 ТБ NVMe, 2 400+ семплов/с).
 
 При старте `load_compatible` напечатает, что перенесено из C-scaled, а что
 переинициализировано из-за смены размерностей — **проверь этот список**:
@@ -204,6 +217,8 @@ NVMe, отдаёт 2 400+ семплов/с на процесс).
 | + дедуп cam0 | 398 | 0.70 |
 | + плотный fixed-grid ViT + compile | **738** | **0.38** |
 | **end-to-end со стримом с хаба** | **745** | **0.37** |
+| train_fast.py целиком, 1×H100 (смоук с C-чекпойнтом) | 495 | 0.56 |
+| train_fast.py, 2×H100 DDP (глобально; interconnect-bound) | 340 | 0.82 |
 | стрим-загрузчик отдельно (16 воркеров) | 1019 | — |
 | webdataset из локальных таров (для сравнения) | 1600–2400 | — |