обновление agent.py
Browse files
agent.py
CHANGED
|
@@ -106,6 +106,25 @@ def discover_gpus():
|
|
| 106 |
return gpus
|
| 107 |
|
| 108 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 109 |
def shape_for(vram_gib: float, cap: float):
|
| 110 |
"""Контекст, батч и утилизация под конкретную карту.
|
| 111 |
|
|
@@ -420,7 +439,31 @@ class Instance:
|
|
| 420 |
cmd += VLLM_EXTRA_ARGS.split()
|
| 421 |
return cmd
|
| 422 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 423 |
def start(self):
|
|
|
|
| 424 |
s = self.spec
|
| 425 |
environ = dict(os.environ)
|
| 426 |
environ.update({
|
|
@@ -456,13 +499,23 @@ class Instance:
|
|
| 456 |
|
| 457 |
def stop(self):
|
| 458 |
if not self.alive():
|
|
|
|
| 459 |
return
|
| 460 |
log(f"{self.name}: останавливаю")
|
| 461 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 462 |
try:
|
| 463 |
self.proc.wait(timeout=60)
|
| 464 |
except subprocess.TimeoutExpired:
|
| 465 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
| 466 |
|
| 467 |
def register(self):
|
| 468 |
if not REGISTER or self.registered:
|
|
|
|
| 106 |
return gpus
|
| 107 |
|
| 108 |
|
| 109 |
+
def gpu_processes(indices):
|
| 110 |
+
"""Чужие процессы на наших картах: (pid, занято МБ)."""
|
| 111 |
+
found = []
|
| 112 |
+
for idx in indices:
|
| 113 |
+
out = subprocess.run(
|
| 114 |
+
["nvidia-smi", "--query-compute-apps=pid,used_gpu_memory",
|
| 115 |
+
"--format=csv,noheader,nounits", "--id", str(idx)],
|
| 116 |
+
capture_output=True, text=True, timeout=60)
|
| 117 |
+
for line in out.stdout.strip().splitlines():
|
| 118 |
+
if not line.strip():
|
| 119 |
+
continue
|
| 120 |
+
pid, _, mem = line.partition(",")
|
| 121 |
+
try:
|
| 122 |
+
found.append((int(pid.strip()), int(mem.strip())))
|
| 123 |
+
except ValueError:
|
| 124 |
+
continue
|
| 125 |
+
return found
|
| 126 |
+
|
| 127 |
+
|
| 128 |
def shape_for(vram_gib: float, cap: float):
|
| 129 |
"""Контекст, батч и утилизация под конкретную карту.
|
| 130 |
|
|
|
|
| 439 |
cmd += VLLM_EXTRA_ARGS.split()
|
| 440 |
return cmd
|
| 441 |
|
| 442 |
+
def reap(self):
|
| 443 |
+
"""Освободить карту от хвостов прошлого запуска.
|
| 444 |
+
|
| 445 |
+
vLLM держит веса в отдельном процессе EngineCore. Если умирает только
|
| 446 |
+
сервер — а именно так выглядит любое жёсткое падение, — движок остаётся
|
| 447 |
+
жив и занимает почти всю VRAM. Следующий запуск тогда падает с
|
| 448 |
+
`Free memory on device cuda:0 ... is less than desired GPU memory
|
| 449 |
+
utilization`, и нода уходит в вечный цикл перезапусков. Карты этого
|
| 450 |
+
инстанса принадлежат только ему, поэтому чистим их целиком.
|
| 451 |
+
"""
|
| 452 |
+
for _ in range(20):
|
| 453 |
+
leftovers = gpu_processes(self.spec["gpus"])
|
| 454 |
+
if not leftovers:
|
| 455 |
+
return
|
| 456 |
+
for pid, mem in leftovers:
|
| 457 |
+
log(f"{self.name}: на карте висит процесс {pid} ({mem} МБ) — снимаю")
|
| 458 |
+
try:
|
| 459 |
+
os.kill(pid, signal.SIGKILL)
|
| 460 |
+
except (ProcessLookupError, PermissionError) as e:
|
| 461 |
+
log(f"{self.name}: процесс {pid} не снялся: {e}")
|
| 462 |
+
time.sleep(3)
|
| 463 |
+
log(f"{self.name}: карта так и не освободилась, запускаюсь как есть")
|
| 464 |
+
|
| 465 |
def start(self):
|
| 466 |
+
self.reap()
|
| 467 |
s = self.spec
|
| 468 |
environ = dict(os.environ)
|
| 469 |
environ.update({
|
|
|
|
| 499 |
|
| 500 |
def stop(self):
|
| 501 |
if not self.alive():
|
| 502 |
+
self.reap()
|
| 503 |
return
|
| 504 |
log(f"{self.name}: останавливаю")
|
| 505 |
+
# Гасим всю группу процессов: сервер запущен через start_new_session,
|
| 506 |
+
# и его потомки (EngineCore с весами на карте) сами не уйдут.
|
| 507 |
+
try:
|
| 508 |
+
os.killpg(os.getpgid(self.proc.pid), signal.SIGTERM)
|
| 509 |
+
except (ProcessLookupError, PermissionError):
|
| 510 |
+
self.proc.terminate()
|
| 511 |
try:
|
| 512 |
self.proc.wait(timeout=60)
|
| 513 |
except subprocess.TimeoutExpired:
|
| 514 |
+
try:
|
| 515 |
+
os.killpg(os.getpgid(self.proc.pid), signal.SIGKILL)
|
| 516 |
+
except (ProcessLookupError, PermissionError):
|
| 517 |
+
self.proc.kill()
|
| 518 |
+
self.reap()
|
| 519 |
|
| 520 |
def register(self):
|
| 521 |
if not REGISTER or self.registered:
|