cloud19 commited on
Commit
d8ff31c
·
verified ·
1 Parent(s): 0d2889a

обновление agent.py

Browse files
Files changed (1) hide show
  1. agent.py +55 -2
agent.py CHANGED
@@ -106,6 +106,25 @@ def discover_gpus():
106
  return gpus
107
 
108
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
109
  def shape_for(vram_gib: float, cap: float):
110
  """Контекст, батч и утилизация под конкретную карту.
111
 
@@ -420,7 +439,31 @@ class Instance:
420
  cmd += VLLM_EXTRA_ARGS.split()
421
  return cmd
422
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
423
  def start(self):
 
424
  s = self.spec
425
  environ = dict(os.environ)
426
  environ.update({
@@ -456,13 +499,23 @@ class Instance:
456
 
457
  def stop(self):
458
  if not self.alive():
 
459
  return
460
  log(f"{self.name}: останавливаю")
461
- self.proc.terminate()
 
 
 
 
 
462
  try:
463
  self.proc.wait(timeout=60)
464
  except subprocess.TimeoutExpired:
465
- self.proc.kill()
 
 
 
 
466
 
467
  def register(self):
468
  if not REGISTER or self.registered:
 
106
  return gpus
107
 
108
 
109
+ def gpu_processes(indices):
110
+ """Чужие процессы на наших картах: (pid, занято МБ)."""
111
+ found = []
112
+ for idx in indices:
113
+ out = subprocess.run(
114
+ ["nvidia-smi", "--query-compute-apps=pid,used_gpu_memory",
115
+ "--format=csv,noheader,nounits", "--id", str(idx)],
116
+ capture_output=True, text=True, timeout=60)
117
+ for line in out.stdout.strip().splitlines():
118
+ if not line.strip():
119
+ continue
120
+ pid, _, mem = line.partition(",")
121
+ try:
122
+ found.append((int(pid.strip()), int(mem.strip())))
123
+ except ValueError:
124
+ continue
125
+ return found
126
+
127
+
128
  def shape_for(vram_gib: float, cap: float):
129
  """Контекст, батч и утилизация под конкретную карту.
130
 
 
439
  cmd += VLLM_EXTRA_ARGS.split()
440
  return cmd
441
 
442
+ def reap(self):
443
+ """Освободить карту от хвостов прошлого запуска.
444
+
445
+ vLLM держит веса в отдельном процессе EngineCore. Если умирает только
446
+ сервер — а именно так выглядит любое жёсткое падение, — движок остаётся
447
+ жив и занимает почти всю VRAM. Следующий запуск тогда падает с
448
+ `Free memory on device cuda:0 ... is less than desired GPU memory
449
+ utilization`, и нода уходит в вечный цикл перезапусков. Карты этого
450
+ инстанса принадлежат только ему, поэтому чистим их целиком.
451
+ """
452
+ for _ in range(20):
453
+ leftovers = gpu_processes(self.spec["gpus"])
454
+ if not leftovers:
455
+ return
456
+ for pid, mem in leftovers:
457
+ log(f"{self.name}: на карте висит процесс {pid} ({mem} МБ) — снимаю")
458
+ try:
459
+ os.kill(pid, signal.SIGKILL)
460
+ except (ProcessLookupError, PermissionError) as e:
461
+ log(f"{self.name}: процесс {pid} не снялся: {e}")
462
+ time.sleep(3)
463
+ log(f"{self.name}: карта так и не освободилась, запускаюсь как есть")
464
+
465
  def start(self):
466
+ self.reap()
467
  s = self.spec
468
  environ = dict(os.environ)
469
  environ.update({
 
499
 
500
  def stop(self):
501
  if not self.alive():
502
+ self.reap()
503
  return
504
  log(f"{self.name}: останавливаю")
505
+ # Гасим всю группу процессов: сервер запущен через start_new_session,
506
+ # и его потомки (EngineCore с весами на карте) сами не уйдут.
507
+ try:
508
+ os.killpg(os.getpgid(self.proc.pid), signal.SIGTERM)
509
+ except (ProcessLookupError, PermissionError):
510
+ self.proc.terminate()
511
  try:
512
  self.proc.wait(timeout=60)
513
  except subprocess.TimeoutExpired:
514
+ try:
515
+ os.killpg(os.getpgid(self.proc.pid), signal.SIGKILL)
516
+ except (ProcessLookupError, PermissionError):
517
+ self.proc.kill()
518
+ self.reap()
519
 
520
  def register(self):
521
  if not REGISTER or self.registered: