обновление bootstrap.sh
Browse files- bootstrap.sh +78 -0
bootstrap.sh
ADDED
|
@@ -0,0 +1,78 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
#!/usr/bin/env bash
|
| 2 |
+
# onstart для Vast: разворачивает агента LLM-ноды и держит его запущенным.
|
| 3 |
+
#
|
| 4 |
+
# Сам скрипт намеренно тонкий: вся логика в agent.py, который качается
|
| 5 |
+
# отдельно. Так починка ноды не требует пересоздания шаблона Vast —
|
| 6 |
+
# шаблоны там неизменяемы, а agent.py достаточно перезалить.
|
| 7 |
+
set -u
|
| 8 |
+
|
| 9 |
+
LOG=/var/log/vllm-node.log
|
| 10 |
+
STATE=/opt/vllm-node
|
| 11 |
+
AGENT="$STATE/agent.py"
|
| 12 |
+
AGENT_URL="${AGENT_URL:-https://huggingface.co/cloud19/vllm-vast-node/resolve/main/agent.py}"
|
| 13 |
+
|
| 14 |
+
mkdir -p "$STATE" /var/log/vllm-node
|
| 15 |
+
exec >>"$LOG" 2>&1
|
| 16 |
+
echo "=== bootstrap $(date -Is) ==="
|
| 17 |
+
|
| 18 |
+
# Скрипты из README прода ходят в /workspace; на образе vllm рабочий каталог
|
| 19 |
+
# другой, поэтому связываем, чтобы ручные команды работали как на проде.
|
| 20 |
+
[ -e /workspace ] || ln -s /root /workspace
|
| 21 |
+
|
| 22 |
+
for attempt in 1 2 3 4 5 6 7 8 9 10; do
|
| 23 |
+
if curl -fsSL --connect-timeout 10 --max-time 120 "$AGENT_URL" -o "$AGENT.new"; then
|
| 24 |
+
mv "$AGENT.new" "$AGENT"
|
| 25 |
+
echo "agent.py получен ($(wc -c <"$AGENT") байт)"
|
| 26 |
+
break
|
| 27 |
+
fi
|
| 28 |
+
echo "agent.py не скачался (попытка $attempt из 10): $AGENT_URL"
|
| 29 |
+
sleep 10
|
| 30 |
+
done
|
| 31 |
+
|
| 32 |
+
if [ ! -s "$AGENT" ]; then
|
| 33 |
+
echo "ФАТАЛЬНО: agent.py так и не скачался, нода не поднимется"
|
| 34 |
+
exit 1
|
| 35 |
+
fi
|
| 36 |
+
|
| 37 |
+
# Небольшой помощник для рук: статус, логи, снятие с пулов.
|
| 38 |
+
cat >/usr/local/bin/vllm-node <<'CLI'
|
| 39 |
+
#!/usr/bin/env bash
|
| 40 |
+
set -u
|
| 41 |
+
STATE=/opt/vllm-node
|
| 42 |
+
case "${1:-status}" in
|
| 43 |
+
status)
|
| 44 |
+
if [ -f "$STATE/state.json" ]; then python3 -m json.tool "$STATE/state.json"; else echo "агент ещё не записал состояние"; fi ;;
|
| 45 |
+
logs)
|
| 46 |
+
if [ -n "${2:-}" ]; then tail -f "/var/log/vllm-node/gpu$2.log"; else tail -f /var/log/vllm-node.log; fi ;;
|
| 47 |
+
vllm-logs)
|
| 48 |
+
tail -f /var/log/vllm-node/gpu*.log ;;
|
| 49 |
+
stop)
|
| 50 |
+
# мягко: агент сам снимет ноду с пулов менеджера
|
| 51 |
+
pkill -TERM -f 'python3 .*agent\.py' && echo "агент получил TERM" ;;
|
| 52 |
+
restart)
|
| 53 |
+
touch "$STATE/restarting"; pkill -TERM -f 'python3 .*agent\.py'; echo "перезапуск, следи за vllm-node logs" ;;
|
| 54 |
+
*)
|
| 55 |
+
echo "использование: vllm-node {status|logs [N]|vllm-logs|stop|restart}" ;;
|
| 56 |
+
esac
|
| 57 |
+
CLI
|
| 58 |
+
chmod +x /usr/local/bin/vllm-node
|
| 59 |
+
|
| 60 |
+
# Перезапускаем агента, если он упал сам. Ручная остановка (`vllm-node stop`)
|
| 61 |
+
# выходит с нулём — тогда цикл заканчивается и нода остаётся снятой с пулов.
|
| 62 |
+
while true; do
|
| 63 |
+
echo "--- запуск агента $(date -Is) ---"
|
| 64 |
+
python3 "$AGENT"
|
| 65 |
+
code=$?
|
| 66 |
+
if [ -f "$STATE/restarting" ]; then
|
| 67 |
+
rm -f "$STATE/restarting"
|
| 68 |
+
echo "перезапуск по просьбе"
|
| 69 |
+
sleep 5
|
| 70 |
+
continue
|
| 71 |
+
fi
|
| 72 |
+
if [ "$code" = "0" ]; then
|
| 73 |
+
echo "агент остановлен штатно, выхожу"
|
| 74 |
+
break
|
| 75 |
+
fi
|
| 76 |
+
echo "агент упал с кодом $code, перезапуск через 30 с"
|
| 77 |
+
sleep 30
|
| 78 |
+
done
|