Мониторинг и метрики

Что смотреть ежедневно, какие показатели важны и как подключить внешний мониторинг.

Наблюдать за системой можно с трёх сторон: админка (быстрый ежедневный обход), JSON API (для внешней системы мониторинга) и метрики ноды в формате Prometheus (для сбора временных рядов и оповещений).

Ежедневный обход#

Пять проверок, занимают пару минут. В админке всё это — раздел Мониторинг и раздел Ноды.

То же самое одной командой, если удобнее в терминале:

BASE=https://cctv.example.com
TOKEN=$(curl -sS -X POST "$BASE/api/v1/auth/login" -H 'Content-Type: application/json' \
  -d '{"login":"admin","password":"ВАШ-ПАРОЛЬ"}' \
  | python3 -c 'import sys,json;print(json.load(sys.stdin)["token"])')

curl -sS "$BASE/api/v1/monitor/fleet/summary" -H "Authorization: Bearer $TOKEN" \
  | python3 -m json.tool

{
  "seq": 1841,
  "sampled_at": "2026-08-18T09:14:22Z",
  "nodes_total": 3, "nodes_reachable": 3, "stream_samples_stale": 0,
  "streams_total": 412, "streams_live": 410, "streams_degraded": 2, "streams_failing": 0,
  "cameras_total": 206, "cameras_live": 205, "cameras_unavailable": 1,
  "nodes_unlicensed": 0, "nodes_grace": 0
}

Это самая полезная одиночная проверка: одним запросом видно и доступность нод, и состояние камер, и лицензии.

Показатели ноды в админке#

Ноды → нода → Обзор показывает срез телеметрии. Значения означают следующее.

Вкладка Сессии показывает текущих зрителей этой ноды: протокол, клиент, исходящий трафик, потери, джиттер и отставание. Устойчивые потери у одного клиента — проблема его канала; потери сразу у всех — проблема ноды или сети до неё.

Подключение внешней системы мониторинга#

Что опрашивать у Plane#

Все эндпоинты, кроме /health, требуют токена суперадминистратора.

# живость — самая простая проверка, годится для любого монитора доступности
curl -sS -o /dev/null -w '%{http_code}\n' "$BASE/health"
# 200 — сервис жив и база доступна; 503 — база недоступна

# ресурсы Plane: последняя точка истории
curl -sS "$BASE/api/v1/monitor/plane" -H "Authorization: Bearer $TOKEN" \
  | python3 -c 'import sys,json;s=json.load(sys.stdin)["samples"][-1];print(s["proc_cpu_cores"], s["rss_mb"], s["open_fds"], s["db_pool_in_use"], "/", s["db_pool_max"])'
# 0.04 118 96 2 / 16

Поле proc_cpu_cores — это доля ядер, посчитанная по приросту процессорного времени, а не мгновенный снимок загрузки. Его можно использовать напрямую, без усреднения.

Для живых панелей вместо периодического опроса есть потоки событий (SSE): GET /api/v1/monitor/fleet/summary/stream, GET /api/v1/monitor/nodes, GET /api/v1/monitor/plane/stream. Полное описание всех полей и кодов ответа — Мониторинг и служебное.

Метрики ноды в формате Prometheus#

Каждая нода отдаёт метрики на своём HTTP-порту:

curl -sS http://node.example.com:8090/metrics | head -20

Значения hastreamer_udp_ingest_* меняются только при работе с камерами по RTSP/UDP; при транспорте TCP (значение по умолчанию) они остаются нулевыми.

# разрешить сбор метрик только с адреса системы мониторинга
sudo ufw allow from <IP-системы-мониторинга> to any port 8090 proto tcp comment 'metrics scrape'

На что настраивать оповещения#

Журналы#

# Plane
sudo journalctl -u hastreamer-cctv-plane -n 100 --no-pager
sudo journalctl -u hastreamer-cctv-plane -p err --since '24 hours ago' --no-pager

# нода
sudo journalctl -u hastreamer-cctv-node -n 100 --no-pager
sudo journalctl -u hastreamer-cctv-node -f

Те же записи доступны без доступа к серверу: Мониторинг → Логи Plane и Ноды → нода → Логи. В админке журнал хранится в кольцевом буфере ограниченного размера — для долгого хранения настраивайте выгрузку journald своими средствами.

Что смотреть, когда «стало хуже»#

Подробный разбор по симптомам — Диагностика неисправностей.