Мониторинг и метрики

Что показывает панель, метрики Prometheus на закрытом эндпоинте /metrics, поток событий SSE, журнал и показатели, за которыми стоит следить.

У сервера четыре независимых источника наблюдаемости, и выбирать между ними нужно осознанно:

Все четыре читают одно и то же состояние; ничего не считается дважды.

Что показывает панель#

Раздел Overview — сводка узла. Шесть плиток вверху:

Ниже — панель Resource posture с четырьмя показателями: Process CPU (в ядрах), Host CPU, Process memory (RSS) и Host memory.

Раздел System разворачивает то же самое подробнее: загрузка по каждому ядру, аптайм, открытые дескрипторы, потери приёма UDP и тренды процессора и памяти за две минуты.

Индикатор в верхней панели говорит, откуда взяты цифры: Live telemetry / SSE live — данные идут потоком событий; Polling — поток недоступен, идёт периодический опрос; Data stale · 7s — показаны последние полученные данные и им столько-то секунд.

Колокольчик Alerts в верхней панели копит оповещения об ухудшении здоровья потоков. Оповещение приходит на переходе состояния — при деградации, при отказе, при появлении сразу нездорового потока и при восстановлении. Залпа оповещений при старте сервера не бывает.

Метрики Prometheus#

GET http://media.example.com:8080/metrics

Формат — text/plain; version=0.0.4. Обратите внимание: это корень хоста, а не /api/v1/metrics. Второй адрес тоже существует, но отдаёт JSON-дамп и служит другой задаче — см. GET /api/v1/metrics.

Эндпоинт закрыт и требует токена#

# Без токена:
curl -sS -o /dev/null -w '%{http_code}\n' "$BASE/metrics"

401

# С токеном:
curl -sS "$BASE/metrics" -H "Authorization: Bearer $TOKEN" | head -3

# HELP hastreamer_process_cpu_cores Process CPU usage in cores (cputime-delta / cores).
# TYPE hastreamer_process_cpu_cores gauge
hastreamer_process_cpu_cores 0.1000

Токен для сборщика#

Выдавать системе мониторинга пароль администратора не нужно и не следует: сессия живёт 12 часов, а сборщик работает годами. Заведите статический токен чтения — учётную запись, которая ничего не может изменить.

auth {
  admin_password "пароль-администратора";
  api_read_token "не-короче-16-символов";
}

Этот токен открывает только безопасные методы (GET, HEAD, OPTIONS) на /api/v1/* и GET /metrics. Любая попытка что-либо изменить получает 403 {"error":"forbidden","reason":"read_token_cannot_write"}, а чтение конфигурации целиком — 403 … "reason":"read_token_cannot_read_config". Подробнее — Введение и аутентификация.

Настройка сборщика — обычная авторизация bearer:

scrape_configs:
  - job_name: sirinvideo
    metrics_path: /metrics
    scheme: https
    authorization:
      type: Bearer
      credentials: "не-короче-16-символов"
    static_configs:
      - targets: ["media.example.com:8080"]

Что экспортируется#

Процесс и хост

Нагрузка

Приём по UDP

По потокам (метка stream)

Готовые правила оповещения#

groups:
  - name: sirinvideo
    rules:
      - alert: StreamSourceSilent
        expr: hastreamer_stream_no_data_seconds > 30
        for: 1m
        annotations:
          summary: "Поток {{ $labels.stream }} не получает данных 30+ секунд"

      - alert: UdpIngestDrops
        expr: rate(hastreamer_udp_ingest_kernel_drops_total[5m]) > 0
        for: 5m
        annotations:
          summary: "Ядро отбрасывает датаграммы приёма — мал буфер сокета"

      - alert: StreamMetricsTruncated
        expr: hastreamer_streams_omitted > 0
        annotations:
          summary: "Метрики по потокам обрезаны ограничением на 500 рядов"

      - alert: WorkerCoresNearLimit
        expr: hastreamer_process_cpu_cores / hastreamer_worker_cores > 0.85
        for: 10m
        annotations:
          summary: "Занято более 85% отведённых ядер"

Поток событий (SSE)#

GET /api/v1/events?topics=<темы через запятую>

Единственный живой канал: text/event-stream, без буферизации на прокси. Пока подписчиков нет, сервер не выполняет для него никакой работы.

Авторизация. Обычный заголовок Authorization: Bearer, и только этот маршрут дополнительно принимает тот же токен в параметре ?token= — потому что браузерный EventSource не умеет задавать заголовки. Строкой запроса принимается лишь сессионный токен; статические токены — никогда.

curl -sN "$BASE/api/v1/events?topics=totals,alerts" -H "Authorization: Bearer $TOKEN"

id: 2614
data: {"payload":{"bytes_in":6735178851,"bytes_out":117270589,"dvr_bytes_out":24412877,
       "dvr_sessions":0,"live_bytes_out":92857712,"live_sessions":1,"sessions":1,"streams":10},
       "seq":2614,"topic":"totals","ts":1787143322623}

: hb

Формат кадра. Строки event: не бывает никогда — всё едет обычным сообщением SSE, а клиент маршрутизирует по полю topic внутри конверта:

{"topic":"…","seq":123,"ts":1787092182193,"payload":{…}}

Не реже чем раз в 10 секунд приходит сердцебиение : hb — даже если все темы отфильтрованы.

Темы#

Отсутствие параметра topics означает все темы. Тема logs принимается в списке, но пока молчит.

Значения alerts.kind: degraded, failing, absent, recovered, removed. Значения severity: info для восстановления, warn для деградации, error для остального.

# Следить за здоровьем одного потока
curl -sN "$BASE/api/v1/events?topics=stream:cam1,alerts" -H "Authorization: Bearer $TOKEN"

Журнал#

Операционный журнал живёт в кольцевом буфере в памяти процесса (до 4096 записей) и доступен в разделе Logs панели и через GET /api/v1/logs.

curl -sS "$BASE/api/v1/logs?level=warn&limit=5" -H "Authorization: Bearer $TOKEN"

{"capture_level":"info","head_seq":17,
 "entries":[{"seq":17,"ts_ms":1787143225999,"level":"warn","target":"source",
             "stream":"cam1","msg":"[cam1] source stopped: error: Timeout"}]}

Порог записи задаётся директивой log_level:

Для постоянного хранения журнал нужно снимать наружу: сервер пишет структурированный вывод в стандартный поток, который забирает журнал системы инициализации.

journalctl -u hastreamer -f

За чем следить#

Порядок — по частоте, с которой эти показатели действительно спасают.

Куда дальше#

• Веб-интерфейс — где в панели находится каждый из этих показателей.
• Конфигурация и система — GET /system, GET /totals, журналы и аудит.
• Готовые сценарии — проверка здоровья одной командой.
• Диагностика неисправностей — что делать, когда показатель ушёл в красное.