load-tester Все курсы

✻ Тема 7 из 13

Метрики, логи, трейсы и алерты

Глаза нагрузочника: без них тест показывает только, что стало плохо, но не почему

⏱ 21 ч 7 уроков 0/7 пройдено

О чём тема

Глаза нагрузочника: без них тест показывает только, что стало плохо, но не почему.

Основы наблюдаемости (три сигнала, RED и USE, SLO, PromQL, алерты) подробно разобраны в курсе «Мониторинг и SRE». Здесь они применяются к нагрузке на «Магазин»: если понятие из урока незнакомо, загляни в соответствующий урок основ.

Иди по порядку: каждый урок опирается на предыдущий. Каждый урок удобно разбить на два вечера: теория (до раздела «Практика») и практика со «Сломай и почини». Спойлеры «Для любопытных» при первом проходе пропускай, вернёшься к ним на втором. После объяснения выполни практику на учебном стенде, затем задание «сломай и почини»: измени одно условие, найди причину сбоя и проверь исправление. Вопросы с собеседований помогут проверить, можешь ли ты объяснить результат своими словами.

Что должно быть до 7.1

  • Стенд «Магазин» запущен (темы 5 и 6), порты 8000 и 8001 отвечают.
  • Каталог ~/perf-lab с виртуальным окружением .venv (темы 3 и 4).
  • Скрипты promq.sh, traffic.sh и orders_load.py: promq.sh и traffic.sh появятся в 7.2, orders_load.py в 7.4.
  • git push из ~/perf-lab работает. Если репозиторий ещё не настроен (тема 3), коммиты в уроках темы можно пропускать.

Проверка одной командой:

curl -s localhost:8000/readyz; echo; ls -d ~/perf-lab/.venv; cd ~/perf-lab && git remote -v | head -1

Если readyz ничего не вернул, подними стенд (урок 5.3). Если ls ругается, вернись к темам 3 и 4.

Стенд и боевая система

Стенд собран на Docker Compose, чтобы всё помещалось на одну машину. В боевой системе обычно Kubernetes: цели Prometheus находят через ServiceMonitor и PodMonitor, состояние объектов кластера отдаёт kube-state-metrics, долгое хранение метрик отдают Thanos или VictoriaMetrics, а доступность снаружи проверяют blackbox-пробами. Сам Prometheus тоже делают отказоустойчивым (пара реплик) и задают срок хранения. Эти темы разобраны в курсе «Мониторинг и SRE».

Что ты сможешь после каждого урока

Уроки темы

  1. 7.1 Метрики и Prometheus: типы метрик, сбор, /metrics 3 ч
  2. 7.2 PromQL: rate, sum by, histogram_quantile 3 ч
  3. 7.3 Grafana: дашборд RED и USE для «Магазина» 2.5 ч
  4. 7.4 Экспортеры: хост, контейнеры и PostgreSQL 3.5 ч
  5. 7.5 Логи: уровни, структура, Loki и Alloy 2.5 ч
  6. 7.6 Алерты, Alertmanager и первый инцидент 3 ч
  7. 7.7 Трейсы: путь одного запроса 3.5 ч

Помоги улучшить курс

Что нужно изменить?