✻ Дополнительно
Техническое задание для инженера мониторинга
Что проверяет: умеешь ли ты в одиночку развернуть мониторинг, настроить осмысленные алерты, разобрать инцидент и оставить после себя документацию
Что нужно пройти заранее: тему 1 (bash, systemd), тему 4 (Compose) и обязательно тему 8: 8.2 Prometheus, 8.5 Alertmanager, 8.11 SLO и burn rate. Для части 4 пригодится урок 10.1 с определениями MTTD, MTTA и MTTR
Сколько времени займёт: 12–16 часов. Нужен компьютер или ВМ с 4 ГБ свободной памяти и 10 ГБ диска. Часть 4 выполняй только на тестовой машине
Результат: git-репозиторий, который не стыдно показать на собеседовании. Проверяешь себя сам по критериям в конце
Как это устроено
Представь пульт охраны. Prometheus это пульт: каждые несколько секунд он опрашивает «камеры» (экспортёры вроде Node Exporter, которые отдают числа о машине) и хранит ответы. Правило алерта это условие на пульте, например «диск заполнен на 90%». Alertmanager это дежурный, который решает, кому и как позвонить, и склеивает похожие тревоги в один звонок. Grafana это экран с графиками. Каждое правило получает метку severity (серьёзность: critical или warning), по ней дежурный выбирает, будить человека или оставить до утра.
Пример готового правила, на который можно ориентироваться (форма важна, пороги подбери сам):
groups:
- name: host
rules:
- alert: HostHighCpuLoad
expr: 100 - avg(rate(node_cpu_seconds_total{mode="idle"}[2m])) * 100 > 80
for: 2m
labels:
severity: warning
annotations:
summary: "CPU выше 80% уже 2 минуты на {{ $labels.instance }}"
description: "Посмотри топ процессов: docker stats, top. Если нагрузка растёт, смотри runbook."
Часть 1: Развёртывание стека мониторинга
Задача: самостоятельно развернуть полноценный стек мониторинга на своей машине или виртуальной машине
Требования:
- Развернуть через Docker Compose следующие компоненты:
- Prometheus
- Grafana
- Alertmanager
- Node Exporter (для мониторинга самой системы)
- Требования к качеству конфигурации:
- У всех образов зафиксированы версии, тега
latestбыть не должно - У всех сервисов задан
restart: unless-stopped - Данные Prometheus и Grafana лежат в именованных томах и переживают
docker compose down - Ключ
version:в начале файла не используется: он устарел
- У всех образов зафиксированы версии, тега
- Предоставить:
- Файл
compose.yml - Все конфигурационные файлы (
prometheus.yml,alertmanager.yml) - Скриншот работающих контейнеров (
docker compose ps)
Файлы конфигурации Alertmanager и токен Telegram подключи в контейнер томами:
./configs/alertmanager.yml:/etc/alertmanager/alertmanager.yml:roи./configs/telegram_token:/etc/alertmanager/telegram_token:ro. - Файл
- Подсказки по образу Node Exporter: чтобы он мерил диски хоста, а не своего контейнера, подключи
/:/host:ro,rslave, добавь флаг--path.rootfs=/hostиpid: host(как в уроке 8.2). Источник данных Grafana и дашборд подключи через каталогgrafana/provisioning, а не кликами в интерфейсе: так стек поднимается из репозитория без ручных шагов.
Часть 2: Настройка мониторинга и алертинга
Задача: настроить сбор метрик и правила алертинга
Требования:
- В Prometheus настроить:
- Scrape-конфиг для Node Exporter
- Минимум 4 правила алертинга, из них обязательно:
HostHighCpuLoad: загрузка CPU выше 80% в течение 2 минутHostHighMemoryUsage: использование памяти выше 85% (метрикиnode_memory_MemAvailable_bytesиnode_memory_MemTotal_bytes)HostDiskSpaceCritical: свободного места на диске меньше 10% (метрикаnode_filesystem_avail_bytes; оставь только настоящие разделы:mountpoint="/"или фильтрfstype!~"tmpfs|overlay|squashfs", иначе алерт задвоится по виртуальным файловым системам)HostDiskWillFillIn24h: по текущему тренду диск закончится в ближайшие сутки (подсказка:predict_linearс окном[6h], условие< 0,for: 30m; она возвращает значение метрики через заданное время, поэтому ноль и меньше значит «места не останется»)
- Обосновать письменно: в теме 8 объясняется, почему алерт «CPU выше 80%» сам по себе плохой: он сообщает о причине, а не о симптоме, и часто будит человека, когда пользователи ничего не заметили. В файле
docs/alerts.mdответь:- Какой из твоих четырёх алертов действительно требует немедленной реакции ночью, а какой может подождать до утра?
- Как ты изменил бы эти алерты, если бы за стеком стоял реальный пользовательский сервис? Приведи хотя бы один алерт на симптом (доля ошибок или задержка), а не на ресурс
- У каждого алерта должно быть поле
severityи аннотация с описанием, что делать дежурному
- В Alertmanager настроить:
- Отправку уведомлений в Telegram
- Маршрутизацию по
severity:critical: немедленно,warning: с группировкой и задержкой - Дедупликацию и группировку (
group_by,group_wait,group_interval,repeat_interval): объясни в комментариях выбранные значения. Коротко:group_waitэто сколько ждать первого уведомления группы (чтобы собрать похожие алерты в одно),group_intervalэто пауза перед уведомлением о новых алертах в уже отправленной группе,repeat_intervalэто как часто повторять, если проблема не исчезла. Подробности в уроке 8.5
Как подключить Telegram. Telegram иногда недоступен из сети: тогда сразу переходи к шагу 5 (приёмник вебхуков), остальные шаги пропусти.
- В Telegram напиши боту
@BotFather, команда/newbot: он выдаст токен. - Напиши своему новому боту любое сообщение, затем открой в браузере
https://api.telegram.org/bot<токен>/getUpdatesи найди числоchat.id: этоchat_id. - В
alertmanager.ymlиспользуйtelegram_configsсchat_idиbot_token_file: /etc/alertmanager/telegram_token. Файл с токеном хранится вне git: добавь его в.gitignore, а в репозиторий положи толькоtelegram_token.example. - Проверь токен и чат, не печатая токен в терминал целиком:
curl -s -X POST "https://api.telegram.org/bot$(cat configs/telegram_token)/sendMessage" -d chat_id=<chat_id> -d text=test. - Если Telegram недоступен из твоей сети, подними вместо него приёмник вебхуков, как в уроке 8.5 (
go-httpbin), и покажи в логе пришедший запрос.
Перед перезагрузкой проверь конфиги:
promtool check config,promtool check rulesиamtool check-config. - Предоставить:
- Файлы конфигураций с комментариями
- Скриншот Prometheus → Status → Targets, все цели в состоянии
UP - Скриншот страницы Alerts в Prometheus
- Скриншот пришедшего в Telegram уведомления
Часть 3: Создание дашборда в Grafana
Задача: создать дашборд, по которому дежурный за 10 секунд понимает, всё ли в порядке
Требования:
Создать дашборд минимум с шестью панелями:
- Общее состояние: статус всех целей (up/down) одним числом или таблицей
- CPU Usage: график использования процессора
- Memory Usage: график использования памяти
- Disk Space: свободное место по разделам
- Disk I/O или Network: нагрузка на диск либо сетевой трафик
- Load Average: с линией порога, равной числу ядер
Требования к оформлению:
- У всех панелей подписаны единицы измерения (проценты, байты, секунды)
- На панелях, где есть порог, нарисована пороговая линия
- Самое важное: вверху: дежурный смотрит на верхнюю треть экрана
Предоставить:
- Экспортированный JSON дашборда
- Скриншоты дашборда с данными (не пустой)
Часть 4: Симуляция и диагностика инцидента
Задача: провести диагностику и задокументировать инцидент
Сценарий:
- Искусственно создать инцидент на тестовой ВМ (на выбор):
- Нагрузка на CPU:
sudo apt install -y stress-ng, затемstress-ng --cpu 4 --timeout 300s. Без установки:yes > /dev/nullв нескольких терминалах, остановка по Ctrl+C - Заполнение диска: файл размером в 95% свободного места,
fallocate -l "$(df --output=avail -B1 / | tail -1 | awk '{print int($1*0.95)}')" /var/tmp/bigfile. Только на тестовой ВМ. Не используй/tmp: он может быть в памяти (tmpfs), и диск не заполнится. В конце обязательноrm -f /var/tmp/bigfile - Утечка памяти: контейнер с лимитом, который его превышает:
docker run --name leak --memory=256m polinux/stress stress --vm 1 --vm-bytes 512M(без--rm, иначе проверить будет нечего). Проверь, что случилось:docker inspect leak --format '{{.State.OOMKilled}}'иdmesg | grep -i oom, затемdocker rm leak. Честно про алерты: стек части 1 без cAdvisor видит память всей машины, а не отдельного контейнера, поэтомуHostHighMemoryUsageв этом сценарии может не сработать. Это нормальный результат: опиши в постмортеме, чего мониторингу не хватило (подсказка: cAdvisor)
- Нагрузка на CPU:
- Действия:
- Зафиксировать момент возникновения алерта (скриншот)
- Замерить MTTD (время обнаружения): сколько секунд прошло от начала проблемы до срабатывания алерта. Оно складывается из
scrape_interval,evaluation_interval,forиgroup_wait - Провести диагностику: метрики в Prometheus, логи, состояние системы
- Определить причину
- Устранить инцидент и замерить MTTR (время восстановления): от начала проблемы до момента, когда пользователи снова не страдают, а не от алерта. Время от алерта до подтверждения дежурным называется MTTA, его тоже можно записать. Определения: урок 10.1
- Зафиксировать восстановление
- Предоставить:
-
Хронологию инцидента в виде таблицы:
| Время | Событие | Действие | Результат | |-------|---------|----------|-----------| - Скриншоты: алерт → метрики → диагностика → восстановление
- Постмортем без поиска виноватых (5–10 предложений): что произошло, как обнаружили, как устранили, что сделать, чтобы не повторилось. Формулируй причины через процессы и системы, а не через людей
-
Часть 5: Автоматизация и документация
Задача: оставить после себя то, чем сможет пользоваться другой человек
Требования:
- Написать Runbook для одного из алертов в формате Markdown:
- Описание проблемы и на что она влияет для пользователя
- Как проверить: готовые к копированию команды
- Шаги по устранению
- Что делать, если не помогло; контакты для эскалации
- Ссылка на дашборд с нужными метриками
- Написать bash-скрипт
healthcheck.sh, который:- Начинается с
set -euo pipefail. Подсказка: сset -eскрипт завершится на первой же упавшей проверке, а нужен отчёт по всем. Поэтому помещай проверки вifили||, копи итог в переменнуюrcи в конце делайexit "$rc" - Проверяет доступность Prometheus, Grafana и Alertmanager через
curl - Проверяет, что все контейнеры стека запущены
- Выводит статус в читаемом виде:
OK/FAILпо каждому компоненту - Возвращает код 0, если всё хорошо, и 1, если есть проблемы
- Работает при запуске из любого каталога (никаких относительных путей)
- Начинается с
- Проверить скрипт делом: останови один контейнер, запусти скрипт, убедись, что он вернул
FAILи код 1. Приложи скриншот обоих запусков
Предоставить: runbook.md, healthcheck.sh, скриншоты выполнения
Формат сдачи результатов
Создать git-репозиторий (GitHub или GitLab) со структурой:
monitoring-test/
├── README.md (описание и инструкция по запуску)
├── compose.yml
├── configs/
│ ├── prometheus.yml
│ ├── alert.rules.yml
│ └── alertmanager.yml
├── grafana/
│ ├── provisioning/
│ │ ├── datasources/
│ │ └── dashboards/
│ └── dashboards/
│ └── dashboard.json
├── scripts/
│ └── healthcheck.sh
├── docs/
│ ├── alerts.md (обоснование алертов из части 2)
│ ├── runbook.md
│ └── incident-report.md
└── screenshots/
├── 01-containers.png
├── 02-prometheus-targets.png
├── 03-alerts.png
├── 04-telegram.png
├── 05-grafana-dashboard.png
├── 06-incident-alert.png
├── 07-incident-recovery.png
└── 08-healthcheck.png
Готовый репозиторий покажи знакомому, наставнику или на собеседовании: оценивать себя ты будешь по критериям самопроверки ниже.
Как проверить себя
promtool check config configs/prometheus.ymlиpromtool check rules configs/alert.rules.ymlотвечаютSUCCESS;amtool check-config configs/alertmanager.ymlбез ошибок.curl -s localhost:9090/api/v1/alerts | jq '.data.alerts[] | {labels, state}'показывает алерты в состоянииpending(условие выполняется, ноforещё не истёк) илиfiring(алерт отправлен).- Типичные ошибки:
- Цель
DOWNв Status → Targets: вprometheus.ymlуказаноlocalhost:9100, а Node Exporter в другом контейнере. Пиши имя сервиса из Compose. - В Grafana «No data»: не тот источник данных или адрес
localhostвместоhttp://prometheus:9090. - Алерт на диск пришёл дважды или по странным разделам: не отфильтрованы
tmpfs,overlay,squashfsвfstype. - Диск показывает размер контейнера, а не хоста: забыт
/:/host:ro,rslaveи--path.rootfs=/hostу Node Exporter.
- Цель
Как это будет оцениваться
| Критерий | На что смотрят |
|---|---|
| Работоспособность | Стек поднимается из репозитория одной командой на чистой машине |
| Воспроизводимость | Версии зафиксированы, данные в томах, нет ручных шагов «а потом я кликнул в интерфейсе» |
| Осмысленность алертов | Алерт сообщает, что сломалось и что делать, а не просто «метрика превысила число» |
| Качество дашборда | По нему видно состояние системы без объяснений автора |
| Разбор инцидента | Есть измеренные MTTD и MTTR, причина названа честно, выводы конкретные |
| Документация | По README посторонний человек запускает стек, по runbook: чинит проблему |
Главный критерий: отдай репозиторий знакомому и попроси развернуть стек по инструкции, ничего не спрашивая у тебя. Получилось: задание сдано