devops-курс Все курсы

✻ Дополнительно

Техническое задание для инженера мониторинга

Что проверяет: умеешь ли ты в одиночку развернуть мониторинг, настроить осмысленные алерты, разобрать инцидент и оставить после себя документацию

Что нужно пройти заранее: тему 1 (bash, systemd), тему 4 (Compose) и обязательно тему 8: 8.2 Prometheus, 8.5 Alertmanager, 8.11 SLO и burn rate. Для части 4 пригодится урок 10.1 с определениями MTTD, MTTA и MTTR

Сколько времени займёт: 12–16 часов. Нужен компьютер или ВМ с 4 ГБ свободной памяти и 10 ГБ диска. Часть 4 выполняй только на тестовой машине

Результат: git-репозиторий, который не стыдно показать на собеседовании. Проверяешь себя сам по критериям в конце


Как это устроено

Представь пульт охраны. Prometheus это пульт: каждые несколько секунд он опрашивает «камеры» (экспортёры вроде Node Exporter, которые отдают числа о машине) и хранит ответы. Правило алерта это условие на пульте, например «диск заполнен на 90%». Alertmanager это дежурный, который решает, кому и как позвонить, и склеивает похожие тревоги в один звонок. Grafana это экран с графиками. Каждое правило получает метку severity (серьёзность: critical или warning), по ней дежурный выбирает, будить человека или оставить до утра.

Пример готового правила, на который можно ориентироваться (форма важна, пороги подбери сам):

groups:
  - name: host
    rules:
      - alert: HostHighCpuLoad
        expr: 100 - avg(rate(node_cpu_seconds_total{mode="idle"}[2m])) * 100 > 80
        for: 2m
        labels:
          severity: warning
        annotations:
          summary: "CPU выше 80% уже 2 минуты на {{ $labels.instance }}"
          description: "Посмотри топ процессов: docker stats, top. Если нагрузка растёт, смотри runbook."

Часть 1: Развёртывание стека мониторинга

Задача: самостоятельно развернуть полноценный стек мониторинга на своей машине или виртуальной машине

Требования:

  1. Развернуть через Docker Compose следующие компоненты:
    • Prometheus
    • Grafana
    • Alertmanager
    • Node Exporter (для мониторинга самой системы)
  2. Требования к качеству конфигурации:
    • У всех образов зафиксированы версии, тега latest быть не должно
    • У всех сервисов задан restart: unless-stopped
    • Данные Prometheus и Grafana лежат в именованных томах и переживают docker compose down
    • Ключ version: в начале файла не используется: он устарел
  3. Предоставить:
    • Файл compose.yml
    • Все конфигурационные файлы (prometheus.yml, alertmanager.yml)
    • Скриншот работающих контейнеров (docker compose ps)

    Файлы конфигурации Alertmanager и токен Telegram подключи в контейнер томами: ./configs/alertmanager.yml:/etc/alertmanager/alertmanager.yml:ro и ./configs/telegram_token:/etc/alertmanager/telegram_token:ro.

  4. Подсказки по образу Node Exporter: чтобы он мерил диски хоста, а не своего контейнера, подключи /:/host:ro,rslave, добавь флаг --path.rootfs=/host и pid: host (как в уроке 8.2). Источник данных Grafana и дашборд подключи через каталог grafana/provisioning, а не кликами в интерфейсе: так стек поднимается из репозитория без ручных шагов.

Часть 2: Настройка мониторинга и алертинга

Задача: настроить сбор метрик и правила алертинга

Требования:

  1. В Prometheus настроить:
    • Scrape-конфиг для Node Exporter
    • Минимум 4 правила алертинга, из них обязательно:
      • HostHighCpuLoad: загрузка CPU выше 80% в течение 2 минут
      • HostHighMemoryUsage: использование памяти выше 85% (метрики node_memory_MemAvailable_bytes и node_memory_MemTotal_bytes)
      • HostDiskSpaceCritical: свободного места на диске меньше 10% (метрика node_filesystem_avail_bytes; оставь только настоящие разделы: mountpoint="/" или фильтр fstype!~"tmpfs|overlay|squashfs", иначе алерт задвоится по виртуальным файловым системам)
      • HostDiskWillFillIn24h: по текущему тренду диск закончится в ближайшие сутки (подсказка: predict_linear с окном [6h], условие < 0, for: 30m; она возвращает значение метрики через заданное время, поэтому ноль и меньше значит «места не останется»)
  2. Обосновать письменно: в теме 8 объясняется, почему алерт «CPU выше 80%» сам по себе плохой: он сообщает о причине, а не о симптоме, и часто будит человека, когда пользователи ничего не заметили. В файле docs/alerts.md ответь:
    • Какой из твоих четырёх алертов действительно требует немедленной реакции ночью, а какой может подождать до утра?
    • Как ты изменил бы эти алерты, если бы за стеком стоял реальный пользовательский сервис? Приведи хотя бы один алерт на симптом (доля ошибок или задержка), а не на ресурс
    • У каждого алерта должно быть поле severity и аннотация с описанием, что делать дежурному
  3. В Alertmanager настроить:
    • Отправку уведомлений в Telegram
    • Маршрутизацию по severity: critical: немедленно, warning: с группировкой и задержкой
    • Дедупликацию и группировку (group_by, group_wait, group_interval, repeat_interval): объясни в комментариях выбранные значения. Коротко: group_wait это сколько ждать первого уведомления группы (чтобы собрать похожие алерты в одно), group_interval это пауза перед уведомлением о новых алертах в уже отправленной группе, repeat_interval это как часто повторять, если проблема не исчезла. Подробности в уроке 8.5

    Как подключить Telegram. Telegram иногда недоступен из сети: тогда сразу переходи к шагу 5 (приёмник вебхуков), остальные шаги пропусти.

    1. В Telegram напиши боту @BotFather, команда /newbot: он выдаст токен.
    2. Напиши своему новому боту любое сообщение, затем открой в браузере https://api.telegram.org/bot<токен>/getUpdates и найди число chat.id: это chat_id.
    3. В alertmanager.yml используй telegram_configs с chat_id и bot_token_file: /etc/alertmanager/telegram_token. Файл с токеном хранится вне git: добавь его в .gitignore, а в репозиторий положи только telegram_token.example.
    4. Проверь токен и чат, не печатая токен в терминал целиком: curl -s -X POST "https://api.telegram.org/bot$(cat configs/telegram_token)/sendMessage" -d chat_id=<chat_id> -d text=test.
    5. Если Telegram недоступен из твоей сети, подними вместо него приёмник вебхуков, как в уроке 8.5 (go-httpbin), и покажи в логе пришедший запрос.

    Перед перезагрузкой проверь конфиги: promtool check config, promtool check rules и amtool check-config.

  4. Предоставить:
    • Файлы конфигураций с комментариями
    • Скриншот Prometheus → Status → Targets, все цели в состоянии UP
    • Скриншот страницы Alerts в Prometheus
    • Скриншот пришедшего в Telegram уведомления

Часть 3: Создание дашборда в Grafana

Задача: создать дашборд, по которому дежурный за 10 секунд понимает, всё ли в порядке

Требования:

Создать дашборд минимум с шестью панелями:

  1. Общее состояние: статус всех целей (up/down) одним числом или таблицей
  2. CPU Usage: график использования процессора
  3. Memory Usage: график использования памяти
  4. Disk Space: свободное место по разделам
  5. Disk I/O или Network: нагрузка на диск либо сетевой трафик
  6. Load Average: с линией порога, равной числу ядер

Требования к оформлению:

  • У всех панелей подписаны единицы измерения (проценты, байты, секунды)
  • На панелях, где есть порог, нарисована пороговая линия
  • Самое важное: вверху: дежурный смотрит на верхнюю треть экрана

Предоставить:

  • Экспортированный JSON дашборда
  • Скриншоты дашборда с данными (не пустой)

Часть 4: Симуляция и диагностика инцидента

Задача: провести диагностику и задокументировать инцидент

Сценарий:

  1. Искусственно создать инцидент на тестовой ВМ (на выбор):
    • Нагрузка на CPU: sudo apt install -y stress-ng, затем stress-ng --cpu 4 --timeout 300s. Без установки: yes > /dev/null в нескольких терминалах, остановка по Ctrl+C
    • Заполнение диска: файл размером в 95% свободного места, fallocate -l "$(df --output=avail -B1 / | tail -1 | awk '{print int($1*0.95)}')" /var/tmp/bigfile. Только на тестовой ВМ. Не используй /tmp: он может быть в памяти (tmpfs), и диск не заполнится. В конце обязательно rm -f /var/tmp/bigfile
    • Утечка памяти: контейнер с лимитом, который его превышает: docker run --name leak --memory=256m polinux/stress stress --vm 1 --vm-bytes 512M (без --rm, иначе проверить будет нечего). Проверь, что случилось: docker inspect leak --format '{{.State.OOMKilled}}' и dmesg | grep -i oom, затем docker rm leak. Честно про алерты: стек части 1 без cAdvisor видит память всей машины, а не отдельного контейнера, поэтому HostHighMemoryUsage в этом сценарии может не сработать. Это нормальный результат: опиши в постмортеме, чего мониторингу не хватило (подсказка: cAdvisor)
  2. Действия:
    • Зафиксировать момент возникновения алерта (скриншот)
    • Замерить MTTD (время обнаружения): сколько секунд прошло от начала проблемы до срабатывания алерта. Оно складывается из scrape_interval, evaluation_interval, for и group_wait
    • Провести диагностику: метрики в Prometheus, логи, состояние системы
    • Определить причину
    • Устранить инцидент и замерить MTTR (время восстановления): от начала проблемы до момента, когда пользователи снова не страдают, а не от алерта. Время от алерта до подтверждения дежурным называется MTTA, его тоже можно записать. Определения: урок 10.1
    • Зафиксировать восстановление
  3. Предоставить:
    • Хронологию инцидента в виде таблицы:

      | Время | Событие | Действие | Результат |
      |-------|---------|----------|-----------|
      
    • Скриншоты: алерт → метрики → диагностика → восстановление
    • Постмортем без поиска виноватых (5–10 предложений): что произошло, как обнаружили, как устранили, что сделать, чтобы не повторилось. Формулируй причины через процессы и системы, а не через людей

Часть 5: Автоматизация и документация

Задача: оставить после себя то, чем сможет пользоваться другой человек

Требования:

  1. Написать Runbook для одного из алертов в формате Markdown:
    • Описание проблемы и на что она влияет для пользователя
    • Как проверить: готовые к копированию команды
    • Шаги по устранению
    • Что делать, если не помогло; контакты для эскалации
    • Ссылка на дашборд с нужными метриками
  2. Написать bash-скрипт healthcheck.sh, который:
    • Начинается с set -euo pipefail. Подсказка: с set -e скрипт завершится на первой же упавшей проверке, а нужен отчёт по всем. Поэтому помещай проверки в if или ||, копи итог в переменную rc и в конце делай exit "$rc"
    • Проверяет доступность Prometheus, Grafana и Alertmanager через curl
    • Проверяет, что все контейнеры стека запущены
    • Выводит статус в читаемом виде: OK / FAIL по каждому компоненту
    • Возвращает код 0, если всё хорошо, и 1, если есть проблемы
    • Работает при запуске из любого каталога (никаких относительных путей)
  3. Проверить скрипт делом: останови один контейнер, запусти скрипт, убедись, что он вернул FAIL и код 1. Приложи скриншот обоих запусков

Предоставить: runbook.md, healthcheck.sh, скриншоты выполнения


Формат сдачи результатов

Создать git-репозиторий (GitHub или GitLab) со структурой:

monitoring-test/
├── README.md                 (описание и инструкция по запуску)
├── compose.yml
├── configs/
│   ├── prometheus.yml
│   ├── alert.rules.yml
│   └── alertmanager.yml
├── grafana/
│   ├── provisioning/
│   │   ├── datasources/
│   │   └── dashboards/
│   └── dashboards/
│       └── dashboard.json
├── scripts/
│   └── healthcheck.sh
├── docs/
│   ├── alerts.md             (обоснование алертов из части 2)
│   ├── runbook.md
│   └── incident-report.md
└── screenshots/
    ├── 01-containers.png
    ├── 02-prometheus-targets.png
    ├── 03-alerts.png
    ├── 04-telegram.png
    ├── 05-grafana-dashboard.png
    ├── 06-incident-alert.png
    ├── 07-incident-recovery.png
    └── 08-healthcheck.png

Готовый репозиторий покажи знакомому, наставнику или на собеседовании: оценивать себя ты будешь по критериям самопроверки ниже.

Как проверить себя

  • promtool check config configs/prometheus.yml и promtool check rules configs/alert.rules.yml отвечают SUCCESS; amtool check-config configs/alertmanager.yml без ошибок.
  • curl -s localhost:9090/api/v1/alerts | jq '.data.alerts[] | {labels, state}' показывает алерты в состоянии pending (условие выполняется, но for ещё не истёк) или firing (алерт отправлен).
  • Типичные ошибки:
    • Цель DOWN в Status → Targets: в prometheus.yml указано localhost:9100, а Node Exporter в другом контейнере. Пиши имя сервиса из Compose.
    • В Grafana «No data»: не тот источник данных или адрес localhost вместо http://prometheus:9090.
    • Алерт на диск пришёл дважды или по странным разделам: не отфильтрованы tmpfs, overlay, squashfs в fstype.
    • Диск показывает размер контейнера, а не хоста: забыт /:/host:ro,rslave и --path.rootfs=/host у Node Exporter.

Как это будет оцениваться

Критерий На что смотрят
Работоспособность Стек поднимается из репозитория одной командой на чистой машине
Воспроизводимость Версии зафиксированы, данные в томах, нет ручных шагов «а потом я кликнул в интерфейсе»
Осмысленность алертов Алерт сообщает, что сломалось и что делать, а не просто «метрика превысила число»
Качество дашборда По нему видно состояние системы без объяснений автора
Разбор инцидента Есть измеренные MTTD и MTTR, причина названа честно, выводы конкретные
Документация По README посторонний человек запускает стек, по runbook: чинит проблему

Главный критерий: отдай репозиторий знакомому и попроси развернуть стек по инструкции, ничего не спрашивая у тебя. Получилось: задание сдано

Помоги улучшить курс

Что нужно изменить?