devops-курс Все курсы

✻ Дополнительно

ТЗ для SRE, день 4

Это день 4 из 4 технического задания для SRE. Слова, схема стенда и подготовка описаны на странице плана.

День 4. Инциденты, учебные поломки и планирование ёмкости

Зачем это на работе: в первую ночь дежурства тебя спасёт не знание инструмента, а заготовленная инструкция и привычка разбирать сбои без поиска виноватых. Здесь ты пишешь инструкции (runbooks), шаблон постмортема, ломаешь свой стенд по плану и считаешь, когда закончатся ресурсы.

Время: около 6 часов (1,5 + 1 + 2 + 1,5).

Перед началом подними нужное. Всё сразу на 16 ГБ не пойдёт, для дня 4 хватит мониторинга, базы и кластера kind:

cd ~/sre-bootstrap
make up-monitoring up-db
bash scripts/check-services.sh Prometheus Grafana Alertmanager
kubectl get pods -n production     # поды demo-app из задания 2.2

Для упражнения 3 нужен бэкап: он делается внутри упражнения.


Задание 4.1. Runbooks для типичных инцидентов (1,5 ч)

Что получится на экране: в каталоге incident/ лежат шаблон и шесть заполненных инструкций, в каждой готовые к копированию команды.

Что делаешь: пишешь инструкции для дежурного. Runbook это пошаговая инструкция на конкретный сбой: по какому признаку понять, что проверить, что сделать, кому сказать. Хороший runbook читает человек в три часа ночи, поэтому в нём команды, а не рассуждения.

Шаблон runbook
# Runbook: [название инцидента]

## Паспорт
- Серьёзность: P1 / P2 / P3 / P4
- Ожидаемое время восстановления: X минут
- Обновлён: ГГГГ-ММ-ДД

## Симптомы
- [ ] Алерт X в Alertmanager или Grafana
- [ ] Метрика Y показывает Z

## Диагностика (по порядку)
1. Состояние сервисов:
   ```bash
   kubectl get pods -n production | grep -v Running
   docker ps --filter "status=restarting"
   ```
2. Логи:
   ```bash
   kubectl logs -n production -l app=demo-app --tail=100 | grep -iE "error|fatal|panic"
   ```
3. Дашборд Grafana: [ссылка]

## Восстановление
1. [Действие с командой]
2. [Действие с командой]
3. Убедись, что алерт перешёл в resolved

## Эскалация
- Не починил за 30 минут: позвони [роль]
- Затронуты данные: сразу [служба безопасности]

## После инцидента
- [ ] Дополнить runbook, если нашёл новый признак
- [ ] Завести задачу на устранение причины
- [ ] Провести постмортем для P1 и P2

Сохрани шаблон как ~/sre-bootstrap/incident/runbook-template.md и создай шесть инструкций по нему:

  1. runbook-high-cpu.md
  2. runbook-pod-crashloopbackoff.md
  3. runbook-postgresql-connections-exhausted.md
  4. runbook-disk-space-critical.md
  5. runbook-deployment-rollback.md
  6. runbook-high-error-rate.md (на неё ссылается алерт SloBurnRateFast из задания 1.2: что смотреть, когда растёт доля ошибок, и как откатить версию)

Заполняй их командами, которые ты уже запускал в днях 1–3, а не из головы. Седьмую инструкцию, runbook-imagepullbackoff.md, ты напишешь после упражнения 2 из задания 4.3: ошибка загрузки образа это не то же самое, что падение контейнера, и первая инструкция её не покрывает.


Задание 4.2. Шаблон постмортема без поиска виноватых (1 ч)

Что делаешь: готовишь шаблон разбора после сбоя. Постмортем это письменный разбор: что произошло, почему, что меняем. «Без обвинений» (blameless) значит, что ищется слабое место системы, а не виноватый человек: иначе люди начнут скрывать ошибки. Определения MTTD, MTTA и MTTR здесь те же, что в уроке 10.1: MTTD от начала проблемы до алерта, MTTA от алерта до того, как человек взялся за дело, MTTR от начала проблемы до восстановления для пользователей.

postmortem-template.md
# Постмортем: [краткое описание]

**Дата:** ГГГГ-ММ-ДД
**Длительность:** X ч Y мин
**Серьёзность:** P1 | P2 | P3
**Автор:** [имя]
**Статус:** черновик | на согласовании | завершён

---

## Влияние
| Метрика                  | Значение |
|--------------------------|----------|
| Затронутые пользователи  | ~X (Y% от всех) |
| Простой                  | X мин (бюджет месяца при SLO 99.9% = 43,2 мин) |
| Расход бюджета ошибок    | X / 43,2 = Z% бюджета месяца |
| Потери (если известны)   | [сумма или «не оценивали»] |

---

## Хронология (UTC)
| Время | Событие                                  | Кто    |
|-------|------------------------------------------|--------|
| ЧЧ:ММ | Начало проблемы                          | система |
| ЧЧ:ММ | Первый алерт                             | система |
| ЧЧ:ММ | Дежурный подтвердил алерт                | [имя]  |
| ЧЧ:ММ | Причина найдена                          | [имя]  |
| ЧЧ:ММ | Применена митигация (сервис работает)    | [имя]  |
| ЧЧ:ММ | Наблюдение после сбоя закончено          | [имя]  |

**MTTD:** X мин | **MTTA:** X мин | **MTTR:** X мин

---

## Разбор причины (5 «почему»)

**Симптом:** [что видели пользователи и системы]

| # | Почему?                                | Ответ |
|---|----------------------------------------|-------|
| 1 | Почему сервис был недоступен?          |       |
| 2 | Почему это произошло?                  |       |
| 3 | Почему это не предотвратили?           |       |
| 4 | Почему не сработала защита?            |       |
| 5 | Коренная причина                       | **[причина]** |

**Способствующие факторы:**
- [фактор]

---

## Что сработало
1. [факт, без «повезло»]

## Что пошло не так
1. [факт о системе, без обвинений]

---

## Что делаем
| Задача                | Приоритет | Ответственный | Срок       | Статус  |
|-----------------------|-----------|---------------|------------|---------|
| [конкретное действие] | P1        | [имя]         | ГГГГ-ММ-ДД | открыта |

---

## Выводы
[2-3 предложения: что команда поняла]

---
*Цель разбора: улучшить систему, а не найти виноватого.*

Сохрани как ~/sre-bootstrap/incident/postmortem-template.md. Пример расчёта для таблицы: сервис не работал 12 минут, бюджет месяца при SLO 99,9% это 43,2 минуты (30 суток · 24 ч · 60 мин · 0,001), значит израсходовано 12 / 43,2 ≈ 28% бюджета.


Задание 4.3. Учебные поломки (2 ч)

Что получится на экране: три сломанных и починенных сценария, у каждого заполненный отчёт с замеренными временами.

Что делаешь: намеренно ломаешь стенд и чинишь по своим инструкциям. Chaos drill (учебная поломка) это контролируемый сбой: так проверяют и алерты, и runbook, и себя. Для каждого упражнения запиши время начала, обнаружения и восстановления.

Упражнение 1. Убить контейнер. Здесь важна разница между «упал» и «остановили». Контейнер Grafana запущен с restart: unless-stopped (так он записан в compose.yml дня 1): Docker поднимает его снова, если он упал, но не поднимет, если его остановил человек командой stop. Саму команду docker compose kill для имитации падения не берём: она тоже может пометить контейнер как остановленный вручную. Вместо неё убиваем процесс на хосте, как это сделал бы сбой.

# Терминал 1: наблюдение
watch -n 2 'bash ~/sre-bootstrap/scripts/check-services.sh Grafana'

# Терминал 2: засекай время и убивай процесс (как при падении)
cd ~/sre-bootstrap/monitoring
start=$(date +%s)
sudo kill -9 "$(docker inspect -f '{{.State.Pid}}' "$(docker compose ps -q grafana)")"
until bash ~/sre-bootstrap/scripts/check-services.sh Grafana >/dev/null; do sleep 1; done
echo "MTTR: $(( $(date +%s) - start )) с"

Ожидается: в первом терминале на несколько секунд DOWN, затем UP без твоего участия, во втором MTTR порядка 10–40 секунд. Теперь то же с остановкой:

docker compose stop grafana
sleep 20; bash ~/sre-bootstrap/scripts/check-services.sh Grafana    # DOWN, сам не поднимется
docker compose start grafana

Запиши: какой из двух случаев вернулся сам и почему алерт TargetDown (условие up == 0 на время for: 1m) при падении процесса может не успеть сработать, а при stop сработает. Для случая stop замерь MTTD: сколько прошло от команды docker compose stop grafana до появления алерта в Alertmanager (http://localhost:9093). Он складывается из scrape_interval, for и group_wait.

Упражнение 2. Сломать выкладку в Kubernetes. Сначала сломай тег образа.

kubectl set image deployment/demo-app demo-app=nginx:nonexistent-tag -n production
kubectl get pods -n production --watch     # остановить: Ctrl+C

Ожидаемый вид через полминуты:

NAME                       READY   STATUS             RESTARTS   AGE
demo-app-6d9f7c8b5-4kq2x   1/1     Running            0          12m
demo-app-6d9f7c8b5-7mzt9   1/1     Running            0          12m
demo-app-6d9f7c8b5-xv8wj   1/1     Running            0          12m
demo-app-7c5b9d4f6-q8p2n   0/1     ImagePullBackOff   0          40s

Как читать вывод: старые поды остаются Running, потому что Kubernetes не убирает рабочие поды, пока новый не стал готовым (в RollingUpdate допустимо ноль недоступных при трёх репликах). Поэтому пользователи ничего не заметили: поломку видно только в статусе нового пода. Причину покажет блок Events:

POD=$(kubectl get pods -n production | awk '/ImagePullBackOff|ErrImagePull/ {print $1; exit}')
kubectl describe pod -n production "$POD" | tail -15

В нём будет Failed to pull image "nginx:nonexistent-tag" и ErrImagePull: образа с таким тегом нет. Откати:

kubectl rollout undo deployment/demo-app -n production
kubectl rollout status deployment/demo-app -n production --timeout=60s

Запиши, что это не CrashLoopBackOff, и напиши runbook-imagepullbackoff.md: признаки (статус ErrImagePull, ImagePullBackOff), три частые причины (неверный тег, нет прав на реестр, нет сети), команда describe, откат.

Вторая поломка, уже настоящий CrashLoopBackOff: контейнер стартует и сразу падает.

kubectl patch deployment demo-app -n production --type=json \
  -p='[{"op":"add","path":"/spec/template/spec/containers/0/command","value":["sh","-c","echo boom; exit 1"]}]'
sleep 40
POD=$(kubectl get pods -n production -l app=demo-app --sort-by=.metadata.creationTimestamp -o name | tail -1)
kubectl get "$POD" -n production
kubectl logs -n production "$POD" --previous

Ожидается статус CrashLoopBackOff (или Error в первые секунды) с растущим RESTARTS, а в логе предыдущего запуска строка boom. Ключ --previous показывает лог прошлого запуска контейнера: у текущего, только что запущенного, лога ещё нет. Теперь действуй по runbook-pod-crashloopbackoff.md и откати: kubectl rollout undo deployment/demo-app -n production.

Упражнение 3. Потеря данных в PostgreSQL. Полный цикл: данные, бэкап, потеря, восстановление.

cd ~/sre-bootstrap/database && docker compose up -d --wait

# 1. Тестовые данные
psql -h localhost -U sre_user -d sre_demo -c "
  CREATE TABLE IF NOT EXISTS chaos_test AS
  SELECT generate_series(1,10000) AS id, now() AS created_at, md5(random()::text) AS data;"

# 2. Проверка
psql -h localhost -U sre_user -d sre_demo -tA -c "SELECT count(*) FROM chaos_test;"      # 10000

# 3. Бэкап
bash ~/sre-bootstrap/scripts/pg-backup.sh

# 4. Катастрофа: потеря таблицы
psql -h localhost -U sre_user -d sre_demo -c "DROP TABLE chaos_test;"

# 5. Восстановление с замером времени (ответ yes подаётся на вопрос скрипта)
LATEST_BACKUP=$(ls -t ~/sre-bootstrap/backups/sre_demo_*.sql.gz | head -1)
time (echo yes | bash ~/sre-bootstrap/scripts/pg-restore.sh "$LATEST_BACKUP" sre_demo_restored)

# 6. Проверка
psql -h localhost -U sre_user -d sre_demo_restored -tA -c "SELECT count(*) FROM chaos_test;"   # 10000

Пароль берётся из ~/.pgpass (задание 3.2). Если count меньше 10000 или таблицы нет, смотри вывод шага 5. Заметь: тест не восстанавливает данные в рабочую базу, а проверяет копию в соседней. На работе так и делают: сначала в отдельную базу, и только убедившись, что данные на месте, переключают приложение.

Отчёт по каждому упражнению:

=== ОТЧЁТ ОБ УЧЕБНОЙ ПОЛОМКЕ ===
Название             : [название]
Начало проблемы      : ЧЧ:ММ:СС
Алерт / обнаружение  : ЧЧ:ММ:СС   -> MTTD = X мин
Подтверждение        : ЧЧ:ММ:СС   -> MTTA = X мин
Восстановление       : ЧЧ:ММ:СС   -> MTTR = X мин (от начала проблемы)
Runbook              : [имя файла] или «не было, создан»
Чего не хватило      : [что runbook не покрыл, допиши в него]
Что автоматизировать : [идея]

Задание 4.4. Планирование ёмкости (1,5 ч)

Что получится на экране: четыре панели Grafana с прогнозом, сколько суток осталось до заполнения диска и до порога по памяти и процессору, и файл отчёта с выводами.

Что делаешь: считаешь по метрикам Prometheus, когда закончатся процессор, память и диск. Планирование ёмкости (capacity planning) нужно, чтобы докупать ресурсы заранее, а не во время сбоя.

Что нужно знать про функции. predict_linear(v[окно], N) продолжает линию тренда и возвращает значение метрики через N секунд, а не время. Поэтому, чтобы узнать «когда», либо проверяют условие (< 0), либо делят запас на скорость роста: deriv(v[окно]) даёт скорость изменения в единицах метрики в секунду. Окно берут от четверти горизонта прогноза и больше: для суток 6 часов, для недели от 2 до 7 суток. Сразу после запуска стека данных мало, прогноз на неделю пока посчитать нельзя, используй сутки. Это линия по последним точкам: разовый скачок исказит её.

# Диск: закончится ли место в течение суток (результат непустой только для таких дисков)
predict_linear(node_filesystem_avail_bytes{fstype!~"tmpfs|overlay"}[6h], 24*3600) < 0

# Диск: сколько суток до заполнения (только там, где место убывает)
(node_filesystem_avail_bytes{fstype!~"tmpfs|overlay"}
  / -deriv(node_filesystem_avail_bytes{fstype!~"tmpfs|overlay"}[6h])) / 86400 > 0

# Память: сколько процентов будет занято через сутки
predict_linear((100 * (1 - node_memory_MemAvailable_bytes / node_memory_MemTotal_bytes))[6h:5m], 24*3600)

# CPU: сколько суток до порога 85% (при растущем тренде; текущая загрузка подставляется в той же формуле)
(85 - (100 - avg(rate(node_cpu_seconds_total{mode="idle"}[5m])) * 100))
  / deriv((100 - avg(rate(node_cpu_seconds_total{mode="idle"}[5m])) * 100)[6h:5m]) / 86400

[6h:5m] это подзапрос: «вычисли выражение внутри каждые 5 минут за последние 6 часов и дай как ряд». Он нужен, когда функции predict_linear и deriv применяются не к готовой метрике, а к выражению. Если результат отрицательный, нагрузка уменьшается и порог в обозримом будущем не наступит. Прогноз задержки (latency) здесь не строим: у неё нет линейного тренда, а процент от квантиля скачет.

Пороги. Для планирования берём более ранние пороги, чем для алертов в скрипте health-report.sh (там 80 и 90): запас нужен, чтобы успеть заказать ресурсы. Статусы: до 70% OK, от 70% WARN, от 85% CRIT.

Дашборд в Grafana (4 панели):

  1. Диск, суток до заполнения: панель Stat с запросом выше.
  2. Память: Time series с двумя запросами, фактический и predict_linear.
  3. Диск: то же для места на диске.
  4. Сводная таблица (Table): ресурс, текущее значение, порог, статус OK/WARN/CRIT через правила цвета ячейки.
Шаблон отчёта о ёмкости
# Отчёт о ёмкости, [дата]

## Текущее состояние
| Ресурс | Занято | Порог WARN / CRIT | Тренд за неделю | Статус |
|--------|--------|-------------------|-----------------|--------|
| CPU    | X%     | 70% / 85%         | +Y п.п.         | OK / WARN / CRIT |
| Память | X%     | 70% / 85%         | +Y п.п.         | OK / WARN / CRIT |
| Диск   | X%     | 70% / 85%         | +Y ГБ           | OK / WARN / CRIT |

## Прогноз
- CPU достигнет 85% через: X суток
- Память достигнет 85% через: X суток
- Диск заполнится через: X суток

## Рекомендации
1. [Действие, обоснование, ожидаемый эффект]

Назад: День 3. Дальше: итоговый чеклист на странице плана.

Помоги улучшить курс

Что нужно изменить?