✻ Дополнительно
ТЗ для SRE, день 4
Это день 4 из 4 технического задания для SRE. Слова, схема стенда и подготовка описаны на странице плана.
День 4. Инциденты, учебные поломки и планирование ёмкости
Зачем это на работе: в первую ночь дежурства тебя спасёт не знание инструмента, а заготовленная инструкция и привычка разбирать сбои без поиска виноватых. Здесь ты пишешь инструкции (runbooks), шаблон постмортема, ломаешь свой стенд по плану и считаешь, когда закончатся ресурсы.
Время: около 6 часов (1,5 + 1 + 2 + 1,5).
Перед началом подними нужное. Всё сразу на 16 ГБ не пойдёт, для дня 4 хватит мониторинга, базы и кластера kind:
cd ~/sre-bootstrap
make up-monitoring up-db
bash scripts/check-services.sh Prometheus Grafana Alertmanager
kubectl get pods -n production # поды demo-app из задания 2.2
Для упражнения 3 нужен бэкап: он делается внутри упражнения.
Задание 4.1. Runbooks для типичных инцидентов (1,5 ч)
Что получится на экране: в каталоге incident/ лежат шаблон и шесть заполненных инструкций, в каждой готовые к копированию команды.
Что делаешь: пишешь инструкции для дежурного. Runbook это пошаговая инструкция на конкретный сбой: по какому признаку понять, что проверить, что сделать, кому сказать. Хороший runbook читает человек в три часа ночи, поэтому в нём команды, а не рассуждения.
Шаблон runbook
# Runbook: [название инцидента]
## Паспорт
- Серьёзность: P1 / P2 / P3 / P4
- Ожидаемое время восстановления: X минут
- Обновлён: ГГГГ-ММ-ДД
## Симптомы
- [ ] Алерт X в Alertmanager или Grafana
- [ ] Метрика Y показывает Z
## Диагностика (по порядку)
1. Состояние сервисов:
```bash
kubectl get pods -n production | grep -v Running
docker ps --filter "status=restarting"
```
2. Логи:
```bash
kubectl logs -n production -l app=demo-app --tail=100 | grep -iE "error|fatal|panic"
```
3. Дашборд Grafana: [ссылка]
## Восстановление
1. [Действие с командой]
2. [Действие с командой]
3. Убедись, что алерт перешёл в resolved
## Эскалация
- Не починил за 30 минут: позвони [роль]
- Затронуты данные: сразу [служба безопасности]
## После инцидента
- [ ] Дополнить runbook, если нашёл новый признак
- [ ] Завести задачу на устранение причины
- [ ] Провести постмортем для P1 и P2
Сохрани шаблон как ~/sre-bootstrap/incident/runbook-template.md и создай шесть инструкций по нему:
runbook-high-cpu.mdrunbook-pod-crashloopbackoff.mdrunbook-postgresql-connections-exhausted.mdrunbook-disk-space-critical.mdrunbook-deployment-rollback.mdrunbook-high-error-rate.md(на неё ссылается алертSloBurnRateFastиз задания 1.2: что смотреть, когда растёт доля ошибок, и как откатить версию)
Заполняй их командами, которые ты уже запускал в днях 1–3, а не из головы. Седьмую инструкцию, runbook-imagepullbackoff.md, ты напишешь после упражнения 2 из задания 4.3: ошибка загрузки образа это не то же самое, что падение контейнера, и первая инструкция её не покрывает.
Задание 4.2. Шаблон постмортема без поиска виноватых (1 ч)
Что делаешь: готовишь шаблон разбора после сбоя. Постмортем это письменный разбор: что произошло, почему, что меняем. «Без обвинений» (blameless) значит, что ищется слабое место системы, а не виноватый человек: иначе люди начнут скрывать ошибки. Определения MTTD, MTTA и MTTR здесь те же, что в уроке 10.1: MTTD от начала проблемы до алерта, MTTA от алерта до того, как человек взялся за дело, MTTR от начала проблемы до восстановления для пользователей.
postmortem-template.md
# Постмортем: [краткое описание]
**Дата:** ГГГГ-ММ-ДД
**Длительность:** X ч Y мин
**Серьёзность:** P1 | P2 | P3
**Автор:** [имя]
**Статус:** черновик | на согласовании | завершён
---
## Влияние
| Метрика | Значение |
|--------------------------|----------|
| Затронутые пользователи | ~X (Y% от всех) |
| Простой | X мин (бюджет месяца при SLO 99.9% = 43,2 мин) |
| Расход бюджета ошибок | X / 43,2 = Z% бюджета месяца |
| Потери (если известны) | [сумма или «не оценивали»] |
---
## Хронология (UTC)
| Время | Событие | Кто |
|-------|------------------------------------------|--------|
| ЧЧ:ММ | Начало проблемы | система |
| ЧЧ:ММ | Первый алерт | система |
| ЧЧ:ММ | Дежурный подтвердил алерт | [имя] |
| ЧЧ:ММ | Причина найдена | [имя] |
| ЧЧ:ММ | Применена митигация (сервис работает) | [имя] |
| ЧЧ:ММ | Наблюдение после сбоя закончено | [имя] |
**MTTD:** X мин | **MTTA:** X мин | **MTTR:** X мин
---
## Разбор причины (5 «почему»)
**Симптом:** [что видели пользователи и системы]
| # | Почему? | Ответ |
|---|----------------------------------------|-------|
| 1 | Почему сервис был недоступен? | |
| 2 | Почему это произошло? | |
| 3 | Почему это не предотвратили? | |
| 4 | Почему не сработала защита? | |
| 5 | Коренная причина | **[причина]** |
**Способствующие факторы:**
- [фактор]
---
## Что сработало
1. [факт, без «повезло»]
## Что пошло не так
1. [факт о системе, без обвинений]
---
## Что делаем
| Задача | Приоритет | Ответственный | Срок | Статус |
|-----------------------|-----------|---------------|------------|---------|
| [конкретное действие] | P1 | [имя] | ГГГГ-ММ-ДД | открыта |
---
## Выводы
[2-3 предложения: что команда поняла]
---
*Цель разбора: улучшить систему, а не найти виноватого.*
Сохрани как ~/sre-bootstrap/incident/postmortem-template.md. Пример расчёта для таблицы: сервис не работал 12 минут, бюджет месяца при SLO 99,9% это 43,2 минуты (30 суток · 24 ч · 60 мин · 0,001), значит израсходовано 12 / 43,2 ≈ 28% бюджета.
Задание 4.3. Учебные поломки (2 ч)
Что получится на экране: три сломанных и починенных сценария, у каждого заполненный отчёт с замеренными временами.
Что делаешь: намеренно ломаешь стенд и чинишь по своим инструкциям. Chaos drill (учебная поломка) это контролируемый сбой: так проверяют и алерты, и runbook, и себя. Для каждого упражнения запиши время начала, обнаружения и восстановления.
Упражнение 1. Убить контейнер. Здесь важна разница между «упал» и «остановили». Контейнер Grafana запущен с restart: unless-stopped (так он записан в compose.yml дня 1): Docker поднимает его снова, если он упал, но не поднимет, если его остановил человек командой stop. Саму команду docker compose kill для имитации падения не берём: она тоже может пометить контейнер как остановленный вручную. Вместо неё убиваем процесс на хосте, как это сделал бы сбой.
# Терминал 1: наблюдение
watch -n 2 'bash ~/sre-bootstrap/scripts/check-services.sh Grafana'
# Терминал 2: засекай время и убивай процесс (как при падении)
cd ~/sre-bootstrap/monitoring
start=$(date +%s)
sudo kill -9 "$(docker inspect -f '{{.State.Pid}}' "$(docker compose ps -q grafana)")"
until bash ~/sre-bootstrap/scripts/check-services.sh Grafana >/dev/null; do sleep 1; done
echo "MTTR: $(( $(date +%s) - start )) с"
Ожидается: в первом терминале на несколько секунд DOWN, затем UP без твоего участия, во втором MTTR порядка 10–40 секунд. Теперь то же с остановкой:
docker compose stop grafana
sleep 20; bash ~/sre-bootstrap/scripts/check-services.sh Grafana # DOWN, сам не поднимется
docker compose start grafana
Запиши: какой из двух случаев вернулся сам и почему алерт TargetDown (условие up == 0 на время for: 1m) при падении процесса может не успеть сработать, а при stop сработает. Для случая stop замерь MTTD: сколько прошло от команды docker compose stop grafana до появления алерта в Alertmanager (http://localhost:9093). Он складывается из scrape_interval, for и group_wait.
Упражнение 2. Сломать выкладку в Kubernetes. Сначала сломай тег образа.
kubectl set image deployment/demo-app demo-app=nginx:nonexistent-tag -n production
kubectl get pods -n production --watch # остановить: Ctrl+C
Ожидаемый вид через полминуты:
NAME READY STATUS RESTARTS AGE
demo-app-6d9f7c8b5-4kq2x 1/1 Running 0 12m
demo-app-6d9f7c8b5-7mzt9 1/1 Running 0 12m
demo-app-6d9f7c8b5-xv8wj 1/1 Running 0 12m
demo-app-7c5b9d4f6-q8p2n 0/1 ImagePullBackOff 0 40s
Как читать вывод: старые поды остаются Running, потому что Kubernetes не убирает рабочие поды, пока новый не стал готовым (в RollingUpdate допустимо ноль недоступных при трёх репликах). Поэтому пользователи ничего не заметили: поломку видно только в статусе нового пода. Причину покажет блок Events:
POD=$(kubectl get pods -n production | awk '/ImagePullBackOff|ErrImagePull/ {print $1; exit}')
kubectl describe pod -n production "$POD" | tail -15
В нём будет Failed to pull image "nginx:nonexistent-tag" и ErrImagePull: образа с таким тегом нет. Откати:
kubectl rollout undo deployment/demo-app -n production
kubectl rollout status deployment/demo-app -n production --timeout=60s
Запиши, что это не CrashLoopBackOff, и напиши runbook-imagepullbackoff.md: признаки (статус ErrImagePull, ImagePullBackOff), три частые причины (неверный тег, нет прав на реестр, нет сети), команда describe, откат.
Вторая поломка, уже настоящий CrashLoopBackOff: контейнер стартует и сразу падает.
kubectl patch deployment demo-app -n production --type=json \
-p='[{"op":"add","path":"/spec/template/spec/containers/0/command","value":["sh","-c","echo boom; exit 1"]}]'
sleep 40
POD=$(kubectl get pods -n production -l app=demo-app --sort-by=.metadata.creationTimestamp -o name | tail -1)
kubectl get "$POD" -n production
kubectl logs -n production "$POD" --previous
Ожидается статус CrashLoopBackOff (или Error в первые секунды) с растущим RESTARTS, а в логе предыдущего запуска строка boom. Ключ --previous показывает лог прошлого запуска контейнера: у текущего, только что запущенного, лога ещё нет. Теперь действуй по runbook-pod-crashloopbackoff.md и откати: kubectl rollout undo deployment/demo-app -n production.
Упражнение 3. Потеря данных в PostgreSQL. Полный цикл: данные, бэкап, потеря, восстановление.
cd ~/sre-bootstrap/database && docker compose up -d --wait
# 1. Тестовые данные
psql -h localhost -U sre_user -d sre_demo -c "
CREATE TABLE IF NOT EXISTS chaos_test AS
SELECT generate_series(1,10000) AS id, now() AS created_at, md5(random()::text) AS data;"
# 2. Проверка
psql -h localhost -U sre_user -d sre_demo -tA -c "SELECT count(*) FROM chaos_test;" # 10000
# 3. Бэкап
bash ~/sre-bootstrap/scripts/pg-backup.sh
# 4. Катастрофа: потеря таблицы
psql -h localhost -U sre_user -d sre_demo -c "DROP TABLE chaos_test;"
# 5. Восстановление с замером времени (ответ yes подаётся на вопрос скрипта)
LATEST_BACKUP=$(ls -t ~/sre-bootstrap/backups/sre_demo_*.sql.gz | head -1)
time (echo yes | bash ~/sre-bootstrap/scripts/pg-restore.sh "$LATEST_BACKUP" sre_demo_restored)
# 6. Проверка
psql -h localhost -U sre_user -d sre_demo_restored -tA -c "SELECT count(*) FROM chaos_test;" # 10000
Пароль берётся из ~/.pgpass (задание 3.2). Если count меньше 10000 или таблицы нет, смотри вывод шага 5. Заметь: тест не восстанавливает данные в рабочую базу, а проверяет копию в соседней. На работе так и делают: сначала в отдельную базу, и только убедившись, что данные на месте, переключают приложение.
Отчёт по каждому упражнению:
=== ОТЧЁТ ОБ УЧЕБНОЙ ПОЛОМКЕ ===
Название : [название]
Начало проблемы : ЧЧ:ММ:СС
Алерт / обнаружение : ЧЧ:ММ:СС -> MTTD = X мин
Подтверждение : ЧЧ:ММ:СС -> MTTA = X мин
Восстановление : ЧЧ:ММ:СС -> MTTR = X мин (от начала проблемы)
Runbook : [имя файла] или «не было, создан»
Чего не хватило : [что runbook не покрыл, допиши в него]
Что автоматизировать : [идея]
Задание 4.4. Планирование ёмкости (1,5 ч)
Что получится на экране: четыре панели Grafana с прогнозом, сколько суток осталось до заполнения диска и до порога по памяти и процессору, и файл отчёта с выводами.
Что делаешь: считаешь по метрикам Prometheus, когда закончатся процессор, память и диск. Планирование ёмкости (capacity planning) нужно, чтобы докупать ресурсы заранее, а не во время сбоя.
Что нужно знать про функции. predict_linear(v[окно], N) продолжает линию тренда и возвращает значение метрики через N секунд, а не время. Поэтому, чтобы узнать «когда», либо проверяют условие (< 0), либо делят запас на скорость роста: deriv(v[окно]) даёт скорость изменения в единицах метрики в секунду. Окно берут от четверти горизонта прогноза и больше: для суток 6 часов, для недели от 2 до 7 суток. Сразу после запуска стека данных мало, прогноз на неделю пока посчитать нельзя, используй сутки. Это линия по последним точкам: разовый скачок исказит её.
# Диск: закончится ли место в течение суток (результат непустой только для таких дисков)
predict_linear(node_filesystem_avail_bytes{fstype!~"tmpfs|overlay"}[6h], 24*3600) < 0
# Диск: сколько суток до заполнения (только там, где место убывает)
(node_filesystem_avail_bytes{fstype!~"tmpfs|overlay"}
/ -deriv(node_filesystem_avail_bytes{fstype!~"tmpfs|overlay"}[6h])) / 86400 > 0
# Память: сколько процентов будет занято через сутки
predict_linear((100 * (1 - node_memory_MemAvailable_bytes / node_memory_MemTotal_bytes))[6h:5m], 24*3600)
# CPU: сколько суток до порога 85% (при растущем тренде; текущая загрузка подставляется в той же формуле)
(85 - (100 - avg(rate(node_cpu_seconds_total{mode="idle"}[5m])) * 100))
/ deriv((100 - avg(rate(node_cpu_seconds_total{mode="idle"}[5m])) * 100)[6h:5m]) / 86400
[6h:5m] это подзапрос: «вычисли выражение внутри каждые 5 минут за последние 6 часов и дай как ряд». Он нужен, когда функции predict_linear и deriv применяются не к готовой метрике, а к выражению. Если результат отрицательный, нагрузка уменьшается и порог в обозримом будущем не наступит. Прогноз задержки (latency) здесь не строим: у неё нет линейного тренда, а процент от квантиля скачет.
Пороги. Для планирования берём более ранние пороги, чем для алертов в скрипте health-report.sh (там 80 и 90): запас нужен, чтобы успеть заказать ресурсы. Статусы: до 70% OK, от 70% WARN, от 85% CRIT.
Дашборд в Grafana (4 панели):
- Диск, суток до заполнения: панель Stat с запросом выше.
- Память: Time series с двумя запросами, фактический и
predict_linear. - Диск: то же для места на диске.
- Сводная таблица (Table): ресурс, текущее значение, порог, статус
OK/WARN/CRITчерез правила цвета ячейки.
Шаблон отчёта о ёмкости
# Отчёт о ёмкости, [дата]
## Текущее состояние
| Ресурс | Занято | Порог WARN / CRIT | Тренд за неделю | Статус |
|--------|--------|-------------------|-----------------|--------|
| CPU | X% | 70% / 85% | +Y п.п. | OK / WARN / CRIT |
| Память | X% | 70% / 85% | +Y п.п. | OK / WARN / CRIT |
| Диск | X% | 70% / 85% | +Y ГБ | OK / WARN / CRIT |
## Прогноз
- CPU достигнет 85% через: X суток
- Память достигнет 85% через: X суток
- Диск заполнится через: X суток
## Рекомендации
1. [Действие, обоснование, ожидаемый эффект]
Назад: День 3. Дальше: итоговый чеклист на странице плана.