✻ Урок 9.2 · Тема 9: Секреты и GitOps
Секреты в Kubernetes: Vault и External Secrets Operator
Содержание урока
Как работать с кодом и когда идти дальше
Команды не нужно писать по памяти. Пользуйся примерами из урока и справкой. Ориентируйся на цель задания:
- Запусти готовое. Код приложения и вспомогательных скриптов можно скопировать. Пойми, зачем они нужны, что запускают или меняют и как проверить результат. Разбирать каждую функцию внутри готового инструмента не требуется.
- Измени по образцу. Разбери новые конструкции, объяснённые в уроке. Измени указанный параметр или часть кода, предскажи результат и проверь запуском.
- Напиши сам. Собери свой вариант под условия задания. Образцы и справка разрешены: важно объяснить своё решение и проверить его работу.
Можно идти дальше, если ты выполнил практику, получил ожидаемый результат и понимаешь, что проверил. Если задание просит изменить код, проверь и своё изменение.
Непонятные детали готового инструмента можно оставить на потом. При ошибке запуска вернись к разбору вывода и типичным ошибкам в уроке.
Зачем это нужно
В уроке 5.6 пароль базы жил в Kubernetes Secret, созданном командой, а значения в Secret хранятся в base64, то есть почти открытым текстом (base64 это способ записи, а не шифр). Стоит положить такой манифест в git, и пароль утёк навсегда (урок 9.1). Вот как выглядит пароль в таком манифесте:
data:
password: cGFzc3dvcmQxMjM=
На вид это набор букв, но cGFzc3dvcmQxMjM= читается обратно в password123 без всякого ключа. Кто увидел строку в git, тот узнал пароль.
В Vault пароль уже лежит безопасно, но приложение в кластере ходить в Vault не умеет: ему нужен обычный Secret. Эту связку делает External Secrets Operator (ESO): программа внутри кластера, у которой есть доступ к Vault. Она сама создаёт и обновляет Secret из внешнего хранилища. Без неё пришлось бы копировать пароль из Vault в кластер руками после каждой смены.
В git остаётся только описание «откуда взять», а не сам пароль: заявка вида «возьми по этому адресу из Vault такие-то поля и сложи в Secret с таким-то именем».
Шаг проекта: ESO ставится в кластер, в Helm-чарте «Заметок» появляется ExternalSecret notes-db (chart 0.4.0), ручной Secret удаляется, пароль базы в git и в манифестах платформы больше не хранится.
Что нужно знать
- Урок 9.1: проблема секретов и Vault: Vault в кластере,
secret/notes/db, политикаnotes-read, метод входаkubernetesи рольnotes, запечатывание. - Урок 5.6: ConfigMap и Secret: Secret
notes-db,envFrom, почему base64 не шифрование. - Урок 5.9: Helm: чарт
helm/notes,values.yaml,helm upgrade. - Урок 5.12: безопасность Kubernetes: ServiceAccount (учётная запись программы внутри кластера, как пропуск сотрудника, только для программы) и RBAC (правила «кто что может делать в кластере»).
- Урок 5.13: диагностика Kubernetes:
describe, события, логи контроллеров. - Урок 5.5: StatefulSet с PostgreSQL: пароль в базе задаётся при первой инициализации тома.
Картина целиком
Представь курьерскую службу. Ты, как заказчик, не ездишь на склад сам: пишешь заявку «привезите из ячейки 42 коробку и положите её на мой стол». Курьер знает адрес склада, имеет пропуск и привозит коробку. Через час он проверяет, не заменили ли содержимое на складе, и если заменили, привозит новое.
Здесь склад это Vault, ячейка это secret/notes/db, курьер это ESO, заявка это ресурс ExternalSecret (объект Kubernetes с описанием «что и откуда взять»), а стол это обычный Secret в кластере, из которого приложение берёт пароль как обычно. Приложение про склад ничего не знает. Курьер сам с приложением не говорит: если содержимое коробки поменялось, работающая программа увидит новое значение только после перезапуска.
flowchart LR
subgraph G["git: только описания"]
ES["ExternalSecret:<br>взять notes/db из vault-backend,<br>собрать Secret notes-db"]
CS["ClusterSecretStore:<br>Vault по адресу, вход по роли notes"]
end
subgraph K["кластер kind-notes"]
C["Контроллер ESO<br>namespace external-secrets"]
SEC["Secret notes-db<br>namespace notes"]
POD["Под notes"]
end
V[("Vault<br>secret/notes/db")]
ES -->|"1. заявка"| C
CS -->|"1. адрес и доступ"| C
C -->|"2. вход по SA"| V
V -->|"3. значения"| C
C -->|"4. создать или обновить"| SEC
SEC -->|"env"| POD
Приложение про Vault ничего не знает, а Vault про приложение: между ними только контроллер.
Три слова, которые встретятся дальше, определим один раз здесь.
- Контроллер (controller) это программа-цикл: сравнивает, что описано в объектах и что есть на деле, и исправляет разницу. Один проход цикла называют reconcile (сверка).
- CRD (Custom Resource Definition) регистрирует в Kubernetes новый вид объектов, например
ExternalSecret. Без неё API-сервер не поймёт это слово и отклонит объект. - Оператор (operator) это контроллер плюс его CRD, упакованные вместе. ESO как раз оператор: его ставят один раз Helm-чартом.
За урок разберёшь каждый кусок: как ESO входит в Vault без пароля, из каких частей состоит ExternalSecret, как собирается итоговый Secret, что происходит при ротации и при падении Vault.
Теория
Зачем нужна связка: Secret в кластере и Vault снаружи
Kubernetes умеет одно: давать поду переменные и файлы из объектов ConfigMap и Secret. Vault умеет другое: хранить секреты безопасно. Между ними нет встроенного моста. Без моста остаются два плохих варианта: класть Secret-манифест в git (пароль утекает, урок 9.1) или создавать Secret руками командой (нет истории, нет повторяемости, а при пересоздании кластера всё придётся вводить заново).
Мост можно построить по-разному; мы берём External Secrets Operator (ESO): он копирует значения из Vault в обычный Secret, поэтому приложение не меняется, а env с secretKeyRef из 5.6 работает как раньше. Есть ещё два способа, сравним их в конце урока, в разделе про etcd.
Частая ошибка: думают, что ESO хранит пароли. Он только копирует. Источник правды остаётся в Vault, а Secret в кластере это копия, которая обновляется.
Главное: ESO копирует значения из Vault в обычный Secret, источником правды остаётся Vault.
Как Kubernetes узнаёт про новые виды объектов вроде ExternalSecret?
Оператор и CRD: как Kubernetes учат новым словам
В Kubernetes есть готовые объекты: Pod, Deployment, Service, Secret. Но «возьми значение из Vault» среди них нет. Чтобы не переписывать Kubernetes, ему добавляют новые виды объектов и программу, которая с ними работает.
- CRD регистрируется в API-сервере Kubernetes. После этого команда
kubectl get externalsecretsработает так же, какkubectl get pods. - Контроллер следит за объектами своего вида, сравнивает описанное («хочу Secret
notes-dbс такими-то ключами») с реальным (есть ли такой Secret и такой ли он) и исправляет разницу. - Оператор это то, что ты ставишь одним Helm-чартом: контроллер вместе с CRD.
Разберём на примере. Ты создаёшь ресурс ExternalSecret с именем notes-db. API-сервер сохраняет его как обычный объект, но сам ничего с ним не делает. Контроллер ESO замечает новый объект, читает его поля, идёт в Vault, собирает Secret и записывает результат в статус объекта (SecretSynced). Если кто-то удалит Secret руками, контроллер заметит это почти сразу: он подписан на изменения объектов (watch) и не ждёт очередного часового обхода. А refreshInterval нужен для другого: по нему контроллер заново читает Vault, чтобы подхватить изменённое там значение.
Прикинь сам: ты удалил руками Secret
notes-db, который создал ESO. Что будет через минуту?
Контроллер заметит пропажу почти сразу (он следит за объектами через watch) и создаст Secret заново. Ждать refreshInterval для этого не нужно.
Частая ошибка: думают, что CRD ставится вместе с приложением. Нет: CRD и оператор ставятся один раз на весь кластер (платформой), а ресурсы (ExternalSecret) уже создаёт каждое приложение у себя.
Главное: CRD добавляет новое слово в словарь API, а оператор следит за объектами этого вида и приводит кластер в соответствие.
Порядок установки: сначала оператор, потом заявки
В уроке две установки: сначала ESO вместе с CRD, потом в чарте приложения ExternalSecret. Порядок важен: поменяй местами, и установка упадёт.
Kubernetes не принимает заявку «на будущее»: объект неизвестного вида он сразу отклоняет.
Пока CRD не зарегистрирован, API-сервер не знает слова ExternalSecret. Helm, отправив в кластер манифест с таким объектом, получит отказ: no matches for kind "ExternalSecret" in version "external-secrets.io/v1". Поэтому порядок такой: (1) ставим ESO, при этом появляются CRD и контроллер; (2) создаём ClusterSecretStore; (3) ставим чарт приложения с ExternalSecret. Так же выключатель externalSecret.enabled в чарте «Заметок» нужен, чтобы чарт оставался рабочим и в кластере без ESO.
Разберём на примере. Коллега делает helm upgrade notes helm/notes --set externalSecret.enabled=true в кластере без ESO. Helm пишет ошибку про no matches for kind. Лечение: сначала поставить ESO (задание 1), подождать, пока поды Running, затем повторить upgrade.
Частая ошибка: думают, что ошибка no matches for kind значит «сломан чарт». Чарт цел, в кластере нет нужного CRD.
Главное: сначала оператор с CRD, потом хранилище, потом приложение с
ExternalSecret.
Проверь понимание:
kubectl get externalsecretsотвечаетthe server doesn't have a resource type "externalsecrets". Что это значит?
Ответ
CRD не зарегистрирован, то есть ESO не установлен (или установлен с отключённой установкой CRD). Сначала ставят оператор, потом создают его объекты.
Теперь разберём, из каких двух объектов состоит настройка.
Два ресурса ESO: где хранилище и что взять
ESO вводит два главных ресурса.
ClusterSecretStore (или SecretStore, если хранилище нужно только в одном namespace) описывает подключение: адрес Vault, путь движка, способ входа. Один на кластер, его ведёт платформа. Слово cluster значит «виден из любого namespace».
ExternalSecret лежит рядом с приложением и описывает что взять: «возьми секрет по такому пути из такого хранилища и собери Secret с таким именем».
Адрес хранилища один на всех, а заявок у каждого приложения своя.
Разбор ExternalSecret поле за полем (пример из задания 3):
apiVersion: external-secrets.io/v1 # группа и версия CRD, добавленные оператором
kind: ExternalSecret
metadata:
name: demo
namespace: notes # куда положить итоговый Secret
spec:
refreshInterval: 1m # как часто заново читать Vault
secretStoreRef:
name: vault-backend # какое хранилище использовать
kind: ClusterSecretStore
target:
name: demo # имя создаваемого Secret
dataFrom:
- extract:
key: notes/demo # путь в Vault БЕЗ "secret/" и БЕЗ "data/"
key: notes/demo: напомню из урока 9.1: KV v2 это «шкаф» в Vault для пар ключ-значение, он смонтирован (подключён) на путьsecret/, как диск на букву. ESO знает про шкаф и его версию, потому что так написано вClusterSecretStore. Поэтому вkeyтолько путь внутри движка. Он же превращается вsecret/data/notes/demoпри обращении к API (урок 9.1, про путьdata).dataFrom.extract: «возьми все пары ключ-значение из этого секрета и сделай из каждой ключ в Secret». Если в Vaulttoken=first, то в Secret появится ключtoken.refreshInterval: интервал сверки. Разумное значение для пароля базы: час. Слишком малое (секунды) создаёт лишнюю нагрузку на Vault и засоряет его аудит.
Итоговый Secret создаётся в том же namespace, где лежит ExternalSecret. Это важно: ExternalSecret в namespace notes не может положить Secret в default.
Частая ошибка: думают, что ClusterSecretStore хранит секреты. Он хранит только способ подключения к хранилищу. Сами значения остаются в Vault.
Главное:
ClusterSecretStoreотвечает «где»,ExternalSecretотвечает «что», и вkeyпишут путь безsecret/иdata/.
Проверь понимание: в поле
keyты написалdata/notes/db. Что произойдёт?
Ответ
ESO сам добавит secret/data/ в начале пути, получится secret/data/data/notes/db, такого секрета нет: ошибка Secret does not exist (см. «Типичные ошибки»). В key пишут только путь внутри движка: notes/db. Если написать secret/notes/db, ESO префикс secret/ срежет и всё заработает, но в курсе везде пишем короткий путь одним способом: так нет путаницы с папкой, которая сама называется secret.
Остался вопрос, как ESO входит в Vault.
Как ESO входит в Vault без пароля: Kubernetes auth
ESO нужен токен Vault, чтобы читать секреты. Но где взять токен, не положив его в ещё один Secret? Это «проблема первого секрета» из урока 9.1. Решение: не хранить пароль, а доказывать свою личность тем, что кластер уже выдал.
Сначала три понятия.
- ServiceAccount (SA) это «учётная запись» для программы внутри кластера. Есть у каждого пода (по умолчанию
default); у нас есть специальный SAnotesв namespacenotes(урок 5.12). - JWT (JSON Web Token) это подписанный токен: строка, в которой записано, кто и для чего её выдал, и есть подпись, которую нельзя подделать. Kubernetes выдаёт такой токен ServiceAccount’у.
- TokenReview это запрос к API-серверу Kubernetes: «этот токен настоящий? чей он?». На него отвечает только API-сервер.
Шаги входа. На схеме стрелки слева направо это вопросы, справа налево ответы; POST это тип HTTP-запроса «отправить данные» (урок 2.4), здесь «вот мой JWT и имя роли, впусти»:
sequenceDiagram
participant E as ESO
participant V as Vault
participant K as API-сервер Kubernetes
E->>K: 1. короткий JWT для SA notes/notes
K-->>E: JWT, живёт минуты
E->>V: 2. POST auth/kubernetes/login, role=notes, jwt=...
V->>K: 3. TokenReview: JWT настоящий?
K-->>V: да: SA notes, ns notes
Note over V: 4. сверка с ролью notes: SA=notes и ns=notes
V-->>E: 5. токен Vault, политика notes-read, TTL 1 час
E->>V: 6. чтение secret/data/notes/db с этим токеном
Роль notes в Vault мы создали в уроке 9.1 (шаг 5 скрипта seed-vault.sh): она привязана к SA notes в namespace notes и к политике notes-read. Токен, который получит ESO, умеет читать только secret/data/notes/*.
Разберём на примере: четыре случая отказа. Личность это пара «имя + namespace», любое несовпадение даёт отказ, и по тексту ошибки видно, какое:
| Что сделал | Ответ Vault |
|---|---|
в ClusterSecretStore указал role: notes-typo |
invalid role name "notes-typo" |
SA notes из namespace default (роль привязана к namespace notes) |
namespace not authorized |
SA с другим именем, но в notes |
service account name not authorized |
| всё совпало, но политика роли не покрывает путь | permission denied уже после входа (код 403, но в запросе к secret/data/...) |
Частая ошибка: думают, что достаточно назвать SA как надо. Имя без namespace ничего не значит: в разных namespace могут быть SA с одним именем.
Главное: вход по JWT ServiceAccount: Vault проверяет его у API-сервера и сверяет пару «имя и namespace» с ролью.
Проверь понимание: ты создал SA
notesв namespacedefaultи указал его вClusterSecretStore. Роль в Vault привязана к SAnotesв namespacenotes. Что получишь?
Ответ
Vault отклонит вход: namespace not authorized, ExternalSecret получит статус SecretSyncedError. Имя SA совпало, но «личность» это пара имя + namespace.
Отказы при этом бывают двух видов.
Отказ бывает двух видов: «кто ты» и «что тебе можно»
В ошибках ESO встречаются коды 400 и 403, и без понимания различия диагностика превращается в угадывание. Кроме того, это два главных вопроса любой защиты, и они задаются по очереди.
Первый вопрос называется аутентификация (authentication): подтвердить личность. Второй авторизация (authorization): проверить права. ESO проходит их по очереди, и на каждом шаге своя ошибка:
flowchart LR
A["1. Логин<br>auth/kubernetes/login"] -->|"успех: токен Vault"| B["2. Чтение<br>secret/data/notes/db"]
A -.->|"нет роли: 400 invalid role name<br>чужой SA или namespace: not authorized"| X1["отказ на входе:<br>кто ты"]
B -.->|"политика не разрешает путь:<br>403 permission denied"| X2["отказ на чтении:<br>что тебе можно"]
- Шаг 1, аутентификация: метод
kubernetesпроверяет JWT и роль. Сюда попадают400 invalid role nameиnamespace not authorized: Vault не признал личность или роль. - Шаг 2, авторизация: политика роли проверяет путь.
403 permission deniedна запрос кsecret/data/...значит, что личность признана, но путь политикой не разрешён.
Оговорка: код 403 отдаёт и сам вход через
auth/kubernetes/loginпри неверном JWT или неудачном TokenReview. Поэтому смотри не только код, а URL запроса и текст ошибки.
Разберём на примере. ESO входит в Vault ролью notes, токен настоящий: шаг 1 пройден. Он читает secret/data/billing/card: политика notes-read покрывает только secret/data/notes/*. Результат: 403 permission denied. Искать причину в JWT бессмысленно, надо смотреть политику. Обратный случай: роли notes нет вообще, Vault отвечает 400 invalid role name, а о политике речь ещё не идёт: до неё очередь не дошла.
Частая ошибка: думают, что permission denied значит «неправильный пароль». Нет: это значит «пароль правильный, но прав не хватает». Неправильный пароль даёт ошибку входа.
Главное: аутентификация отвечает «кто ты», авторизация «что тебе можно», и текст ошибки показывает, на каком слое отказ.
Проверь понимание: ESO получил
403 permission deniedпри чтении пути. Что проверишь первым: JWT или политику?
Ответ
Политику (vault policy read notes-read). Если 403 пришёл на запрос к secret/data/..., вход уже прошёл и не хватает прав на путь. Но 403 бывает и у auth/kubernetes/login (плохой JWT), поэтому сверяй URL запроса и текст ошибки, а не один код.
Теперь о том, как часто ESO ходит в Vault.
Как часто ESO спрашивает Vault: интервал и его цена
Поле refreshInterval выглядит мелочью, но от него зависят две вещи: как быстро новый пароль дойдёт до кластера и сколько запросов получит Vault. Обе цены платит кто-то другой, поэтому значение нужно выбирать осознанно.
У ESO есть «ускоритель»: можно дёрнуть синхронизацию вручную, не ожидая очередного обхода. Делается это аннотацией force-sync (annotation: заметка на объекте, которую Kubernetes не разбирает; ESO следит за ней и, увидев новое значение, читает Vault сразу). Команда будет в практике.
ESO читает Vault раз в refreshInterval для каждого ExternalSecret. Каждое чтение это запрос к Vault, и он записывается в аудит (урок 9.1). Значит, при интервале в 1 секунду и 50 ExternalSecret Vault получит 50 запросов в секунду и его журнал распухнет.
Разберём на примере. 50 секретов. Интервал 1h: 50 запросов в час, новый пароль доходит в худшем случае через час. Интервал 1m: 50 × 60 = 3000 запросов в час, новый пароль доходит за минуту. В учебных заданиях мы ставим 1m, чтобы увидеть ротацию своими глазами, а в рабочем чарте берём 1h: пароли базы меняются редко.
Прикинь сам: у тебя 200
ExternalSecretиrefreshInterval: 30s. Сколько запросов в час получит Vault?
200 секретов × 120 раз в час = 24 000 запросов. Для рабочей системы это много: берут 1h и ускоряют разово через force-sync.
Частая ошибка: думают, что интервал определяет, когда приложение увидит пароль. Он определяет только, когда обновится Secret. Поду ещё нужен перезапуск (см. ниже про переменные окружения).
Главное: интервал это компромисс между свежестью секрета и нагрузкой на Vault, а на приложение он не влияет.
Проверь понимание: ты поставил
refreshInterval: 1s«чтобы быстрее». Что пострадает?
Ответ
Vault получит лавину запросов, аудит-журнал быстро разрастётся, а выигрыша почти нет: приложение всё равно увидит новое значение только после перезапуска пода.
Дальше о том, из чего собирается итоговый Secret.
Из чего собирается итоговый Secret: шаблон и владение
В Vault лежат три поля: username, password, database. А приложению нужна одна строка подключения DATABASE_URL (урок 4.5). Копировать поля один в один недостаточно, их нужно скомпоновать.
Для этого в ExternalSecret есть поле target.template: в нём описывается, какие ключи будут в Secret и что в них записать. Значения из Vault подставляются шаблоном Go (text/template): двойные фигурные скобки и точка перед именем поля.
Разберём на примере. Пусть в Vault лежит username=notes, password=a+b/c=, database=notes. Шаблон собирает postgresql://notes:ПАРОЛЬ@db:5432/notes. Проблема в пароле: символы +, /, = имеют в URL особый смысл (/ начинает путь, = разделяет параметры), и строка распадётся не там. Поэтому пароль пропускают через функцию urlquery: она заменяет спецсимволы на %-коды:
| Символ | + |
/ |
= |
|---|---|---|---|
| код в URL | %2B |
%2F |
%3D |
Пароль a+b/c= после urlquery превращается в a%2Bb%2Fc%3D, и URL остаётся корректным: postgresql://notes:a%2Bb%2Fc%3D@db:5432/notes. Пароль из openssl rand -base64 24 содержит такие символы регулярно. Поэтому проще всего сразу генерировать пароль без спецсимволов (openssl rand -hex 24 или только буквы и цифры): именно так делает seed-vault.sh из 9.1. А urlquery оставляют как страховку на случай, когда пароль пришёл из другого источника.
Владение. Поле creationPolicy: Owner означает, что ESO владеет созданным Secret: создаёт, обновляет и удаляет его вместе с ExternalSecret. Отсюда две ловушки:
- Если Secret с таким именем уже создан вручную, ESO с
Ownerприсвоит его себе и перезапишет данными из Vault (лишние ключи пропадут). Ошибка бывает, только если Secret уже принадлежит другомуExternalSecret. Ручной Secret лучше удалить до примененияExternalSecret, чтобы не гадать, чьи значения в нём лежат. - Если удалить
ExternalSecret, исчезнет и Secret, а поды, которые его используют, при следующем создании не запустятся.
Ещё ловушка: две пары скобок. Helm (урок 5.9) тоже использует двойные фигурные скобки для своих шаблонов. Если написать шаблон ESO внутри шаблона Helm как есть, Helm попытается сам выполнить его и упадёт (нет поля .username в его данных). Поэтому внутренние скобки Helm-у передают как строку: {{ "{{ .username }}" }}. Helm выводит строку, а ESO получает готовый шаблон. Как именно, увидишь в задании 4.
Частая ошибка: думают, что urlquery нужен всегда. Он нужен только там, где значение вставляется в URL. Для чистого пароля в POSTGRES_PASSWORD он не нужен, это приведёт к неверному значению.
Главное: шаблон собирает из полей Vault нужные приложению строки, а
Ownerсвязывает жизнь Secret сExternalSecret.
Проверь понимание: что будет с Secret
notes-db, если удалитьExternalSecret notes-dbприcreationPolicy: Owner?
Ответ
Secret удалится вместе с ним, поды при следующем создании упадут с CreateContainerConfigError (статус «контейнер не удалось собрать»: Kubernetes не нашёл Secret, из которого должен взять переменные; см. урок 5.13). Поэтому удалять ExternalSecret на живом приложении нельзя, а в GitOps (урок 9.3) это делается осознанно.
Сведём всё вместе на одном примере.
Весь путь на одном примере с настоящими значениями
Соберём всё в один сквозной пример: что лежит на каждом шаге и как одно значение превращается в другое. Пусть в Vault по пути secret/notes/db лежит:
username = notes
password = a+b/c=
database = notes
ExternalSecret notes-dbсоздан. Контроллер ESO берёт егоsecretStoreRef(хранилищеvault-backend) иdataFrom.extract.key(notes/db).- Вход в Vault. По схеме из раздела про Kubernetes auth ESO получает токен Vault с политикой
notes-readи TTL 1 час (TTL, time to live: «срок жизни», через час токен сам перестанет работать, и ESO при следующем обращении войдёт заново). - Чтение. ESO обращается к
secret/data/notes/db. Политикаnotes-readэто разрешает (путьsecret/data/notes/*, действиеread). Vault отвечает тремя парами. - Шаблон. Для каждого ключа из
target.template.dataESO подставляет значения.DATABASE_URLполучаетpostgresql://notes:a%2Bb%2Fc%3D@db:5432/notes, аPOSTGRES_PASSWORDполучает сыроеa+b/c=. - Запись. ESO создаёт (или обновляет) Secret
notes-dbв namespacenotes. В нём два ключаDATABASE_URLиPOSTGRES_PASSWORD, а значения хранятся в base64. - Статус. ESO пишет в статус
ExternalSecret:SecretSynced, время последней синхронизации и версию секрета в Vault.
Если посмотреть готовый Secret и раскодировать значения, получится тот же результат, что в шаге 4 (команда kubectl -n notes get secret notes-db -o jsonpath='{.data.DATABASE_URL}' | base64 -d печатает строку подключения). Так ты можешь проверить, что ESO собрал именно то, что ожидает приложение.
Полезная привычка: при любой проблеме иди по этим шести шагам сверху вниз и находи первый, который не выполнился. Шаги 1 и 6 видны в kubectl get externalsecret, шаги 2 и 3 в событиях describe (там текст ответа Vault), шаги 4 и 5 в самом Secret.
Главное: каждое значение проходит путь: Vault, шаблон, Secret, переменная пода, и на каждом шаге его можно проверить.
Как узнать, что всё это работает?
Как читать статус ExternalSecret
У ESO нет окна с индикатором. Единственное место, где он сообщает, жив ли он, это статус объекта ExternalSecret. Научившись читать статус, ты за десять секунд скажешь, в порядке ли связка.
У каждого объекта Kubernetes есть поле status, в которое пишет контроллер. У ExternalSecret там список состояний (conditions). Главное называется Ready: True значит «синхронизировано», False значит «не получилось». Рядом причина (reason): SecretSynced при успехе, SecretSyncedError при ошибке. Само состояние можно вывести так: kubectl -n notes get externalsecret notes-db -o jsonpath='{.status.conditions}'. Команда kubectl get externalsecret показывает то же в колонках STATUS и READY. Подробный текст ошибки пишется в события, их читают командой kubectl describe externalsecret <имя>.
Разберём на примере. kubectl -n notes get externalsecret notes-db даёт SecretSynced True: ESO прочитал Vault и собрал Secret. Если SecretSyncedError False, открывай describe и иди в конец: в блоке Events будет сообщение Vault, например Code: 403 ... permission denied. Слой определяй по URL запроса (auth/kubernetes/login или secret/data/...) и тексту ошибки, а не по одному коду (предыдущий раздел).
Помнишь связку из начала урока: пароль в Vault и обычный Secret в кластере? Вот как она выглядит, когда всё в порядке. Команда kubectl get externalsecret,secret -n notes показывает оба объекта подряд:
$ kubectl get externalsecret,secret -n notes
NAME STORETYPE STORE REFRESH INTERVAL STATUS READY LAST SYNC
externalsecret.external-secrets.io/notes-db ClusterSecretStore vault-backend 1h SecretSynced True 3m
NAME TYPE DATA AGE
secret/notes-db Opaque 2 3m
ExternalSecret со статусом SecretSynced описывает, что взять из Vault, а рядом лежит обычный Secret notes-db, который он создал сам. Приложение видит только второе.
Частая ошибка: думают, что Ready True гарантирует работающее приложение. Нет: это значит только, что Secret собран. Перезапущены ли поды и сменился ли пароль в базе, статус не скажет.
Главное:
Ready Trueзначит «Secret собран», а причину отказа ищут в событияхdescribe.
Проверь понимание:
READY True, а приложение отвечаетpassword authentication failed. Где искать?
Ответ
В согласованности Secret и базы данных: пароль в Vault и Secret уже новый, а в самой PostgreSQL остался старый. Статус ESO этого не видит.
Посмотрим, что именно можно хранить в git.
Что лежит в git и что нет: граница безопасности
Главный выигрыш всей схемы в том, что в репозитории нет пароля. Но чтобы это не осталось лозунгом, нужно точно понимать, что именно попадает в git, а что нет.
Вот что можно хранить в git, а что нельзя.
| В git (безопасно) | Не в git (остаётся в Vault и кластере) |
|---|---|
ExternalSecret: имя Secret, путь notes/db |
значение пароля |
имя ClusterSecretStore и роль notes |
JWT и токены Vault |
| шаблон сборки строки подключения | сама собранная строка с паролем |
| адрес Vault | доли ключа и root-токен |
Разберём на примере. Посторонний прочитал репозиторий и видит: «приложение берёт поле password из notes/db в Vault». Это полезно ему только если он уже внутри кластера с правом читать Vault. Без этого у него нет ничего, чем можно воспользоваться. При этом сам пароль можно менять как угодно часто, в git не изменится ни строчки: изменяется только содержимое Vault.
Частая ошибка: думают, что раз пароля в git нет, то путь и имя роли можно выкладывать публично. Они не секрет, но раскрывают, какие у тебя есть секреты и как устроены роли. Доступ к репозиторию всё равно ограничивают.
Главное: в git лежит описание «откуда взять», а значения остаются в Vault и кластере.
Проверь понимание: в репозиторий закоммитили
ExternalSecretс путёмnotes/db. Надо ли менять пароль из-за этого?
Ответ
Нет. В манифесте нет значения пароля, только путь к нему. Ротация нужна, если в git попало само значение.
Но копия в кластере тоже требует защиты.
Secret в etcd: насколько это плохо
Главный довод против ESO: копия пароля лежит в Kubernetes Secret, то есть в базе кластера (etcd), и вся защита копии это права доступа Kubernetes. Стоит понимать, что это значит на самом деле.
- Кто может прочитать Secret. Тот, у кого в RBAC (урок 5.12) есть право
getна Secret в этом namespace. Дать его надо как можно меньшему кругу: разработчикам обычно нужно видеть поды и логи, а не пароли. - Что в etcd. По умолчанию значения там лежат в открытом виде (base64 не шифрование). В управляемых облаках и при включённом шифровании (
EncryptionConfiguration, ключ можно вынести во внешний сервис KMS) они шифруются на диске. Для учебного kind этого нет. - Что даёт Vault поверх. Аудит доступа к оригиналу, история версий, ротация в одном месте и возможность отозвать доступ ESO одной командой. Копия в кластере при этом остаётся, и это осознанный компромисс: приложение и его поды не зависят от Vault в каждый момент.
Если требования к безопасности строже (нельзя хранить секрет в etcd вообще), берут другие способы. Вот все три рядом:
| Способ | Что делает | Плюсы | Минусы |
|---|---|---|---|
| External Secrets Operator (ESO) | копирует значения из Vault в обычный Secret | приложение не меняется, работает env с secretKeyRef; поды стартуют, даже если Vault недоступен |
секрет лежит в etcd как любой Secret |
| Vault Agent Injector | добавляет в под дополнительный контейнер (sidecar), который кладёт секрет файлом в память пода | секрет не попадает в etcd, есть динамические секреты | без Vault под не стартует, лишний контейнер в каждом поде |
| Vault CSI-провайдер | монтирует секрет как том через стандартный драйвер CSI (Container Storage Interface) | тоже без etcd | нужны специальные драйвер и провайдер |
Есть и четвёртый вариант: Vault Secrets Operator (VSO) от самой HashiCorp. Он тоже оператор и тоже создаёт Secret из Vault, но работает только с Vault, а ESO умеет и другие хранилища.
Частая ошибка: думают, что раз Secret в etcd, Vault не нужен. Нужен: без Vault пришлось бы держать источник правды в git или в чьей-то голове, а история, аудит и отзыв остались бы недоступны.
Главное: Secret в etcd это base64 без шифрования по умолчанию, защищают его RBAC и шифрование etcd.
Кто может ссылаться на ClusterSecretStore
ClusterSecretStore виден из любого namespace, а значит, любой, кто может создавать ExternalSecret в своём namespace, может попросить у него секрет. Первая преграда это политика роли в Vault: она разрешает чтение secret/data/notes/* и ничего больше. Вторая преграда на стороне ESO: поле spec.conditions у ClusterSecretStore задаёт, из каких namespace на него можно ссылаться:
spec:
conditions:
- namespaces:
- notes
С таким условием ExternalSecret из любого другого namespace получит отказ. Поэтому:
- роль и политика привязаны к конкретному ServiceAccount и пути, а не «ко всему кластеру»;
- если нужны разные права разным командам, делают отдельные
SecretStoreв их namespace и отдельные роли Vault; - нельзя расширять политику «на всякий случай»: тот, кто получит право создавать
ExternalSecret, получит и всё, что разрешает роль.
Это то же самое «минимум прав» из урока 9.1, только на стороне кластера.
Главное: любой, кто может создать
ExternalSecret, получит всё, что разрешает роль, поэтому политику держат узкой.
Теперь о том, как приложение берёт значение.
Как под берёт значение из Secret: переменная или файл
Прикинь сам: Secret обновили в 11:00, а под стартовал в 10:00. Какое значение увидит процесс через переменную окружения в 11:30?
Прежнее: переменные задаются при старте контейнера. Новое значение получит только новый под.
Мы создали Secret, но пароль должен попасть внутрь работающей программы. Программа не знает ничего про Kubernetes, она читает либо переменные окружения, либо файлы. Значит, Kubernetes должен сам положить значение туда, где программа его ждёт.
Аналогия: переменная окружения это записка на пакете, которую водитель прочитал при выезде из гаража: потом записку можно переписать, но он уже едет по старому адресу. Файл в томе это табло в диспетчерской: оно обновляется, но водитель должен сам поглядывать на него.
Есть два способа подключить Secret к поду (урок 5.6).
- Переменные окружения (
envиenvFrom). Kubernetes при старте контейнера читает Secret и передаёт его поля как переменные процесса.envFromберёт все поля разом. Значения записываются в процесс один раз. - Файл в томе (
volumeMounts). Каждое поле Secret становится файлом внутри контейнера, например/etc/notes/password. Kubernetes обновляет такие файлы сам (примерно за минуту), но программа должна перечитать файл. Надёжнее всего перезапустить под.
Разберём на примере. «Заметки» берут DATABASE_URL из Secret notes-db как переменную окружения (env с secretKeyRef). Под стартовал в 10:00, в процессе DATABASE_URL=postgresql://notes:old@db/notes. В 11:00 ESO обновил Secret: значение там теперь new. Переменная в живом процессе всё равно old: ОС не меняет переменные у уже запущенной программы. Новое значение получит только новый под: отсюда kubectl rollout restart в следующих разделах.
Частая ошибка: думают, что раз Secret обновился, то приложение это увидело. Между ними граница: переменные окружения видны только после перезапуска, файлы тома обновляются сами, но программа должна их перечитать.
Главное: переменные окружения фиксируются при старте, а файл в томе Kubernetes обновляет сам.
Проверь понимание: в каком из двух способов значение в запущенном поде обновится без перезапуска, если приложение перечитывает файл?
Ответ
В способе с файлом в томе: Kubernetes сам обновит файл (примерно за минуту), а приложение прочтёт свежее значение. Переменные окружения без перезапуска не меняются никогда.
Что происходит при смене пароля?
Ротация: обновилось в Vault, что дальше
Секреты надо менять (урок 9.1, ротация). Значит, новое значение должно дойти до приложения. Тут четыре места (Vault, Secret, под, база) и три перехода между ними, и на каждом свои задержки.
flowchart LR
V["Vault:<br>новое значение записано"] -->|"1. не позже refreshInterval"| S["Secret в кластере:<br>ESO перечитал"]
S -->|"2. только после перезапуска пода"| P["Под:<br>переменные env"]
P -->|"3. меняется отдельно: ALTER USER"| DB[("База данных:<br>пароль пользователя")]
Три перехода, и каждый происходит сам по себе.
- Vault → Secret. ESO перечитывает Vault раз в
refreshInterval. Ускорить можно вручную: аннотацияforce-syncнаExternalSecret. - Secret → под. Переменные окружения (
envиenvFrom) читаются один раз при старте контейнера. Обновлённый Secret не меняет переменных уже запущенного процесса. Нужен перезапуск:kubectl rollout restart deployment/notes(команда из урока 5.6: Deployment по очереди заменяет поды новыми, и новые читают свежий Secret) или контроллер вроде Reloader (отдельная программа-сторож: замечает, что Secret изменился, и сама перезапускает использующие его поды; в курсе мы перезапускаем руками). Если Secret смонтирован файлом (volume), файл обновится сам примерно за минуту, но приложение должно перечитать его. - Пароль в самой базе. Пароль пользователя
notesзаписан внутри PostgreSQL при первой инициализации тома (урок 5.5). Изменение Secret его не меняет. Пока в базе старый пароль, а в приложении новый, вход даётpassword authentication failed. Значит, менять пароль надо и в базе, и в Vault, согласованно. Для нашего стенда мы приводим базу в соответствие с Vault командойALTER USER(SQL-команда PostgreSQL «измени пользователя», в нашем случае «задай пользователюnotesновый пароль»; её выполняют внутри пода с базой). МеждуALTER USERи перезапуском подов есть окно: база уже ждёт новый пароль, а запущенные поды ещё ходят со старым и получаютpassword authentication failed. Окно можно сделать нулевым: держат двух пользователей базы и меняют их по очереди (новый пароль сначала заводят у второго пользователя, поды переключаются на него, потом меняют первого). Ещё сильнее решение с динамическими секретами: Vault сам создаёт временного пользователя базы для каждого пода и удаляет его по истечении срока. В курсе его нет, но знать о нём стоит.
Частая ошибка: думают, что ESO сам обновит приложение. Он обновляет только Secret. Перезапуск подов и смена пароля в базе остаются на тебе.
Главное: ротация это четыре места и три перехода, и ESO обновляет только Secret.
Проверь понимание: пароль сменили в Vault. Увидит ли уже работающий под новое значение переменной окружения?
Ответ
Нет. ESO обновит Secret, но процесс в поде продолжит жить со старым значением до перезапуска пода. Поэтому после ротации нужен kubectl rollout restart или Reloader.
И последний вопрос: что если Vault недоступен.
Что происходит при недоступном Vault
Vault упал, запечатан (урок 9.1) или сервис недоступен. Уже созданный Secret остаётся на месте, поэтому работающие поды не страдают, и новые поды тоже стартуют, пока Secret существует. Страдает только синхронизация: ExternalSecret получает статус SecretSyncedError, обновления не приходят.
Это главное отличие ESO от Injector: там недоступный Vault означает, что новый под не стартует вовсе. Но есть исключение: если Secret ещё ни разу не создавался (первый деплой на чистом кластере), под без Secret не запустится (CreateContainerConfigError).
Опасность такого отказа в том, что он тихий: сервис работает, никто не жалуется, а ротация, ради которой всё построено, давно не проходит. Поэтому нужен алерт на статус ExternalSecret. ESO отдаёт метрику externalsecret_status_condition, и правило для Prometheus Operator выглядит так:
apiVersion: monitoring.coreos.com/v1
kind: PrometheusRule
metadata:
name: external-secrets
namespace: monitoring
labels: {release: kps}
spec:
groups:
- name: external-secrets
rules:
- alert: ExternalSecretNotReady
# Ready=False минимум 15 минут: синхронизация не проходит, ротация стоит
expr: externalsecret_status_condition{condition="Ready",status="False"} == 1
for: 15m
labels:
severity: warning
annotations:
summary: "ExternalSecret {{ $labels.name }} в {{ $labels.namespace }} не синхронизируется"
for: 15m отсекает короткие сбои, например перезапуск Vault.
Главное: при недоступном Vault Secret остаётся и поды живут, но ротация молча останавливается.
Где это встретится дальше
- В уроке 9.3
ExternalSecretбудет лежать в git, а Flux применит его сам. - В уроке 9.5 пароль базы будет управляться той же схемой.
Практика
Ожидается стенд после урока 9.1: кластер kind-notes, Vault распечатан (unseal) в namespace vault, secret/notes/db заполнен, релиз notes стоит в namespace notes, Secret notes-db создан вручную (5.6). Проверь исходное состояние:
kubectl config use-context kind-notes
kubectl -n vault get pods
kubectl -n notes get secret notes-db
NAME READY STATUS RESTARTS AGE
vault-0 1/1 Running 0 2d
NAME TYPE DATA AGE
notes-db Opaque 2 6d
Как читать вывод: 1/1 у vault-0 значит, что Vault распечатан и готов; Opaque это обычный тип Secret «произвольные данные»; DATA 2 число ключей внутри (у тебя может отличаться, возраст тоже). Если vault-0 показывает 0/1, Vault запечатан: распечатай его командами из 9.1 (scripts/seed-vault.sh идемпотентный, можно запускать повторно).
Дальше нам несколько раз понадобится команда vault с root-токеном. Объявим для неё функцию vroot. Токен идёт в под через стандартный ввод, а не аргументом: так он не попадает в историю shell, в ps и в журнал API-сервера (как и в seed-vault.sh из 9.1). Функция живёт только в этом окне терминала, в новом окне объяви её заново:
vroot() {
jq -r .root_token ~/.notes-secrets/vault-init.json | kubectl -n vault exec -i vault-0 -- \
sh -c 'IFS= read -r VAULT_TOKEN; export VAULT_TOKEN; exec vault "$@"' sh "$@"
}
На стенде root-токен лежит в файле только для учёбы. В проде его отзывают после начальной настройки и работают токеном с узкой политикой.
Задание 1. Установить External Secrets Operator
Цель: поставить ESO v2.11.0 через Helm и убедиться, что появились его CRD и поды.
Предскажи: сколько подов появится в namespace external-secrets и какие ресурсы (kubectl api-resources) с группой external-secrets.io добавятся?
Ответ
Три пода: сам контроллер, cert-controller (управляет сертификатом вебхука) и webhook (проверяет ресурсы при создании). Появятся CRD externalsecrets, secretstores, clustersecretstores и другие.
Разбор команд.
helm repo add external-secrets <url>добавляет каталог чартов под коротким именем,helm repo updateобновляет его список.helm install <релиз> <репозиторий>/<чарт> --version 2.11.0: установить чарт, версию закрепляем явно, чтобы у всех было одно и то же.--namespace external-secrets --create-namespaceставит в отдельный namespace, создав его.--wait --timeout 3mждёт, пока поды станут готовыми, но не дольше трёх минут.kubectl api-resources --api-group=external-secrets.io -o name | head -5: список типов объектов из группы ESO (те самые CRD),-o nameтолько имена,head -5первые пять.
Шаги:
- Добавь репозиторий чартов и установи версию 2.11.0:
helm repo add external-secrets https://charts.external-secrets.io
helm repo update
helm install external-secrets external-secrets/external-secrets \
--version 2.11.0 \
--namespace external-secrets --create-namespace \
--wait --timeout 3m
- Проверь поды и CRD:
kubectl -n external-secrets get pods
kubectl api-resources --api-group=external-secrets.io -o name | head -5
Что должно получиться (имена подов и возраст у тебя другие; порядок и состав CRD зависят от версии):
NAME READY STATUS RESTARTS AGE
external-secrets-6c8f9d7b5-kq2xw 1/1 Running 0 58s
external-secrets-cert-controller-7d9c4f6b8-p4tzn 1/1 Running 0 58s
external-secrets-webhook-5b7f8c9d64-m9vh2 1/1 Running 0 58s
clusterexternalsecrets.external-secrets.io
clusterpushsecrets.external-secrets.io
clustersecretstores.external-secrets.io
externalsecrets.external-secrets.io
pushsecrets.external-secrets.io
Как читать вывод: три пода 1/1 Running: контроллер (делает работу), cert-controller (выпускает сертификат для вебхука) и webhook (проверяет ресурсы при создании, ExternalSecret с ошибкой в описании он отклонит сразу). Строки имя.группа это CRD: часть до первой точки это вид ресурса, остальное группа.
Объясни себе:
- Зачем оператору отдельный вебхук и что случится с созданием
ExternalSecret, если под вебхука не запущен? - Почему CRD ставятся вместе с оператором, а не вместе с приложением?
Типичные ошибки:
Error: INSTALLATION FAILED: cannot reuse a name that is still in use: релизexternal-secretsуже есть, посмотриhelm list -Aи используйhelm upgrade.Internal error occurred: failed calling webhook "validate.externalsecret.external-secrets.io": под вебхука ещё не готов, подождиRunning 1/1и повториkubectl apply.Error: no cached repo found: не выполненhelm repo update.
Под ESO не стартует или висит? Смотри
kubectl -n external-secrets describe pod <имя>(события внизу) иkubectl -n external-secrets logs deploy/external-secrets.
Задание 2. Подключить Vault: ClusterSecretStore
Манифесты подключения можно взять из образцов. Проследи цепочку от ServiceAccount через роль Vault и политику до пути секрета, а затем от ExternalSecret до Secret приложения. Не нужно знать реализацию оператора: нужно по статусам и значениям проверить эту цепочку, включая опыт с ротацией.
Цель: описать подключение к Vault с входом по Kubernetes auth и добиться статуса Ready.
Предскажи: какие три вещи в Vault должны существовать, чтобы вход прошёл? Подсказка: вспомни 9.1.
Ответ
Включённый метод auth/kubernetes, роль notes, привязанная к SA notes в namespace notes, и политика notes-read на роли. Всё это создал scripts/seed-vault.sh. Кроме Vault нужен сам SA notes в кластере.
Разбор команд.
vroot read auth/kubernetes/role/notesпечатает настройки роли;vrootзапускаетvaultвнутри пода с root-токеном (функция из начала практики). Токен лежит в~/.notes-secrets/,jq -r .root_tokenдостаёт его из JSON.kubectl create serviceaccount notes --dry-run=client -o yaml | kubectl apply -f -:--dry-run=client -o yamlне создаёт SA, а печатает манифест,kubectl apply -f -применяет его из стандартного ввода. Такая пара безопасна при повторе:applyсоздаст SA, если его нет, и ничего не сломает, если он есть (в отличие от простогоcreate, который во второй раз упал бы).
Шаги:
- Проверь роль в Vault:
vroot read auth/kubernetes/role/notes
- Убедись, что ServiceAccount существует (создай, если нет; команда идемпотентна):
kubectl -n notes create serviceaccount notes --dry-run=client -o yaml | kubectl apply -f -
- Перейди в репозиторий, создай каталог (
mkdir -p k8s/platform) и файлk8s/platform/clustersecretstore.yaml:
cd ~/notes && mkdir -p k8s/platform
apiVersion: external-secrets.io/v1
kind: ClusterSecretStore
metadata:
name: vault-backend
spec:
provider:
vault:
# Адрес Vault внутри кластера (сервис из урока 9.1)
server: "http://vault.vault.svc:8200"
# Движок kv-v2 смонтирован в secret/
path: "secret"
version: "v2"
auth:
kubernetes:
# Путь, под которым включён метод kubernetes
mountPath: "kubernetes"
role: "notes"
# ESO запросит токен именно для этого SA
serviceAccountRef:
name: notes
namespace: notes
Построчно: provider.vault выбирает тип хранилища; server это адрес сервиса Vault в кластере (имя.namespace.svc, порт 8200); path и version говорят, что движок смонтирован на secret/ и это KV v2 (поэтому в ExternalSecret пишут только notes/db); auth.kubernetes описывает вход: метод включён на пути kubernetes, роль notes, а токен ESO запросит для SA notes из namespace notes. Ни пароля, ни токена Vault в файле нет.
Для прода: адрес
http://...годится только на стенде. В проде Vault отвечает по https, а ESO должен доверять его сертификату. Вprovider.vaultдобавляют три строки:server: "https://vault.vault.svc:8200"и блокcaProviderс полямиtype: ConfigMap,name: vault-ca,key: ca.crt(иnamespace: external-secrets, откуда читать ConfigMap). Другой путь: шифрование между подами берёт на себя service mesh (mTLS).
- Примени и проверь статус:
kubectl apply -f k8s/platform/clustersecretstore.yaml
kubectl get clustersecretstore vault-backend
Что должно получиться:
Key Value
--- -----
alias_name_source serviceaccount_uid
bound_service_account_names [notes]
bound_service_account_namespaces [notes]
token_policies [notes-read]
token_ttl 1h
NAME AGE STATUS CAPABILITIES READY
vault-backend 6s Valid ReadWrite True
Как читать вывод: первая таблица это отрывок настроек роли (у тебя строк больше): bound_service_account_names и ..._namespaces это та самая пара «имя + namespace», token_policies политики токена, token_ttl срок токена. Вторая: STATUS Valid и READY True значат, что ESO вошёл в Vault. CAPABILITIES ReadWrite это то, что ESO мог бы делать в принципе, читать он будет только то, что разрешает политика.
Объясни себе:
- Почему
bound_service_account_namespacesнужно ограничивать конкретным namespace, а не*? - Почему в
ClusterSecretStoreнет ни пароля, ни токена Vault?
Типичные ошибки:
no matches for kind "ClusterSecretStore" in version "external-secrets.io/v1": CRD не установлены (задание 1) или установлена старая версия ESO.STATUS InvalidProviderConfig, в событииunable to log in with Kubernetes auth: ... Errors: * invalid role name "notes": в Vault нет роли, перезапустиscripts/seed-vault.sh.Vault is sealed: распечатай Vault (урок 9.1).
Не понял, почему ClusterSecretStore не готов? Вставь в нейросеть вывод
kubectl describe clustersecretstore vault-backendи спроси, какой слой отказа это: вход или права. Сверь с таблицей отказов в теории.
Задание 3. Ротация: как обновление доходит до Secret
Цель: на демонстрационном секрете увидеть refreshInterval и то, что под сам не обновляется. Боевой пароль базы пока не трогаем.
Предскажи: ты меняешь значение в Vault. Через сколько Secret обновится при refreshInterval: 1m и изменится ли значение в уже запущенном поде?
Ответ
Secret обновится не позже чем через минуту. Переменная окружения в запущенном поде не изменится до его перезапуска (см. вопрос в теории). Если Secret смонтирован файлом (volume), файл обновится сам примерно за минуту, но приложение должно перечитать его.
Разбор команд.
vault kv put secret/notes/demo token=first: записать демо-секрет (для root-токена путь пишут сsecret/в начале, здесь нет отдельного-mount).kubectl apply -f - <<'YAML' ... YAML: применить манифест, который тут же пишем в стандартный ввод (heredoc; кавычки вокругYAMLотключают подстановки shell).kubectl -n notes get secret demo -o jsonpath='{.data.token}' | base64 -d; echo:jsonpathдостаёт одно поле, значения в Secret закодированы base64,base64 -dраскодирует,echoдобавляет перевод строки.sleep 70ждёт чуть большеrefreshIntervalв минуту.
Шаги:
- Положи демо-секрет и создай
ExternalSecret:
vroot kv put secret/notes/demo token=first
kubectl apply -f - <<'YAML'
apiVersion: external-secrets.io/v1
kind: ExternalSecret
metadata:
name: demo
namespace: notes
spec:
refreshInterval: 1m
secretStoreRef:
name: vault-backend
kind: ClusterSecretStore
target:
name: demo
dataFrom:
- extract:
key: notes/demo
YAML
- Проверь синхронизацию и значение. Потом запусти маленький под, который берёт
tokenиз этого Secret переменной окружения, и посмотри её значение (securityContext нужен, чтобы под прошёл правила безопасности namespace):
kubectl -n notes get externalsecret demo
kubectl -n notes get secret demo -o jsonpath='{.data.token}' | base64 -d; echo
kubectl -n notes apply -f - <<'YAML'
apiVersion: v1
kind: Pod
metadata:
name: envdemo
spec:
restartPolicy: Never
securityContext:
runAsNonRoot: true
runAsUser: 1000
seccompProfile:
type: RuntimeDefault
containers:
- name: c
image: busybox:1.37
command: ["sleep", "600"]
securityContext:
allowPrivilegeEscalation: false
capabilities:
drop: ["ALL"]
env:
- name: DEMO_TOKEN
valueFrom:
secretKeyRef:
name: demo
key: token
YAML
kubectl -n notes wait --for=condition=Ready pod/envdemo --timeout=60s
kubectl -n notes exec envdemo -- env | grep DEMO_TOKEN
- Смени значение в Vault, подожди минуту и прочитай Secret снова:
vroot kv put secret/notes/demo token=second
sleep 70
kubectl -n notes get secret demo -o jsonpath='{.data.token}' | base64 -d; echo
kubectl -n notes exec envdemo -- env | grep DEMO_TOKEN
- Убери демо за собой:
kubectl -n notes delete pod envdemo
kubectl -n notes delete externalsecret demo
vroot kv metadata delete secret/notes/demo
Что должно получиться:
NAME STORETYPE STORE REFRESH INTERVAL STATUS READY LAST SYNC
demo ClusterSecretStore vault-backend 1m SecretSynced True 8s
first
DEMO_TOKEN=first
second
DEMO_TOKEN=first
Как читать вывод: SecretSynced True значит, что ESO прочитал Vault и создал Secret. LAST SYNC это сколько прошло с последней успешной синхронизации; значение растёт до следующего refreshInterval. first это значение сразу после создания, second то, что появилось после минуты ожидания: ротация дошла до Secret без твоих действий. А вот DEMO_TOKEN в запущенном поде осталась first и после ротации: переменная окружения читается один раз при старте. Это та граница, о которой говорилось в теории. После шага 4 Secret demo тоже исчезает: им владел ESO (Owner).
Объясни себе:
- Как ускорить синхронизацию, не дожидаясь интервала? (Подсказка:
kubectl annotate externalsecret demo force-sync=$(date +%s) --overwrite:$(date +%s)даёт число секунд, каждый раз новое, и новое значение аннотации заставляет ESO перечитать Vault.) - Какой
refreshIntervalразумен для пароля базы и почему не1s?
Типичные ошибки:
Error from server (NotFound): secrets "demo" not foundсразу послеapply: синхронизация ещё не прошла, подожди 5-10 секунд.violates PodSecurityпри созданииenvdemo: namespacenotesтребует более строгих настроек пода, сверьsecurityContextс уроком 5.12.error processing spec.dataFrom[0].extract, err: Secret does not existв событияхkubectl describe externalsecret demo(статусSecretSyncedError): в Vault нет путиsecret/notes/demo, проверь шаг 1 (вkeyпишетсяnotes/demoбезsecret/и безdata/).
Шаблон
target.templateлегко написать неправильно. Попроси нейросеть объяснить каждую строку шаблона и проверь её ответ командойkubectl get secret notes-db -o jsonpath=...сbase64 -d.
Задание 4. Шаг проекта: ExternalSecret в чарте, пароль из Vault
Цель: заменить ручной Secret notes-db на Secret от ESO и убрать пароль из git. Chart 0.4.0.
Предскажи: если применить ExternalSecret notes-db, пока ручной Secret с таким же именем существует, что скажет ESO? И почему нельзя просто взять новый пароль из Vault, не трогая PostgreSQL?
Ответ
Скорее всего ESO ничего не скажет об ошибке: Secret без другого владельца он присвоит себе и целиком перезапишет значениями из Vault (SecretSynced True). Ошибка secret is owned by another ExternalSecret (причина SecretOwnedByOther) будет, только если Secret уже принадлежит другому ExternalSecret. Ручной Secret всё равно удаляют: так не остаётся сомнений, откуда значения. Про PostgreSQL: пароль пользователя notes записан в самой БД при инициализации тома (5.5). Изменение Secret его не меняет, значит, пароль в БД надо привести в соответствие с Vault, иначе приложение получит password authentication failed.
Разбор команд.
sed -i 's/^version: .*/version: 0.4.0/' helm/notes/Chart.yaml: заменить в файле строку, начинающуюся сversion:, наversion: 0.4.0. Флаг-iправит файл на месте (на macOS нуженsed -i '').helm lint helm/notes: проверить чарт на очевидные ошибки.helm template notes helm/notes --set ...показать, какие манифесты получатся, ничего не применяя.| sed -n '/^kind: ExternalSecret/,/^ dataFrom:/p'напечатать только блок от строкиkind: ExternalSecretдо строки ` dataFrom:(так в выводе нетDATABASE_URL` из Deployment).printf "ALTER USER notes PASSWORD '%s';\n" "$PW" | kubectl ... exec -i postgres-0 -- psql -U notes -d notes:printfподставляет пароль в SQL-команду,exec -iпередаёт её вpsql(клиент PostgreSQL) внутри пода базы,-Uпользователь,-dбаза.unset PWстирает переменную из памяти shell.rollout restartиrollout statusперезапускают поды и ждут окончания (урок 5.7).curl -s -o /dev/null -w '%{http_code}\n' ... --cacert <(...):-sтихо,-o /dev/nullвыбросить тело,-wнапечатать только код ответа,--cacertдоверять указанному сертификату,<(...)подставляет вывод команды как временный файл.
Шаги:
- Добавь в
helm/notes/values.yamlблок (значения по умолчанию, ESO выключен):
existingSecret: notes-db
externalSecret:
# Включает ExternalSecret вместо ручного Secret
enabled: false
store: vault-backend
# Путь в kv-v2 без префикса secret/
remoteKey: notes/db
Если ключ existingSecret уже есть в файле, второй раз его не добавляй.
- Создай
helm/notes/templates/externalsecret.yaml. Внутри шаблона живут два уровня двойных фигурных скобок: внешний для Helm, внутренний для ESO. Внутренний оборачивают в строковый литерал, чтобы Helm вывел его как есть:
{{- if .Values.externalSecret.enabled }}
apiVersion: external-secrets.io/v1
kind: ExternalSecret
metadata:
name: {{ .Values.existingSecret }}
labels:
app.kubernetes.io/name: notes
spec:
refreshInterval: 1h
secretStoreRef:
name: {{ .Values.externalSecret.store }}
kind: ClusterSecretStore
target:
name: {{ .Values.existingSecret }}
creationPolicy: Owner
template:
data:
# Строка подключения для приложения (контракт 4.4)
DATABASE_URL: 'postgresql://{{ "{{ .username }}" }}:{{ "{{ .password | urlquery }}" }}@db:5432/{{ "{{ .database }}" }}'
# Тот же пароль нужен StatefulSet postgres (5.5)
POSTGRES_PASSWORD: '{{ "{{ .password }}" }}'
dataFrom:
- extract:
key: {{ .Values.externalSecret.remoteKey }}
{{- end }}
Разбор: первая строка if .Values.externalSecret.enabled включает весь манифест только когда флаг true (по умолчанию выключен, чарт работает как раньше). Двойные скобки Helm заменит значениями из values.yaml. Конструкция {{ "..." }} выводит внутреннюю строку как есть. creationPolicy: Owner и urlquery разобраны в теории. Ключ POSTGRES_PASSWORD нужен базе: StatefulSet из урока 5.5 читает его из того же Secret.
- Подними версию чарта и проверь рендер, ничего не применяя. Файл
-f helm/notes/values-dev.yamlнужен в каждомhelm templateиhelm upgrade: без него Helm берёт значения по умолчанию изvalues.yaml, и настройки окружения dev молча пропадут (при каждом обновлении!):
sed -i 's/^version: .*/version: 0.4.0/' helm/notes/Chart.yaml # macOS: sed -i ''
helm lint helm/notes
helm template notes helm/notes -f helm/notes/values-dev.yaml --set externalSecret.enabled=true \
| sed -n '/^kind: ExternalSecret/,/^ dataFrom:/p'
- Приведи пароль в PostgreSQL в соответствие с Vault (Vault источник правды). Помни про окно: после
ALTER USERбаза принимает только новый пароль, а запущенные поды ещё держат старый, пока ты не дойдёшь до перезапуска в шаге 6. На учебном стенде это нормально, в проде так не делают (см. «Ротацию» в теории: два пользователя по очереди):
PW=$(vroot kv get -field=password secret/notes/db)
printf "ALTER USER notes PASSWORD '%s';\n" "$PW" \
| kubectl -n notes exec -i postgres-0 -- psql -U notes -d notes
unset PW
- Удали ручной Secret и обнови релиз:
kubectl -n notes delete secret notes-db
helm upgrade notes helm/notes --namespace notes -f helm/notes/values-dev.yaml --set externalSecret.enabled=true
kubectl -n notes get externalsecret notes-db
- Убедись, что приложение подхватило Secret. Поды пересоздаются, чтобы прочитать новое значение:
kubectl -n notes rollout restart deployment/notes
kubectl -n notes rollout status deployment/notes
curl -s -o /dev/null -w '%{http_code}\n' https://notes.lab/readyz --cacert <(kubectl -n notes get secret notes-tls -o jsonpath='{.data.tls\.crt}' | base64 -d)
- Закрой хвосты в git: пароля нет в манифестах, а
.envпомечен как локальный:
grep -rn 'kind: Secret' k8s/ helm/ || echo "Secret-манифестов с паролем нет"
{ echo '# Только для локальной отладки в compose. На платформе пароль лежит в Vault (урок 9.2).'; cat .env.example; } > .env.example.new && mv .env.example.new .env.example
git add k8s/platform helm/notes .env.example
git commit -m "9.2: пароль БД из Vault через External Secrets Operator (chart 0.4.0)"
Что должно получиться:
kind: ExternalSecret
metadata:
name: notes-db
labels:
app.kubernetes.io/name: notes
spec:
refreshInterval: 1h
secretStoreRef:
name: vault-backend
kind: ClusterSecretStore
target:
name: notes-db
creationPolicy: Owner
template:
data:
# Строка подключения для приложения (контракт 4.4)
DATABASE_URL: 'postgresql://{{ .username }}:{{ .password | urlquery }}@db:5432/{{ .database }}'
# Тот же пароль нужен StatefulSet postgres (5.5)
POSTGRES_PASSWORD: '{{ .password }}'
dataFrom:
NAME STORETYPE STORE REFRESH INTERVAL STATUS READY LAST SYNC
notes-db ClusterSecretStore vault-backend 1h SecretSynced True 5s
deployment "notes" successfully rolled out
200
Secret-манифестов с паролем нет
Как читать вывод: показан весь ресурс ExternalSecret, вырезанный от kind до dataFrom. Строки со скобками нужны именно такими: значит, Helm не съел внутренний шаблон и ESO получит его целиком (если бы там стояли пустые значения или ошибка, экранирование неверное). SecretSynced True значит, что Secret собран из Vault. rolled out это перезапуск подов завершён, 200 значит, что приложение работает и достучалось до базы (проверка /readyz). Последняя строка значит, что в k8s/ и helm/ больше нет манифестов Secret с паролем.
Объясни себе:
- Почему у ключа
POSTGRES_PASSWORDв шаблоне тот же пароль, что и вDATABASE_URL? - Где теперь хранится пароль и кто из людей и систем может его прочитать? Сравни с ситуацией до урока.
- Что мешает удалить
.envиз compose совсем? Почему для платформы долг закрыт, а для локальной отладки остаётся пометка?
Типичные ошибки:
- После
helm upgradeприложение получило не тот пароль: ручной Secret не был удалён, ESO перезаписал его значениями из Vault, а пароль в БД не приведён в соответствие (шаг 4). Сверь значение и повтори шаг 4. Если вkubectl describe externalsecret notes-dbвидноsecret is owned by another ExternalSecret, в тот же Secret пишет другойExternalSecret: оставь один. Ошибка Helminvalid ownership metadataздесь не при чём: она бывает, когда в манифестах релиза лежит объект с чужим владельцем. FATAL: password authentication failed for user "notes"в логах приложения: пропущен шаг 4, пароль в БД не совпал с Vault.could not parse ... invalid port number in URLилиinvalid URL: в пароле есть/или+, а шаблон без| urlquery.error calling urlquery/function "urlqery" not defined: опечатка в имени функции, ошибка видна вkubectl describe externalsecret notes-db.helm templateничего не выводит: забыл--set externalSecret.enabled=true, по умолчанию блок отключён.- После
helm upgradeпропали настройки dev (реплики, лимиты, домен): забыт-f helm/notes/values-dev.yaml.
Сломай и почини
Скачай скрипт и запусти сценарий. Не читай его: причину нужно найти диагностикой. Понадобятся ESO и ExternalSecret notes-db из заданий 1 и 4.
curl -fsSL -o /tmp/break-9.2.sh https://raw.githubusercontent.com/distinguished-sre/learning/main/devops/project/notes/break/9.2/break.sh
bash /tmp/break-9.2.sh 1 # или 2, 3; random выбирает случайно
Починка: bash /tmp/break-9.2.sh fix.
Симптом
Что-то одно из списка (какое именно, тебе неизвестно):
kubectl -n notes get externalsecret notes-dbпоказываетSecretSyncedError, Secret не обновляется.- После правки описания ESO по-прежнему не может войти в Vault, хотя роль и политика на месте.
- Vault недоступен: ExternalSecret красный, но приложение отвечает.
Гипотезы
- Роль в Vault не существует или названа иначе, чем в
ClusterSecretStore. - ServiceAccount из
ClusterSecretStoreне тот, что вbound_service_account_*роли: другое имя или другой namespace. - Политика роли не разрешает чтение пути
secret/data/notes/*. - Vault запечатан, под не работает или Service без endpoints.
- Сломан сам оператор: поды
external-secretsне запущены.
Проверки
Иди от статуса к причине, не гадай:
kubectl -n notes describe externalsecret notes-db | tail -15
kubectl describe clustersecretstore vault-backend | tail -10
kubectl -n external-secrets logs deploy/external-secrets --tail=20
kubectl -n vault get pods,endpoints vault
Сообщение из describe содержит текст ответа Vault, и по нему сразу видно слой: 400 invalid role name (роли нет), 403 на auth/kubernetes/login (имя или namespace SA не из роли, либо плохой JWT), 403 на secret/data/... (политика), connection refused или no such host (сеть и сам Vault), Vault is sealed (печать).
Исправление
Разбор трёх сценариев
1. permission denied / invalid role name "notes". Сообщение вида Code: 400. Errors: * invalid role name "notes" говорит: роли нет или в ClusterSecretStore другое имя. Сверь role в хранилище с vault list auth/kubernetes/role. Если роли нет, запусти scripts/seed-vault.sh. Ответ Code: 403 ... permission denied уже после успешного входа означает, что политика роли не покрывает путь: проверь vault policy read notes-read, путь должен быть secret/data/notes/* (у kv-v2 в пути политики есть data/).
2. SA не в том namespace. Сообщение service account name not authorized или namespace not authorized при существующей роли. Сравни serviceAccountRef в хранилище с bound_service_account_names и bound_service_account_namespaces в роли. Исправь serviceAccountRef (или привязку роли) и примени. ExternalSecret перечитает хранилище сам, ускорить можно аннотацией force-sync.
3. Vault недоступен. В сообщении dial tcp ...: connect: connection refused или Vault is sealed. Проверь kubectl -n vault get pods,endpoints: под не запущен, Vault запечатан (unseal по 9.1) или Service без endpoints. Приложение при этом работает: Secret уже создан и остаётся в кластере. Симптом опасен тем, что о проблеме ты узнаешь только по алерту на статус ExternalSecret, а не по падению сервиса, и при первом деплое на чистом кластере под без Secret не стартует.
Общий вывод: у ESO нет «магии», вся диагностика в kubectl describe externalsecret и логах контроллера. Читай текст ошибки Vault целиком.
ИИ в помощь
Нейросеть хорошо читает статусы и события ESO, но путает версии API (v1beta1 и v1) и пути KV. Общие правила: ИИ-помощник. Настоящие значения секретов в запрос не вставляй: заменяй их на CHANGE_ME.
Задача: разобрать статус ExternalSecret.
Вот вывод `kubectl describe externalsecret notes-db -n notes`:
<вставь блок Status и Events>.
Объясни, на каком слое отказ (вход или права или путь), и дай три проверки от самой вероятной.
Проверь ответ: выполни проверки и сверь с таблицей отказов в теории. Типичная ошибка: совет расширить политику до secret/* или выдать root-токен, хотя достаточно поправить имя роли или путь без data.
Задача: составить шаблон Secret.
В Vault по пути `notes/db` лежат поля `username`, `password`, `database`. Напиши `target.template` для ESO, который соберёт `DATABASE_URL` вида `postgresql://user:pass@db:5432/name` с безопасной вставкой пароля.
Проверь ответ: проверь, что пароль идёт через urlquery, а скобки не конфликтуют с Helm: в чарте шаблон нужно оборачивать в raw. Нейросети часто забывают про оба.
Задача: прикинуть нагрузку на Vault.
У меня <N> ExternalSecret и интервал <значение>. Сколько запросов в час получит Vault и какой интервал разумен для рабочей системы?
Проверь ответ: пересчитай сам: число секретов × число обходов в час. Типичная ошибка: нейросеть берёт общую цифру из статей, а не твои значения.
Словарик урока
| Термин | Простыми словами |
|---|---|
| External Secrets Operator (ESO) | программа в кластере, копирующая секреты из внешнего хранилища в Kubernetes Secret |
| оператор (operator) | контроллер плюс его CRD, поставляемые вместе |
| контроллер (controller) | программа-цикл, сверяющая описанное с реальным и исправляющая разницу |
| reconcile (сверка) | один проход цикла контроллера |
| CRD | регистрация нового вида объектов в Kubernetes |
| ClusterSecretStore / SecretStore | описание подключения к хранилищу (на весь кластер или на один namespace) |
| ExternalSecret | заявка «возьми этот секрет из хранилища и собери из него Secret» |
| refreshInterval | как часто ESO перечитывает хранилище |
| creationPolicy: Owner | ESO владеет созданным Secret и удаляет его вместе с ExternalSecret |
| ServiceAccount (SA) | учётная запись программы внутри кластера |
| JWT | подписанный токен, в котором записано, кто его выдал и кому |
| TokenReview | запрос к API-серверу «этот токен настоящий?» |
| Kubernetes auth | вход в Vault по токену ServiceAccount без пароля |
| роль Vault | правило «этот SA получает такие политики на такой срок» |
| Vault Agent Injector | добавляет в под sidecar, кладущий секрет в файл; альтернатива ESO |
| sidecar | дополнительный контейнер в поде рядом с основным |
| urlquery | функция шаблона, заменяющая спецсимволы на %-коды для URL |
| аутентификация / авторизация | Подтвердить, кто ты / проверить, что тебе можно |
| conditions (состояния) | Список в status объекта: Ready, причина SecretSynced или SecretSyncedError |
| envFrom / volume | Два способа отдать Secret поду: переменными при старте или файлами, которые обновляются |
| force-sync | Аннотация на ExternalSecret, которая просит ESO перечитать Vault немедленно |
| Reloader | контроллер, перезапускающий поды при изменении Secret |
| etcd | база данных кластера, где Kubernetes хранит все объекты, в том числе Secret |
Вопросы с собеседований
Раздел для повторения: ответь вслух, потом открой ответ. Короткие вопросы с пометкой [на скорость] тренируй на время: ответ за 30 секунд.
1. [junior] [часто] Почему нельзя хранить Secret Kubernetes в git, даже если он в base64?
Ответ
Base64 это кодировка, а не шифрование: base64 -d возвращает пароль за секунду. Пароль в git останется в истории навсегда и доступен всем с доступом к репозиторию. Нужен либо внешний менеджер секретов (Vault + ESO), либо шифрование перед коммитом (SOPS, Sealed Secrets).
Что хотят услышать: история git, base64 не защита, три варианта решения.
Красный флаг: «в приватном репозитории можно».
2. [middle] [часто] Чем ESO лучше или хуже Vault Agent Injector, когда что выбираешь?
Ответ
ESO создаёт обычный Secret: приложение не меняется, поды не зависят от Vault при старте, зато секрет лежит в etcd кластера. Injector кладёт секрет файлом в память пода, поддерживает динамические секреты и обновление без пересоздания, но требует sidecar и Vault при каждом старте. Если Secret уже создан раньше, поды стартуют и при недоступном Vault. Для обычных статических паролей я беру ESO, для динамических учётных данных и строгих требований к хранению в etcd Injector или CSI.
Что хотят услышать: плюсы и минусы обоих, вопрос etcd и шифрования, критерии выбора.
Красный флаг: «Injector устарел» или «ESO безопаснее всегда».
3. [middle] ExternalSecret в статусе SecretSyncedError. Как диагностируешь?
Ответ
Сначала kubectl describe externalsecret: в событиях полный текст ответа Vault. Дальше по тексту и URL: 400 invalid role name роли нет, 403 на auth/kubernetes/login привязка роли к SA или namespace не совпала, 403 на secret/data/... политика, connection refused сеть или Vault, sealed печать. Потом смотрю логи контроллера ESO и состояние ClusterSecretStore. Приложение обычно не затронуто, пока Secret уже создан.
Что хотят услышать: порядок от статуса к слою, знание, что Secret остаётся, проверка роли и SA в Vault.
Красный флаг: «пересоздам ESO» без чтения сообщения об ошибке.
4. [middle] В Vault поменяли пароль, а приложение продолжает использовать старый. Почему и что делать?
Ответ
ESO обновит Secret в пределах refreshInterval, но переменные окружения читаются при старте контейнера, значит, под надо перезапустить. Ускорить синхронизацию можно аннотацией force-sync, перезапустить rollout restart или поставить Reloader. Отдельно проверяю, сменился ли пароль в самой БД: секрет и БД должны меняться согласованно (если БД не обновили, помогает ALTER USER или откат версии kv-v2).
Что хотят услышать: env читаются один раз, refreshInterval, Reloader, согласованность с БД.
Красный флаг: «ESO сам перезапускает поды».
5. [middle] Vault лёг ночью. Что произойдёт с приложениями, которые берут секреты через ESO?
Ответ
Уже работающие и новые поды продолжат жить, пока Secret существует: он лежит в кластере. Синхронизация остановится, ExternalSecret покраснеет, обновления и ротация не дойдут. Проблема возникнет при первом деплое на чистом кластере или при удалении Secret. Поэтому нужен алерт на статус ExternalSecret и мониторинг самого Vault.
Что хотят услышать: разница с sidecar-инжектором, что Secret остаётся, алерт на SecretSyncedError, риск чистого кластера.
Красный флаг: «все поды упадут» или «ничего страшного, никто не заметит».
6. [middle] Ты применил ExternalSecret с creationPolicy: Owner, а в кластере уже лежит Secret с тем же именем, созданный вручную. Что произойдёт и что делаешь?
Ответ
ESO присвоит Secret без владельца и целиком перезапишет его данными из Vault (ошибка secret is owned by another ExternalSecret будет, только если Secret уже принадлежит другому ExternalSecret). Поэтому ручной Secret сначала сверяю и удаляю (сохранив, откуда брался пароль), чтобы значения в приложении были предсказуемыми, и даю ESO создать свой. Проверяю, что значение совпадает с ожидаемым приложением, и что пароль в БД тоже согласован. Для миграции без простоя иногда используют creationPolicy: Merge (ESO добавляет ключи в существующий Secret), но это исключение.
Что хотят услышать: политики Owner, Merge, Orphan, порядок миграции, риск простоя.
Красный флаг: правит ручной Secret руками, чтобы ESO «подхватил».
7. [middle] Как ESO входит в Vault и почему для этого не нужен пароль?
Ответ
По Kubernetes auth: ESO получает токен ServiceAccount, Vault проверяет его у API-сервера (TokenReview) и сверяет пару «имя SA + namespace» с ролью. Совпало, выдаёт короткоживущий токен с политикой роли. Секрет для входа не хранится нигде, подтверждается сама «личность» рабочей нагрузки.
Что хотят услышать: TokenReview, привязка роли к SA и namespace, минимальная политика, TTL токена.
Красный флаг: «ESO хранит root-токен Vault в Secret».
8. [junior] Чем ClusterSecretStore отличается от SecretStore?
Ответ
SecretStore действует в одном namespace, а ClusterSecretStore доступен из любого namespace кластера. Платформенная команда ведёт один общий ClusterSecretStore, а команды приложений создают только свои ExternalSecret. Если хранилище кластерное, нужно ограничить, кто может на него ссылаться.
Что хотят услышать: область действия, разделение ответственности, вопрос изоляции.
Красный флаг: «одно и то же».
9. [middle] Ты заметил, что пароль БД попал в git-историю. Что делаешь, по шагам?
Ответ
Считаю пароль скомпрометированным: меняю в БД и Vault, перевыкатываю, проверяю логи доступа. Чистка истории (git filter-repo) не заменяет смены пароля, так как копии уже могли разойтись. Затем закрываю причину: секрет в Vault, ExternalSecret в чарте, сканер секретов в CI.
Что хотят услышать: ротация прежде чистки истории, аудит доступа, профилактика.
Красный флаг: «удалю коммит и продолжу».
10. [middle] Как собрать в Secret строку подключения из нескольких значений Vault?
Ответ
В ExternalSecret использую шаблон spec.target.template: вытаскиваю отдельные поля из Vault и собираю строку. Например, значение вида postgresql://{{ .username }}:{{ .password | urlquery }}@db:5432/{{ .database }} в data шаблона (urlquery экранирует /, +, = в пароле). Так в Vault лежат исходные поля, а приложение получает готовую строку. Проверяю, что поля названы так же, как в data или dataFrom, и что спецсимволы в пароле не ломают URL: их нужно экранировать.
Что хотят услышать: target.template, поля из Vault, экранирование спецсимволов, готовый Secret для приложения.
Красный флаг: склеивает строку в коде и кладёт пароль в ConfigMap.
11. [middle] Какие права ты выдаёшь ESO в Vault и как не дать одной команде читать чужие секреты?
Ответ
Даю только read и list, если он нужен, на конкретные пути, а не на весь secret/*. Для разных неймспейсов использую отдельные SecretStore и отдельные роли Vault, привязанные к своему ServiceAccount и неймспейсу. ClusterSecretStore ограничиваю полем conditions с перечнем разрешённых неймспейсов. Иначе любой, кто может создать ExternalSecret, прочитает всё, что доступно ESO. Права ESO потом проверяю в аудите Vault.
Что хотят услышать: read на нужные пути, роль на неймспейс, ограничение ClusterSecretStore, риск общего доступа.
Красный флаг: один токен с правами на всё для всего кластера.
12. [middle] [часто] SOPS или ESO: когда что выбрать?
Ответ
SOPS шифрует файл с секретом и кладёт его в git, расшифровка идёт ключом при применении. Это просто и не требует работающего Vault, но ротация и аудит доступа слабее, а ключ шифрования нужно хранить отдельно. ESO берёт секрет из внешнего хранилища, значения в git вообще нет, есть аудит доступа. Динамические учётные данные дают не ESO, а Vault (через Injector, см. выше). Для небольшой команды без Vault беру SOPS, при наличии Vault и требованиях к аудиту ESO.
Что хотят услышать: оба подхода, где лежит ключ, ротация и аудит, критерии выбора.
Красный флаг: «SOPS небезопасен» или «ESO всегда лучше» без критериев.
Проверено на версиях
- External Secrets Operator: v2.11.0 (Helm-чарт 2.11.0), Vault v2.1.1 (чарт HashiCorp, standalone), PostgreSQL 18: версии из курса, кластер в этой редакции не запускался, вывод
kubectlиvaultсверен по документации и предыдущей редакции. - Helm: v4.3.0, kind: v0.33.0, kubectl: 1.37.1, Kubernetes: 1.36.4: версии стенда курса, не перепроверялись.
- Шаблон
externalsecret.yaml: разбор экранирования скобок сделан по правилам Helm,helm templateне прогонялся. break.sh: проверенshellcheckи чтением, на кластере не запускался.
Итог урока: ты умеешь
- умею объяснить, как ESO доставляет секрет из Vault в Kubernetes Secret
- умею объяснить, что такое оператор и CRD
- умею установить ESO конкретной версии через Helm и проверить CRD и поды
- умею описать
ClusterSecretStoreс Kubernetes auth и добитьсяReady - умею собрать
ExternalSecretс шаблономDATABASE_URLи экранировать его внутри Helm-шаблона - умею мигрировать ручной Secret на ESO, не сломав пароль в БД
- умею читать причину
SecretSyncedErrorи отличать роль, привязку SA, политику и недоступность Vault - умею объяснить, что происходит с приложением при недоступном Vault и почему после ротации нужен перезапуск
Дальше: Урок 9.3: GitOps: Flux разворачивает «Заметки» из git
Проверь себя
Короткий тест по уроку: 5 вопросов из банка в 30. Засчитывается только полностью правильный ответ, порог 60%. Каждая новая попытка даёт другие вопросы, пока банк не закончится. Ответы видны после проверки.
Тест работает с включённым JavaScript.