Zwykli podejrzani mieli alibi
Krótka historia detektywistyczna o wydaniu, które padło z błędem „Access denied” tuż po dwóch dużych zmianach w CI. Obie zostały oskarżone. Żadna nie zawiniła.
Zespół frontendowy wypuścił wydanie. Obraz się zbudował, tag został wypchnięty, a potem padło ostatnie zadanie. To ono podbija wersję obrazu w repozytorium GitOps, żeby ArgoCD mogło go wdrożyć:
Cloning into 'manifests'... remote: HTTP Basic: Access denied. If a password was provided ... If a token was provided, it was either incorrect, expired, or improperly scoped. fatal: Authentication failed for 'https://<gitlab>/<gitops-dev-repo>.git/' ERROR: Job failed: command terminated with exit code 128
Inżynier, który dostał powiadomienie, miał złe przeczucia, bo właśnie weszły dwie jego własne zmiany.
Podejrzany nr 1: migracja na OIDC
Dwa tygodnie wcześniej przeniósł współdzielone szablony CI z długożyjących kluczy AWS na federację GitLab OIDC. Każde zadanie budujące dostawało teraz krótkotrwałe poświadczenia. To duża zmiana w szablonie, który dziedziczy każdy zespół, a teraz błąd uwierzytelniania pojawił się w zadaniu zbudowanym z tego szablonu. Wyglądało na mocnego podejrzanego.
Podejrzany nr 2: nowa flota runnerów
Zadanie, które padło, uruchomiło się też na zupełnie nowym, współdzielonym klastrze runnerów w innym koncie chmurowym. Nowy runner to nowa ścieżka sieciowa i nowe konto usługi. Znowu mocny podejrzany.
Przesłuchanie
Sprawę rozstrzygnęło jedno pytanie: kto właściwie odrzuca poświadczenie?
Spójrz jeszcze raz na błąd. remote: HTTP Basic: Access denied pochodzi od GitLaba. To znaczy, że runner dotarł do GitLaba, przedstawił poświadczenie, a GitLab odmówił. Problem z siecią albo runnerem wyglądałby jak timeout, błąd DNS albo TLS, a nie jak uprzejme 401 z linkiem do pomocy. Runner miał więc alibi.
Potem sama linia klonowania:
git clone https://oauth2:${IMAGE_UPDATE_TOKEN}@${CI_SERVER_HOST}/${MANIFEST_REPO}.git
To statyczny token dostępu GitLaba w zmiennej CI. Praca nad OIDC zmieniła tylko sposób logowania zadań do AWS. Nigdy nie dotknęła logowania do GitLaba. Historia wersji pokazała, że linia klonowania nie zmieniła się od bardzo dawna. OIDC też miało alibi.
Prawdziwy winowajca
Po oczyszczeniu obu podejrzanych komunikat błędu daje trzy możliwości: niepoprawny, wygasły albo o złym zakresie. Nie trzeba zgadywać, bo GitLab sam to powie. API tokenów dostępu docelowego repozytorium zwraca:
name active revoked expires last_used ci-image-update-token false false <dziś> <wczoraj wieczorem> readonly-sync-token true false <za rok> <kilka minut temu>
Token nie został unieważniony ani źle skonfigurowany. Wygasł dziś. Działał zeszłej nocy, a pierwsze wydanie po północy UTC uderzyło w ścianę. Nikt niczego nie zmienił. Zrobił to kalendarz.
Zwrot akcji: miał bliźniaka
Tokeny rzadko powstają pojedynczo. Ktoś zakłada partię repozytoriów GitOps jednego popołudnia i każdy token dostaje ten sam domyślny czas życia. Następnym krokiem było więc sprawdzenie repozytoriów-rodzeństwa:
repo token expires dev ci-image-update-token <dziś> <- martwy prod ci-image-update-token <dziś> <- martwy, nikt jeszcze nie zauważył qa ci-image-update-token <za 6 miesięcy> shared ci-image-update-token <za 3 miesiące>
Token produkcyjny umarł w tej samej chwili. Tego dnia nikt nie wydawał na produkcję, więc była to cicha awaria czekająca na następne wydanie. Dwa pozostałe repozytoria miały kiedyś rotowane tokeny i tylko dlatego jeszcze działały.
Skoro lista tokenów była już otwarta, wypłynął jeszcze jeden wygasły token na poziomie grupy. Należał do integracji skanera bezpieczeństwa i był martwy od czterech dni, a nikt tego nie zauważył.
Rozwiązanie
- Wygeneruj nowe projektowe tokeny dostępu dla dwóch martwych repozytoriów, z tymi samymi zakresami i długim terminem ważności.
- Zaktualizuj zmienną CI. Jedna pułapka: to jedna zmienna na poziomie grupy z siedmioma wartościami przypisanymi do środowisk, z których każda wskazuje token innego repozytorium. Aktualizujesz więc wartość dla dev i dla prod, a nie „zmienną”.
- Ponów zadanie.
W szablonach nic się nie zmieniło i nic nie musiało.
Wskazówki dla czytelnika
- Sprawdź, kto cię odrzucił. Jeśli „Access denied” przychodzi od zdalnej strony, sieć i runner zrobiły swoje. Patrz na poświadczenie, nie na hydraulikę.
- Nie pozwól, by świeżość wybrała podejrzanego. Twoja ostatnia zmiana przychodzi do głowy jako pierwsza. Sprawdź, czy w ogóle dotyka ścieżki, która padła. Zmiana logowania do AWS nie zepsuje klonowania z GitLaba.
- „Niepoprawny, wygasły albo o złym zakresie” – zapytaj serwer. Większość platform udostępnia metadane tokenów, takie jak
expires_at,last_used_atirevoked. Użyty wczoraj i nieaktywny dziś oznacza, że wygasł. - Jeden wygasły token to sygnał, żeby sprawdzić całą partię. Poświadczenia tworzone razem umierają razem. Znajdź rodzeństwo, zanim ono znajdzie ciebie w dniu wydania.
- OIDC usuwa jeden rodzaj sekretów, nie wszystkie. Po sfederowaniu logowania do chmury spisz, jakie statyczne tokeny jeszcze zostały: tokeny do pushowania do gita, do rejestrów, do skanerów. Na każdym tyka zegar.
- Niemonitorowane daty wygaśnięcia to awarie, które już zaplanowałeś. Nocne zadanie sprawdzające
expires_atwszystkich tokenów to jakieś dwadzieścia linii kodu. Napisz je przed następną północą.