Zwykli podejrzani mieli alibi

Krótka historia detektywistyczna o wydaniu, które padło z błędem „Access denied” tuż po dwóch dużych zmianach w CI. Obie zostały oskarżone. Żadna nie zawiniła.

Zespół frontendowy wypuścił wydanie. Obraz się zbudował, tag został wypchnięty, a potem padło ostatnie zadanie. To ono podbija wersję obrazu w repozytorium GitOps, żeby ArgoCD mogło go wdrożyć:

Cloning into 'manifests'...
remote: HTTP Basic: Access denied. If a password was provided ... If a token was
provided, it was either incorrect, expired, or improperly scoped.
fatal: Authentication failed for 'https://<gitlab>/<gitops-dev-repo>.git/'
ERROR: Job failed: command terminated with exit code 128

Inżynier, który dostał powiadomienie, miał złe przeczucia, bo właśnie weszły dwie jego własne zmiany.

Podejrzany nr 1: migracja na OIDC

Dwa tygodnie wcześniej przeniósł współdzielone szablony CI z długożyjących kluczy AWS na federację GitLab OIDC. Każde zadanie budujące dostawało teraz krótkotrwałe poświadczenia. To duża zmiana w szablonie, który dziedziczy każdy zespół, a teraz błąd uwierzytelniania pojawił się w zadaniu zbudowanym z tego szablonu. Wyglądało na mocnego podejrzanego.

Podejrzany nr 2: nowa flota runnerów

Zadanie, które padło, uruchomiło się też na zupełnie nowym, współdzielonym klastrze runnerów w innym koncie chmurowym. Nowy runner to nowa ścieżka sieciowa i nowe konto usługi. Znowu mocny podejrzany.

Przesłuchanie

Sprawę rozstrzygnęło jedno pytanie: kto właściwie odrzuca poświadczenie?

Spójrz jeszcze raz na błąd. remote: HTTP Basic: Access denied pochodzi od GitLaba. To znaczy, że runner dotarł do GitLaba, przedstawił poświadczenie, a GitLab odmówił. Problem z siecią albo runnerem wyglądałby jak timeout, błąd DNS albo TLS, a nie jak uprzejme 401 z linkiem do pomocy. Runner miał więc alibi.

Potem sama linia klonowania:

git clone https://oauth2:${IMAGE_UPDATE_TOKEN}@${CI_SERVER_HOST}/${MANIFEST_REPO}.git

To statyczny token dostępu GitLaba w zmiennej CI. Praca nad OIDC zmieniła tylko sposób logowania zadań do AWS. Nigdy nie dotknęła logowania do GitLaba. Historia wersji pokazała, że linia klonowania nie zmieniła się od bardzo dawna. OIDC też miało alibi.

Prawdziwy winowajca

Po oczyszczeniu obu podejrzanych komunikat błędu daje trzy możliwości: niepoprawny, wygasły albo o złym zakresie. Nie trzeba zgadywać, bo GitLab sam to powie. API tokenów dostępu docelowego repozytorium zwraca:

name                         active  revoked  expires     last_used
ci-image-update-token        false   false    <dziś>      <wczoraj wieczorem>
readonly-sync-token          true    false    <za rok>    <kilka minut temu>

Token nie został unieważniony ani źle skonfigurowany. Wygasł dziś. Działał zeszłej nocy, a pierwsze wydanie po północy UTC uderzyło w ścianę. Nikt niczego nie zmienił. Zrobił to kalendarz.

Zwrot akcji: miał bliźniaka

Tokeny rzadko powstają pojedynczo. Ktoś zakłada partię repozytoriów GitOps jednego popołudnia i każdy token dostaje ten sam domyślny czas życia. Następnym krokiem było więc sprawdzenie repozytoriów-rodzeństwa:

repo        token                   expires
dev         ci-image-update-token   <dziś>       <- martwy
prod        ci-image-update-token   <dziś>       <- martwy, nikt jeszcze nie zauważył
qa          ci-image-update-token   <za 6 miesięcy>
shared      ci-image-update-token   <za 3 miesiące>

Token produkcyjny umarł w tej samej chwili. Tego dnia nikt nie wydawał na produkcję, więc była to cicha awaria czekająca na następne wydanie. Dwa pozostałe repozytoria miały kiedyś rotowane tokeny i tylko dlatego jeszcze działały.

Skoro lista tokenów była już otwarta, wypłynął jeszcze jeden wygasły token na poziomie grupy. Należał do integracji skanera bezpieczeństwa i był martwy od czterech dni, a nikt tego nie zauważył.

Rozwiązanie

  1. Wygeneruj nowe projektowe tokeny dostępu dla dwóch martwych repozytoriów, z tymi samymi zakresami i długim terminem ważności.
  2. Zaktualizuj zmienną CI. Jedna pułapka: to jedna zmienna na poziomie grupy z siedmioma wartościami przypisanymi do środowisk, z których każda wskazuje token innego repozytorium. Aktualizujesz więc wartość dla dev i dla prod, a nie „zmienną”.
  3. Ponów zadanie.

W szablonach nic się nie zmieniło i nic nie musiało.

Wskazówki dla czytelnika