Sprawa allowlisty bez listy

Krótka historia detektywistyczna o runnerach CI, firewallu i health checku, który mówił „wszystko w porządku”, trzymając w ręku 403.

┌──────────────────────────────────────────────────────────────┐
│                       TABLICA ŚLEDZTWA                       │
├──────────────────────────────────────────────────────────────┤
│                                                              │
│ ZAGADKA:   każde logowanie w testach E2E pada na nowych      │
│            runnerach                                         │
│                                                              │
│ PODEJRZANY #1:  nowe runnery „nie widzą” środowiska QA       │
│ PODEJRZANY #2:  samo QA leży                                 │
│ KLUCZOWY TROP:  „Health check passed (403)”                  │
│ ZWROT AKCJI:    reguła „allowlist” nie ma żadnej listy       │
│                                                              │
└──────────────────────────────────────────────────────────────┘

Zgłoszenie

Firma co noc puszcza przeglądarkowy zestaw testów na swoje środowisko QA: prawdziwe instancje Chrome, Firefoksa i WebKita sterowane przez Playwright, logujące się jako kilkunastu użytkowników testowych i przeklikujące produkty.

Pewnego ranka pipeline zrobił się czerwony, dzień po tym, jak przeniesiono go w nowe miejsce. Do tej pory działał na kilku maszynach CI on-premise, a teraz na współdzielonym, autoskalującym się klastrze runnerów CI w AWS. Szybciej, więcej mocy, koniec z czekaniem w kolejce za innymi zespołami.

Pierwsze pytanie zespołu platformowego było rozsądnym strzałem: „Czy to przez współdzielone runnery? Może one po prostu nie wiedzą o QA?”

Rozdział 1 — Wykluczamy oczywiste

„Nie wiedzą o QA” zwykle oznacza DNS albo prywatną sieć, do której runner nie ma trasy. Log zadania wykluczył oba w minutę:

=== Pinning DNS for hosts from env/.env.qa ===
  pinned <qa-app-host>   -> <public CDN edge IP>
  pinned <qa-login-host> -> <public CDN edge IP>

Każdy host QA się rozwiązywał, i to na publiczne adresy brzegowe CDN/WAF stojącego przed QA. Nic prywatnego, niczego nie brakowało. Runner znajdował QA bez problemu.

To może QA leżało? Z laptopa inżyniera ten sam URL zwracał 200. QA działało.

Dwóch podejrzanych odpadło, a runner docierał do zdrowego QA. Coś po drodze mówiło „nie”.

Rozdział 2 — Health check, który kłamał

Zestaw testów zaczyna się od health checku, a linia w logu była na wierzchu:

[global-setup] Health check passed (403) — https://<qa-app-host>/

Passed, z kodem 403. Check traktował „serwer odpowiedział” jako „serwer jest zdrowy”, a 403 to technicznie też odpowiedź.

Potem przyszły logowania, wszystkie:

✗ user1 — login failed: Login entry point not found
  (neither "Log in" button nor email field appeared).
...
Error: [global-setup] All logins failed. Aborting tests.

Przeglądarce nie brakowało przycisku w aplikacji. Patrzyła na stronę blokady WAF, na której nie ma przycisku „Log in”, bo to w ogóle nie jest aplikacja.

Kilka linii wcześniej zadanie usłużnie wypisało jeszcze jeden trop:

=== Egress IP: <the cluster's NAT gateway address> ===

Stare maszyny on-premise wychodziły do internetu z adresów biura. Nowy klaster wychodzi przez swoją bramę NAT. Dla firewalla to dwaj zupełnie różni klienci.

Rozdział 3 — „Ale po co runnerowi w ogóle QA?”

To uczciwe pytanie i warto na nie odpowiedzieć, bo wyjaśnia, dlaczego to ma znaczenie.

Ten pipeline niczego na QA nie wdraża. To zestaw testów end-to-end: pod runnera uruchamia przeglądarki headless, a te przeglądarki są użytkownikami. Każde załadowanie strony, każde logowanie, każde kliknięcie wychodzi z runnera, przez bramę NAT klastra, na brzeg QA. Jeśli brzeg nie lubi adresu źródłowego, testy nie testują produktu. Testują firewall.

Rozdział 4 — To już było w historii commitów

Zanim ktokolwiek dotknął firewalla, zespół przeczytał historię samego pipeline'u. Konfiguracja CI miała już komentarz dokładnie o tym:

Zadania przejdą na runnery w chmurze, gdy firewall QA dopuści adres NAT klastra. Do tego czasu zostają lokalnie.

Kilka dni wcześniej ta sama przeprowadzka została już raz spróbowana i wycofana z tego samego powodu. Tym razem, w świeżej kopii pipeline'u w sandboksie, zadania trafiły na współdzielone runnery, ale zmiana firewalla, od której zależały, nigdy się nie wydarzyła.

To nie była więc regresja. To był znany warunek wstępny, który ktoś pominął.

Rozdział 5 — Zwrot akcji: allowlista bez listy

WAF miał krótką listę własnych reguł, a jedna nazwa rzucała się w oczy: reguła allowlisty QA. Wyglądała na właściwe miejsce, żeby dopisać adres.

Inżynier platformy ją otworzył, spodziewając się listy adresów IP, i znalazł to:

(ends_with(http.host, "qa.<company-domain>"))     → Block

Żadnego warunku na IP. „To chyba nie ta reguła.”

To była ta. Tylko nie działała tak, jak sugerowała jej nazwa:

  Żądanie do QA
       │
       ▼
┌──────────────────────────────┐   źródłowe IP
│ Reguła A: obejście dla       │── na liście? ──► POMIŃ wszystkie
│ zaufanych IP, akcja: Skip    │                  dalsze reguły ──► QA ✓
└──────────────────────────────┘
       │ nie ma na liście
       ▼
┌──────────────────────────────┐
│ Reguła B: „allowlista QA”    │
│ host kończy się na qa.…      │──► BLOCK (403, strona blokady WAF) ✗
└──────────────────────────────┘

Reguła „allowlisty” była całkowitą blokadą. Prawdziwa allowlista siedziała regułę wcześniej, w regule obejścia dla zaufanych IP (akcja Skip), która pozwalała znanym adresom przeskoczyć wszystko, co było po niej. Adresy biura tam były, dlatego stare runnery działały. Adresu NAT nowego klastra nie było.

Rozdział 6 — Gdzie wstawić poprawkę

Były dwie drogi:

  1. Dopisać adres NAT do reguły Skip. Jedna linia, tak jak każde inne dopuszczone IP. Ale „pomiń wszystkie dalsze reguły” znaczy wszystkie: blokadę geograficzną, reguły chroniące wewnętrzne endpointy, reguły trzymające części produkcji z dala od otwartego internetu. A adres należy do współdzielonego klastra, więc tę samą przepustkę dostałby każdy workload, który tam działa.
  2. Wyłączyć adres tylko w regule blokującej QA.
(ends_with(http.host, "qa.<company-domain>")
   and not ip.src in {<cluster NAT address>})

To otwiera QA i nic poza tym się nie zmienia.

Wybrali opcję 2. Poprawka powinna być dokładnie tak duża jak awaria, a awaria brzmiała „runner testów nie dociera do QA”, a nie „runner testów powinien omijać zabezpieczenia produkcji”.

Pojawiła się jeszcze jedna obawa: „Czy to IP nie jest tymczasowe?” W klastrze, w którym nody pojawiają się i znikają co kilka minut, to uczciwe pytanie. Odpowiedział Terraform: jedna brama NAT z Elastic IP, który się nie zmienia, dopóki ktoś go nie usunie. Logi się zgadzały. Zadania na różnych nodach, w odstępie godzin, wychodziły z tego samego adresu.

Rozdział 7 — Sprawa zamknięta (na weekend)

Regułę zmieniono, a nieudane zadania puszczono ponownie:

[global-setup] Health check passed (200)
✓ user1 — login complete
✓ user2 — login complete
...  9/9 logins, in all three browsers

Z 403 na 200, i każde logowanie przeszło. Dwa scenariusze testowe nadal padały potem na wolnym ładowaniu strony. To była inna historia, przekazana właścicielom testów. Drzwi do QA były otwarte.

A potem, rozsądnie, inżynier wycofał zmianę na weekend. Reguła firewalla, która wpuszcza współdzielony klaster do środowiska, zasługuje na drugą parę oczu od właściciela firewalla. I tak nikt nie puściłby testów przed poniedziałkiem. Poprawka była sprawdzona, opisana w tickecie razem z wyrażeniami przed i po, i odłożona do przeglądu.

Wskazówki dla czytelnika

  1. Przeniesienie zadań CI na nowe runnery zmienia ich adres IP. Wszystko, do czego zadania sięgają, a co jest bramkowane po IP (WAF, firewall bazy danych, API partnera, nawet limit zapytań rejestru), trzeba przejrzeć na nowo. Niech zadanie wypisuje swój adres wyjściowy; kosztuje to jedną linię i oszczędza popołudnie.
  2. Health check, który akceptuje 403, nie sprawdza zdrowia. „Serwer odpowiedział” i „serwer nas wpuścił” to dwie różne rzeczy. Niech check pada na 401/403, a znajdziesz taki problem w kilka sekund, a nie po minutach ponawiania logowań.
  3. „Nie znaleziono przycisku logowania” może znaczyć „to w ogóle nie ta strona”. Kiedy test UI nie może znaleźć czegoś, co oczywiście tam jest, sprawdź, co przeglądarka naprawdę załadowała. Strona blokady, captcha albo baner prac serwisowych wyglądają tak samo jak „przycisk zniknął”.
  4. Czytaj regułę, nie jej nazwę. Reguła „allowlisty” była regułą blokującą; prawdziwa allowlista była regułą obejścia przed nią. Reguły firewalla działają po kolei, a kolejność jest częścią logiki.
  5. Dopasuj zakres poprawki do zakresu awarii. Allowlista typu „pomiń wszystko” jest wygodna, ale dla współdzielonego klastra otwiera dużo więcej niż jedne drzwi, których potrzebowałeś.
  6. Współdzielone adresy NAT są współdzielone. Dopuszczenie adresu wyjściowego klastra dopuszcza każdy workload w tym klastrze. Zdecyduj, czy to akceptowalne, i zapisz to w opisie reguły.
  7. Sprawdź historię, zanim zaczniesz debugować. Odpowiedź leżała w komentarzu w CI i w wycofanym commicie z początku tego samego tygodnia.

   PRZED                                    PO
  ┌──────────────────────────────┐        ┌──────────────────────────────┐
  │ runner ─► NAT ─► WAF ─✗ 403  │        │ runner ─► NAT ─► WAF ─► QA ✓ │
  │ „Health check passed (403)”  │  ════► │ „Health check passed (200)”  │
  │ 0/9 logowań                  │        │ 9/9 logowań                  │
  └──────────────────────────────┘        └──────────────────────────────┘