Sprawa load balancera, który nigdy nie przedstawił się z nazwy

Krótka historia detektywistyczna o wydaniu poprawkowym, brakującym polu w handshake'u TLS i kodzie statusu, którego większość ludzi nigdy nie widziała.

┌──────────────────────────────────────────────────────────────┐
│                       TABLICA ŚLEDCZA                        │
├──────────────────────────────────────────────────────────────┤
│                                                              │
│ ZAGADKA:   każde żądanie przez load balancer → 421           │
│                                                              │
│ PODEJRZANY #1:  rutynowy bump charta zmergowany rano         │
│ PODEJRZANY #2:  sam load balancer                            │
│ KLUCZOWY TROP:  diff renderu pokazał tylko zmianę tagu       │
│                 obrazu                                       │
│ ZWROT AKCJI:    load balancer nigdy nie mówi, o który host   │
│                 mu chodzi, a proxy zaczęło o to pytać        │
│                                                              │
└──────────────────────────────────────────────────────────────┘

Zgłoszenie

Użytkownicy zaczęli zgłaszać dziwny błąd: **421 Misdirected Request**. Nie 500, nie 502, nie timeout. Kod 421 jest na tyle rzadki, że większość inżynierów musi go sprawdzić w dokumentacji.

I nie dotyczył jednego środowiska. Dev, QA i produkcja zwracały go wszystkie, na każdej stronie, każdemu użytkownikowi.

Rozdział 1 — Zwykły podejrzany

Firma uruchamia swoją platformę na Kubernetesie za AWS Application Load Balancerem. ALB kończy połączenie TLS użytkownika i przekazuje każde żądanie do Traefika, wewnątrzklastrowego proxy ingress, które kieruje je do właściwej usługi. Wszystko działa w modelu GitOps: merge zmiany, a ArgoCD ją aplikuje.

Tego ranka automatyczny wykrywacz driftu otworzył swoje cotygodniowe tickety: te charty Helma są w tyle za upstreamem, podbijcie je. Jeden MR na środowisko, kilkanaście chartów w każdym. Na liście był Traefik, z v3.7.17 do v3.7.18.

Wydanie poprawkowe. Zespół platformowy przed merge'em wyrenderował nawet stary i nowy chart na prawdziwym pliku values. Diff miał jedną linię: tag obrazu.

Trzy MR-y zostały zmergowane w odstępie jedenastu minut: dev, potem QA, potem prod. Zanim ktokolwiek zauważył problem na dev, produkcja już leżała.

Pierwszy ruch, przed jakimkolwiek śledztwem: revert Traefika we wszystkich trzech środowiskach. Błędy 421 ustały. Podejrzany potwierdzony, ale motyw wciąż nieznany.

Rozdział 2 — Co w ogóle znaczy 421?

421 Misdirected Request mówi mniej więcej: „to żądanie przyszło połączeniem, które nie było przeznaczone dla tego hosta”. Przeglądarki współdzielą połączenia HTTP/2 między hostami, które mają wspólny certyfikat. Proxy zwraca 421, gdy nazwa hosta wynegocjowana w handshake'u TLS nie zgadza się z nazwą hosta w żądaniu.

Nazwa hosta wynegocjowana w handshake'u to SNI, Server Name Indication: klient podaje host, którego szuka, w trakcie handshake'u, zanim wyśle cokolwiek po HTTP.

I tu na scenę wchodzi load balancer.

 użytkownik ──TLS (SNI: app.example.com)──▶ ALB ──nowy TLS (bez SNI)──▶ Traefik :443
                                             │
                               kończy TLS, szyfruje ponownie,
                               nigdy nie mówi, o który host chodzi

ALB otwiera do backendu własne, nowe połączenie TLS i nie wysyła w nim SNI. Przez lata nie miało to znaczenia. Co więc zmieniło się w wydaniu poprawkowym?

Rozdział 3 — Czytanie źródeł

Render nic nie pokazał, bo nie było czego pokazać. Zmiana nie siedziała w charcie. Dotyczyła tego, jak Traefik buduje swoją konfigurację w czasie działania, z obiektów Ingress w klastrze.

Przewodnik migracji samej aplikacji (nie release notes charta) miał wpis dla v3.7.18. Kod w Go uczynił go konkretnym:

  1. Traefik działa w trybie „udawaj ingress-nginx”, czytając istniejące obiekty Ingress w stylu nginx bez zmian.
  2. Od v3.7.18 ten provider tworzy osobną opcję TLS dla każdego hosta z Ingressu, bezwarunkowo.
  3. Mały middleware porównuje opcję TLS połączenia z opcją TLS routera, który dopasował żądanie. Jeśli nazwy się różnią, zwraca 421. Jeśli żądanie przyszło bez TLS, sprawdzenie jest pomijane.
  4. Połączenie od ALB nie ma SNI, więc Traefik przypisuje mu opcję TLS default. Router ma teraz opcję właściwą dla hosta. default ≠ app-host-option, wynik: 421, przy każdym żądaniu.

Nic nie było zepsute ani w Traefiku, ani w ALB. Każda strona robiła dokładnie to, do czego ją zaprojektowano, a te dwa projekty po prostu przestały do siebie pasować.

Rozdział 4 — Dwa wyjścia

Opcja A, oczywista: niech ALB rozmawia z Traefikiem zwykłym HTTP. Brak TLS oznacza, że sprawdzenie jest pomijane. Proste i to był pierwszy zapisany plan.

Miało jednak haczyk. Odcinek od load balancera do proxy przestałby być szyfrowany. „To przecież wewnątrz VPC” to jakaś odpowiedź, ale nie taka, której zespół chciał udzielić bez wcześniejszej dyskusji.

Opcja B, która trafiła na produkcję: zostawić HTTPS od ALB, ale skierować go na inny entry point Traefika, taki, na którym TLS jest włączony na poziomie entry pointu. Routery na takim entry poincie dziedziczą jego ustawienia TLS, i to bez nazwy opcji per host. To rozwiązuje się do default, czyli dokładnie tego, co ma połączenie bez SNI. Nazwy się zgadzają, sprawdzenie przechodzi, a ruch pozostaje szyfrowany.

 PRZED                                     PO
 ALB ─HTTPS→ :443 "websecure"              ALB ─HTTPS→ :80 "web" (TLS na entry poincie)
   opcja połączenia: default                 opcja połączenia: default
   opcja routera:    per host → 421 ✗        opcja routera:    dziedziczone default → 200 ✓

Rozdział 5 — Drobne pułapki po drodze

Chart nie przyjął ustawienia. Oczywisty klucz w values dla „TLS na tym porcie” został odrzucony przez JSON schema charta. Flaga trafiła więc jako surowy argument wiersza poleceń, poza schematem charta.

Pętla przekierowań czekająca na swoją kolej. Część Ingressów wymusza przekierowanie HTTP → HTTPS. Traefik ocenia, czy żądanie „już jest HTTPS”, patrząc na samo połączenie albo na nagłówek X-Forwarded-Proto, jeśli nadawca jest zaufany. Dlatego entry point musiał najpierw ufać nagłówkom forwarded z zakresu adresów VPC. Przy TLS na entry poincie ma to mniejsze znaczenie, ale zachowuje też prawdziwy adres IP klienta w logach.

Kolejność operacji to cała gra. ArgoCD synchronizuje proxy i obiekty Ingress dla ALB jako osobne aplikacje. Jeśli ALB zacznie mówić HTTPS do portu, który jeszcze nie obsługuje TLS, każde żądanie się wysypie, a health check ALB (który używa innego portu) cały czas będzie zielony. Dlatego poprawka weszła jako cztery osobne MR-y, mergowane po kolei, ze sprawdzeniem pomiędzy:

  1. Zaufanie nagłówkom forwarded na docelowym entry poincie.
  2. Włączenie TLS na tym entry poincie. Weryfikacja rolloutu.
  3. Przepięcie ALB na nowy port.
  4. Ponowne wdrożenie wydania poprawkowego Traefika.

Fałszywy trop w konsoli. Po kroku 3 konsola AWS pokazała groźnie wyglądające ostrzeżenie „HTTP:80 Not reachable” na load balancerze. Dotyczyło publicznego listenera na porcie 80, który security groups celowo blokują. Nie miało nic wspólnego z backendowym portem 80, który właśnie podpięto. Ten sam numer, druga strona load balancera.

Zmiana portu podmieniła też target group. AWS Load Balancer Controller wyprowadza nazwę target group z hasha, który obejmuje port, więc zmiana portu utworzyła nową target group. Sam load balancer zachował nazwę i DNS, i nic po stronie upstream nie trzeba było zmieniać.

Rozdział 6 — Dowód

Access logi proxy nie trafiały do platformy observability, więc dowód przyszedł prosto z podów. Jeszcze jedna drobna pułapka: kubectl logs deploy/... czyta jeden pod, a nie wszystkie. Zliczone na wszystkich replikach:

entryPointName = "web"        3555 żądań
entryPointName = "websecure"     0 żądań   ← grupa kontrolna

Dopiero zero na starym entry poincie nadało sens liczbie 3555.

Potem curl z zewnątrz. Główna aplikacja zwróciła 200 po HTTP/2 i HTTP/1.1, a nieznana ścieżka 404. Jedno API zwróciło 401, co przez sekundę wyglądało niepokojąco. Nagłówki odpowiedzi rozstrzygnęły sprawę: server: uvicorn, www-authenticate: Bearer i body w JSON mówiące, że wymagane jest uwierzytelnienie. To aplikacja odpowiadała na żądanie bez tokena. Cały łańcuch działał, aż do samej aplikacji.

Dev działał na nowym wydaniu z zerową liczbą błędów 421. QA i produkcja miały przejść te same cztery kroki po okresie obserwacji, a nie jedenaście minut później.

Wskazówki dla czytelnika