Skaner mówił, że jesteśmy bezpieczni. CPU mówiło: „na razie”
Krótka historia detektywistyczna ze świata bezpieczeństwa JVM: zielone światło ze skanera, JDK ukryte w cudzym obrazie i flota produkcyjna, która była bezpieczna tylko przypadkiem.
Punkt wyjścia
Pojawił się nowy CVE w Javie z chwytliwą nazwą: Java4Shell. Heap overflow w dekoderze Base64 w JVM, bez uwierzytelnienia, ze zdalnym wykonaniem kodu pokazanym na kilku znanych produktach javowych.
Nasz skaner bezpieczeństwa miał już odpowiedź: nie dotyczy.
Pytanie, które przyszło, było krótkie: „Skaner mówi, że jesteśmy bezpieczni, ale kto wie... możesz sprawdzić?”
To „kto wie” okazało się trafnym przeczuciem.
Czego ten błąd naprawdę potrzebuje
Po lekturze opisów widać, że Java4Shell to nie „każda JVM płonie”. Muszą się zgrać trzy rzeczy:
- JVM w podatnym zakresie: OpenJDK 17.0.6+ albo 18 i nowsze (21, 25, 27...).
- Base64 kontrolowane przez atakującego, które trafia do
java.util.Base64po tym, jak JIT skompilował dekoder. - Właściwy procesor. Błąd siedzi w ręcznie napisanej procedurze asemblerowej AVX-512 (tzw. intrinsic), której HotSpot używa tylko na procesorach x86-64 z AVX-512 VBMI. To Intel Ice Lake i nowsze oraz AMD Zen 4 i nowsze. ARM jest bezpieczny, podobnie starsze układy x86.
Plan triażu był więc prosty: znaleźć każdą JVM, ustalić jej wersję, ustalić procesor pod nią.
Trop 1: jest tylko jedna JVM i nie jest nasza
Platforma Firmy to głównie Python, Node, Elixir i Go. Żadnego pom.xml, żadnych własnych buildów Gradle. Szybki przegląd sugerował, że Javy nie ma wcale.
Poza jednym workloadem: węzłami blockchaina. Sieć działa na open-source'owym kliencie zgodnym z Ethereum, a ten klient jest napisany w Javie. Nie budujemy go. Pobieramy obraz Dockera od dostawcy, a obraz dostawcy zawiera własne, dołączone JDK.
To dokładnie ten rodzaj rzeczy, na który skaner zależności nie patrzy. Czyta nasze manifesty, a JDK nie ma w żadnym z nich. Siedzi w cudzym obrazie.
Trop 2: wersja JDK bez Dockera
Na laptopie nie było daemona Dockera, więc odpadło docker run … java -version. Okazuje się, że wcale nie jest potrzebny. Obraz kontenera to po prostu JSON i archiwa tar za HTTP API:
token ← registry auth endpoint (anonymous pull)
index → pick the linux/amd64 manifest
config → "history": which build step made which layer
layers → stream ONLY the layer from "COPY /opt/java/openjdk"
tar -xzO opt/java/openjdk/release
Odpowiedź:
IMPLEMENTOR="Eclipse Adoptium" JAVA_RUNTIME_VERSION="25.0.3+9-LTS"
Java 25. W samym środku podatnego zakresu, w każdym środowisku, łącznie ze starszym obrazem, którego używają partnerzy zewnętrzni.
Czyli „nie dotyczy” ze skanera nie znaczyło, że JDK jest bezpieczne. Znaczyło, że skaner nigdy nie zajrzał do obrazu.
Trop 3: decyduje procesor
Ostatni warunek: co jest pod JVM?
environment node family AVX-512 VBMI? exposed? ----------- -------------------- ------------- -------- dev Intel Ice Lake (m6i) yes YES staging AMD Zen 3 (m6a) no no production AMD Zen 3 (m6a) no no
Produkcja była bezpieczna. Ale nie dlatego, że ktoś tak zdecydował. Ktoś kiedyś wybrał instancje AMD, żeby zaoszczędzić, a Zen 3 po prostu nie ma AVX-512.
Zwrot akcji: produkcja była bezpieczna przypadkiem. Jedna rutynowa zmiana w stylu „przejdźmy na nowszą generację instancji”, na m7a (Zen 4) albo m7i, i podatna ścieżka po cichu się włącza, bez zmiany w kodzie i bez alertu ze skanera.
Poprawka: wszędzie i jak najwęziej
Załatanego JDK jeszcze nie było. Oracle wydał poprawki, ale open-source'owy build, którego używa nasz dostawca, jeszcze nie. Poprawką musiała więc być flaga JVM, a kandydatów było trzech:
-XX:DisableIntrinsic=_base64_decodeBlockwyłącza tylko podatną procedurę dekodowania. Koszt: pomijalny.-XX:-UseBASE64Intrinsicswyłącza intrinsics Base64 do kodowania i dekodowania. Koszt: niewielki.-XX:UseAVX=2wyłącza całe AVX-512. Koszt: realny, a JVM na ARM w ogóle z nią nie wystartuje.
Wybraliśmy najwęższą i włączyliśmy ją we wszystkich środowiskach, nie tylko w tym narażonym. Chodziło o to, żeby przestać zależeć od tego, jaką rodzinę instancji ktoś wybierze w następnym kwartale.
Jedna pułapka: niektóre typy węzłów nadpisują opcje JVM, zamiast je rozszerzać. Flaga dodana tylko we wspólnym ustawieniu po cichu ominęłaby te węzły, więc trafiła też do każdego nadpisania.
Zły trop: sprawdzenie, które nie mogło się nie udać
Po wdrożeniu oczywistą weryfikacją było zapytanie działającej JVM:
kubectl exec <pod> -- jcmd 1 VM.flags -all | grep DisableIntrinsic
Odmowa. Namespace ma admission policy, która blokuje exec, attach i port-forward, bo te pody trzymają na dysku klucze prywatne walidatorów.
A szybka pętla, która miała sprawdzić wszystkie pody naraz, wypisała... listę nazw podów z pustymi miejscami obok:
for p in $(pods); do
kubectl exec "$p" -- jcmd … 2>/dev/null | grep … | awk '{print $NF}' || echo MISSING
done
Nigdy nie wypisała MISSING, bo kod wyjścia pipeline'u to kod ostatniego polecenia, a awk bez problemu kończy się sukcesem na pustym wejściu. Sprawdzenie, które nie może się nie udać, nie jest sprawdzeniem.
Kuszącym następnym krokiem było „to na chwilę zdejmijmy tę policy”. Nie zrobiliśmy tego. Wyłączanie zabezpieczenia kluczy po to, żeby odczytać flagę JVM, to odwrócenie priorytetów. Był lepszy sposób.
Dowód bez dotykania chronionych podów
Dowód składał się z dwóch części i opierał się wyłącznie na odczytach.
Część 1: z czym wystartował każdy pod. Spec poda jest ustalany przy starcie, a jego odczyt to zwykły GET do API, którego admission nie blokuje:
validator-0 started 13:08 JAVA_OPTS=... -XX:DisableIntrinsic=_base64_decodeBlock validator-1 started 13:08 JAVA_OPTS=... -XX:DisableIntrinsic=_base64_decodeBlock ...all 9 pods, all after the sync
Część 2: czy flaga naprawdę działa na tym JDK i tym procesorze. Uruchomiliśmy jednorazowy pod w innym namespace, na tym samym obrazie i tym samym typie instancji. Puścił mały program w Javie, który dekoduje bufor Base64 200 000 razy (wystarczająco, żeby JIT go skompilował), dwa razy, z -XX:+PrintIntrinsics:
avx512vbmi ← the CPU has the feature === WITHOUT flag @ 63 java.util.Base64$Decoder::decodeBlock (186 bytes) (intrinsic) === WITH flag @ 63 java.util.Base64$Decoder::decodeBlock (186 bytes) inline (hot) UseAVX = 3
(intrinsic) oznacza, że używana jest podatna procedura asemblerowa. inline (hot) oznacza, że metoda jest kompilowana ze zwykłej Javy. Ten sam obraz, ten sam procesor, jedna flaga różnicy. Dowód bez ani jednego exec do poda z kluczami.
Zwrot akcji: upstream wydaje poprawkę tego samego dnia
Kilka godzin później maintainerzy klienta blockchaina opublikowali wydanie poprawkowe. Cały changelog to jedna linijka: mitygacja Java4Shell.
Pierwsze, oczywiste założenie brzmiało: „nowe JDK”. Nic z tego. Ponowny odczyt dołączonego JDK z warstw obrazu pokazał tę samą Javę 25.0.3. Wydanie dodało jedynie -XX:-UseBASE64Intrinsics do domyślnych opcji JVM w skrypcie startowym.
Czy w takim razie mogliśmy usunąć własną flagę? Tylko jeśli nasze opcje nie nadpisują domyślnych opcji dostawcy. Przeczytaliśmy więc skrypt startowy prosto z obrazu:
eval set -- $DEFAULT_JVM_OPTS $JAVA_OPTS $CLIENT_OPTS -classpath ... Main
Nasze JAVA_OPTS są dopisywane po domyślnych, a nie zamiast nich, i nic z naszych ustawień nie włącza intrinsica z powrotem. Flaga dostawcy obejmuje naszą. Upgrade i sprzątanie poszły więc razem, w jednym PR i jednej rundzie restartów.
Wskazówki dla czytelnika
- „Nie dotyczy” ze skanera w pierwszym dniu to stwierdzenie o tym, co skaner przeskanował. JDK, interpretery Pythona i buildy OpenSSL dołączone do cudzych obrazów są niewidoczne dla skanowania opartego na manifestach. Przeczytaj obraz sam.
- Do zajrzenia w obraz nie potrzebujesz Dockera. Registry API plus
tarwyciągną dowolny pojedynczy plik, np. plikreleaseJDK albo skrypt startowy, z dokładnie tej warstwy, która go zapisała. - „Bezpieczni dzięki sprzętowi” to bomba z opóźnionym zapłonem. Jeśli o narażeniu decyduje procesor, włącz mitygację wszędzie, inaczej następna zmiana typu instancji po cichu ją cofnie.
- Wybieraj najwęższą mitygację i sprawdzaj, gdzie konfiguracja jest nadpisywana, a nie scalana.
- Weryfikuj efekt, nie tylko konfigurację. „Flaga jest w specu” i „flaga wyłącza podatną ścieżkę na tym JDK i tym procesorze” to dwa różne fakty. Drugi udowadnia jednorazowy pod z wyjściem diagnostycznym.
- Nie obniżaj zabezpieczeń, żeby zweryfikować poprawkę bezpieczeństwa. Wystarczyły odczyty z API i testowy pod w innym namespace.
- Daj każdemu sprawdzeniu szansę na porażkę.
… | awk || echo MISSINGnie wypisze MISSING. Testuj przechwyconą wartość. - Przeczytaj poprawkę, zanim zaufasz opisowi poprawki. „Wydanie z poprawką bezpieczeństwa” oznaczało tu nowe domyślne flagi, nie nowe JDK. Nadal było przydatne, ale dopiero gdy potwierdziliśmy, jak łączy się z naszymi ustawieniami.