Dysk, któremu zawsze zostawało sześćdziesiąt dni
Krótka historia detektywistyczna o alercie dyskowym, który sam się włączył, sam się naprawił i okazał się niczego nie mierzyć.
Na kanale pojawił się alert: dysk produkcyjnego węzła „zapełni się w ciągu 60 dni”. Chwilę później, choć nikt niczego nie ruszał, przyszło resolved. Kierownictwo zadało oczywiste pytanie: to w końcu zapełni się za 60 dni czy nie?
Uczciwa odpowiedź brzmiała: alert też tego nie wiedział.
Wiadomość
Projekt to prywatna sieć blockchain na Kubernetesie. Każdy węzeł trzyma cały łańcuch na wolumenie persistent volume. Rodzina alertów pilnuje tych wolumenów i ostrzega, jeśli któryś zmierza do zapełnienia w ciągu 90, 60 albo 30 dni.
Ostrzeżenie brzmiało mniej więcej tak:
Summary: node volume predicted full within 60 days
Description: Based on the last 6h trend, the volume is projected
to run out of space within 60 days.
A po jakimś czasie samo zniknęło.
Alert, który sam się włącza i sam znika, oznacza jedną z dwóch rzeczy. Albo prawdziwy problem przyszedł i poszedł, albo alert reaguje na coś, co problemem nie jest. Sześćdziesiąt dni zapasu nie pojawia się i nie znika w jedno popołudnie. Zaczęliśmy więc od drugiej możliwości.
Czytamy regułę, a nie komunikat
Reguła, która za tym stała, w języku Prometheusa:
predict_linear(volume_available_bytes[6h], 60 * 24 * 3600) < 0 for: 1h
predict_linear dopasowuje prostą do próbek z okna czasowego i przedłuża ją w przyszłość. Tutaj okno ma 6 godzin, a prognoza 60 dni. To 240 razy dłużej niż dane, które reguła widziała.
Szybki rachunek na okrągłych, przykładowych liczbach. Weźmy wolumen 100 GiB, z którego 60 GiB jest wolne. Żeby „skończyło się miejsce w ciągu 60 dni”, wolne miejsce musi spadać o ponad 1 GiB dziennie. W 6-godzinnym oknie to około 250 MiB.
Alert włącza się więc za każdym razem, gdy węzeł zapisze netto ćwierć gigabajta w dowolnych sześciu godzinach i utrzyma to przez godzinę.
Reguła nigdy nie pyta, jak pełny jest dysk. Wolumen zajęty w 40% i wolumen zajęty w 95% dostają dokładnie tę samą prognozę, jeśli ostatnie sześć godzin wyglądało tak samo.
Co zapisuje ćwierć giga w sześć godzin
Węzły blockchaina, jak większość nowoczesnych baz danych, działają na silniku składowania opartym na LSM-tree (tutaj RocksDB). Wolne miejsce nie spada na nich równomiernie. Zmienia się jak piła: nowe dane się piętrzą, a potem kompakcja łączy pliki i oddaje miejsce.
wolne miejsce │╲ ╲ ╲ │ ╲ ╱╲ ╲ ╱╲ ╲ ╱ │ ╲╱ ╲ ╲╱ ╲ ╲╱ trend długoterminowy: prawie płaski │ ╲╱ ╲╱ │ │ ├──6h──┤ ← dopasuj tu prostą i przedłuż ją o 60 dni: │ ╲ │ ╲ „pełny za 60 dni!” └────────────────────────────────────────────── czas
Każde sześciogodzinne okno na opadającym zboczu daje stromą prostą. Przedłużona wystarczająco daleko, przetnie zero. Potem rusza kompakcja, następne okno jest płaskie albo rośnie i alert znika. To tłumaczy obie połowy tego, co widzieliśmy: włączenie i zniknięcie.
Był też bardziej konkretny podejrzany. Kilka dni wcześniej sieć przeszła na nową wersję oprogramowania węzłów, która przy pierwszym starcie konwertuje format bazy danych na dysku. Węzły restartowano po jednym, a ten był pod koniec kolejki. Jednorazowy wybuch zapisów przy migracji na jednym węźle, rozciągnięty na dwa miesiące, wygląda na bardzo przekonującą katastrofę.
Zwrot akcji: fałszywe alarmy zasłaniają prawdziwy
Łatwo byłoby uznać: „szum, ignorujemy”. Ale jest haczyk.
Ten typ węzła nie przycina swojej historii, więc jego dysk naprawdę rośnie w czasie, tylko powoli. Prawdziwy trend istnieje. Mierzy się go w tygodniach, a alert nie widzi go przez szum. Każdy fałszywy alarm uczy ludzi ignorować następny, także ten, który w końcu będzie prawdziwy.
Poprawka nie mogła więc brzmieć „wyłączmy to”. Musiała brzmieć „niech mierzy to, co twierdzi, że mierzy”.
Poprawka
Trzy zmiany, wprowadzone tak samo we wszystkich trzech środowiskach:
- 90 dni (info): okno 6h → 3 dni, tylko gdy dysk jest zajęty w ponad połowie, musi trwać 1h → 6h.
- 60 dni (warning): okno 6h → 3 dni, tylko gdy dysk jest zajęty w ponad połowie, musi trwać 1h → 6h.
- 30 dni (critical): okno 6h → 1 dzień, tylko gdy dysk jest zajęty w ponad połowie, musi trwać 1h → 3h.
Po co każda część:
- Okno liczone w dniach. Trzydniowe dopasowanie obejmuje wiele cykli kompakcji i one się uśredniają. Prognoza jest teraz 20–30× dłuższa od danych, a nie 240×. Najpierw sprawdziliśmy, czy Prometheus trzyma dość historii: domyślna retencja w chartcie to 10 dni, więc trzydniowe okno ma dane.
- Próg zapełnienia.
and (1 - available / capacity) > 0.5. Poniżej połowy działają już zwykłe alerty „zajęte 80%” i „zajęte 90%”, i to one mają znaczenie, gdy dysk nagle szybko się zapełnia. - Godziny, nie godzina. Jeden wybuch zapisów nie powinien nikogo budzić.
I sposób, żeby porządnie odpowiedzieć na pierwotne pytanie, zamiast ufać jakiemukolwiek alertowi:
available / -deriv(available[7d]) / 86400 # days until full, from a week of data
Duża liczba albo ujemna (dysk się nie zapełnia) oznacza: spokojnie.
Wersja w jednym zdaniu
Kierownictwo nie potrzebowało niczego z powyższych. Potrzebowało tego:
Alert wziął kilka godzin zwykłej, chwilowej aktywności zapisu bazy danych na tym węźle i rozciągnął je na 60 dni do przodu, jakby to tempo miało trwać bez przerwy, więc ostrzegł przed pełnym dyskiem, który tak naprawdę wcale nie nadchodził; zmieniliśmy go tak, żeby patrzył na dane z kilku dni i włączał się dopiero wtedy, gdy dysk jest już zajęty w ponad połowie.
Koda: poprawka, która prawie trafiła do cudzego pull requesta
Sama zmiana to dziesięć minut YAML-a. Czyste zmergowanie jej zajęło dłużej.
W tym samym lokalnym klonie repozytorium pracowała w tym samym czasie inna, automatyczna sesja. Między utworzeniem naszego brancha a commitem tamta sesja przełączyła checkout z powrotem na swój branch. Zmiany w plikach, których nie dotykała, przeszły po cichu, a nasz commit wylądował na jej branchu. Nasz własny branch był wciąż identyczny z main, więc otwarcie pull requesta skończyło się komunikatem „no commits between main and branch”.
Zanim to zauważyliśmy, tamta sesja zrobiła commit na naszym i wypchnęła zmiany. Jej pull request został zmergowany, ale na szczęście tylko z jej wcześniejszym commitem.
Naprawa polegała na skopiowaniu naszego commita na nasz własny branch w osobnym git worktree, wysłaniu go i zostawieniu cudzego brancha w spokoju. Przepisywanie cudzego brancha, żeby odzyskać swój commit, to porządki, od których zaczyna się następny incydent. Od tamtej pory każda zmiana idzie przez własny worktree.
Nie mogliśmy też lokalnie uruchomić lintera reguł. Pobranie go zablokowała polityka bezpieczeństwa. Oparliśmy się na tym, że Prometheus Operator odrzuca niepoprawną regułę już przy admission, co widać jako nieudany sync GitOps, a nie jako po cichu brakujące alerty, i wpisaliśmy tę kontrolę do PR-a.
Wskazówki dla czytelnika
- Porównaj okno z horyzontem.
predict_linear, który przedłuża dane ponad mniej więcej 30×, mierzy głównie szum. Dni danych na tygodnie prognozy. - Silniki składowania oddychają. Bazy LSM (RocksDB, LevelDB, Cassandra i spółka) zwalniają miejsce skokami. Trendy z krótkiego okna to na nich artefakty piły.
- Uzależnij prognozy od zapełnienia. „Pełny za 30 dni” na dysku zajętym w 10% to prawie zawsze artefakt. Dolny zakres zostaw alertom procentowym.
- Upgrade’y i migracje dają jednorazowe wybuchy zapisów. Spodziewaj się alertów trendu w trakcie rolloutów i dopilnuj, żeby okno reguły trwało dłużej niż one.
- Alert, który sam znika, to też dowód. Jeśli nikt nic nie zrobił, a alert zniknął, zapytaj, co zmieniło się w danych, a nie w systemie.
- Naprawiaj hałaśliwe alerty, nie wyciszaj ich. Powolny, prawdziwy trend za szumem to dokładnie to, co w końcu będziesz musiał zobaczyć.
- Jedna kopia robocza na agenta. Jeśli kilka sesji albo narzędzi dzieli jeden klon, daj każdej zmianie własny worktree.