Dysk, któremu zawsze zostawało sześćdziesiąt dni

Krótka historia detektywistyczna o alercie dyskowym, który sam się włączył, sam się naprawił i okazał się niczego nie mierzyć.

Na kanale pojawił się alert: dysk produkcyjnego węzła „zapełni się w ciągu 60 dni”. Chwilę później, choć nikt niczego nie ruszał, przyszło resolved. Kierownictwo zadało oczywiste pytanie: to w końcu zapełni się za 60 dni czy nie?

Uczciwa odpowiedź brzmiała: alert też tego nie wiedział.

Wiadomość

Projekt to prywatna sieć blockchain na Kubernetesie. Każdy węzeł trzyma cały łańcuch na wolumenie persistent volume. Rodzina alertów pilnuje tych wolumenów i ostrzega, jeśli któryś zmierza do zapełnienia w ciągu 90, 60 albo 30 dni.

Ostrzeżenie brzmiało mniej więcej tak:

Summary:     node volume predicted full within 60 days
Description: Based on the last 6h trend, the volume is projected
             to run out of space within 60 days.

A po jakimś czasie samo zniknęło.

Alert, który sam się włącza i sam znika, oznacza jedną z dwóch rzeczy. Albo prawdziwy problem przyszedł i poszedł, albo alert reaguje na coś, co problemem nie jest. Sześćdziesiąt dni zapasu nie pojawia się i nie znika w jedno popołudnie. Zaczęliśmy więc od drugiej możliwości.

Czytamy regułę, a nie komunikat

Reguła, która za tym stała, w języku Prometheusa:

predict_linear(volume_available_bytes[6h], 60 * 24 * 3600) < 0
for: 1h

predict_linear dopasowuje prostą do próbek z okna czasowego i przedłuża ją w przyszłość. Tutaj okno ma 6 godzin, a prognoza 60 dni. To 240 razy dłużej niż dane, które reguła widziała.

Szybki rachunek na okrągłych, przykładowych liczbach. Weźmy wolumen 100 GiB, z którego 60 GiB jest wolne. Żeby „skończyło się miejsce w ciągu 60 dni”, wolne miejsce musi spadać o ponad 1 GiB dziennie. W 6-godzinnym oknie to około 250 MiB.

Alert włącza się więc za każdym razem, gdy węzeł zapisze netto ćwierć gigabajta w dowolnych sześciu godzinach i utrzyma to przez godzinę.

Reguła nigdy nie pyta, jak pełny jest dysk. Wolumen zajęty w 40% i wolumen zajęty w 95% dostają dokładnie tę samą prognozę, jeśli ostatnie sześć godzin wyglądało tak samo.

Co zapisuje ćwierć giga w sześć godzin

Węzły blockchaina, jak większość nowoczesnych baz danych, działają na silniku składowania opartym na LSM-tree (tutaj RocksDB). Wolne miejsce nie spada na nich równomiernie. Zmienia się jak piła: nowe dane się piętrzą, a potem kompakcja łączy pliki i oddaje miejsce.

wolne miejsce
   │╲        ╲        ╲
   │ ╲  ╱╲    ╲  ╱╲    ╲  ╱
   │  ╲╱  ╲    ╲╱  ╲    ╲╱       trend długoterminowy: prawie płaski
   │       ╲╱       ╲╱
   │
   │   ├──6h──┤  ← dopasuj tu prostą i przedłuż ją o 60 dni:
   │          ╲
   │           ╲  „pełny za 60 dni!”
   └────────────────────────────────────────────── czas

Każde sześciogodzinne okno na opadającym zboczu daje stromą prostą. Przedłużona wystarczająco daleko, przetnie zero. Potem rusza kompakcja, następne okno jest płaskie albo rośnie i alert znika. To tłumaczy obie połowy tego, co widzieliśmy: włączenie i zniknięcie.

Był też bardziej konkretny podejrzany. Kilka dni wcześniej sieć przeszła na nową wersję oprogramowania węzłów, która przy pierwszym starcie konwertuje format bazy danych na dysku. Węzły restartowano po jednym, a ten był pod koniec kolejki. Jednorazowy wybuch zapisów przy migracji na jednym węźle, rozciągnięty na dwa miesiące, wygląda na bardzo przekonującą katastrofę.

Zwrot akcji: fałszywe alarmy zasłaniają prawdziwy

Łatwo byłoby uznać: „szum, ignorujemy”. Ale jest haczyk.

Ten typ węzła nie przycina swojej historii, więc jego dysk naprawdę rośnie w czasie, tylko powoli. Prawdziwy trend istnieje. Mierzy się go w tygodniach, a alert nie widzi go przez szum. Każdy fałszywy alarm uczy ludzi ignorować następny, także ten, który w końcu będzie prawdziwy.

Poprawka nie mogła więc brzmieć „wyłączmy to”. Musiała brzmieć „niech mierzy to, co twierdzi, że mierzy”.

Poprawka

Trzy zmiany, wprowadzone tak samo we wszystkich trzech środowiskach:

Po co każda część:

I sposób, żeby porządnie odpowiedzieć na pierwotne pytanie, zamiast ufać jakiemukolwiek alertowi:

available / -deriv(available[7d]) / 86400     # days until full, from a week of data

Duża liczba albo ujemna (dysk się nie zapełnia) oznacza: spokojnie.

Wersja w jednym zdaniu

Kierownictwo nie potrzebowało niczego z powyższych. Potrzebowało tego:

Alert wziął kilka godzin zwykłej, chwilowej aktywności zapisu bazy danych na tym węźle i rozciągnął je na 60 dni do przodu, jakby to tempo miało trwać bez przerwy, więc ostrzegł przed pełnym dyskiem, który tak naprawdę wcale nie nadchodził; zmieniliśmy go tak, żeby patrzył na dane z kilku dni i włączał się dopiero wtedy, gdy dysk jest już zajęty w ponad połowie.

Koda: poprawka, która prawie trafiła do cudzego pull requesta

Sama zmiana to dziesięć minut YAML-a. Czyste zmergowanie jej zajęło dłużej.

W tym samym lokalnym klonie repozytorium pracowała w tym samym czasie inna, automatyczna sesja. Między utworzeniem naszego brancha a commitem tamta sesja przełączyła checkout z powrotem na swój branch. Zmiany w plikach, których nie dotykała, przeszły po cichu, a nasz commit wylądował na jej branchu. Nasz własny branch był wciąż identyczny z main, więc otwarcie pull requesta skończyło się komunikatem „no commits between main and branch”.

Zanim to zauważyliśmy, tamta sesja zrobiła commit na naszym i wypchnęła zmiany. Jej pull request został zmergowany, ale na szczęście tylko z jej wcześniejszym commitem.

Naprawa polegała na skopiowaniu naszego commita na nasz własny branch w osobnym git worktree, wysłaniu go i zostawieniu cudzego brancha w spokoju. Przepisywanie cudzego brancha, żeby odzyskać swój commit, to porządki, od których zaczyna się następny incydent. Od tamtej pory każda zmiana idzie przez własny worktree.

Nie mogliśmy też lokalnie uruchomić lintera reguł. Pobranie go zablokowała polityka bezpieczeństwa. Oparliśmy się na tym, że Prometheus Operator odrzuca niepoprawną regułę już przy admission, co widać jako nieudany sync GitOps, a nie jako po cichu brakujące alerty, i wpisaliśmy tę kontrolę do PR-a.

Wskazówki dla czytelnika