Drobna pomyłka, poważna katastrofa - GitLab przechodzi w tryb offline na jeden dzień

GitLab, startup, który jest alternatywą dla bardzo popularnego GitHuba, miał ostatnio dość trudny dzień błąd ludzki spowodował, że cała strona internetowa była wyłączona przez cały dzień.

Problem GitLab pojawił się po raz pierwszy, gdy strona internetowa miała problemy z czasem ładowania i stabilnością. Strona została przeniesiona do trybu offline w celu usunięcia problemów. Jednak podczas konserwacji, ktoś nieświadomie popełnił błąd przypadkowego usunięcia katalogu zawierającego 300 GB danych na żywo.

Na szczęście dla GitLab, zawartość, która została usunięta tylko dotyczyło problemów i łączyło żądania. Błąd nie wpłynął na repozytoria i wiki w żaden sposób, co oznacza, że obrażenia spowodowane przez ten błąd nie były tak poważne jak mogło być

Po usunięciu katalogu personel GitLab natychmiast zwraca się do jego kopii zapasowej. Na ich nieszczęście natknął się na GitLab jeszcze jeden problem. Zgodnie z plikiem Google Doc, który był stale aktualizowany, gdy GitLab stara się wrócić do trybu online, wszystkie 5 kopii zapasowych / replikacji techniki, których strona internetowa nie działała niezawodnie, aw niektórych przypadkach były nigdy nie ustawiać na pierwszym miejscu.

Pobieranie tych utraconych plików z chmury nie jest opcją dla GitLab, ponieważ startup podjął decyzję pod koniec zeszłego roku zrzuć chmurę, aby zamiast tego zbudować i obsługiwać własne klastry Ceph. Nie trzeba dodawać, że GitLab rozważa teraz swoje stanowisko w tym konkretnym temacie.

@TheRegister @gitlab będzie pracował nad zwiększeniem wydajności aplikacji i poszukiwaniem alternatywnych dostawców hostingu w chmurze.

- Connor Shea (@connorjshea) 1 lutego 2017 r

Pomimo burzliwego dnia, który miał GitLab, strona internetowa działa teraz normalnie. Podczas gdy strona internetowa zgłosił, że niektóre dane zostały utracone podczas sześciogodzinnego okna, Git repozytoria pozostały nienaruszone przez całą próbę. Pełny dziennik zdarzeń całego wydarzenia można obejrzeć tutaj.

Podczas gdy wielu lekcje można wyciągnąć z małego błędu GitLab (głównie pycha), metoda GitLab w radzeniu sobie z kryzysem jest raczej godna podziwu, jak startup był przejrzysty i przejrzysty dla użytkowników. Mamy nadzieję, że GitLab dowie się o tym błędzie. W przeciwnym razie jego baza użytkowników prawdopodobnie będzie mniej wybaczająca, jeśli historia się powtórzy.

Źródło: Rejestr