Nasz klient jest statkiem! Rozmawiam z Tomkiem Dwornickim o projektowaniu infrastruktury

Czy możesz pokrótce opowiedzieć czym jest firma Hostersi dzisiaj? Czym się zajmujecie i na czym skupiacie? Znamy się od lat, ale wiem, że przez te lata przeszliście sporą transformację.

Hostersi zajmują się dzisiaj zarządzaniem infrastrukturami. W szerszym ujęciu projektujemy, wdrażamy i utrzymujemy platformy serwerowe i chmurowe, na których działają różnego rodzaju serwisy internetowe, systemy czy usługi. Czyli jeśli masz np. sklep internetowy czy serwis sprzedający jakieś rozwiązanie SaaS typu CRM, system ankiet, rozwiązanie dla floty samochodowej to chciałbyś, aby działał on całą dobę, działał wydajnie, był bezpieczny. A że awarie zdarzają się o dowolnej godzinie to niezwykle trudno jest zapewnić we własnej firmie ludzi, którzy będą pracować zmianowo i na dodatek chętnie. Tutaj wkraczamy my ze swoją specjalistyczną usługą pilnowania takiej platformy. A wspominasz o transformacji, bo kiedyś oferowaliśmy też swoje platformy serwerowe, ale dziś skupiamy się już wyłącznie na usługach zarządzania takimi systemami zlokalizowanymi gdziekolwiek - czy to w chmurze, czy na rozwiązaniach dedykowanych - a tych nadal jest dużo.

Co jest dziś największym technologicznym wyzwaniem, jeśli chodzi o budowanie i rozwój firmy zajmującej się projektowaniem infrastruktury?

Największe wyzwanie to utrzymanie zespołu z bardzo szeroką wiedzą, bo przecież trafiają do nas często systemy z różną historią i rozwiązaniami, więc spotykany jest tu ogrom technologii. A technologicznie to kluczowym wyzwaniem jest zapewnienie uniwersalnych narzędzi i rozwiązań, za pomocą których świadczymy usługi. Do wielu rzeczy możemy użyć powszechnie dostępnych rozwiązań, ale pogodzenie różnych platform, dystrybucji systemowych i co niezwykle uciążliwe - przestarzałych systemów klienckich, które też trzeba nadzorować jest nie lada problemem. Ale muszę przyznać, że nieźle sobie z tym radzimy, bo robimy to już 15 lat.

Co to właściwie w dzisiejszych czasach jest infrastruktura? Kiedyś z tym określeniem kojarzyły nam się serwery, szafy serwerowe i mnóstwo kabli.

No i tak na prawdę na końcu są właśnie kable i serwery, więc nic nie zmieniło. Jedna z definicji chmury mówi, że to po prostu “czyjś serwer”. To uproszczenie, ale nawet użycie zaawansowanych usług chmurowych np. usługi, w której wrzucasz film do reskalowania powoduje, że na samym końcu będzie to liczył jakiś procesor siedzący w serwerze o pewnie bardzo specyficznej budowie i umieszczony z czymś, co można nazwać szafą serwerową, połączony kablem czy światłowodem do switchy sieciowych, a te dalej. Natomiast z poziomu programisty czy właściciela biznesu, infrastruktura dzisiaj to bardziej abstrakcyjne klocki do poukładania, niezbędne do stworzenia potrzebnego rozwiązania. Model serverless, czyli bezserwerowy sprzyja takiemu podejściu, że praca dotychczasowego Administratora sprowadza się do monitorowania metryk i optymalizacji rachunków, zbierania danych jak optymalizować aplikację, aby było szybko i tanio. Ta praca jest nawet trudniejsza niż wcześniej i po prostu inna. Wielu specjalistów nie musi myśleć już, jaki tam jest procesor i czy starczy dysku, albo jaka jest wersja jakiegoś komponentu. Nie zmienia to faktu, że zależnie od potrzeb, nadal 40% infrastruktur, którymi się opiekujemy to serwery w szafie z kabelkami.

Jak projektuje się dziś infrastrukturę? Załóżmy, że jestem klientem który ma serwis internetowy odwiedzany przez 3 mln RU i generujący 11 mln odsłon. Jakie dane muszę wam dostarczyć aby otrzymać konkretny projekt?

Technologia w jakiej jest wykonany system lub będzie, potencjał wzrostu projektu, oczekiwana charakterystyka obciążenia, czyli czy serwis jest raczej równo odwiedzany czy 3/4 tego ruchu będzie raz w tygodniu w godzinę, wymagania dotyczące SLA, czyli jak bardzo chcesz, aby to działało w sposób ciągły, specyficzne wymagania regulacyjne - RODO to standard, ale płatności kartami i inne są też ważne. To na start, bo chętnie zadalibyśmy masę dokładnych pytań, ale z doświadczenia wiemy, że nie dostaniemy na dużą część z nich odpowiedzi. My na tej bazie zadamy w rozmowie swoje pytania, upewnimy się dlaczego dokonałeś już takich wyborów i ew przekonamy Cię, że to nie zadziała dobrze, albo jakie problemy się pojawią, bo mamy podgląd od lat jak to działa na setkach infrastruktur, a mamy takie co przyszły z jednym serwerem dedykowanym, a dziś potrafią się w chmurze zeskalować do setek komponentów, czyli przeszły wiele ewolucji po drodze.

Czytaj dalej poniżej

Coaching - dlaczego wciąż jest legalny? Tomasz Szwast

Uwielbiam i nie znoszę Netfliksa. Czym zachwyca i czym denerwuje usługa? Konrad Kozłowski

Pamiętam moment, w którym padło OVH, to bardzo ciekawy case, który jest jednak dla mnie niezrozumiały. Czy możesz wyjaśnić prostymi słowami co się tam stało i co zawiodło?

Od razu zaznaczę, że jestem daleki od krytykowania. Siedzę w branży od 25 lat i wiem, że nie ma rzeczy, które się nie psują prędzej czy później. Wpadki zaliczają wszyscy, prędzej czy później. Na OVHcloud wylała się fala krytyki bo dopiero taka awaria pokazała jak bardzo dużo serwisów tam chodzi i jak bardzo są one nieprzygotowane na awarię. Więc na bazie tego, co powiedziałem wyżej - stało się tam to, że wyszło kto nie wie co to plan disaster recovery, stało się to, że firmy są nieprzygotowane kompletnie na taką awarię i wszystko mają w jednym miejscu i mając cały swój biznes oparty o dane na serwerze oszczędzają na zabezpieczeniu, odpowiedniej kopii czy posiadaniu zapasowej infrastruktury. To woda na młyn Hostersów, bo wszystko to robimy i potwierdzam, że mało kto chce ponosić tego koszty. A wiemy jakie to są koszty, bo sami je ponosimy w przypadku własnych systemów krytycznych.

Z komunikatów oficjalnych wynika, że pożar miał wiele przyczyn, a jego skala wynikała ze zbiegu wielu okoliczności. Czy to był problem sprzętowy, czyli błąd ludzki (w tym projektowy), to już nie ma znaczenia, bo takie rzeczy całkowicie są nie do uniknięcia, a tylko do minimalizowania.

Podrążę jeszcze ten temat. Załóżmy, że mam mały sklep online i szukam klasycznego hostingu. Wszyscy dostawcy usługi piszą o tym, że robią backup i mają zdublowaną infrastrukturę. Czy ja muszę się na tym znać i jeszcze dodatkowo prześledzić ich procesy w czasie awarii? Może od razu kupować hosting w dwóch firmach?

No niestety - musisz się dowiedzieć albo poprosić o weryfikację kogoś, kto się zna. Co mają zdublowane, co i gdzie backupują. Swoją infrastrukturę najpewniej backupują. A jeśli robią Tobie backup, to warto zapytać, gdzie go robią i co to za kopia, jak ją i gdzie odzyskać. Taki dostawca gwarantuje ci, że zrobił, co mógł, że jak Ci ten serwer padnie to on ci postawi nowy “czysty” i że ew. jest z czego go odtworzyć. Niestety, hosting w dwóch firmach nie rozwiązuje prosto problemu.

Zmieńmy na chwilę temat. Wszyscy wiemy że w IT się dobrze zarabia. Wiem, że najwięcej zarabiają programiści. Jak wygląda sytuacja z architektami technologii? Wydaje mi się, że to dość rzadki fach i zapewne jest bardzo dobrze płatny?

Zarabiają więcej lub tyle samo, co Programiści. Szczególnie doświadczeni DevOpsi i Architekci, szczególnie chmurowi. My mamy takie powiedzenie, że na 20-tu programistów potrzebny jest jeden DevOps - więc to dość rzadki fach.

Jakiego rzędu są to sumy?

Realnie stawki w firmach to poziom 12-18 tys. brutto na UoP lub więcej. Architekci to już powyżej 20 tysięcy. Odpowiednio w ramach popularnej współpracy B2B. Oczywiście wiele ogłoszeń jest na dużo wyższe stawki i tu nie ma limitu, bo naprawdę dobrzy fachowcy to tak 1 na 20 DevOpsów.

Ile twoim zdaniem potrzeba czasu, aby stać się doświadczonym i dobrym DevOpsem? Jak wygląda droga i nauka na takim stanowisku?

Dwa lata to minimalny czas, jak pytasz o doświadczonego. Dla osoby, która jest zdolna, zależy jej i na co dzień “robi przy koniach” a nie robi kursy i widzi na co dzień 10 elementów pracy DevOpsa z setek. Dla nas jedyna droga do DevOpsa wiedzie od SysOpa czyli bardziej Administratora, choć z nazwy wynika, że Developer tez może iść w tym kierunku. Naszych ludzi szkolimy najpierw na Adminów, a potem DevOpsów. To się sprawdza i moim zdaniem ta wiedza jest niezbędna dla dobrego DevOpsa.

Jak byś ocenił na dziś jakoś specjalistów od IT w Polsce? Krążą legendy, że jesteśmy dobrzy, ale znowu to głównie kwestia programistów. Trudno jest dziś zrekrutować dobrych speców w twojej działce?

Jesteśmy dobrzy, bo nam się jeszcze chce uczyć i pracować. Ta sama opinia co dotycząca programistów dotyczy też Adminów/DevOpsów czy architektów. Z drugiej strony, media od lat piszą jak to się dobrze w IT zarabia i powędrowało tu dużo ludzi bez solidnych podstaw, więc na pewno średnia jakość spadła. Rekrutacja jest bardzo trudna, ludzie są rozchwytywani. Nasza koncepcja to część ludzi zatrudniać, a część szkolić wewnętrznie.

Jak się motywuje specjalistów zarabiających 20k PLN? Chyba trzeba dbać o nich jak o jajka, bo zaraz znajdzie się chętny aby ich podkupić? Niedawno na AW był tekst prawnika o lojalkach czy też zwrotach pieniędzy za drogie szkolenia w przypadku przedwczesnego zakończenia współpracy.

Fajnymi projektami, różnorodnymi i rozwijającymi. Fajnym podejściem i elastycznością oraz możliwością realnego rozwoju. Dobrego fachowca nie interesują owocowe czwartki :-) Lojalki to chyba przeszłość, nie stosuję i nie stosowałem nigdy.

Dobra, to teraz kolejna zmiana tematu. Czy możesz opowiedzieć nam o najciekawszym projekcie, jaki ostatnio zrobiliście? Takim najbardziej zagmatwanym i kompleksowym?

Pozwolę sobie sięgnąć dalej niż ostatnio. W dobie drugiej fali pandemii trafiło do nas zadanie zrobienia w ekspresowym tempie rozwiązania dzwoniącego do ludzi i wysyłającego ich na kwarantannę. Dzięki rozwiązaniom AWS-owym, zrobiliśmy w 48h prosty mechanizm, który potrafił wykonać na dobę kilkaset tysięcy połączeń. Dopracowaliśmy go w miesiąc, a potem mechanizm wrócił do tradycyjnych rozwiązań. bo aż 2 miesiące tradycyjny dostawca potrzebował by uzyskać odpowiednią wydajność. To jeden z najbardziej szalonych projektów, jaki robiliśmy. Projekty wykorzystywał wirtualne call center (AWS Connect), był całkowcie serverless, pracując na usłudze AWS Lambda, wykorzystywał chmurową usługę do syntezy i rozpoznawania mowy. Zero serwerów, same usługi chmurowe.

A najdziwniejszy projekt jaki robiliście?

Zapytanie zaczynało się tak “Nasz klient jest statkiem”. Chodziło o system dla statku badawczego, który wypływał na 2-3 tygodnie w morze, na nim pracowała ekipa naukowa. wprowadzała dane, ale w tym samym czasie na na lądzie też pracowali ludzie na innym systemie z innymi danymi i statek wracał do portu i musiał się mądrze tym wszystkim wymienić, synchronizować dane. A nie były to czasy Starlinka.

A świeży temat to StreetView na platformie wiertniczej czy innych obiektów przemysłowych, ale to dopiero etap projektowania infrastruktury.

Kurcze a wydawało się, że praca DevOpsów jest taka nudna i tylko siedzą przed tym ekranem i parametry zmieniają i obserwują. Jest jeszcze jeden temat, który niejako jest podstawą wszystkich — bezpieczeństwo. Możesz powiedzieć, jakie w dzisiejszych czasach ataki są najgroźniejsze, jeśli chodzi o infrastrukturę?

Security by design to już standard. Najsłabszym ogniwem jest i będzie człowiek i wszelkie ataki socjotechniczne czy bazujące na ludzkich błędach są najgroźniejsze, bo niezwykle trudne do zapobiegania. Przed masywnym DDoSem często obroni cię już dostawca infrastruktury, przed wieloma atakami prosty WAF, możesz pochować aplikacje i systemy za wieloma urządzeniami i loadbalancerami, ale jak ktoś wejdzie bokiem dzięki naiwności kogoś, kto ma dostęp do infrastruktury od zaplecza, to koniec.

Wiem, że o wielu naprawdę dużych atakach w mediach się nie mówi, bo nikt o nich nie wie. Możesz mi opowiedzieć o jakimś przypadku, z którym walczyli Hostersi?

Nie musimy się jakoś bardzo mierzyć z atakami bo infrastruktury są chronione na froncie rozwiązaniami antyDDoS, a sama konstrukcja infrastruktury tłumi atak na wejściu na jakimś specjalistycznym urządzeniu choćby loadbalancerze i cały backend jest odseparowany. Taki ciekawy case jaki pamiętam to ochrona API klienta, do którego jest i tak ogromna ilość zapytań przed botami i skanowaniem w celu pobierania danych. Taka aktywność czasem prawie nie różni się od zwykłych zapytań i jest prowadzona w wyrafinowany sposób. Różne adresy, różne źródła i losowe cele. Szukanie schematów i blokowanie wymaga ogromnej analityki i wyczucia. Pomaga wieloletnia znajomość platformy i jej działania. Dla nas czasem coś, co wygląda na atak, to po prostu duży ruch, który musimy obsłużyć, bo klient ma super promocje i ma międzynarodowy zasięg. Wtedy na serwis wpadają miliony transakcji w ciągu dnia zamiast rutynowych setek tysięcy.

Na koniec dwa szybkie pytania. Windows czy MacOS, które środowisko DevOps preferuje i dlaczego (o to kiedy będzie rok Linuxa nie zapytam)?

Ani to ani to :-) U nas Linux. Ale także Windows i MacOS. Tak naprawdę to co człowiek to inne oczekiwania i raczej staramy się wychodzić im naprzeciw, bo i tak 99% pracy DevOps wykonuje na zewnętrznym systemie i to na czym pracuje, to prawie tylko terminal. Obojętne więc na jakim OSie pracuje.

Ostatnie standardowe. Jakie macie plany na 2023?

Rosnąć nadal organicznie o 40%. Od paru lat o tyle właśnie rośniemy każdego roku. Chcemy też zdobywać nowe partnerstwa z ważnymi i popularnymi firmami. Usprawniać własne rozwiązania, aby były coraz lepsze i możliwie daleko pływać od “kryzysowych” płycizn. A także rozwijać nasze kompetencje o nowe specjalizacje w chmurach i jak zawsze, dobrze się przy tym wszystkim bawić.

To już ostatnie pytanie - ile razy mieliście ofertę sprzedaży firmy?

Było to całkiem sporo razy. Taki kontakt, który kończy się przynajmniej jedną rozmową, to dwa razy w roku. Przy czym, nie szukamy aktywnie, ani nie komunikujemy chęci sprzedaży firmy. Rozwiązania chmurowe są bardzo popularne, a my jesteśmy w nich bardzo mocni więc spodziewamy się takich zapytań. Widać to również po tym, że dostajemy oferty znalezienia inwestora od największych firm doradczych z tego segmentu.

Dzięki za rozmowę