Jak zostać administratorem Big Data? Czym tak naprawdę jest DevOps?

Czym jest DevOps?

Warto zacząć od tego, co właściwie oznacza bardzo popularny ostatnio zwrot DevOps. Możemy spotkać się z tym pojęciem w ofertach o pracę, co może wskazywać na to, że sam w sobie stanowi swojego rodzaju stanowisko, ale jest to błędne założenie. DevOps to skrót od połączenia Development i Operations. DevOps to metoda tworzenia oprogramowania, która kładzie szczególny nacisk na komunikację, współpracę i integrację pomiędzy deweloperami, a specjalistami od infrastruktury. W jej ramach spotkamy się także z Continuous Integration (ciągła integracja), Continuous Delivery (ciągłe dostarczanie), Continuous Testing (ciągłe testowanie), Continuous Monitoroing (monitoring) i Continuous Deployment (ciągłe wdrażanie).

Dzięki temu cały proces tworzenia nowego oprogramowania czy produktu ma odbywać się płynniej, a wszystkie ewentualne błędy będą wykrywane dużo szybciej. W ten sposób firma jest w stanie lepiej pracować. Nie da się ukryć, że pewne założenia mogą zostać spokojnie przeniesione także do innych sektorów niż tylko IT, zapewniając wymierne korzyści, szczególnie jeżeli chodzi o nacisk na współpracę. Warto tu też dodać, że teraz DevOps stał się popularnym słowem i wydaje się nawet, że w niektórych przypadkach to przerost formy nad treścią.

Praca przy infrastrukturze - szeroki wachlarz możliwości

Przejdźmy teraz do tego, czym właściwie zajmuje się specjalista od infrastruktury Big Data. W skład jego zadań wchodzi utrzymanie istniejącej infrastruktury, wdrażanie usprawnień, zapewnianie ciągłego testowania i implementowania oprogramowania oraz monitorowanie całości. Na pewno istotna pozostaje tu automatyzacja wszystkich zadań. W ten sposób można otrzymać świetnie działające środowisko, w którym wszystko działa automatycznie, a całość jest przyjazna użytkownikowi.

Jakiej wiedzy wymaga się od administratora Big Data? Na pewno należy zacząć od tego, że w przypadku administracji infrastrukturą IT niezbędna jest wiedza o Linuxie. Przydaje się również wiedza na temat sieci, zarządzania serwerami i aspektami bezpieczeństwa. Naturalnie pomocna jest znajomość chmury publicznej jak Amazon Web Services, Google Cloud Platform czy Microsoft Azure. Kolejny krok to umiejętność posługiwania się narzędziami do automatyzacji procesów i zapewniania infrastruktury. Szczególnie chodzi tu o Ansible, a ponadto należy wspomnieć o Terraform, Chef lub Puppet.

Czytaj dalej poniżej

Data Scientist: jak nim zostać? Co warto wiedzieć o tej pracy? Albert Lewandowski

Ze świata IT: jak zostać UI Developerem? Co warto wiedzieć? Albert Lewandowski

Dalej przechodzimy do kontenerów. Obecnie coraz więcej firm rozwija kompetencje w zakresie konteneryzacji, więc wiedza na temat Dockera i Kubernetesa jest bardzo mile widziana. Oczywiście w takiej pracy przydaje się bardzo wiedza na temat programowania. Obecnie można tu wskazać języki skryptowe jak Bash czy Python oraz kompilowane typu Java czy Go. Administracja może oznaczać również zarządzanie bazami danych, więc znajomość SQL to umiejętność prawie niezbędna.

Jeżeli chodzi o usługi Big Data, administrator takiej infrastruktury powinien znać najpopularniejsze usługi i wiedzieć, jak je optymalizować oraz rozwiązywać problemy. Szczególnie często w ofertach pracy wymienia się tutaj: Hadoopa, Sparka, Kafkę, Hive'a, Rangera, Hbase'a, Cassandrę. Oczywiście trudno wymienić tu wszystkie, ponieważ mogą się one znacznie różnić w środowiskach różnych firm. Naturalnie w takim przypadku najlepszym źródłem wiedzy pozostaje praktyka.

Wywiad z administratorem Big Data

Przeprowadziłem wywiad z jednym doświadczonym inżynierem infrastruktury, który na co dzień pracuje w firmie Getindata, Janem Kogutem.

Jak opisałbyś/opisałabyś swoje codzienne obowiązki?

Automatyzacja czynności związanych z rozwojem i utrzymaniem infrastruktury Big Data.

Jakie umiejętności techniczne są kluczowe, aby zostać administratorem Big Data?

Potrzeba automatyzacji, CI/CD i dokładnego monitoringu aplikacji. Programowanie, administracja systemami i sieciami.

Jakie umiejętności miękkie są przydatne w roli administratora Big Data?

Chęć porozumienia się z developerami.

Co spowodowało, że postanowiłeś zostać administratorem Big Data?

Wyszło zupełnie naturalnie poprzez chęć pisania skryptów do tworzenia, testowania i integrowania infrastruktury.

Jak oceniasz perspektywy rozwoju?

Dobrze.

Z jakimi technologiami głównie pracujesz?

Java, Groovy, Python, Jenkins, Gitlab, Google Cloud Platform, Kafka, Hive, Hadoop, Kubernetes, Ansible, Prometheus.

Co polecasz do nauki i treningu osobom, które chcą zostać DevOpsem?

Napisać przykładowe REST API (w Python/Java/Golang) i zbudować na K8S CI/CD używając Gitlab-CI dla tego mikroserwisu.

Jesteś zainteresowana/y pracą w świecie Big Data? Śledź oferty pracy w Getindata albo wyślij CV na info@getindata.com.

Dowiedz się więcej o zawodach IT

• Praca jako Data Scientist.
• Praca jako UI Developer.
• Praca jako UI/UX Designer.
• Praca jako programista Android.
• Praca jako programista iOS.
• Praca jako programista Java.
• Praca jako programista JavaScript.
• Praca jako Big Data Engineer.

Być blisko infrastruktury

Praca jako administrator Big Data pozwala działać w wielu obszarach i zdecydowanie jest to interesujący zawód, w którym trudno się nudzić. Jednocześnie perspektywy są bardzo dobre, ponieważ coraz więcej firm stara się wykorzystywać swoje dane, co wiąże się z koniecznością zapewnienia do tego infrastruktury. Do tego sektor usług do analityki danych cały czas się rozwija, więc cały czas sporo się dzieje.