Podczas spotkania Netcamp w Szczecinie Piotr Deszyński z Red-Sky opowiadał o tym jak utrzymuje się serwis, który miesięcznie osiąga liczbę 24 milionów unikalnych użytkowników którzy generują 10 milionów zapytań w ciągu doby. Wyniki te to statystyka polskiego serwisu Filestube.com, który obecnie odsługiwany jest przez z tego co dobrze policzyłem 41 serwery i 3 load balancery (rozdzielanie ruchu pomiędzy serwerami).
Autorem tekstu jest Piotr Błaszyński
Jakiś czas temu pojawiał się na tym blogu temat wydajności i architektury serwisów Web2.0, chciałbym aby ten post został potraktowany jako jego skromne uzupełnienie. Twórcy Digga postanowili uchylić rąbka tajemnicy i pokazali z czego składa się i jak działa ten jeden z największych zbiorów rekomendacji. Celowo nie piszę o linkach, bo część rekomendacyjna Digga urosła już do całkiem poważnych rozmiarów. Wygląda na to, że jedną z dróg rozwoju jest przygotowanie dwóch blogów: dla społeczności i technologicznego. Na razie postów malutko, ale z czasem pewnie się coś ciekawego znajdzie.
Cała architektura jest zbudowana z kilku elementów: przede wszystkim bazy danych, serwery plików, serwery aplikacyjne, serwery odpowiedzialne za równoważenie obciążenia pomiędzy maszyny oraz to czym Digg się od niedawna chwali, czyli serwer odpowiedzialny za rekomendacje.
Ciąg dalszy serii o walce z przysłowiowym Panem Gąbką. Tym razem udało mi się namówić oryginalnych gąbka killerów (czyli zespół nasza-klasa.pl), na opowiedzenie o ich walce z wydajnością.
Najnowsze statystyki odnośnie NK jakie podał mi Maciek Popowicz robią wrażenie. W chwili obecnej serwis zalicza 350 milionów odsłon dziennie (ponad 10 miliardów miesięcznie). Transfer danych jaki generują te odsłony to 6 GB na sekundę. W chwili obecnej nasza-klasa stoi na 500 serwerach (a kolejne 32 są już zamówione). Zdjęcia dodawane przez użytkowników przekroczyły już 1,5 miliarda sztuk – trzymane są one na 500 dyskach w macierzach. Codziennie z serwisu korzysta 5,5 miliona osób.
Poniższy tekst tworzony był przez Pawla Olchawe, z poprawkami Tomka Paszkowskiego, Joanny Gajewskiej, Arka Pernala i Maćka Popowicza.
Nadchodzi nowa (kolejna nowa) wersja popularnego systemu blogowego jakim jest wordpress. Ostatnia duża aktualizacja skryptu była oznaczona numerkiem 2.5 i muszę przyznać, że wprowadzono w niej wiele ciekawych zmian i udogodnień dla osoby prowadzącej bloga.
To czego chyba nie udało się do końca zrobić to zoptymalizować skrypt na tle aby nie sprawiał problemów z hostingiem (sam jestem niestety tego przykładem). WordPress nadal wśród wielu osób uważany jest za program bardzo obciążający serwery w momencie kiedy zaczyna pojawiać się nieco większy ruch (wizyty i odsłony).
Twitter nie sprawdzał się do tej pory jako narzędzie do komentowania dużych imprez takich jak chociażby konferencje Apple. Niektórzy radzili nawet aby serwis po prostu został wyłączony przed rozpoczęciem WWDC aby oszczędzić użytkownikom kolejnych rozczarowań.
Tym razem autorzy Twittera wiedzą o nadchodzącej konferencji Apple czyli WWDC (która właśnie trwa i na której ma być zaprezentowany Iphone 2.0) przygotowali się lepiej. Wprawdzie nie oznacza to, że poradzili sobie z wydajnością serwisu (działa bardzo wolno) ale drobnym wybiegiem bardzo zwiększyli swoje szanse na uniknięcie kolejnej kompromitacji.
Co więc zrobił Twitter ? – na profilach swoich użytkowników opublikował informacje, iż wszyscy fani Apple mogą śledzić wydarzenia z WWDC na współpracującym z Twitterem serwisie Summize (to taka wyszukiwarka informacji bazująca na twitterze).
Dzięki temu duży ruch związany z WWDC został przekierowany na inny serwis i prawdopodobnie to uratuje dziś Twittera przed zniknięciem z “eteru”.
Jeśli ktoś z was próbował śledzić WWDC na Summize to wie jak bardzo bezsensowny jest to pomysł – zbieranie wszystkich wiadomości z twittera z słowami kluczowymi takimi jak “WWDC”, “Apple”, “iphone” itp. kończy się otrzymaniem kilkuset informacji w przeciągu kilku sekund. Nie da sie tego czytać i na pewno też nie da się porównać tej relacji do innych jakie w tej samej chwili prezentowane są przez serwisy internetowe.
Twitter podobno właśnie kończy kolejną rundę finansowania w której pozyskał 15 milionów dolarów od Spark Capital (dotychczasowo firma inwestowała min. w takie serwisy jak Veoh, Kickapps itp.).
Union Square Ventures – dotychczasowy inwestor Twitter podobno też coś dołożył i w sumie serwis zebrał 20 milionów dolarów co powoduje, że jego wycena sięgnęła 100 milionów dolarów!.
W międzyczasie Twitter przeżywa potężny kryzys który objawia się niedostępnością serwisu i ograniczaniem jego funkcjonalności. Dobrym krokiem autorów serwisu była poprawa komunikacji z użytkownikami którzy nareszcie mogą dowiedzieć się co dolega serwisowi i jaki jest status napraw.
Twitter przeżył również ostatnio pojedynek na słowa z znanym blogerem Robertem Scoble, który opacznie zrozumiał wpis na blogu tego serwisu. Scoble zinterpretował wyjaśnienia autorów twittera (na temat wydajności) opacznie myśląc, że oskarżają oni swoich najlepszych i najpopularniejszych użytkowników o problemy jakie mają. Twitter szybko jednak rozwiązał problem zapraszając przewrażliwionego Scoble do siebie i wyjaśniając całą sytuację.
Z informacji jakie uzyskał podczas rozmowy Scoble wynika, że głównym problemem Twittera jest architektura i nie pomoże tutaj dostawianie kolejnych serwerów – mam nadzieję, że za 20 milionów dolarów uda się coś z tym zrobić? (na przykład napisać serwis od nowa ?).
Kiedy twitter nie działał (właściwie tutaj można by używać ciągle czasu teraźniejszego) nikt nie wiedział co się dzieje bo blog na którym były informacje o problemach też nie działał (był na tej samej maszynie). Ponieważ użytkownicy domagali się informacji na bieżąco o tym co się dzieje z ich ulubionym serwisem dlatego twitter uruchomił specjalny serwis o nazwie Twitter Status blog.
Nie było by w tym nic dziwnego gdyby nie fakt, że ten serwis działa na bazie konkurencyjnej platformy mikroblogowej tumblr.com.
Niedawno na blogu Silicon Alley insider ktoś podsumował co ostatnio było przyczynami awarii serwisu (chyba łatwiej było by napisać co ostatnio działało) :
Mam nadzieję, że twitter szybko pozyska fundusze i będzie potrafił je wykorzystać bo taka sytuacja kompromituje ten serwis (już i tak krążą o nim ciekawe dowcipy i niewybredne żarty).
Rafał na moje pytania odpowiedział bardzo konkretnie, bardzo szczegółowo i dodał również wiele ciekawych informacji o tym jak zbudowana jest fotka.pl od środka. Mimo, iż tekst jest dość długi to jednak dla każdego kto chce dowiedzieć się wielu ciekawych informacji na temat walki z wydajnością będzie on z pewnością bardzo ciekawy i pouczający.
Czy tak zwana “wydajność” to duży procent w budżecie takiego serwisu jak twój?, jak dużo wydajesz na utrzymanie infrastruktury (mogą to być przybliżone kwoty lub widełki)
Z biegiem czasu na infrastrukturę wydajemy proporcjonalnie coraz mniej pieniędzy. Oczywiście ilość potrzebnych serwerów i łącz ciągle rośnie, ale przychody Fotka.pl zwiększają się zdecydowanie szybciej. W tej chwili myślę, ze koszty te nie przekraczają 20% przychodów. W ciągu roku chcemy zejść do poziomu 10% – to branżowy standard. Warto tu zauważyć, że rozwijamy infrastrukturę w większym komforcie niż 2-3 lata temu. Nie kupujemy już sprzętu potrzebnego “na wczoraj”, ale z wyprzedzeniem i w ilościach pozwalających nie martwic się o to, na jakie funkcjonalności w serwisie możemy sobie pozwolić, a na jakie jeszcze nie.
Jak radzisz sobie z utrzymanie odpowiedniej wydajności serwisu, czy zatrudniałeś (zatrudniasz) specjalistów w tej dziedzinie?
W elblaskim biurze mamy cale IT w tym 5 administratorów, kilku programistów i Andrzeja, który od początku istnienia serwisu dba o to, żeby wszystko działało jak należy. Cala wiedza na temat utrzymywania takiego dużego serwisu jest efektem wewnątrz firmowej pracy nad optymalizacja. To setki godzin podczas których sprawdziliśmy na żywym organizmie dziesiątki rozwiązań – tego nie da się wyczytać z prezentacji dostępnych w sieci.
Image via Wikipedia50 tysięcy serwerów może być warte 100 milionów dolarów. Taką właśnie kwotę planuje pozyskać Facebook na wzmocnienie swojej infrastruktury.
Z tego co już wiadomo Facebook w tej chwili obsługiwany jest przez 10,000 maszyn. Ciekawostką jest, że sama baza danych zajmuje 1,800 serwerów które zarządzane są tylko przez dwóch administratorów.
Facebook nie planuje jednak uruchomić kolejnej rundy finansowania aby pozyskać fundusze na infrastrukturę, zamiast tego chce skorzystać z pożyczki od funduszu (“venture lending”). Zasadnicza różnica między taką pożyczką a inwestycją jest to, że Facebook nie odda w zamian za pieniądze części akcji firmy.
W chwili obecnej nie wiadomo kto miał być dostawcą tak olbrzymiej ilości serwerów ale wiadomo u kogo do tej pory zaopatrywała się firma czyli u Rackable Systems. RS podając wyniki za pierwszy kwartał raportowało, że 17% przychodów pochodzi z kontraktów z Facebook (czyli około 11,5 miliona dolarów)
Dla przypomnienia dodam, że Facebook został do tej pory wsparty ponad 300 milionami dolarów (jest to tylko cześć inwestycji, w których suma była jawnie podana). Ciekawe więc, czy Facebook nadal nie doszedł do etapu w którym zarabia konkretne pieniądze – czy może potrzeba poprawy wydajności serwisu jest tak pilna?
Mordujemy Pana Gąbkę dalej – czyli kolejny twórca dużego serwisu opowiada o tym jak radzić sobie z wydajnością. Tym razem swoimi doświadczeniami zgodził się podzielić Michał Sadowski Dyrektor Kreatywny z Flexy Interactive (agencja odpowiedzialna za Patrz.pl i jednocześnie współwłaściciel strony)
Czy tak zwana “wydajność” to duży procent w budżecie takiego serwisu jak twój ? Jak dużo wydajesz na utrzymanie infrastruktury (mogą to być przybliżone kwoty lub widełki)
W tej chwili, na serwery wydajemy od kilkunastu do kilkudziesięciu tysięcy złotych miesięcznie.
Jak radzisz sobie z utrzymaniem odpowiedniej wydajności serwisu, czy zatrudniałeś (zatrudniasz) specjalistów w tej dziedzinie?
Na początku działalności (przed sprzedażą części udziałów w Patrz) zajmował się tym jeden z nas (w sensie nas – założycieli). Obecnie przy utrzymaniu sieci kilkudziesięciu serwerów, z których korzysta Patrz.pl pomaga nam zespół administratorów firmy IMPartner (również należącej do IG).
W życiu każdego startupa w pewnej chwili wydajność staje się poważnym i pilnym problemem. W niektórych przypadkach problem ten przeradza się w permanentny dramat, inni sobie z nim radzą. Ponieważ temat ten wydał mi się dość ciekawy postanowiłem zapytać się kilku polskich serwisów jak radzą sobie z zagadnieniem wydajności serwisów www.
Pierwszy na pytania odpowiedział Michał Jaskólski IT Director nokaut.pl:
Czy tak zwana “wydajność” to duży procent w budżecie takiego serwisu jak twój ? Jak dużo wydajesz na utrzymanie infrastruktury (mogą to być przybliżone kwoty lub widełki)
Obecnie koszt infrastruktury to około 5% naszych przychodów. Z wydajnością i skalowalnością związanych jest jednak mniej więcej 20-30% projektów realizowanych przez zespół IT, a to ma również wpływ na budżet.
Jak radzisz sobie z utrzymaniem odpowiedniej wydajności serwisu, czy zatrudniałeś (zatrudniasz) specjalistów w tej dziedzinie?
Równolegle zwiększamy liczbę serwerów, szukamy tych elementów aplikacji, które stanowią największe obciążenie i pracujemy nad ich optymalizacją. To ciągły proces.
Jeśli chodzi o specjalistów, to kilka osób w naszym zespole miało już wcześniejsze doświadczenia z serwisami internetowymi odwiedzanymi przez kilkaset tysięcy użytkowników dziennie. Już na starcie mieliśmy więc pewną wiedzę w tym zakresie.
Główny architekt serwisu twitter.com czyli Blaine Cook rozstaje się z tym serwisem (właściwie zrobił to tydzień temu ale teraz podał informacje do publicznej wiadomości), powody odejścia jakie podaje są natury osobistej.
Arrington na techcrunch w dość osobliwy sposób pożegnał Blaina Cooka stwierdzając, że skończył się czas amatorów na twitterze i jest szansa, że zatrudnią (zatrudnili) teraz kogoś kto poradzi sobie z problemem wydajności tego popularnego serwisu.
Całkiem możliwe, że Arringtona do tak (trzeba to przyznać) ostrej wypowiedzi skłoniła pożegnalna notka Cooka w której stwierdził on, że architektura twittera jest stabilna i gotowa na dalszy rozwój serwisu a on sam będzie poszukiwał nowych wyzwań (a przecież w ten weekend twitter zaliczył kolejny problem z serwisem).
Arrington w dalszej części notki przypomniał, że rok temu Cook podczas Silicon Valley Ruby Conference sugerował, że problemy z wydajnością twittera to już przeszłość.
Pod wpisem na temat odejścia Cooka (w komentarzach) posypały się istne cięgi na Arringtona, za jego ignorancje , nieznajomość zagadnienia, o tym, że dzięki Cookowi twitter tyle przetrwał itp (warto poczytać bo dyskusja nadal się toczy). Widać, że głównie głos zabierają fani Ruby oraz zagorzali przeciwnicy Arringtona (których jak widać trochę jest).
Możliwe, że autor techcrunch przesadził z oceną wkładu pracy głównego architekta w rozwój twittera – ale czy z punktu widzenia użytkownika problemy twittera zostały rozwiązane ? Jeśli nie, to kogo można winić za taki stan rzeczy jak nie osobę odpowiedzialną za wydajność serwisu?
Ciekawy jestem waszego zdania na temat toczącego się linczu nad Arringtonem ? – bo przyznam, że bliżej mi do stwierdzenia, że Cook jako główny spec zajmujący się serwisem od lat zawiódł w swojej głównej misji (co nie oznacza, że nie odnosił sukcesów jeśli chodzi o ratowanie serwisu z poważnych kłopotów).
Ps. Polecam obejrzeć komentarz numer 75 (taki zagraniczny Rafi) :)
Podjąłem próbę aktualizacji silnika antweb.pl czyli wordpress do najnowszej wersji jaka ukazała się kilka godzin temu czyli 2.5. Zdaję sobie sprawę, że nieroztropnie jest przeprowadzać upgrade tak szybko po ukazaniu się nowej wersji ale podjąłem to ryzyko.
Proces aktualizacji wordpress przebiega bezproblemowo (tak jak i wszystkie poprzednie aktualizację) więc może na bazie zaufania do poprzednich upgardów nie bałem się tak bardzo o losy mojego bloga.
To co dla mniej jest bardzo przydatną nową opcją to możliwość poszerzenie edytora tekstu na pełne okno – dzięki czemu zyskujemy dość duży komfort jeśli ktoś pisze notki bezpośrednio w wordpress.
Celem aktualizacji w moim przypadku było przede wszystkim zyskanie bardziej zoptymalizowanego jeśli chodzi o wydajność skryptu i mam nadzieje, że nowa wersja właśnie taka jest (w przeciwnym wypadku za chwilę odezwie się do mnie firma hostująca bloga z mało przyjemnym komunikatem)
Niestety w nowej wersji napotkałem problemy z działaniem kilku pluginów (ale to raczej normalne i trzeba spokojnie poczekać na ich aktualizację).
Generalnie mam nadzieję, że warto było przesiadać się na najnowszą wersję (oby była zoptymalizowana)!
RSS
Flaker
Pod adresem beta.m.onet.pl można obejrzeć przymiarki do nowej mobilnej wersji portalu Onet. Pobawiłem się chwile na iPhonie i mam kilka drobnych uwag, ale poza tym bardzo ciekawa propozycja. Jasna i przejrzysta tak jak lubię.
SkomentujOdkąd mam smartphone testuje każdą wyścigówkę, jaka wyjdzie na mój sprzęt. Co mnie od początku spodobało się w takich grach, to sterowanie pojazdem. Naturalne ruchy dłonią, jakbyśmy trzymali prawdziwą kierownicę, no prawie:). Wcześniejsze wyścigi na PC i sterowanie klawiaturą dalekie było od doskonałości. Teraz można połączyć wygodę sterowania z dużym ekranem na PC.
SkomentujTylko dziś, będący jeszcze w fazie prywatnej bety, serwis This Is My Jam jest dostępny dla wszystkich użytkowników. Jeżeli nie słyszeliście wcześniej o tym serwisie, pokrótce wyjaśnię, iż to nic innego jak muzyczna platforma do dzielenia się odsłuchiwanymi przez nas piosenkami. Utwory pobierane są z Youtube. Po założeniu konta w tym serwisie (można powiązać z kontem na Facebooku lub Twitterze), korzystamy z wyszukiwarki by odnaleźć naszą piosenkę, którą akurat chcemy odsłuchać. Można też wpisać nazwę zespołu. Spośród znalezionych utworów wybieramy jeden i tworzymy naszą muzyczną stronę, którą możemy się podzielić ze znajomymi. A wygląda efektownie:
Skomentuj
Witaj, nazywam się Grzegorz Marczak i jestem autorem tego bloga. Piszę tutaj o serwisach społecznościowych, nowych technologiach i nowych trendach w internecie.
